[发明专利]OTA网站的数据爬取方法及系统

摘要

本发明公开了一种OTA网站的数据爬取方法及系统。该数据爬取方法包括以下步骤：生成地区列表爬虫任务，包含对应于酒店搜索主页面的一初始爬取URL；执行地区列表爬虫任务以采集并保存地区数据，并生成酒店列表爬虫任务；执行酒店列表爬虫任务以采集并保存酒店数据，并生成价格列表爬虫任务；执行该价格列表爬虫任务，以采集并保存酒店的价格数据。本发明的OTA网站的数据爬取方法及系统，能够针对OTA网站的数据爬取有效提高数据采集的效率、完整性以及准确性，并降低资源开销。

主权项

1.一种OTA网站的数据爬取方法，其特征在于，包括以下步骤：S₁、生成一地区列表爬虫任务，包含一初始爬取URL，该初始爬取URL对应于OTA网站的酒店搜索主页面；S₂、执行该地区列表爬虫任务，以采集并保存地区数据，地区数据包括地区列表、地区ID，并根据执行中爬取得到的地区列表及地区ID生成酒店列表爬虫任务，该酒店列表爬虫任务设有预设的多组日期参数，每组日期参数分别包含一入店日期和一离店日期，其中地区包括区域、省份、城市、区县和/或商圈；S₃、执行酒店列表爬虫任务，以采集并保存酒店数据，其中酒店数据包括在该多组日期参数的条件下可预订的酒店的房间以及酒店的基本信息，并根据执行中爬取得到的酒店的基本信息生成价格列表爬虫任务，其中酒店的基本信息包括酒店的名称和酒店ID；S₄、执行该价格列表爬虫任务，以采集并保存酒店的价格数据；步骤S₂中每生成一个酒店列表爬虫任务就将其放入一第一任务队列，步骤S₃从该第一任务队列中提取酒店列表爬虫任务并执行，并将生成的价格列表爬虫任务放入一第二任务队列，步骤S₄从该第二任务队列中提取价格列表爬虫任务并执行；地区列表爬虫、酒店列表爬虫、价格列表爬虫作为相互独立的爬虫模块进行工作，并且，根据目标OTA网站的静态及动态数据更新频次的不同，各爬虫模块相互独立地以不同频次生成任务进行数据的采集。