[发明专利]基于网络爬虫的公司座机号码清洗方法及系统

说明书

本发明公开了一种基于网络爬虫的公司座机号码清洗方法及系统，其通过爬虫获取预设范围的国家或城市或地区的区号，建立国内区号映射表和/或国际区号映射表；并通过爬虫获取所需公司的联系数据；然后判断公司座机号码是否包含国际区号和/或国内区号，若是，则结束；若否，则得到不完整座机号码；根据不完整座机号码的对应公司的公司名称或公司地址，获取对应公司的经纬度信息，并根据经纬度信息获取对应公司归属的国家或城市或地区；根据国内区号映射表和/或国际区号映射表进行查找对应公司的国际区号和/或国内区号；最后将国际区号和/或国内区号添加至不完整座机号码中，能够自动筛选不完整座机号码并对其进行补全完善，效率更高。

技术领域

本发明涉及网络信息处理技术领域，特别是一种基于网络爬虫的公司座机号码清洗方法及其应用该方法的系统。

背景技术

随着互联网技术的发展，搜索引擎已经成为人们获取信息的重要方式。现有的搜索引擎都是基于通称为网络爬虫(Crawler)的技术实现。爬虫工作原理是搜索引擎定期执行网络爬虫程序，从作为搜索树根的指定初始URL列表开始访问这些URL定位的网页资源，获取网页信息，包括标题、描述HTML网页文档属性的Meta标签等，并从这些信息中提取关键词，添加到搜索时用的数据库中，以及从这些信息中提取指向网页资源的URL并将这些新提取的URL作为起点开始新一轮的访问处理，通过这种访问处理的循环得到一个定期更新的综合性的搜索数据库，当用户向搜索引擎提供关键字后，搜索引擎通过检索搜索数据库，按排名规则向用户返回搜索成果，完成一次搜索过程。

但是，网络爬虫抓取时，难以删选自己想要的有价值的信息。通常还需要爬虫工程师在爬完网站数据之后对这些数据做清洗操作。例如，通过爬虫获取到的公司联系数据主要包括：行业、公司名称、电话号码、联系人、地址、公司网站，其中，电话号码通常需要人工去识别。电话号码包括座机号码和手机号码，座机号码经常没有区号。

搜索区号通常需要知道当前电话的公司的地址，接着到搜索引擎上查找该市的区号，这一过程往往需要花费十多秒的时间，如果只是一个号码就还好，但是如果是成千上万个号码，将造成人力物力的极大浪费。

发明内容

本发明为解决上述问题，提供了一种基于网络爬虫的公司座机号码清洗方法及系统，能够实现对座机号码的自动补全，效率更高。

为实现上述目的，本发明采用的技术方案为：

一种基于网络爬虫的公司座机号码清洗方法，其包括以下步骤：

a.通过爬虫获取预设范围的国家或城市或地区的区号，以所述城市或地区为键、国内区号为值，建立国内区号映射表；和/或，以所述国家为键、国际区号为值，建立国际区号映射表；

b.通过爬虫获取所需公司的联系数据，所述联系数据包括：公司名称或公司地址、公司座机号码；

c.判断所述公司座机号码是否包含国际区号和/或国内区号，若是，则结束；若否，则得到不完整座机号码；

d.根据所述不完整座机号码的对应公司的公司名称或公司地址，获取所述对应公司的经纬度信息，并根据所述经纬度信息获取所述对应公司归属的国家或城市或地区；

e.根据所述国内区号映射表和/或所述国际区号映射表进行查找所述对应公司的国际区号和/或国内区号；

f.将所述国际区号和/或国内区号添加至所述不完整座机号码中。

优选的，所述的步骤a中，进一步将所述国内区号映射表和所述国际区号映射表合并为通用区号映射表，所述通用区号映射表以国家和城市/地区为键、国际区号和国内区号为值。

优选的，所述的步骤b中，所述联系数据还包括：移动电话号码、联系人、公司网站中的一个以上；并可根据所述移动电话号码或者所述联系人或者所述公司网站对所述公司座机号码进行验证。