[发明专利]自适应网络资源收集系统的构建及网络资源收集方法在审
| 申请号： | 201410155856.6 | 申请日： | 2014-04-18 |
| 公开（公告）号： | CN103902732A | 公开（公告）日： | 2014-07-02 |
| 发明（设计）人： | 邹艳珍;张灵箫 | 申请（专利权）人： | 北京大学 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 北京天奇智新知识产权代理有限公司 11340 | 代理人： | 王海洋 |
| 地址： | 100080*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种自适应网络资源收集系统的构建及网络资源收集方法，尤其是涉及通用的开源软件项目相关的网络资源收集系统的构建及网络资源的收集方法。包括：网络资源收集模块和爬虫依赖模块；网络资源收集模块能够通过爬虫依赖模块建立的网络资源收集模块与目标网络资源之间的依赖关系配置相应爬虫执行单元执行资源收集。因此，本发明具有如下优点：1.能够自适应不同数据类型的目标网络资源，通用性强。2.解耦了具体数据源对某个单一目的的爬虫程序的依赖，具有较高的可扩展性。 | ||
| 搜索关键词： | 自适应 网络资源 收集 系统 构建 方法 | ||
【主权项】：
一种自适应的网络资源收集系统的构建方法，其特征在于，包括：配置一个统一的网络资源收集模块，所述网络资源收集模块包括一个统一的爬虫分配装置以及与若干等待调用的爬虫执行单元，该爬虫分配装置包括：初始单元：为网络资源收集准备必要的存储空间及系统开销；收集单元：具有统一爬虫程序接口，能根据目标网络资源的数据类型选择不同爬虫程序收集目标网络资源的数据；关闭单元：在收集装置收集到所需要的目标数据后释放系统开销以及在收集装置出现异常时进行异常处理；配置一个爬虫依赖模块，该模块用于配置网络资源收集模块与目标网络资源之间的依赖关系；网络资源收集模块能够通过爬虫依赖模块建立的依赖关系通过爬虫分配装置配置相应爬虫执行单元执行资源收集。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京大学，未经北京大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201410155856.6/，转载请声明来源钻瓜专利网。
- 上一篇：信息处理方法及系统
- 下一篇：智能移动终端的浏览器配色方案自动调节方法及系统
