[发明专利]一种分布式爬虫系统及其实现方法在审
申请号: | 201911095920.5 | 申请日: | 2019-11-11 |
公开(公告)号: | CN111061932A | 公开(公告)日: | 2020-04-24 |
发明(设计)人: | 李亚萍;侯林勇;刘婉莹;王俊;张亮;杨坤;方程;袁率 | 申请(专利权)人: | 贵州小叮当信息技术有限公司 |
主分类号: | G06F16/951 | 分类号: | G06F16/951;G06F16/906;G06F16/9032 |
代理公司: | 重庆百润洪知识产权代理有限公司 50219 | 代理人: | 陈付玉 |
地址: | 550008 贵州省贵阳市国家高新技*** | 国省代码: | 贵州;52 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种分布式爬虫系统及其实现方法,包括登录窗口、日常空间和工作空间,登录窗口的输出端分别与日常空间和工作空间的输入端连接,日常空间和工作空间的输出端分别与通用网络爬虫系统和聚焦网络爬虫系统的输入端连接,本发明涉及爬虫系统技术领域。该分布式爬虫系统及其实现方法,通过设置日常空间和工作空间两种模式,并设置通用网络爬虫系统和聚焦网络爬虫系统分别搭载在两种模式上,日常空间可正常检索所有信息,而聚焦网络爬虫系统可正对性的采集与工作相关的信息,两种模式随意切换,互不干扰,且聚焦网络爬虫系统是依附于通用网络爬虫系统的主体结构使用,只需将部分程序文件替换,则可实现两种模式的切换。 | ||
搜索关键词: | 一种 分布式 爬虫 系统 及其 实现 方法 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于贵州小叮当信息技术有限公司,未经贵州小叮当信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201911095920.5/,转载请声明来源钻瓜专利网。