[发明专利]一种网络流量数据存储、还原方法及系统在审
| 申请号： | 201811359243.9 | 申请日： | 2018-11-15 |
| 公开（公告）号： | CN109614518A | 公开（公告）日： | 2019-04-12 |
| 发明（设计）人： | 赵磊 | 申请（专利权）人： | 深圳市酷开网络科技有限公司 |
| 主分类号： | G06F16/84 | 分类号： | G06F16/84;H04L29/06 |
| 代理公司： | 深圳市君胜知识产权代理事务所(普通合伙) 44268 | 代理人： | 王永文;刘文求 |
| 地址： | 518052 广东省深圳*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种网络流量数据存储、还原方法及系统，所述存储方法包括：分别独立列式存储添加了时间戳的数据包和数据流，并建立数据流与初始网络数据包的第一映射关系和数据流ID与数据内容的第二映射关系户。基于此存储方法，根据建立的第一映射关系和第二映射关系以及用户设置的查询条件，还原数据流ID，再以此还原初始网络数据包。本发明分别独立存储数据流和数据包，提高了管理能力和缓解了单个存储区间压力，同时通过两层映射关系基于数据流的信息还原数据包，从而提高还原效率和还原准确性，方便用户。 | ||
| 搜索关键词： | 数据流 数据包 映射关系 还原 存储 网络流量数据 初始网络 查询条件 存储区间 独立存储 管理能力 还原效率 数据内容 信息还原 用户设置 时间戳 映射 两层 缓解 | ||
【主权项】：
1.一种网络流量数据存储方法，其特征在于，所述网络流量数据存储方法包括以下步骤：获取流式传输的初始网络数据包；将每一个流式传输的初始网络数据包添加时间戳后进行组合，记为第一网络数据包，存储至第一缓存区；解析所述第一网络数据包，转化并生成数据流存储至第二缓存区，并建立数据流与初始网络数据包的第一映射关系，存储至第一映射表；将每条数据流添加数据流ID，提取数据流中的数据内容信息并分析，同时建立数据流ID与数据内容信息的第二映射关系，存储至第二映射表。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于深圳市酷开网络科技有限公司，未经深圳市酷开网络科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811359243.9/，转载请声明来源钻瓜专利网。
- 上一篇：视频的分类方法、装置、设备及存储介质
- 下一篇：数据导入方法和数据导入装置
- 同类专利
- 一种基于规则的数据标准化方法及系统-201910630119.X
- 严春利;杨波 - 上海熙菱信息技术有限公司
- 2019-07-12 - 2019-10-18 - G06F16/84
- 本发明公开了一种基于规则的数据标准化方法和系统，属于数据处理领域，包括规则管理，转换管理，输出管理，规则管理定义数据标准化规则，转换管理根据规则管理定义的数据标准化规则，将输入数据转换为标准化结构数据，输出管理将标准化结构数据进行持久化输出。本发明可以根据用户标准化需求生成不同规则，规则文件通过配置XML文件实现，简单易懂，新数据接入无需改动方案和进行二次开发，只需要增加对应转换规则，就可以实现不同格式数据的标准化。
- 访问日志解析规则生成方法及装置、日志解析方法及系统-201910315553.9
- 沙章利 - 杭州玳数科技有限公司
- 2019-04-19 - 2019-10-11 - G06F16/84
- 本发明提供了一种访问日志解析规则生成方法及装置、日志解析方法及系统，其中，访问日志解析规则生成方法，包括：获取样本日志；对样本日志进行分析，获取样本日志的字段分隔符；将样本日志按照预设规则进行字段拆分；使用web正则库对样本日志中的各个字段进行正则匹配，得到预设规则的正则序列；从预设规则的正则序列中选取最大出现的正则序列；根据web服务器类型对最大出现的正则序列进行字段映射，生成web服务器访问日志解析规则。由此使得配置简单，可以自动化生成解析规则，适用于主流web服务器访问日志，减少人为编写解析规则的负担。
- 基于XBRL的全球数据标准化平台系统及其构建方法-201610591155.6
- 刘东;唐军;许岩龙;居邦 - 四川长虹电器股份有限公司
- 2016-07-26 - 2019-09-24 - G06F16/84
- 本发明涉及数据标准化处理技术，其公开了一种基于XBRL的全球数据标准化平台系统及其构建方法，高效、便捷地融合各种类型数据，实现数据本地化和全球化。该系统包括：部署于服务器运行的XBRL数据云、XBRL智能报告平台、XBRL数据交换平台、XBRL标准数据交换通道；XBRL数据负责通过抽象数据模型ADM对商业数据进行BIM数据架构设计，XBRL智能报告平台负责使用XDC商业报告数据建立集团扩展分类标准体系GTS，XBRL数据交换平台负责使用XDC中除商业报告数据以外的其他所有数据，按照数据分类建立由XDC到GL分类标准的映射模型，固化数据映射通道，通过XBRL智能引擎XIE解析GL分类标准，自动映射XDC业务数据元素与XBRL GL分类标准元素的关系；XBRL标准数据交换通道，是标准化数据的出口。
- 一种用于文本标记的快速映射方法-201810141846.5
- 淡强强;刘炬光;吴雪军 - 鼎复数据科技（北京）有限公司
- 2018-02-11 - 2019-09-06 - G06F16/84
- 本发明公开了用于文本标记的快速映射方法，所述方法包括：待抽提信息的文档与结构化表格建立对应关系；将文档中待抽提的信息标记提取至格式化表格中，建立映射。本发明提供的用于文本标记的快速映射方法，改变了原有的样本信息人工抽取方式，让操作者尤其是数据标记员的工作效率大大提升；并且标记样本的准确率无限趋近100％。
- 外部动态迁移-201280012137.8
- A·B·迪金森;E·J·布兰德怀恩 - 亚马逊技术股份有限公司
- 2012-03-09 - 2019-08-13 - G06F16/84
- 可以从跨因特网或其它公共网络的多个点通告全局可重新映射地址。可以将全局地址映射到提供商的一个或多个内部地址，使得当将业务接收到网络位置时，提供商可确定要在当前网络位置还是不同的网络位置中处理业务，这可以使用静态过程或基于多个因素的任一个因素的动态过程来确定。如果业务是以不同的网络位置为目的地，则可以将业务重新映射并将其转发到该网络位置。一旦业务处于所确定的目的地网络位置中，则可以将业务重新映射并送达到最终目的地。可以基于多个因素中的任一个因素在任何时间调整重新映射和目的地网络位置，而不会有丢失业务的显著风险。
- 清单下载模板创建方法、装置、终端及可读存储介质-201810622915.4
- 丁志勇 - 中国平安人寿保险股份有限公司
- 2018-06-15 - 2019-07-16 - G06F16/84
- 本发明提供一种清单下载模板创建方法，包括：接收用户基于模板数据配置界面输入的数据格式定义信息，并根据所述数据格式定义信息，生成Excel模板文件；对所述Excel模板文件进行解析，获得XML内容信息；根据所述XML内容信息，创建对应的清单下载模板。本发明还提供一种清单下载模板创建装置、终端及可读存储介质。本发明用户在输入数据格式定义信息之后，无需手工转换格式，也无需用户手工绑定数据变量，即可完成清单下载模板的创建，极大的提高了清单下载模板创建的便捷性和效率。
- 一种融合多源异构电网数据的获取和分布式存储方法-201611177776.6
- 杨祎;苏建军;陈玉峰;郭志红;孟瑜;杜修明;王辉;马强;马艳;李程启;耿玉杰;林颖;白德盟 - 国网山东省电力公司电力科学研究院;国网山东省电力公司;山东鲁能软件技术有限公司;国家电网公司
- 2016-12-19 - 2019-07-12 - G06F16/84
- 本发明公开了一种融合多源异构电网数据的获取和分布式存储方法，包括以下步骤：依据各个业务系统数据特点建立接口协议并建立电网运行环境及设备数据模型规范；配置各业务系统的数据接入策略、配置数据校验规则；监控实时接入应用运行过程中产生的信息，对于监控到的故障信息，对故障期间丢失的数据进行数据补录；建立实时消息队列、数据广播和缓存电网运行数据的格式规范，把解析的在线监测数据、运行数据、雷电数据和气象数据进行广播到并存储到缓存消息队列上，按周期写入Hadoop分布式存储文件；将接入的数据和监控数据进行可视化展示。本发明创建了电网运行环境及设备数据模型规范，为统一电网系统数据建模奠定了基础。
- 数据库表和XML报文的映射处理方法及其系统-201610396661.X
- 姚少扬;孙玉友;靳谊 - 福建榕基软件股份有限公司
- 2016-06-06 - 2019-06-11 - G06F16/84
- 本发明公开了一种数据库表和XML报文的映射处理方法及其系统，方法包括：预设数据库字段与XML报文节点字段的字段映射表；获取目标数据库；在所述目标数据库中提取预设个数的目标数据表；判断目标数据表之间是否存在主子表关系；若是，则确定至少一组的主子表关系；根据字段映射表和主子表关系，生成对应主子表关系组数的XML报文模板，XML报文模板包含主子表之间的层级嵌套关系；根据XML报文模板以及对应的目标数据表，生成对应的XML报文。本发明可实现数据表与XML报文之间的相互转换，减少项目开发、测试、管理的投入成本，提高报文解析效率，且便于管理和维护。
- 一种将XML文件的内容导入数据库的方法和装置-201510697080.5
- 李强 - 江苏国泰新点软件有限公司
- 2015-10-22 - 2019-06-07 - G06F16/84
- 本发明公开了一种将可扩展标记语言XML文件的内容导入数据库的方法和装置。方法包括：采用流方式将XML文件中的XML数据加载到内存中；从内存中的所述XML数据中获取数据并保存到指定数据表中；所述指定数据表的数据存储结构与指定数据库相同；将所述指定数据表中的数据导入所述指定数据库中。该技术方案不仅提升了XML文件在读取时的速度，且具有读取稳定不易崩溃的有益效果，并且在将XML文件中获取到的数据导入到数据库时，先将其保存至与指定数据库的存储结构相同的指定数据表中，从而可以批量提交数据到数据库中，大大缩短了数据库的操作时间，提高了数据的导入效率。
- 网页信息自动录入方法及系统-201510976394.9
- 赵三多;张红卫;赵智多;陈曲;周苡蝶 - 珠海威泓医疗科技有限公司
- 2015-12-21 - 2019-06-04 - G06F16/84
- 本发明公开了网页信息自动录入方法及系统，该方法包括：将目标网页按照网页文档结构生成XML文档；将XML文档转换成对应的数据表，并响应于用户的输入信息，将数据表与本地信息库进行映射后，生成映射字典库；提取本地信息库的数据信息并根据映射字典库的映射关系，将数据信息中的数据内容自动录入到目标网页中；判断本地信息库是否录入完毕，若是，则自动提交到远程后台。本发明可以将本地信息库的数据信息自动录入到目标网页并提交到远程后台，适用范围广、兼容性强、简单高效率且录入准确率高，可广泛应用于网页信息录入领域中。
- 用于管理意见数据的方法和设备-201310737050.3
- 陈超;刘晶晶;马江;丁来强;陈齐彦 - 伊姆西公司
- 2013-12-25 - 2019-05-03 - G06F16/84
- 本发明的各实施例提供了一种用于管理意见数据的方法和设备。在一个实施例中，提供了一种用于管理意见数据的方法。所述方法包括：从一个或多个文本源中获取意见语句；基于所述意见语句提取意见元组，所述意见元组至少包含意见词语和意见目标。所述方法还包括：将所述意见语句、所述意见元组以及所述意见语句对应的源信息相关联地存储，其中所述源信息与从中获取所述意见语句的文本源相关联。通过采用例如XML的存储格式，将从文本源中获取的意见语句、意见元组以及源信息相关联地存储，从而使得存储的意见数据具有一定的关联性，易于对存储的意见数据进行扩展和修改。
- 数据结构的转换方法、装置、计算机设备和存储介质-201811558756.2
- 洪小宇 - 广州天鹏计算机科技有限公司
- 2018-12-19 - 2019-04-19 - G06F16/84
- 本申请涉及一种数据结构的转换方法、装置、计算机设备和存储介质。所述方法包括：获取第一数据结构数据及映射脚本；调用特定应用程序编程接口解析所述映射脚本，获得语法树对象；将所述第一数据结构数据输入至所述语法树对象；遍历所述语法树对象，将所述第一数据结构数据进行转换，生成第二数据结构数据。采用本方法能够实现多种格式的数据结构内部实例间的转换；为多种不同或相同格式的有向无环图的数据结构之间的转换提供了一套全面、灵活且易用的解决方案；没有对源格式、目标格式及转换方向的限制，大大提高了灵活性和泛用性。
- 一种网络流量数据存储、还原方法及系统-201811359243.9
- 赵磊 - 深圳市酷开网络科技有限公司
- 2018-11-15 - 2019-04-12 - G06F16/84
- 本发明公开了一种网络流量数据存储、还原方法及系统，所述存储方法包括：分别独立列式存储添加了时间戳的数据包和数据流，并建立数据流与初始网络数据包的第一映射关系和数据流ID与数据内容的第二映射关系户。基于此存储方法，根据建立的第一映射关系和第二映射关系以及用户设置的查询条件，还原数据流ID，再以此还原初始网络数据包。本发明分别独立存储数据流和数据包，提高了管理能力和缓解了单个存储区间压力，同时通过两层映射关系基于数据流的信息还原数据包，从而提高还原效率和还原准确性，方便用户。
- 一种去除邮件干扰信息的方法以及垃圾邮件判定方法-201610584290.8
- 徐慧灵;纪春来 - 厦门容能科技有限公司
- 2016-07-22 - 2019-04-05 - G06F16/84
- 本发明揭示了一种去除邮件干扰信息的方法以及垃圾邮件判定方法，该去除邮件干扰信息的方法包括：获取邮件中包含的html内容；对html内容执行构建文档对向模型，并对文档对向模型执行以下至少一种或者多种干扰识别处理后将html内容转换为文本信息，所述干扰识别处理包括：颜色块干扰识别处理、字体大小干扰识别处理、表格干扰识别处理；将处理后的文本信息进行内容重组。通过本发明，能够实现对垃圾邮件中所包含的干扰信息与文本信息有效分离，能够精确的识别垃圾邮件中人为封装的各种干扰信息，为后续对邮件判定是否为垃圾邮件提供了准确依据，并能有效的提高对垃圾邮件的拦截及过滤效果。
- 快速写入XBRL实例文档事实值的系统及方法-201510615680.2
- 冯雪梅;李波;许岩龙 - 四川长虹电器股份有限公司
- 2015-09-24 - 2019-03-26 - G06F16/84
- 本发明涉及XBRL分类标准。本发明针对现有技术中将已有系统的数据转换成XBRL实例文档数据需进行手工填写的问题，提供一种快速写入XBRL实例文档事实值的系统，包括业务数据存储模块、数据映射模块、数据选择与匹配模块及XBRL分类标准存储模块；所述业务数据存储模块，用于存储业务表；所述XBRL分类标准存储模块，用于存储XBRL分类标准中的角色表；所述数据映射模块，用于建立业务表与角色表之间的映射关系，并存储；所述映射关系至少包括业务表中每个单元格与角色表中每一元素的映射关系；所述数据选择与匹配模块，用于根据上述映射关系选择每一元素对应的单元格中的数据作为事实值填入实例文档。适用于快速写入XBRL实例文档事实值的方法。
- 移动式作业表单生成方法、装置、设备、存储介质-201811268453.7
- 佟忠正;吴广财;林俊;王泽涌;王哲;洪雨天;伍斯龙;吴赟 - 广东电网有限责任公司;广东电网有限责任公司信息中心
- 2018-10-29 - 2019-02-19 - G06F16/84
- 本发明公开了一种移动式作业表单生成方法、装置、设备及介质，用于解决传统复杂的作业表单难以转化成适配移动设备的作业表单的问题，方法包括：获取HTML格式的作业表单；对所述作业表单的内容中同一tr标签下的td标签进行配对，得到配对结果；利用所述配对结果生成移动式作业表单。由上可知，本发明对HTML格式的作业表单内容中同一tr标签下的td标签进行配对，得到相应的配对结果，并利用配对结果生成移动式作业表单，对内容较多、结构不一致的复杂作业表单同样适用，实现将复杂作业表单转化成适配移动设备的移动式作业表单；进一步利用移动式作业表单携带方便、录入手段丰富的特点，能够提高工作效率，同时使录入的表单信息具备更好的实时性、准确性。
- 管理存储在仓库内的资源之间的关系-201510253214.4
- 拉维·穆尔蒂;埃里克·塞德拉 - 甲骨文国际公司
- 2006-10-10 - 2019-02-15 - G06F16/84
- 本发明涉及管理存储在仓库内的资源之间的关系。本发明提供一种用于管理存储在仓库中的资源之间的关系的方法和设备。客户端向服务器发送将第一资源存储在仓库内的请求。响应于接收到所述请求，所述服务器解析所述第一资源以检索识别将要存储或当前存储在所述仓库内的两个或两个以上资源之间的关系的关系数据。所述服务器将识别所述两个或两个以上资源之间的所述关系的一个或一个以上关系记录存储在所述服务器可存取的数据库内。所述一个或一个以上关系记录与所述两个或两个以上资源分开存储。随后，所述客户端可向所述服务器发出关于存储在所述数据库中的所述一个或一个以上关系记录的询问。以此方式，用户可存取所述一个或一个以上关系记录以分析存储在仓库中的资源之间的所述关系。
- 一种异构系统间业务数据自动同步的实现方法-201610110464.7
- 黄金港;王健 - 浪潮通用软件有限公司
- 2016-02-29 - 2019-02-15 - G06F16/84
- 本发明公开了一种异构系统间业务数据自动同步的实现方法，完成基础数据映射，这里的基础数据包括数据发送方和数据接收方发送接收的源头数据、接收数据两种；同步业务数据调度，数据交互的双方约定集成的业务数据表结构，源头数据与接收数据的表结构字段均需要一一对应；进行接口报文解析，当接收方接收到数据后，对该数据进行解析并通过业务数据映射关系把数据插入到指定的业务数据表结构中，完成数据传输并返回状态字段。本发明的一种异构系统间业务数据自动同步的实现方法与现有技术相比，采用数据源和接收方通过配置的方式实现数据映射，具有操作简单和实施快捷等特点；在数据发布和订阅的传输过程中采用RSA非对称加密算法，保障数据的安全性和准确性，实用性强，易于推广。
- 一种Json数据的存储方法及装置-201510954184.X
- 杨帅 - 浙江大华技术股份有限公司
- 2015-12-17 - 2019-02-12 - G06F16/84
- 本申请涉及数据存储技术，特别涉及一种Json数据的存储方法及装置。用以在内存不充足的环境中，实现Json数据的顺利存储。该方法为：Json数据表被分割处理，分割后获得的Json数据信息和相应的Json摘要信息通过关系索引信息相互关联并形成关系链，再将这些数据经由内存交换区映射至指定的存储区域，这样，能够在内存比较紧张的环境下处理数据节点比较多，内存占用比较大的Json表，不但节省了内存空闲，也未增添系统运行负荷，减少了代码运行期对内存的依赖。
- 一种将类和数据库映射的方法、装置及存储介质-201811298753.X
- 梁锦 - 芜湖智久机器人有限公司
- 2018-11-02 - 2019-02-01 - G06F16/84
- 本发明提供了一种将类和数据库映射的方法、装置及存储介质，包括新建或者导入需要映射成数据库表的类实体，根据需求对所述类实体进行自定义属性，通过反射技术获取类对象的字段及该字段的自定义属性值和根据类实体的字段及该字段的自定义的属性值将相应的类对象映射成数据库表的列。该装置包括类实体创建模块、属性自定义模块、映射关系对应模块、数据库表模块和数据处理模块；本发明采用自定义属性的方法，使类对象的字段可以实现自定义的与数据库的映射关系，采用该方式后，轻量级，开发人员可以快速操作数据库，而且操作数据库不容易出错。
- 一种电路板生产的多源异构数据整理方法-201810794098.0
- 张彩霞;王向东;王新东;吴茂;郭静 - 佛山科学技术学院
- 2018-07-19 - 2019-01-18 - G06F16/84
- 本发明公开了种电路板生产的多源异构数据整理方法，包括：步骤1、制定数据库可识别的EXCEL文档模板；步骤2、从传感器网络中获取电路板生产的多源异构数据；所述多源异构数据包括：EXCEL格式数据、图片格式数据；步骤3、根据所述EXCEL文档模板将所述多源异构数据转变为数据库可识别的EXCEL文档；步骤4、将步骤3得到的数据库可识别的EXCEL文档录入到数据库中。利用EXCEL文档模板作为标准，将多源异构数据根据该模板统一标准化，使得多源异构数据以excel格式统一的存储在数据库中，方便进行数据调用和数据挖掘。该方法可用于工业大数据的处理。
- 一种云数据库的XML文档查询的方法-201710498200.8
- 杨际荣 - 江苏华扬信息科技有限公司
- 2017-06-27 - 2019-01-04 - G06F16/84
- 一种云数据库的XML文档查询的方法：本发明对XML数据的关系存储、路径表达式的查询处理等方面进行了深入的研究和探讨，提出了一种新的利用关系数据库存储和查询XML数据的方法，这种方法将XML文档树中有文本值的节点和无文本值的节点分别存储在两个关系表中，它不关心文档DTD的模式信息，也不需要建立任何索引结构。
- 一种云数据库的数据转换方法-201710498216.9
- 不公告发明人 - 江苏华扬信息科技有限公司
- 2017-06-27 - 2019-01-04 - G06F16/84
- 用XML作为中间转换载体来实现关系数据库中数据在网络上的共享，利用XML加密技术，对XML数据进行加密，实现了XML与关系数据库的安全转换。
- 专利分类
