[发明专利]数据流分片方法、装置、设备及存储介质

说明书

本发明属于大数据技术领域，公开了一种数据流分片方法、装置、设备及存储介质。本发明通过从预设分片字段集中取出第一分片字段、第二分片字段和第三分片字段；根据第一分片字段对待处理数据流进行数据分片，以获得多组第一节点数据流；再通过一级分片节点组及二级分片节点组根据第二分片字段及第三分片字段对待处理数据流进行多次分片，以获得多组第三节点数据流；将多组第三节点数据流分发至三级分片节点组，以获得数据流分片结果。由于对待处理数据流依据多种分片字段进行数据分片，可生成细粒度的分片数据流，可以降低后续处理过程中建模过程复杂度，减少计算开销，提高分析精确性。

技术领域

本发明涉及大数据技术领域，尤其涉及一种数据流分片方法、装置、设备及存储介质。

背景技术

传统的网络安全系统基于网络包处理及流量特征分析，结合特征库和专家系统，能发现并抵御一定的异常行为，但是其对网络传输的数据内容的识别能力不足，对新型攻击行为的甄别响应迟缓，而基于大数据处理系统开发的网络安全系统，因其新鲜度高、分析能力强且响应迅速，基于大数据处理系统开发的网络安全系统成为了网络安全应用的大力发展方向。

大数据处理系统可以分为两类：批处理大数据系统和流处理大数据系统，其中，流处理大数据系统相对批处理大数据系统实时性更高，响应更快速，在网路安全应用领域更适用，但是，现有的流处理大数据系统在一般采用成熟的流处理组件，如Spark Streaming、Storm、Kafka等组件，并基于该组件的原生数据切片能力，对数据流进行简单数据分片，甚至不做数据分片，即转入数据分析过程，该方案虽然一定程度上降低了数据流处理的时延，但是给后续的数据分析过程带来了建模复杂、计算开销大等问题，且牺牲了分析的精确性。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种数据流分片方法、装置、设备及存储介质，旨在解决现有技术由于数据流分片粒度较大，从而导致数据困难的技术问题。

为实现上述目的，本发明提供了一种数据流分片方法，所述方法包括以下步骤:

从预设分片字段集中取出第一分片字段、第二分片字段和第三分片字段，所述预设分片字段集中包括应用协议、目标IP地址和源IP地址；

根据所述第一分片字段对待处理数据流进行数据分片，以获得多组第一节点数据流；

通过一级分片节点组根据所述第二分片字段对各组第一节点数据流分别进行数据分片，以获得多组第二节点数据流；

通过二级分片节点组根据所述第三分片字段对各组第二节点数据流分别进行数据分片，以获得多组第三节点数据流；

将多组所述第三节点数据流分发至三级分片节点组，以获得数据流分片结果。

可选的，所述从预设分片字段集中取出第一分片字段、第二分片字段和第三分片字段的步骤，包括：

从预设字段集中取出应用协议、目标IP地址和源IP地址；

将所述应用协议作为第一分片字段，将所述目标IP地址作为第二分片字段，将所述源IP地址作为第三分片字段。

可选的，所述从预设分片字段集中取出第一分片字段、第二分片字段和第三分片字段的步骤之前，还包括：

获取预设三级节点数量及待处理数据流对应的应用协议枚举量与业务服务地址枚举量；

根据所述应用协议枚举量创建一级分片节点组，根据所述应用协议枚举量及所述业务服务枚举量创建二级分片节点组，根据所述预设三级节点数量创建三级分片节点组。

可选的，所述将多组所述第三节点数据流分发至三级分片节点组，以获得数据流分片结果的步骤之前，还包括：