[发明专利]网络溯源系统及其数据处理方法、计算机存储介质

权利要求书

1.一种网络溯源系统的数据处理方法，所述网络溯源系统基于HDFS进行数据存储，其特征在于，所述方法包括：

将所述网络溯源系统划分为用户层、预处理层与存储层，所述用户层用于生成所述溯源系统底层抓取的数据文件；所述存储层包括基于HDFS的NameNode和至少两个DataNode；

将所述预处理层设于所述用户层与所述存储层之间，并在数据文件的存储过程中，由所述预处理层执行下述步骤：

步骤S1、将所述用户层抓取的至少两个小数据文件合并成一个大文件并生成对应的SMI索引，所述SMI索引表征合并后的大文件名称与被合并的各个小文件的名称、大小及偏移量之间的关系；以及

步骤S2、在将合并后的所述大文件上传成功后，根据合并文件块的位置元数据信息生成MDI索引，所述MDI索引表征所述大文件名称与存储所述大文件的DataNode的对应关系；

步骤S3、将所述SMI索引与所述MDI索引缓存在所述NameNode上，以及将所述SMI索引缓存在相对应的DataNode上；

相对应地，在数据文件的存储过程中，所述存储层还配套执行下述步骤：

步骤S10、将所述合并文件块的位置元数据信息从所述NameNode内存转移到各对应的分布式DataNode内存上；

在读取数据时，所述方法还包括：

步骤S100、所述用户层向所述NameNode发送第一读取文件请求，所述第一读取文件请求携带目标小文件的名称；

步骤S200、所述NameNode根据所述第一读取文件请求、缓存的SMI索引和MDI索引向用户层返回目标小文件所对应的DataNode地址信息；

步骤S300、所述用户层根据所述DataNode地址信息发送第二读取文件请求，所述第二读取文件请求携带目标小文件的名称；

步骤S400、所述DataNode根据所述第二读取文件请求、缓存的SMI索引及合并文件块的位置元数据信息查找目标小文件的内容，并返回给所述用户层。

2.根据权利要求1所述的网络溯源系统的数据处理方法，其特征在于，还包括：

所述预处理层在将合并后的所述大文件上传成功后，在本地删除所述大文件。

3.根据权利要求1或2所述的网络溯源系统的数据处理方法，其特征在于，还包括：

所述预处理模块将合并后的所述大文件以创建时间命名，并在HBase数据库中保存及更新所述大文件的时间戳信息，当所述大文件对应的时间戳信息达到预设的存储时效时，在所述存储层删除所述大文件及相关的SMI索引和MDI索引信息。

4.根据权利要求3所述的网络溯源系统的数据处理方法，其特征在于，还包括：

对所述SMI索引和所述MDI索引在所述HBase数据库中备份，备份格式为：key,vaule；其中，key表示合并大文件的名称，value包括按合并顺序来的小文件名称、大小、合并大文件的名称、合并文件块的位置元数据。

5.根据权利要求4所述的网络溯源系统的数据处理方法，其特征在于，还包括：

所述预处理层设有缓存池，并设有从所述缓存池提取文件进行合并的均衡策略。