[发明专利]数据存储监控方法

摘要

本发明提供了一种数据存储监控方法，该方法包括：将原始数据流中的报头信息上传到分布式文件存储系统中，再利用Samza计算平台以源服务器IP为键，以网络数据流属性信息为值，对数据报文进行聚类分析，以对数据量进行监控。本发明提出了一种数据存储监控方法，适应面向不同数据集和响应要求的安全事件监控需求，很好地解决实时性和监控效率之间的平衡问题。

主权项

1.一种数据存储监控方法，其特征在于，包括：将原始数据流中的报头信息上传到分布式文件存储系统中，再利用Samza计算平台以源服务器IP为键，以网络数据流属性信息为值，对数据报文进行聚类分析，以对数据量进行监控；所述方法进一步包括：针对网络原始数据流，对数据包进行捕获，然后将数据流报头信息剥离，对于直接能够应用条件过滤对数据流进行过滤的非正常数据流，在进入计算处理过程之前，即上传到分布式文件存储系统之前对数据进行过滤判断，将结果存储在分布式文件存储系统上；将聚类结果存储进入学习库，作为下次分类的依据，将监控结果存入数据库，分别用于阈值分析、非正常监控和数据显示；在数据流监控中，通过聚类算法构建数据流类型集合，对存在于学习库中的集合进行分类划分，从而发现网络中存在的攻击；其中，在将原始数据流上传到分布式文件存储系统中之前，将部分报头信息正则化并存储后，形成聚类分析的输入数据向量；以源服务器ip和目标端口为关键字，选取流量属性作为聚类分析的输入属性；所述正则化具体包括：a_u＝(a‑a_min)/(a_max‑a_min)其中a_u为正则化结果，a为每个原始数据，a_max‑a_min分别为原始报头数据的最大值和最小值；所述聚类过程具体包括：步骤l：输入属性数据集步骤2：邻近聚类，对每个x，若|x‑m_j|<|x‑m_i|，其中i＝1，2，3...c且i≠j，c为聚类数量，则x∈t_j步骤3：计算聚类中心m_j＝∑_x∈tx j＝1，2，3...c步骤4：计算每个类的平均间距δ_j＝∑_x∈t|x‑m_j|步骤5：计算总体的平均间距δ＝∑_j＝1…cN_jδ_j，其中N_j为第j个类的元素数量；步骤6；计算各个聚类中心之间的距离：δ_ij＝||m_i‑m_j||；步骤7：把小于预设参数e_c的所有距离δ_ij升序排列；步骤8：判断该类是否合并过，若没有被合并过，则对这些类依次合并，即计算合并中心所述对数据量进行监控，进一步包括：步骤1：将数据流从服务器经过初步过滤和计算上传到分布式文件存储系统中，以便集群进行计算；步骤2：通过Samza计算统计数据流；同时对网络原始数据包进行聚类分析；步骤3：将计算结果写入关系数据库，并将聚类结果存储进入学习库，作为下次分类的依据；步骤4：将监控结果存入数据库，分别用于阈值分析、非正常监控和数据显示；数据流中包括源地址、目标地址、源端口、目标端口、协议类型、字节数；所述数据流需要经过统计处理，才能被应用于大规模数据统计。