[发明专利]一种海量安全日志信息过滤方法及装置

权利要求书

1.一种海量安全日志信息过滤方法，其步骤包括：

1)提取安全日志信息的特征序列；

2)根据黑白名单对所述特征序列进行标注，利用标注好的特征序列训练向量表示模型；

其中，将根据黑白名单无法标注的特征序列称为灰度数据；

3)利用训练好的向量表示模型，对所述灰度数据进行向量表示，得到各所述灰度数据对应的向量；

4)计算每一所述灰度数据i对应的向量与各标注为白名单的特征序列对应的向量之间的距离d；如果该距离d小于设定阈值，则过滤掉所述灰度数据i对应的安全日志。

2.如权利要求1所述的方法，其特征在于，所述特征序列包括日志对应主体的内容特征、行为特征。

3.如权利要求2所述的方法，其特征在于，所述内容特征为日志主体本身的属性信息，包括域名长度、TLD，主机IP地址的网段、所属国家，用户的身份、权限；所述行为特征为日志中记录的行为信息，包括域名解析行为、用户发起请求方式以及服务器响应状态。

4.如权利要求1所述的方法，其特征在于，采用欧几里得距离计算公式、曼哈顿距离计算公式或切比雪夫距离计算公式计算所述距离d。

5.如权利要求1所述的方法，其特征在于，将标注好的特征序列输入到孪生神经网络中，训练得到所述向量表示模型。

6.如权利要求5所述的方法，其特征在于，在所述孪生神经网络的三重损失函数上应用梯度下降算法，通过三个样本计算所述三重损失函数d(A,P)+α≤d(A,N)；其中，d(A,P)为标注样本A与正样本P之间的距离，d(A,N)为标注样本A与负样本N之间的距离，α为一个超参数，用于防止不同的样本学习出相同的向量。

7.一种海量安全日志信息过滤装置，其特征在于，包括特征序列提取模块、标注模块、向量表示模型训练模块、向量生成模块、距离计算模块和过滤模块；其中，

所述特征序列提取模块，用于从安全日志信息中提取特征项作为安全日志信息的特征序列；

所述标注模块，用于根据黑白名单对所述特征序列进行标注，其中，将根据黑白名单无法标注的特征序列称为灰度数据；

所述向量表示模型训练模块，用于利用标注好的特征序列训练得到向量表示模型；

所述向量生成模块，用于利用训练好的向量表示模型，对所述灰度数据进行向量表示，得到各所述灰度数据对应的向量；

所述距离计算模块，用于计算每一所述灰度数据i对应的向量与各标注为白名单的特征序列对应的向量之间的距离d；

所述过滤模块，用于比较该距离d与设定阈值的关系，如果该距离d小于设定阈值，则过滤掉所述灰度数据i对应的安全日志。

8.如权利要求7所述的装置，其特征在于，所述特征序列包括日志对应主体的内容特征、行为特征；所述内容特征为日志主体本身的属性信息，包括域名长度、TLD，主机IP地址的网段、所属国家，用户的身份、权限；所述行为特征为日志中记录的行为信息，包括域名解析行为、用户发起请求方式以及服务器响应状态。

9.如权利要求7所述的装置，其特征在于，所述向量表示模型训练模块将标注好的特征序列输入到孪生神经网络中，训练得到所述向量表示模型；在所述孪生神经网络的三重损失函数上应用梯度下降算法，通过三个样本计算所述三重损失函数d(A,P)+α≤d(A,N)；其中，d(A,P)为标注样本A与正样本P之间的距离，d(A,N)为标注样本A与负样本N之间的距离，α为一个超参数，用于防止不同的样本学习出相同的向量。

10.如权利要求7所述的装置，其特征在于，所述距离计算模块采用欧几里得距离计算公式、曼哈顿距离计算公式或切比雪夫距离计算公式计算所述距离d。