[发明专利]日志分类规则的生成方法、装置、设备及可读存储介质

说明书

本发明公开了一种日志分类规则的生成方法、装置、设备及可读存储介质，涉及金融科技领域，该方法包括步骤：当获取到待分类日志，对待分类日志进行预处理，以确定待分类日志对应的日志类别，并确定各个日志类别对应的日志集合；在日志集合中读取一个日志数组确定为目标数组，并计算目标数组与日志集合中的其它日志数组之间的第一差值；根据第一差值确定日志集合对应的第一信息模板，并检测是否只存在一种第一信息模板；若检测到只存在一种第一信息模板，则根据第一信息模板确定日志集合对应的特征数组，并根据特征数组和日志类别对应的类别数据生成日志的分类规则。本发明简化了分类规则的生成流程，以及提高了分类规则的生成效率。

技术领域

本发明涉及金融科技(Fintech)的数据处理技术领域，尤其涉及一种日志分类规则的生成方法、装置、设备及可读存储介质。

背景技术

随着金融科技，尤其是互联网科技金融的不断发展，越来越多的技术(如分布式、大数据、区块链Blockchain、人工智能等)应用在金融领域，但金融业也对技术提出了更高的要求，如在金融领域，当通过交换机、路由器和防火墙等实现线上金融交易时，需要对交易过程中产生的日志进行分类。

在线上交易过程中，在交换机、路由器和防火墙等网络设备中会产生文本记录，该文本记录就是日志。各网络设备厂商依据内部标准，将交换机、路由器和防火墙等网络设备运行期间遇到的事件记为日志，一般每一行日志描述某个时间点某个对象最新的状态。因为描述每类事件的句子格式不一致，且同类事件在不同设备型号上的句子格式也可能不一致，所以日志是结构不规则的非结构化数据。非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据，比如各类文本。

目前常用的日志分类方法有如下两种，第一种是依据网络设备厂商和型号，人工分析网络设备的日志数据，然后定义每一类事件的正则表达式规则，由预先设置好的程序按照定义的正则表达式规则对日志进行分类。第二种是利用文本相似度算法计算每行日志样本之间的相似度，相似度大于设定值的为同类样本，利用同类样本生成分类所需的正则表达式规则，最后依据正则表达式规则对日志进行分类。第一种日志分类方法需要人工分析日志并定义分类所需的正则表达式，工作量大，日志分类成本高，正则表达式规则生成效率低下；第二种日志分类方法的正则表达式来自日志样本，而分类依赖日志样本之间相似度的设定值，该方法只能通过设定值间接干预分类所需的正则表达式规则，生成正则表达式规则的过程繁琐。

由此可知，目前生成日志分类所需的正则表达式规则过程繁琐，效率低下。

发明内容

本发明的主要目的在于提供一种日志分类规则的生成方法、装置、设备及可读存储介质，旨在解决现有的生成日志分类所需的正则表达式规则过程繁琐，效率低下的技术问题。

为实现上述目的，本发明提供一种日志分类规则的生成方法，所述日志分类规则的生成方法包括步骤：

当获取到待分类日志，确定所述待分类日志对应的日志类别，并确定各个日志类别对应的日志集合；

在所述日志集合中读取一个日志数组确定为目标数组，并计算所述目标数组与所述日志集合中的其它日志数组之间的第一差值；

根据所述第一差值确定所述日志集合对应的第一信息模板，并检测是否只存在一种所述第一信息模板；

若检测到只存在一种所述第一信息模板，则根据所述第一信息模板确定所述日志集合对应的特征数组，并根据所述特征数组和所述日志类别对应的类别数据生成日志的分类规则。

优选地，所述根据所述第一差值确定所述日志集合对应的第一信息模板，并检测是否只存在一种所述第一信息模板的步骤之后，还包括：

若检测到存在至少两种所述第一信息模板，则依次读取所述日志集合中除所述目标数组外的其它日志数组作为待计算数组；