[发明专利]一种存储日志的方法、装置

说明书

本申请公开了一种存储日志的方法、装置，该方法包括：确定第一日志库中目标类别的日志的存储状况达到或超过存储阈值，其中，所述第一日志库存储至少两个类别的日志；将属于所述目标类别的日志存储至专用于存储所述目标类别的日志的第二日志库中。通过使用该方法，可根据日志的存储状况对日志的存储方式进行调整，避免对各类别的日志分别使用独立的日志库造成的成本高、以及避免将多类别的日志存储至共享的日志库中造成数据分布不均匀。

技术领域

本申请涉及计算机存储领域，具体涉及一种存储日志的方法。本申请同时涉及一种存储日志的装置、一种电子设备以及一种计算机可读取存储介质。本申请还涉及一种数据处理方法。

背景技术

对大批量的日志进行存储的一种基本方法是分片存储，该过程是通过预定的分配规则将不同类别的日志分配到不同的日志库中进行存储，日志库指的是能够提供日志查询功能的日志的最终存储地点，其可以为单独的数据库，也可以为日志搜索服务器。常见的分片存储方式主要包括如下两种：

方案1：为每一类别的日志创建独立的日志库，单一类别的日志数据固定写入独立的日志库。

方案2：固定创建一定数量的日志库，为每个类别的日志选择用于进行存储的日志库，可实现将多种类别的日志数据存储至一个共享日志库中。

上述两种方案均存在一定的缺陷，具体为：

方案1中对每一类别的日志均对应独立的日志库，其成本较高。独立的日志库对应独立的机器及磁盘，其维护成本较高；并且，每一类别的日志均对应固定的成本，对于某些数据量较小的类别的日志，存在一定的资源浪费。

上述方案2的缺点是将不同类别的日志数据存储至一个共享日志库中，不同类别的日志的数据量不同，某些类别的日志的数据量显著高于其它类别的日志的数据量，例如，SaaS(软件即服务，Software-as-a-Service)化的服务中通常一些大客户所产生的日志量显著高于其他用户，因此造成共享日志库中数据分布不均匀，从而影响日志库中各类别日志的查询性能。

发明内容

本申请提供一种存储日志的方法，以解决现有独立的日志库的成本高、以及共享日志库中数据分布不均匀的问题。本申请另外提供一种存储日志的装置、一种计算机可读取存储介质以及一种电子设备。本申请还提供一种数据处理方法。

本申请提供一种存储日志的方法，该方法包括：

确定第一日志库中目标类别的日志的存储状况达到或超过存储阈值；其中，所述第一日志库存储至少两个类别的日志；

将属于所述目标类别的日志存储至专用于存储所述目标类别的日志的第二日志库中。

优选的，所述将属于所述目标类别的日志存储至专用于存储所述目标类别的日志的第二日志库中，包括：

将新获取的所述目标类别的日志存储至专用于存储所述目标类别的日志的第二日志库中。

优选的，还包括：

将新获取的所述目标类别的日志存储至所述第一日志库中；

若所述第二日志库中存储日志的时长达到或超过日志的最大保存时长，则只将新获取的所述目标类别的日志存储至所述第二日志库中。

可选的，所述将新获取的所述目标类别的日志存储至所述第二日志库中，包括：

确定用于定位到所述第二日志库的定位信息；

根据所述定位信息将所述新获取的所述目标类别的日志存储到所述第二日志库。

可选的，还包括：

将存储在所述第一日志库中的目标类别的日志存储至所述第二日志库中。