[发明专利]一种云化架构下的记录数据剔重处理方法及系统

摘要

本发明涉及一种云化架构下的记录数据剔重处理方法及系统，属于记录数据剔重处理领域，能对记录数据进行高速剔重处理和较长时间保存。本发明将收到的记录数据分为及时记录数据和迟到记录数据，将及时记录数据插入分布式内存数据库且提取关键信息建立索引数据，剔除重复记录后，输出为及时记录出口文件给下游使用，并将及时记录数据的索引数据导入HBASE数据库中；将迟到记录数据及对应的索引数据插入HBASE数据库，根据HBASE数据库中的索引数据剔除重复记录后，将非重复的迟到记录数据输出为迟到记录出口文件给下游使用。用于在数据接收时间跨度大的情况下对记录数据进行高速剔重处理。

主权项

1.一种云化架构下的记录数据剔重处理方法，其特征在于，包括以下步骤：/nS1，根据预先设定的发生时间与收到时间的间隔范围，将从上游收到的记录数据分为及时记录数据和迟到记录数据；/nS2，将从上游收到的及时记录数据插入分布式内存数据库，提取及时记录数据的关键信息作为索引数据保存到分布式内存数据库中的索引表，剔除重复记录后将被保留的及时记录数据输出为及时记录出口文件给下游使用，并将对应的索引数据输出至及时记录索引文件,所述剔除重复记录的过程包括：将所述从上游收到的及时记录数据插入所述分布式内存数据库，根据该次插入操作的返回值判断该及时记录数据是否为重单，若是重单，则将该及时记录数据输出到重单文件，若不是重单，则将该及时记录数据作为被保留的及时记录数据进行后续处理；/nS3，根据S1中预先设定的发生时间与收到时间的间隔范围,按发生时间段将S2中输出的及时记录索引文件中的索引数据导入HBASE数据库；/nS4，在及时记录索引文件导入HBASE数据库的状态为已完成后，将从上游收到的迟到记录数据插入HBASE数据库，提取迟到记录数据的关键信息作为索引数据保存到HBASE数据库；/nS5，在HBASE数据库中对迟到记录数据进行剔除重复记录，将非重复的迟到记录数据输出为迟到记录出口文件给下游使用。/n