[发明专利]应用在重复数据删除的基于内容分块方法、系统及介质

摘要

本发明公开了一种应用在重复数据删除的基于内容分块方法、系统及介质，其中方法包括：获取需分块存储的文件，将文件读取成字节流；在所述字节流上划分固定窗口，根据固定窗口更新极大值和极小值；在字节流上，采用多步长方式移动滑动窗口；比较滑动窗口中字节值与极大值和极小值之间的大小关系，判断是否满足切点条件，若满足，截断字节流，获得块；反之，返回移动滑动窗口；获取块的第一指纹值，根据所述第一指纹值对块进行存储；其中，存储系统中各块对应的指纹值不同。本发明基于内容分块，有效解决了字节偏移问题，实现了更高的重复数据删除率。本发明可广泛应用于备份系统、云存储系统以及文件增量同步等领域。