[发明专利]一种数据清洗方法、装置及设备

摘要

本发明实施例提供了一种数据清洗方法、装置及设备，该方法包括：确定待清洗数据对应的网页中已获得网页数据的第一目标网页；判断待清洗数据对应的网页中是否存在与第一目标网页存在依赖关系的第二目标网页；如果存在，判断是否已获得第二目标网页的网页数据；如果已获得，对第一目标网页的网页数据进行清洗；如果未获得，记录第一目标网页和第二目标网页之间的依赖关系，并在对第二目标网页的网页数据进行清洗时，根据依赖关系确定第一目标网页，并在已获得与第一目标网页存在依赖关系的所有网页的网页数据的情况下，对第一目标网页的网页数据进行清洗。应用本发明实施例提供方案清洗数据时，能够提高数据清洗的效率。

主权项

1.一种数据清洗方法，其特征在于，所述方法包括：确定待清洗数据对应的网页中已获得网页数据的网页，作为第一目标网页；根据所述第一目标网页的网页数据，判断所述待清洗数据对应的网页中是否存在与所述第一目标网页存在依赖关系的第二目标网页；在存在所述第二目标网页的情况下，判断是否已获得所述第二目标网页的网页数据；如果已获得，对所述第一目标网页的网页数据进行清洗；如果未获得，记录所述第一目标网页和所述第二目标网页之间的依赖关系，并在对所述第二目标网页的网页数据进行清洗时，根据所述依赖关系确定所述第一目标网页，并在已获得与所述第一目标网页存在依赖关系的所有网页的网页数据的情况下，对所述第一目标网页的网页数据进行清洗。