[发明专利]稀缺信息页面的筛选方法和装置

权利要求书

1.一种稀缺信息页面的筛选方法，包括：

对搜索引擎抓取的页面作分词处理，生成多个分词；

在所述多个分词中查找稀缺词；

筛选出包含所述稀缺词的页面作为稀缺信息页面。

2.根据权利要求1所述的方法，其中，在所述多个分词中查找稀缺词，包括：

对于每个分词，查找索引中包含该分词的页面的数量；

确定对应的页面数量小于第一数量阈值的分词，标记为稀缺词。

3.根据权利要求1-2任一项所述的方法，其中，确定对应的页面数量小于第一数量阈值的分词，标记为稀缺词，包括：

确定对应的页面数量小于第一数量阈值、且大于第二数量阈值的分词，标记为稀缺词，其中，所述第二数量阈值小于第一数量阈值。

4.根据权利要求1-3任一项所述的方法，其中，在所述多个分词中查找稀缺词，包括：

对于每个分词，确定包含该分词的页面的数量；

根据确定的数量，计算每个分词的逆向文件词频IDF值；

在所述多个分词中查找IDF值大于指定数值阈值的分词，标记为稀缺词。

5.根据权利要求1-4任一项所述的方法，其中，对于每个分词，确定包含该分词的页面的数量之前，还包括：

计算所述多个分词中每个分词在各自所在页面中的出现频率；

在所述多个分词中，过滤掉出现频率大于指定频率阈值的分词。

6.根据权利要求1-5任一项所述的方法，其中，对搜索引擎抓取的页面作分词处理，包括：

抽取搜索引擎抓取的页面的内容文本；

对抽取的内容文本作分词处理。

7.根据权利要求1-6任一项所述的方法，其中，所述稀缺词包括下列至少之一：人名、地名、物名、商品型号。

8.根据权利要求1-7任一项所述的方法，其中，筛选出包含所述稀缺词的页面作为稀缺信息页面之后，还包括：

对所述稀缺信息页面进行筛选处理；

将筛选处理后的稀缺信息页面建立索引，以供搜索引擎向用户提供检索稀缺信息的服务。

9.根据权利要求1-8任一项所述的方法，其中，所述筛选处理的方式包括下列至少之一：去垃圾、去重、反作弊。

10.一种稀缺信息页面的筛选装置，包括：

分词生成器，适于对搜索引擎抓取的页面作分词处理，生成多个分词；

稀缺词查找器，适于在所述多个分词中查找稀缺词；

稀缺信息页面筛选器，适于筛选出包含所述稀缺词的页面作为稀缺信息页面。