[发明专利]生成文档摘要的方法和装置

摘要

本发明涉及一种生成文档摘要的方法，包括对文档集进行预处理并通过潜在狄利克雷模型或者向量空间模型对词表集合进行处理，得到每个词汇对应的权重，将句子集合中每个句子对应的所有词汇权重相加，得到对应的内部信息量得分，根据预设相似度阈值，确定每个句子对应的相似句及相似句数量，计算得到对应的重要性得分，将每个句子的相似句数量与每个句子的所有相似句各自对应的相似句数量进行比较，计算得到每个句子的多样性得分，进而计算得到每个句子的综合性得分，最后根据每个句子的综合性得分和预设的摘要长度进行筛选并生成文档摘要。此外还提供一种生成文档摘要的装置。上述生成文档摘要的方法和装置，从整体上降低了摘要的冗余度。

主权项

1.一种生成文档摘要的方法，所述方法包括：对文档集进行预处理，得到所述文档集对应的句子集合以及词表集合；通过潜在狄利克雷模型或者向量空间模型对所述词表集合进行处理，得到所述词表集中每个词汇对应的权重；将所述句子集合中每个句子对应的所有词汇权重相加，得到所述句子集合中每个句子的内部信息量得分；计算所述句子集合中两两句子间的相似度值，并根据预设的相似度阈值，确定所述句子集合中每个句子对应的相似句及相似句数量，并根据所述相似句数量计算得到所述句子集合中每个句子对应的重要性得分；依次获取所述句子集合中的每个句子作为当前处理句，将所述当前处理句的相似句数量与所述当前处理句的所有相似句各自对应的相似句数量加入同一个比较集合中，查找得到所述比较集合的最大值，并将所述比较集合的最大值对应句加入多样性参考集合；根据所述句子集合和所述多样性参考集合，计算所述句子集合中每个句子的多样性得分；根据所述内部信息量得分、所述重要性得分和所述多样性得分计算所述句子集合中每个句子的综合性得分；根据所述综合性得分和预设的摘要长度，将所述句子集合中的所有句子进行筛选生成文档摘要。