[发明专利]基于海量数字图书的知识脉络自动构建方法

摘要

本发明公开了一种基于海量数字图书的知识脉络自动构建方法；将数字图书的元数据信息存储到Lucene索引文件中，如果用户检索主题q，则可获得q相关的图书集合；通过加权的word2vec方法计算目录标题之间的相似度，通过自底向上的凝聚型层次聚类算法对q相关教科书的一级目录进行聚类得到知识单元集合；根据图书中章节之间的偏序关系构建知识单元之间的连接关系，最终构建完整的知识图；从知识图中挖掘出TOP K条重要、有序且冗余小的学习路径，将学习路径构成的知识脉络仿照地铁图的形式进行可视化展示。本发明首次提出了一个基于海量数字图书的摘要提取框架，该框架提取出的知识脉络能够综合考虑信息度、流畅度和覆盖度，能够方便用户快速高效地进行知识学习。

主权项

1.一种基于海量数字图书的知识脉络自动构建方法，其特征在于，包括以下步骤：1)图书预处理：将数字图书的元数据信息存储到Lucene索引文件中；用XML解析器将目录的结构解析出来，并清洗目录标题中的冗余信息；2)知识单元构建：对于用户检索主题q，从步骤1)中构建的Lucene索引中查询出相关图书集合，将相关图书的所有一级目录标题进行分词处理，通过word2vec方法得到词语的向量表示，对目录标题中的主题词和描述词分别赋予不同的权重，最终用加权的方式计算目录标题之间的相似度；通过自底向上的凝聚型层次聚类算法对q相关图书的目录进行聚类得到知识单元集合；3)知识图构建：用步骤2)中构建的知识单元作为结点，用图书中章节之间的偏序关系构建结点之间的邻接关系构成有向图，即知识图；4)学习路径选择：使用动态规划算法遍历步骤3)得到的知识图，得到所有的学习路径，引入信息度和流畅度计算公式，信息度衡量路径中是否包含重要的结点和重要的结点对，知识单元对{o_i,o_i+1}的信息度w(o_i,o_i+1)计算公式如下：其中，freq(o_i)指知识单元o_i中包含的目录数，dif(b,i)指知识单元o_i和o_i+1中同属于书b中的两个目录之间的距离，如果两个目录和在同一本书b中，且它们又分别属于知识单元o_i和o_i+1，那么表示目录在书b中的相对位置，否则，dif(b,i)＝∞；B_q表示用户检索主题q相关的图书集合；路径的信息度I(p_i)计算公式如下：其中，|p_i|为路径p_i的长度，s为路径开始，e为路径结束；流畅度衡量学习路径中知识单元之间顺序的质量，对于路径使用语言模型来计算其流畅度F(p_i)，计算公式如下：其中，p(o_i|o_i‑2o_i‑1)指给定o_i‑2o_i‑1的情况下出现o_i的概率，c(o_i‑2o_i‑1o_i)指知识单元o_i‑2，o_i‑1，o_i同时出现的次数；路径p_i的打分s(p_i)＝I(p_i)·F(p_i)，用整数线性规划优化框架选择最好的TOP K条学习路径，求解器的目标函数如下：其中，|P_q|表示用户检索主题q相关的路径集合P_q的数量，d_i是一个二进制变量，取值为0或1，取决于路径p_i是否被选择；约束条件如下：a)确保只有不超过K条路径被选择：b)如果两条路径的相似度sim(p_i,p_j)大于等于阈值那么只有一条可以被选择，即：其中，sim(p_i,p_j)使用jaccard相似度公式计算；最终，从知识图中挖掘出TOP K条重要、有序且冗余小的学习路径；5)知识脉络可视化：将步骤4)选择出的学习路径构成的知识脉络进行可视化展示。