[发明专利]基于主题模型的文章特征抽取方法

摘要

本发明提供了一种基于主题模型的文章特征抽取方法，包括：基于原始语料库构建文章的引用关系网络，构建主题模型的生成模型和参数联合表达式，根据所述生成模型构建主题模型的推断过程，对新语料库采样文章，根据采样文章的采样结果提取文章参数。本发明使用了文章引用网络以扩展传统的主题模型，从而提取出更加精确的文章特征。

主权项

1.一种基于主题模型的文章特征抽取方法，其特征在于，包括：步骤A：基于原始语料库构建文章的引用关系网络，设定初始文章集合并根据引用关系网络得到新语料库；步骤B：针对新语料库，构建主题模型的生成模型和参数联合表达式；步骤C：根据所述生成模型构建主题模型的推断过程；步骤D：根据主题模型的推断过程，对新语料库采样文章；步骤E：根据采样文章的采样结果提取文章参数；所述步骤B包括：步骤B1：对新语料库的各个主题，执行如下步骤：基于狄利克雷超参数β生成第k个主题到词的分布的多项式参数其中，β是所服从的狄利克雷分布的参数；k为正整数；步骤B2：对新语料库的各篇文章，执行如下步骤：基于狄利克雷超参数α生成第m篇文章到主题的分布的多项式参数θm；其中，α是θm所服从的狄利克雷分布的参数；m为正整数；基于狄利克雷超参数η生成第m篇文章的引用强度分布的多项式参数δm；其中，η是δm所服从的狄利克雷分布的参数；基于贝塔分布的超参数组生成第m篇文章的原创指数的伯努利参数λ_m；其中，是λ_m所服从的贝塔分布的参数；步骤B3：对各篇文章中的各个词执行如下步骤：生成服从伯努利参数为λm的伯努利分布的第m篇文章的第n个词的原创指数sm，n；n为正整数；‑如果s_m，n为1，则生成服从参数为δ_m的多项式分布的引用文章c_m,n，生成服从参数为的多项式分布的主题z_m,n，生成服从参数为的多项式分布的词w_m,n；‑如果s_m,n为0，则生成服从参数为θ_m的多项式分布的主题z_m,n，生成服从参数为的多项式分布的词w_m,n；其中，表示矩阵θ对应c_m,n的行向量，表示矩阵对应z_m,n的行向量；θ表示文章到主题的分布矩阵，表示主题到词的分布矩阵，w_m,n代表第m篇文章中的第n个词，z_m,n代表第m篇文章中的第n个词的主题，c_m,n代表第m篇文章中的第n个词且该第n个词是非原创词所引用文章；步骤B4：构建主题模型的联合概率分布如下：其中，p(A|B)表示B条件下A的概率，符号→表示向量；为主题到词的分布，为文章到主题的分布，为文章的引用的分布，为文章中原创词的分布，为第k个主题下的词频，K表示主题数量，为第m篇文章下主题的频数，M为文章数量，为第m篇文章的引用的频数，为第m篇文章中非原创词的频数，为第m篇文章中原创词的频数；B(p,q)表示参数为p和q的贝塔分布；△(·)定义为：其中，为向量的维数，Γ为Gamma函数，A_k表示向量的第k个分量；所述步骤C包括：步骤C1：采用如下吉布斯采样公式进行参数估计：其中，表示向量去除z_m,n对应的分量；符号∝表示正比于；代表主题z_m,n下，词w_m,n出现的频数；表示向量中w_m,n对应的分量；V表示总词数；表示z_m,n中第t个词出现的频数；β_t表示向量的第t个分量；表示c_m,n中主题为z_m,n且s_m,n＝0的词的频数；表示c_m,n中主题为z_m,n且s_m,n＝1的词的频数；表示向量的z_m,n对应的分量；表示c_m,n中主题为第k个主题且s_m,n＝0的词的频数；表示c_m,n中主题为第k个主题且s_m,n＝1的词的频数；α_k表示向量的第k个分量；表示向量去除c_m,n对应的分量；表示第m篇文章中来自c_m,n的词数，表示向量的c_m,n对应的分量；L_m表示第m篇文章总共引用文章的数目；表示第m篇文章中来自第r篇被引用的文章的词数；η_r表示向量的第r个分量；表示向量去除s_m,n对应的分量；表示表示代表第m篇文章中所有非原创的词的频数；代表所有原创的词的频数；表示第m篇文章中主题为z_m,n且s_m,n＝0的词的频数；表示第m篇文章中主题为z_m,n且s_m,n＝1的词的频数；表示表示第m篇文章中主题为第k个主题且s_m,n＝0的词的频数；表示表示第m篇文章中主题为第k个主题且s_m,n＝0的词的频数；代表第m篇文章中所有非原创的词的频数，代表第m篇文章中所有原创的词的频数。