本发明涉及互联网络人工智能技术和自然语言处理技术领域,具体涉及基于实体相关注意力机制的实体关系联合抽取方法,其包括:获取待处理文本;将待处理文本输入经过预先训练的实体关系联合抽取神经网络模型中;实体关系联合抽取神经网络模型首先识别所述待处理文本中的所有实体;然后将各个实体分别作为目标头实体去识别对应的目标尾实体;最后识别各个目标头实体与对应目标尾实体之间的关系,并根据目标头实体、目标尾实体和相应关系构建对应的三元组;输出所有的三元组。本发明中的实体关系联合抽取方法能够保证实体关系联合抽取关联性并解决重叠关系问题,从而能够提升实体关系联合抽取的效果。
1.基于实体相关注意力机制的实体关系联合抽取方法,其特征在于,包括以下步骤:S1:获取待处理文本;S2:将待处理文本输入经过预先训练的实体关系联合抽取神经网络模型中;所述实体关系联合抽取神经网络模型首先识别所述待处理文本中的所有实体;然后将各个实体分别作为目标头实体去识别对应的目标尾实体;最后识别各个目标头实体与对应目标尾实体之间的关系,并根据目标头实体、目标尾实体和相应关系构建对应的三元组;S3:输出所有的三元组;所述实体关系联合抽取神经网络模型包括编码模块;所述编码模块首先对所述待处理文本进行编码,为所述待处理文本 中的各个单词嵌入词向量;然后通过编码Bi-LSTM捕捉编码后待处理文本的语义特征;最后根据所述编码Bi-LSTM的最后一层隐藏状态生成上下文表示;所述实体关系联合抽取神经网络模型还包括候选头实体识别模块;所述候选头实体识别模块将所述上下文表示作为输入;首先通过候选头实体Bi-LSTM融合和学习所述上下文表示的内部信息,并输出对应的头实体上下文向量表示序列;再将所述头实体上下文向量表示序列输入候选头实体CRF层中,通过所述候选头实体CRF层输出对应的实体类型标签序列;所述实体关系联合抽取神经网络模型根据所述实体类型标签序列识别得到所有的实体;所述实体关系联合抽取神经网络模型还包括多尾实体识别模块;所述多尾实体识别模块将所述上下文表示和识别得到的所有实体作为输入;首先选取对应的实体作为目标头实体,并将对应实体开始处的上下文向量表示作为目标头实体的实体表示;再识别目标头实体对应的目标尾实体;然后通过多尾实体Bi-LSTM融合、学习上下文表示和实体表示的内部信息,并输出对应的尾实体上下文向量表示序列;再将所述尾实体上下文向量表示序列输入多尾实体CRF中,通过所述多尾实体CRF输出对应的头实体和尾实体关系标签序列;所述实体关系联合抽取神经网络模型根据所述头实体和尾实体关系标签序列识别得到目标头实体与对应目标尾实体的关系,并根据目标头实体、目标尾实体和相应关系构建对应的三元组;所述多尾实体识别模块通过如下步骤识别对应的目标尾实体:将所有实体作为候选尾实体;通过如下公式计算各个候选尾实体与目标头实体的实体相关注意力;eik=vTtanh(Waai+Wggi);式中:sk表示实体相关注意力;都是可训练模型参数;根据所述实体相关注意力并结合以下公式,过滤与目标头实体呈负相关的候选尾实体,并将剩余的候选尾实体作为目标头实体对应的目标尾实体;uk=gk⊙tanh(W3sk+b3);式中:都是模型参数;是拼接运算符;⊙是点乘运算符;σ表示sigmoid激活函数;表示第i个单词在目标头实体为k的情况下的隐藏表示;整个文本表示成
本文链接:http://www.vipzhuanli.com/tech/sell/s_2311340.html,转载请声明来源钻瓜专利网。