[发明专利]一种基于Bert的双通道Attention模型的文本情感分析方法

权利要求书

1.一种基于Bert的双通道Attention模型文本情感分析方法，其特征在于，包括：

对文本数据集进行预处理，并通过Bert模型转化为词向量；

将所述词向量分别输入BiLSTM模型和BiGRU模型提取文本的全局特征信息和局部特征信息；

将所述全局特征信息和所述局部特征信息分别输入注意力层，所述注意力层通过配置情感词的权重分值分别对全局特征信息和局部特征信息进行优化，得到全局特征向量和局部特征向量；

融合所述全局特征向量和局部特征向量，输入全连接层；

将全连接层的输出结果输入softmax层进行情感分类，得到情感分类结果。

2.根据权利要求1所述的基于Bert的双通道Attention模型文本情感分析方法，其特征在于：采用爬虫技术获取产品的评论内容，构建所述文本数据集。

3.根据权利要求1所述的基于Bert的双通道Attention模型文本情感分析方法，其特征在于：所述对文本数据集进行预处理，包括：

将不包含情感信息的空格符、标点符号、无法识别的表情符号及链接去除；

将自动好评去除；

将数字和字母大小写统一化；

将文本中的繁体字统一转换成简体字；

将全角字符转为半角字符。

4.根据权利要求1所述的基于Bert的双通道Attention模型文本情感分析方法，其特征在于，将所述词向量通过BiLSTM模型提取文本的全局特征信息，包括：

通过前向LSTM训练前向序列得到前向序列的隐藏状态序列；

通过后向LSTM训练后向序列得到后向序列的隐藏状态序列；

拼接所述前向序列的隐藏状态序列和所述后向序列的隐藏状态序列，得到文本的全局特征信息。

5.根据权利要求4所述的基于Bert的双通道Attention模型文本情感分析方法，其特征在于：所述通过前向LSTM训练前向序列得到前向序列的隐藏状态序列和所述通过后向LSTM训练后向序列得到后向序列的隐藏状态序列；均包括：

遗忘门计算：f_t＝σ(W_f×[h_t-1，x_t]+b_f)

记忆门的计算：i_t＝σ(W_i×[h_t-1，x_t]+b_i)，

当前时刻细胞状态的计算：

输出门的计算：o_t＝σ(W_o[h_t-1,x_t]+b_o)

当前时刻的隐藏状态的计算：h_t＝o_t*tanh(C_t)

其中，

f_t、i_t、C_t、o_t、h_t分别表示遗忘门的值、记忆门的值、临时细胞状态、当前时刻的细胞状态、输出门的值、当前时刻的隐藏状态；

h_t-1表示LSTM训练中t-1时刻的隐藏状态；

C_t-1表示上一个时刻的细胞状态；

x_t表示当前时刻的输入词向量；

σ表示sigmoid激活函数；

W_f和b_f分别表示遗忘门的权重矩阵和偏移向量；

W_i和b_i分别表示记忆门的权重矩阵和偏移向量；

W_o和b_o分别表示输出门的权重矩阵和偏移向量；

前向序列各时刻隐藏状态的集合构成前向序列的隐藏状态序列后向序列各时刻隐藏状态的集合构成后向序列的隐藏状态序列

将前向序列各时刻隐藏状态与后向序列各时刻隐藏状态进行拼接，得到文本的全局特征信息为：H_t(t＝1，2，…，n)。