(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211545575.2 (22)申请日 2022.12.05 (71)申请人 湖南工商大 学 地址 410006 湖南省长 沙市岳麓区岳麓 大 道569号 (72)发明人 熊曙初　吴佳妮　李轩　孟晗　 殷琪　段金焱　方诺基　 (74)专利代理 机构 北京智宇 正信知识产权代理 事务所(普通 合伙) 11876 专利代理师 黄敏华 (51)Int.Cl. G06F 16/35(2019.01) G06F 40/30(2020.01) G06F 40/242(2020.01) G06F 40/284(2020.01)G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 用于文本情感分析的对比优化编解码模型 及方法 (57)摘要 本发明公开了用于文本情感分析的对比优 化编解码模型及方法， 包括： 将通过预处理分词 模块预处理分词后的文本编码为序列表征向量， 并计算有监督对比学习损失； 对序列表征向量进 行局部语义抽取与强化， 得到相应的特征强化向 量； 对特征强化向量进行解码， 得到解码结果并 最终输出模 型判定的文本情感类别， 并对模型判 定的文本情感类别与数据集标签计算分类损失， 有监督对比学习损失和分类损失的联合损失为 模型联合优化损失， 通过模型联合优化损失与小 批量随机梯度下 降方法更新模型各项参数矩 阵 与自适应系数后， 使用优化模型对输入的文本进 行情感分析； 实现一文多义文本的语义分离、 有 效提升文本分析精确度。 权利要求书4页 说明书11页 附图4页 CN 115544260 A 2022.12.30 CN 115544260 A 1.用于文本情感分析的对比优化编解码模型， 其特 征在于， 包括： 编码对比层： 通过预处理分词模块对文本进行预处理分词， 通过自注意力模块和前馈 编码模块将预处 理分词后的文本编码为序列表征向量， 并计算有监 督对比学习损失； 自适应特征强化层： 对序列表征向量进行局部语义抽取与强化， 得到相应的特征强化 向量； 解码输出层； 将特征强化向量进行解码， 得到解码结果并最终输出模型判定的文本情 感类别， 并对 模型判定的文本情感类别与数据集标签 计算分类损失； 以及 优化分析层： 有监督对比学习损 失和分类损 失的联合损 失为模型联合优化损 失， 通过 模型联合优化损失与小批量随机梯度下降方法更新模型各项参数矩阵与自适应系数后， 使 用优化模型对输入的文本进行情感分析。 2.根据权利要求1所述的用于文本情感分析的对比优化编解码模型， 其特征在于， 所述 编码对比层包括： 对文本进行预处理分词 得到文本序列的预处理分词阶段； 以及将预处理 后的文本编码为序列表征向量， 并计算有监 督对比学习损失的编码对比阶段； 其中， 所述编码对比阶段包括： S2.1： 将待分析文本映射为词向量 、 编码向量 、 句间分隔向量 ， 三 种向量相加得到 输入向量 ， S2.2： 将输入向量 传输至自注意力模块， 计算文本序列中上下文语义之间关联程 度， 得到注意力序列 ， 其中， 为信息文本批量大小， 为序列字符长度， 为词向量维度， 、 与 为注 意力权重矩阵， 与 相乘得到注意力权 重变量 、 ， 为向量 的维度； S2.3： 将注意力序列 传输至前馈编码模块， 进行维度转化与随机丢弃； 根据不同的丢 弃率 对同一注意力序列 进行两次编码得到序列表征向量 与 ，权　利　要　求　书 1/4 页 2 CN 115544260 A 2其中， 为具有单隐藏层的全连接层； S2.4： 将序列 表征向量 、 及批量大小 中具有相同标签 的 共同组成正样 本对 ， 剩余样本构成负 样本对 计算有监 督对比学习 ， 其中， 是数据集样本总数， 为超参数， 计算公式如下： 。 3.根据权利要求2所述的用于文本情感分析的对比优化编解码模型， 其特征在于， 所述 自注意力模块将向量 作为输入， 计算文本序列中上下文语义之间关联程度， 得到注意 力序列 ， 其中 ， 为信息文本批量大小， 为序列字符长度， 为词向量 维度。 4.根据权利要求3所述的用于文本情感分析的对比优化编解码模型， 其特征在于， 所述 前馈编码模块将注意力序列 作为输入， 进行维度转化与随机丢弃； 根据不同的丢弃率 对同一注意力序列 进行两次编码得到序列表征向量 与 。 5.根据权利要求2所述的用于文本情感分析的对比优化编解码模型， 其特征在于， 所述 自适应特征强化层对 输入的序列表征向量 进行局部语 义抽取与强化， 得到相应的特征强 化向量 ， 包括： S3.1： 将隐藏状态   与细胞状态 初始化为0， 当前时刻输入为 ， 此时为从左至右 遍历 取得的文本表征向量， 运 算得到 、 、 、 四种候选状态：权　利　要　求　书 2/4 页 3 CN 115544260 A 3