(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211506615.2 (22)申请日 2022.11.29 (71)申请人 城云科技 （中国） 有限公司 地址 310052 浙江省杭州市滨江区长河街 道江南大道588号恒 鑫大厦主楼17层、 18层 (72)发明人 葛俊　彭大蒙　曹喆　张香伟　 韩致远　 (74)专利代理 机构 杭州汇和信专利代理有限公 司 33475 专利代理师 吴琰 (51)Int.Cl. G06F 40/295(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种文本实体识别模 型及其构建方法、 装置 及应用 (57)摘要 本申请提出了一种文本实体识别模型的构 建方法、 装置及应用， 包括以下步骤： 获取至少一 待识别文本， 对每一所述待识别文本进行分词得 到训练数据集； 将所述训练数据集送入实体识别 模型中， 所述实体识别模型由编码模块和解码模 块组成， 所述编码模块将所述待识别文本的字向 量特征和词向量特征进行融合后编码， 得到编码 结果， 将编码结果输入到解码模块中， 解码模块 对编码结果进行解码， 得到第一输出特征和第二 输出特征， 将第一输出特征和第二输出特征进行 融合得到实体识别结果； 使用损失函数对模型进 行损失判断。 本方案的模型构建方式可以使实体 的识别更加准确， 且训练效果更好， 对文本实体 的识别效率更高。 权利要求书2页 说明书10页 附图5页 CN 115545035 A 2022.12.30 CN 115545035 A 1.一种文本实体识别模型的构建方法， 其特 征在于， 包括以下步骤： 获取至少一待识别文本， 对每一所述待识别文本进行分词得到每个所述待识别文本的 至少一字词 结构， 并标记所述待识别文本的实体得到训练数据集， 所述字词结构表征每一 所述待识别文本中每一单字和包含该单字的每一初始词汇， 且所述字词结构中的初始词汇 带有实体词汇的标记信息； 将所述训练数据集输入实体识别模型中进行训练以得到文本实体识别模型， 其中所述 实体识别模型由编 码模块和解码模块组成， 所述编 码模块对所述待识别文本的所述字词结 构进行编码得到字向量特征和词向量特征， 所述字向量特征和词向量特征在融合层进 行融 合后得到融合特征， 对所述融合特征进行编码得到编码结果， 所述编码结果输入到解码模 块中， 所述解码模块先对编码结果进行解码得到第一输出特征， 再对所述编码结果中的字 向量特征进行解码得到第二输出特征， 将所述第一输出特征和所述第二输出特征进行融合 后输入到预测层得到实体识别结果。 2.根据权利要求1所述的一种文本实体识别模型的构建方法， 其特征在于， 在 “对每一 所述待识别文本进行分词 得到每个所述待识别文本的至少一字词结构 ”步骤中， 对所述待 识别文本进行分词得到初始词汇以及单字， 依据所述初始词汇的词性筛选实体词汇并标 记， 再获取对应包含所述单字的每个初始词汇及所述初始词汇的词汇位置， 依据对应每个 单字的所述初始词汇及所述词汇位置构建所述字词结构。 3.根据权利要求1所述的一种 文本实体识别模型的构建方法， 其特征在于， 所述编码模 块由字向量编码模块和词向量编码模块组成， 所述字向量编码模块由12层tr ansformer层 构成， 第一层transformer以及词向量编码模块后紧跟融合层， 所述融合层将所述字向量特 征和所述词向量特 征进行维度统一后进行融合。 4.根据权利要求3所述的一种文本实体识别模型的构建方法， 其特征在于， 在 “所述字 向量特征和词向量特征在融合层进行融合后得到融合特征 ”步骤中， 对每一字的字词 结构 中所有的初始词汇处理后得到每一所述初始词汇的自适应权值， 将 每一字对应的字向量特 征和对应该字的所有初始词汇的自适应权值运算后得到词汇权值向量的注意力矩阵， 将所 述词汇权值向量的注意力矩阵与对应该字的所述词 特征向量相乘得到对应每个初始词汇 的词汇权值得分， 将每个初始词汇的所述词汇权值得分与对应的所述词向量特征进行求 和， 得到每个初始词汇的加权词汇向量特征， 所述初始词汇的加权词汇向量特征与该字的 所述字向量特 征进行融合得到融合特 征。 5.根据权利要求1所述的一种 文本实体识别模型的构建方法， 其特征在于， 所述解码模 块由第一解码模块和 第二解码模块组成， 所述第一解码模块将所述编 码结果经过两个非线 性映射层和一个自适应权值层得到第一输出特征； 所述第二解码模块将所述编 码结果中的 字向量特 征进行重新组合后通过一个非线性层得到第二输出 特征。 6.根据权利要求5所述的一种 文本实体识别模型的构建方法， 其特征在于， 第 一解码模 块包括并行的第一 非线性映射层、 自适应权值层、 第二 非线性映射层， 其中第一非线性映射 层和所述自适应权值层的输出融合得到注意力特征图， 所述注意力特征图和所述第二非线 性映射层的输出融合得到第一输出 特征。 7.根据权利要求5所述的一种 文本实体识别模型的构建方法， 其特征在于， 所述第 二解 码模块将所述编码结果中的字 向量特征中的初始词汇的起始位置和结尾位置进行重新组权　利　要　求　书 1/2 页 2 CN 115545035 A 2合得到重组词汇特征， 其中所述重组词汇特征包括融合词汇的起始 位置特征和结尾位置特 征， 将所述重组词汇特 征通过非线性层进行映射得到所述第二输出 特征。 8.根据权利要求1所述的一种 文本实体识别模型的构建方法， 其特征在于， 训练数据集 中的负样本词汇是根据每一所述待识别文本的长度设置一定的比例， 利用随机采样的方式 获取该比例文本 长度下的负 样本词汇。 9.一种文本实体识别模型， 其特征在于， 所述文本实体识别模型采用权利要求1 ‑8所述 的构建方法得到 。 10.一种文本实体识别方法， 其特 征在于， 包括： 将所述至少一待识别文本输入到所述文本实体识别模型的编码模块中进行编码得到 每一待识别文本的字向量特征和词向量特征， 将所述字向量特征和对应的词向量特征在融 合层进行融合得到融合特征， 再对所述融合特征进行编码得到编码结果， 将所述编码结果 输入到解码模块中， 所述解码模块先对所述编码结果进行解码得到第一输出特征， 再对所 述编码结果中的字向量特征进 行解码得到第二输出特征， 将所述第一输出特征和所述第二 输出特征进行融合得到融合特征， 基于所述融合特征预测每一所述待识别文本的实体词 汇。 11.一种文本实体识别模型的构建装置， 其特 征在于， 包括 获取模块： 获取至少一待识别文本， 对每一所述待识别文本进行分词得到每个所述待 识别文本的至少一字词结构， 并标记所述待识别文本的文本实体得到训练数据集； 构建模块： 将所述训练数据集输入实体识别模型中进行训练以得到文本实体识别模 型， 其中所述实体识别模型 由编码模块和解码模块组成， 所述编码模块对所述待识别文本 的所述字词结构进行编 码得到字向量特征和词向量特征， 所述字向量特征和词向量特征在 融合层进行融合后得到融合特征， 对所述融合特征进行编码得到编码结果， 所述编码结果 输入到解码模块中， 所述解码模块先对编码结果进行解码得到第一输出特征， 再对所述编 码结果中的字向量特征进 行解码得到第二输出特征， 将所述第一输出特征和所述第二输出 特征进行融合后输入到预测层得到实体识别结果。 12.一种电子装置， 包括存储器和 处理器， 其特征在于， 所述存储器中存储有计算机程 序， 所述处理器被设置为运行所述计算机程序以执行权利要求1 ‑8任意一种文本实体识别 模型的构建方法或权利要求10所述的一种文本实体识别方法。 13.一种可读存储介质， 其特征在于， 所述可读存储介质中存储有计算机程序， 所述计 算机程序包括用于控制过程以执行过程的程序代码， 所述过程包括根据权利要求1 ‑8任一 项所述的一种文本实体识别模型的构建方法或权利要求10所述的一种文本实体识别方法。权　利　要　求　书 2/2 页 3 CN 115545035 A 3