(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211506876.4 (22)申请日 2022.11.29 (71)申请人 城云科技 （中国） 有限公司 地址 310052 浙江省杭州市滨江区长河街 道江南大道588号恒 鑫大厦主楼17层、 18层 (72)发明人 张香伟　曹喆　毛云青　彭大蒙　 葛俊　 (74)专利代理 机构 杭州汇和信专利代理有限公 司 33475 专利代理师 吴琰 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 用于表情识别的细粒度识别模型及方法 (57)摘要 本申请提出了一种用于表情识别的细粒度 识别模型及方法， 该细粒度 识别模型包括多层级 的卷积下采样单元， 其中第一层 级卷积下采样单 元中的卷积模块为通道注意力卷积模块， 第二层 级卷积下采样单元、 第三层 级卷积下采样单元以 及第四层级卷积下采样单元内的卷积模块为卷 积和自注 意力混合模块， 所述卷积和自注意力混 合模块将卷积操作和自注意力机制均拆分为两 个阶段并进行融合， 通过对细粒度识别模型的优 化设计使得整个细粒度识别模型的计算量减小 的同时提高了识别精度。 权利要求书3页 说明书11页 附图4页 CN 115546879 A 2022.12.30 CN 115546879 A 1.一种细粒度识别模型的构建方法， 其特 征在于， 包括： 依次连接的stem模块、 第一层级卷积下采样单元、 第二层级卷积下采样单元、 第三层级 卷积下采样单元、 第四层级卷积下采样单元、 全局平均池化层、 层归一化、 全连接层以及分 类层； 其中每一层级的卷积下采样单元均包括依次连接的卷积模块和下采样， 且依次序的不 同层级的卷积下采样单元内的卷积模块的数量比例为1:1:3:1； 其中所述第一层级卷积下 采样单元中的卷积模块为通道注意力卷积模块， 第二层级卷积下采样单元、 第三层级卷积 下采样单元以及第四层级 卷积下采样单元内的卷积模块为卷积和自注意力混合模块， 所述 卷积和自注意力混合模块将卷积 操作和自注意力机制均拆分为两个阶段并进行融合； 输入特征依次经历stem模块、 第一层级卷积下采样单元、 第二层级卷积下采样单元、 第 三层级卷积下采样单元、 第四层级卷积下采样单元、 全局平均池化层、 层归一化、 全连接层 以及分类层后得到 输出特征。 2.根据权利要求1所述的细粒度识别模型的构建方法， 其特征在于， 所述通道注意力卷 积模块包括依次连接的第一卷积组块、 残差模块、 后处理模块以及第二卷积组块组成， 所述 残差模块包括并联的第一残差 分支和第二残差 分支， 其中第一残差 分支包括串联的卷积组 块和残差块， 第二残差分支包括单个卷积组块； 所述后处理模块的上支路包括全局平均池 化层、 通道注意力模块、 1*1卷积以及激活函数， 所述后处理模块的下支路直接连接所述后 处理模块的输入端和输出端。 3.根据权利要求2所述的细粒度识别模型的构建方法， 其特征在于， 所述残差模块的第 一残差分支包括依 次序串联的一个卷积组块以及2个残差块， 第二残差分支包括一个卷积 组块， 第一通道注意力特征输入到所述残差模块的第一残差分支和第二残差分支中分别得 到第一分支特征和 第二分支特征， 第一分支特征和 第二分支特征进行通道堆叠后得到第二 通道注意力特 征。 4.根据权利要求2所述的细粒度识别模型的构建方法， 其特征在于， 所述通道注意力模 块包括多层 采样层、 特征堆叠层、 1*1卷积、 全局平均池化、 全 连接层、 激活函数， 其中输入 所 述通道注意力模块中的初始特征在经历多层采样层后得到多个层级的层级 特征图， 多个层 级的层级特征图进行特征堆叠后得到层级堆叠特征， 所述层级堆叠特征在经历1*1卷积后 得到卷积特征， 卷积特征经过所述全局平均池化、 全连接层、 激活函数后得到激活特征， 激 活特征和卷积特征融合后得到通道融合特征， 所述通道融合特征和输入所述通道注意力模 块中的初始特 征叠加得到 输出特征。 5.根据权利要求1所述的细粒度识别模型的构建方法， 其特征在于， 所述卷积和自注意 力混合模块包括依次连接的卷积和自注意力融合模块、 两个1*1卷积层、 层 归一化操作以及 Drop path丢弃层， 输入到卷积和自注 意力混合模块的输入 特征和Dr op path丢弃层的输出 特征融合， 其中所述卷积和自注意力融合模块将卷积和自注意力分成两个阶段并进行融 合， 所述卷积和自注意力融合模块中采用7*7分组卷积。 6.根据权利要求5所述的细粒度识别模型的构建方法， 其特征在于， 卷积和自注意力混 合模块的两个1*1卷积层之间使用一层激活层， 在7*7分组卷积层和1*1卷积层之间使用归 一化层， 所有批量归一 化层替换成层归一 化层。 7.根据权利要求1所述的细粒度识别模型的构建方法， 其特征在于， 卷积操作将大卷积权　利　要　求　书 1/3 页 2 CN 115546879 A 2核的卷积拆分为多个独立的1*1卷积后进行移位并求和后得到卷积特征堆叠， 所述自注意 力机制利用单独的1*1卷积处理输入 特征得到查询、 键和值， 然后通过计算注 意力权重和聚 合值得到自注意力特征堆叠； 卷积特征堆叠和自注意力特征堆叠融合得到卷积和自注意力 混合模块的输出 特征。 8.根据权利要求7 所述的细粒度识别模型的构建方法， 其特 征在于， 卷积操作区分为移位偏移操作阶段和聚合阶段， 在移位偏移操作阶段， 将k*k的卷积核 拆分为k*k个1*1的卷积核， 计算每个卷积核的每个元素与特征图相乘的值， 得到独立的k*k 个计算结果， 在聚合阶段， 不同1*1卷积核的计算结果在对应位置上相加得到卷积特征堆 叠。 9.根据权利要求7所述的细粒度识别模型的构建方法， 其特征在于， 自注意力 机制包括 生成阶段和权重计算阶段， 在生成阶段， 输入 特征经历3个1*1卷积操作得到查询、 键、 值， 在 权重计算阶段， 查询,键,值进行注意力权 重的计算并拼接不同头得到自注意力特 征堆叠。 10.一种细粒度识别模型， 其特征在于， 根据权利要求1到9任一所述的细粒度识别模型 的构建方法构建得到 。 11.一种细粒度目标识别方法， 基于依次连接的stem模块、 第一层级卷积下采样单元、 第二层级 卷积下采样单元、 第三层级 卷积下采样单元、 第四层级 卷积下采样单元、 全局平均 池化层、 层归一 化、 全连接层以及分类层进行目标检测， 其特 征在于， 包括以下步骤： 获取包含待检测目标的待检测图像； 每一层级的卷积下采样单元均包括依次连接的卷积模块和下采样， 且依次序的不同层 级的卷积下采样单元内的卷积模块的数量比例为1:1:3:1； 其中所述第一层级卷积下采样 单元中的卷积模块为通道注意力卷积模块， 第二层级卷积下采样单元、 第三层级卷积下采 样单元以及第四层级 卷积下采样单元内的卷积模块为卷积和自注意力混合模块， 所述卷积 和自注意力混合模块将卷积 操作和自注意力机制均拆分为两个阶段并进行融合； 待检测图像在经过stem模块后得到第一特征， 第一特征输入到第 一层级卷积下采样单 元中输出第二特征， 第二特征输入到第二层级卷积下采样单元得到第三特征， 第三特征输 入到第三层级 卷积下采样单元得到第四特征， 第四特征输入到第四层级 卷积下采样单元得 到第五特征， 第五特征依次经历全局平均池化层、 层 归一化、 全连接层以及分类层后得到待 检测目标。 12.一种用于表情识别的细粒度识别模型， 其特征在于， 利用标注有分类表情的人脸图 像训练权利要求10所述的细粒度识别模型 得到。 13.一种表情识别方法， 其特 征在于， 包括以下步骤： 获取涵盖待检测表情的人脸图像； 所述人脸图像输入到权利要求12所述的用于表情识别的细粒度识别模型进行检测得 到分类表情。 14.一种表情识别模型， 其特 征在于， 包括： 图像获取 单元， 用于获取涵盖待检测表情的人脸图像； 检测单元， 用于将所述人脸图像输入到权利要求11所述的用于表情识别的细粒度识别 模型进行检测得到分类表情。 15.一种电子装置， 包括存储器和 处理器， 其特征在于， 所述存储器中存储有计算机程权　利　要　求　书 2/3 页 3 CN 115546879 A 3