(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211528666.5 (22)申请日 2022.12.01 (71)申请人 泉州市蓝领物联科技有限公司 地址 362000 福建省泉州市丰泽区东湖街 道凤山社区刺桐路1089号光明城东区 3幢612室 (72)发明人 黄德天　陈菲杨　黄诚惕　许少健　 徐正军　黄小茜　 (74)专利代理 机构 泉州市中闽智创知识产权代 理事务所(普通 合伙) 35279 专利代理师 谢建华 (51)Int.Cl. G06T 3/40(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/80(2022.01) (54)发明名称 一种基于特征融合与注意力机制的单帧图 像超分辨 率方法 (57)摘要 本发明属于图像处理技术领域， 具体涉及一 种基于特征融合与注意力机制的单帧图像超分 辨率方法， 具体包括以下步骤： 步骤一、 制作数据 集与标签； 步骤二、 构建基于多尺度特征融合的 单帧图像超分辨率网络； 步骤三、 将混合注意力 机制引入基于多尺度特征融合单帧图像超分辨 率网络， 得到基于特征融合与注 意力机制的超分 辨率网络； 步骤四、 使用所述基于特征融合与注 意力机制的超分辨率网络对待重建的低分辨率 图像进行重建， 获得网络输出的高分辨率图像。 克服了现有技术的不足， 在经典超分辨率方法的 基础上， 引入多尺度特征融合与混合注意力机 制， 提供多尺度的特征信息， 并且剔除冗余特征， 以增强模型的深度特 征提取能力。 权利要求书2页 说明书6页 附图4页 CN 115546032 A 2022.12.30 CN 115546032 A 1.一种基于特征融合与注意力机制的单帧图像超分辨率方法， 其特征在于： 具体包括 以下步骤： 步骤一、 制作数据集与标签； 步骤二、 构建基于多尺度特 征融合的单帧图像超分辨 率网络； 步骤三、 将混合注意力机制引入基于多尺度特征融合单帧图像超分辨率网络， 得到基 于特征融合与注意力机制的超分辨 率网络； 步骤四、 使用所述基于特征融合与注意力 机制的超分辨率网络对待重建的低分辨率图 像进行重建， 获得网络 输出的高分辨 率图像； 步骤二中所述基于多尺度特征融合的单帧图像超分辨率网络由3个卷积层、 深度特征 提取模块和基于亚像素卷积的上采样模块组成， 所述深度特征提取模块中包含多尺度特征 融合模块； 所述深度特征提取模块还包括4个ResNet中的基本残差块与1个卷积层， 其中所述基本 残差块中的所有归一 化操作被移除； 所述多尺度特征融合模块通过多种不同感受野的卷积核、 Relu激活操作及Concat操 作， 得到拥有 多尺度信息的特 征图； 所述通过多种不同感受野的卷积核、 Relu激活操作及Concat操作， 由三个不同感受野 的特征提取单元并联 组成， 分别为第一特征提取单元、 第二特征提取单元、 第三特征提取单 元； 其中， 每个特征提取单元由两组Conv+Relu单元组成， 第一特征提取单元中Conv卷积核 大小为1*1， 第二特征提取单元中Conv卷积核大小为3*3， 第三特征提取单元中Conv卷积核 大小为5*5； 且三个特 征提取单元的卷积核的数量均为64个； 在每个提取单元中， 第1组Conv+Relu单元提取的特征会被输入到所有特征提取单元的 第2组Conv+Relu单 元， 使得不同特 征提取单元的特征信息共享互通； 输入第2组Conv+Relu单元的特征信息的初始通道数为192， 经过Concat操作后， 该特征 信息通道数调整为64； 所述多尺度特征融合模块还包括特征融合单元， 且特征融合单元由一个Concat层、 1个 卷积核大小为1*1的Co nv层构成、 1个残差连接操作； 具体步骤为： 获取由三种不同感受野的特征提取单元分别提取后的三种不同尺度的特 征， 将三种 不同尺度的特征输入Concat层， 进行不同尺度信息的特征融合， 再经过一个1*1 的Conv层， 增强特征信息， 最后利用残差连接操作， 与初始特征信息求和， 得到多尺度特征 融合模块的输出 特征信息。 2.根据权利要求1所述的一种基于特征融合与注意力机制的单帧图像超分辨率方法， 其特征在于： 步骤一中所述制作数据集与标签， 具体步骤 包括： S1、 从经典的DIV2K数据集中得到800张高分辨率图像用于训练网络， 并选择公开的 Set5、 Set14、 B10 0和Urban10 0数据集用于测试网络的性能； S2、 取上述数据集中的图像进行 下采样操作， 得到其指定缩小倍数的低分辨 率图像； S3、 将低分辨率图像裁剪成48*48大小的LR图像块， 将其作为模型输入， 并且将LR图像 块对应的HR图像裁剪为 （48*scale） * （48*scale） 大小， 将其作为输入对应的标签； 其中 scale表示指定的放大倍数；权　利　要　求　书 1/2 页 2 CN 115546032 A 2S4、 对训练图像进行随机进行旋转90 º、 180º、 270º和水平翻转 中一项操作， 增加训练集 的图像数量， 再重复S2、 S3以得到充足的训练图像与对应标签。 3.根据权利要求1所述的一种基于特征融合与注意力机制的单帧图像超分辨率方法， 其特征在于： 步骤三中所述混合注意力机制， 具体为： 将通道注意力机制与空间注意力机制 并联使用， 并组合两个注意力机制中前期处理所得的特征信息权重， 再进行Sigmoid操作， 最终与初始信息求和， 得到 输出结果。 4.根据权利要求3所述的一种基于特征融合与注意力机制的单帧图像超分辨率方法， 其特征在于： 所述 通道注意力机制与空间注意力机制并联使用， 具体为： 通道注意力机制依次由一个全局池化层、 一个Conv层、 一个Relu激活层、 一个Conv层串 联组成， 且上述Co nv层均使用1*1的卷积核， 其数量 为64； 空间注意力机制依次由一个Conv层、 一个Relu激活层、 一个Conv层串联组成， 且上述 Conv层均使用3 *3的卷积核， 其数量 为64。 5.根据权利要求1所述的一种基于特征融合与注意力机制的单帧图像超分辨率方法， 其特征在于： 步骤四中所述使用所述基于特征融合与 注意力机制的超分辨率网络对待重建 的低分辨 率图像进行重建， 具体步骤 包括： 将48*48*3维度的低分辨率 图像作为输入， 经过基于特征融合与注意力机制的超分辨 率网络的处理后其输出是一幅 （48*scale） * （48*scale） *3维度的高分辨率图像； 其中， scale表示指定的放大倍数。权　利　要　求　书 2/2 页 3 CN 115546032 A 3