(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211546649.4 (22)申请日 2022.12.05 (71)申请人 成都寒芒科技有限公司 地址 610045 四川省成 都市武侯区晋吉西 一街66号6栋5层附501号 (72)发明人 周园　 (74)专利代理 机构 北京星通盈泰知识产权代理 有限公司 1 1952 专利代理师 梅子豪 (51)Int.Cl. G06V 20/60(2022.01) G06V 10/82(2022.01) G06V 10/56(2022.01) G06V 10/26(2022.01) G06V 10/20(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于图像技术和深度学习融合的烤烟 分级方法及系统 (57)摘要 本发明涉及一种基于图像技术和深度学习 融合的烤烟分级方法及系统， 包括以下步骤： S1： 图像采集， 利用工业相机对传送带上的烟叶进行 拍照， 并保存； S2： 图像预处理， 利用图像分割算 法对采集到的照片进行分割； S3： 搭建卷积神经 网络， 并利用预处理后的图像对 卷积神经网络模 型进行训练； S4： 对模型进行剪枝 量化处理， 并在 工控机上完成对模型的推理部署 。 本发明将传统 视觉算法和深度学习进行融合， 这样既保证了算 法的稳定 可靠性， 同时又利用了深度学习强泛化 性的优点， 使得分级算法有很高的鲁棒性。 在具 体建模的过程中， 我们采取了数据增强， 标签平 滑， 网络剪枝量化， 小样本迁移学习的手段来保 证模型精度和性能的平衡性。 权利要求书2页 说明书7页 附图3页 CN 115546775 A 2022.12.30 CN 115546775 A 1.一种基于图像技 术和深度学习融合的烤烟分级方法， 其特 征在于， 包括以下步骤： S1： 图像采集， 利用工业相机对传送带 上的烟叶进行拍照， 并保存； S2： 图像预处 理， 利用图像分割算法对 采集到的照片进行分割； S3： 搭建卷积神经网络， 并利用预处 理后的图像对卷积神经网络模型进行训练； S4： 对模型进行剪枝量 化处理， 并在工控机上完成对 模型的推理部署。 2.根据权利要求1所述的一种基于图像技术和深度学习融合的烤烟分级方法， 其特征 在于， 所述 步骤S2的具体过程 为： S21： 获取照片中传送带的RGB颜色； S22： 将RGB色彩空间的照片转换到 HSV色彩空间； S23： 将传送带的RGB颜色转换为HSV颜色阈值； S24： 根据HSV颜色阈值对照片进行分割， 获取烟叶 图像。 3.根据权利要求1所述的一种基于图像技术和深度学习融合的烤烟分级方法， 其特征 在于， 所述 步骤S3包括： S31： 搭建Co nvNeXt神经网络； S32： 输入预处 理图像， 经 过卷积层、 下采样层、 全连接层， 得到 输出结果； S33： 计算输出 结果与目标 结果之间的误差值， 并与期望值比较； S34： 若误差值大于期望值， 将误差值传回ConvNeXt神经网络， 分别计算全连接层、 下采 样层以及卷积层各自的误差， 并更新权值， 然后进入步骤S32； 若误差小于期 望值， 则停止训 练； 其中， 所述ConvNeXt神经网络包括依次堆叠的Stem层、 3个逆瓶颈层、 下采样层、 3个逆 瓶颈层、 下采样层、 9个逆瓶颈层、 下采样层、 3个逆瓶颈层、 下采样层、 全连接层以及输出层； 所述Stem层由一个卷积核大小为4 ×4、 步长为4的2d卷积层以及layernorm层组成； 所述逆 瓶颈层由7 ×7的分组卷积、 layernorm层、 1 ×1卷积层、 GELU激活函数、 1 ×1卷积层依次级 联 而成； 所述下采样层由layern orm层和卷积核大小与步长均为2的卷积层组成。 4.根据权利要求3所述的一种基于图像技术和深度学习融合的烤烟分级方法， 其特征 在于， 在进行 所述步骤S32之前， 需要对图像数据进行 数据增广处 理， 具体步骤为： S310： 生成一个和图像数据分辨 率相同的mask图像； S311： 将mask图像与原图像数据相乘， 完成图像数据的数据增广操作。 5.根据权利要求1所述的一种基于图像技术和深度学习融合的烤烟分级方法， 其特征 在于， 所述 步骤S4中“剪枝”的具体过程 为： S411： 利用Las soRegres sion， 找到模型中的冗余 通道， 并剪除； S412： 利用线性 最小二乘法模型重建剩余 通道的输出。 6.根据权利要求5所述的一种基于图像技术和深度学习融合的烤烟分级方法， 其特征 在于， 所述 步骤S4中“量化”的具体过程 为： S421： 获取模型的激活值和权 重； S422： 利用饱和量 化或不饱和量 化对模型激活值以及权 重进行量 化处理。 7.一种基于图像技 术和深度学习融合的烤烟分级系统， 其特 征在于， 包括： 图像采集模块， 用于图像采集， 利用工业相机对传送带 上的烟叶进行拍照， 并保存； 图像预处 理模块， 用于图像预处 理， 利用图像分割算法对 采集到的照片进行分割；权　利　要　求　书 1/2 页 2 CN 115546775 A 2模型搭建模块， 用于搭建卷积神经网络， 并利用预处理后的图像对卷积神经网络模型 进行训练； 剪枝量化部署模块， 用于对模型进行剪枝量化处理， 并在工控机上完成对模型的推理 部署。 8.根据权利要求7所述的一种基于图像技术和深度学习融合的烤烟分级系统， 其特征 在于， 所述图像预处 理模块包括： 颜色获取子模块， 用于获取照片中传送带的RGB颜色； HSV转换子模块， 用于将RGB色彩空间的照片转换到 HSV色彩空间； 颜色阈值获取子模块， 用于将传送带的RGB颜色转换为HSV颜色阈值； 图像分割子模块， 用于根据HSV颜色阈值对照片进行分割， 获取烟叶 图像。 9.根据权利要求7所述的一种基于图像技术和深度学习融合的烤烟分级系统， 其特征 在于， 所述模型 搭建模块包括： ConvNeXt子模块， 用于搭建Co nvNeXt神经网络； 输入训练子模块， 用于输入预处理图像， 经过卷积层、 下采样层、 全连接层， 得到输出结 果； 误差计算子模块， 用于计算输出 结果与目标 结果之间的误差值， 并与期望值比较； 期望值判断子模块， 用于若误差值大于期望值， 将误差值传回ConvNeXt神经网络， 分别 计算全连接层、 下采样层以及卷积层各自的误差， 并更新权值， 然后进入步骤S 32； 若误差小 于期望值， 则停止训练。 10.根据权利要求9所述的一种基于图像技术和深度学习融合的烤烟 分级系统， 其特征 在于， 所述模型 搭建模块还 包括： mask图像生成子模块， 用于生成一个和图像数据分辨 率相同的mask图像； 数据增广子模块， 用于将mask图像与原图像数据相乘， 完成图像数据的数据增广操作。权　利　要　求　书 2/2 页 3 CN 115546775 A 3