(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211524047.9 (22)申请日 2022.12.01 (71)申请人 四川蜀道新能源科技发展 有限公司 地址 610000 四川省成 都市高新区创业路1 号1栋13楼13 01号 (72)发明人 张傲南　李文虎　 (74)专利代理 机构 成都行之专利代理事务所 (普通合伙) 51220 专利代理师 王鹏程 (51)Int.Cl. G06V 20/58(2022.01) G06V 20/56(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) (54)发明名称 基于多尺度机制和注意力机制的路面标线 识别方法及系统 (57)摘要 本发明公开了基于多尺度机制和注意力机 制的路面标线识别方法及系统， 涉及图像识别技 术领域， 在通过卷积神经网络构建模型时， 以图 像分类卷积网络ConvNeXt为基线， 在提取图像 特 征信息的最后阶段融入多尺度机制， 用于路面标 线的高精度分割识别， 并在网络恢复图像特征信 息的最后阶段添加了注意力机制， 使得该网络在 保持多尺度提取特征的同时， 还 可以兼顾全局信 息的构建， 并且在一定程度上提高了网络构建边 缘信息的能力， 实现道路路面标线的高精度像素 级分割。 权利要求书2页 说明书9页 附图3页 CN 115546768 A 2022.12.30 CN 115546768 A 1.基于多尺度机制和注意力机制的路面标线识别方法， 其特 征在于， 包括： 扫描待识别路段实时采集路面图像数据； 对路面图像数据进行预处理后输入已构建好的图像分割识别模型中进行分割识别得 到路面图像数据的识别结果； 所述图像分割识别 模型以卷积网络ConvNeXt为基线， 在提取图像特征信息的最后阶段 融入多尺度机制， 并在恢复图像特 征信息的最后阶段 添加注意力机制。 2.根据权利要求1所述的基于多尺度机制和注意力机制的路面标线识别方法， 其特征 在于， 所述预处 理包括过程： 根据下式对路面图像进行归一 化处理： 其中i， j分别代表路面图像的行号和列号， C(i,  j)代表原始路面面图像数据对应的像 素值， I(i,  j)代表归一化处理后的路面图像的像素值， I(i,  j)属于 （0,1） 。 3.根据权利要求1所述的基于多尺度机制和注意力机制的路面标线识别方法， 其特征 在于， 图像分割识别模型的构建方法包括： T1， 获取路面图像数据训练样本集并构建路面真值数据； 所述路面真值数据为根据路 面图像数据绘制的路面标线轮廓图像数据； T2， 将路面真值数据进行二值化处理： 在 路面标线轮廓图像数据中， 设置路面背景的像 素值为0， 路面标线的像素值 为1， 以数值形式表示出路面标线轮廓图像数据； T3， 用路面图像数据和二 值化处理后的路面真值数据训练出图像分割识别模型。 4.根据权利要求3所述的基于多尺度机制和注意力机制的路面标线识别方法， 其特征 在于， 步骤T1包括以下子步骤： T11， 获取历史路面 图像数据构建全训练样本； 所述全训练样本包括多个模式类， 各模 式类具有相同个数的样本； 所述模式类包括： 路面标线完整模式类、 路面标线动态缺 失模式 类和路面标线静态缺失模式类； T12， 将全训练样本 输入隐马尔科 夫模型进行训练得到各模式类的模型； T13， 用各模式类的模型对 全训练样本进行识别， 保存每 个样本在每 个模型下的概率 ｛Pi｝ = ｛P0， P1， ...Pi｝ ， 其中P0>P1>...>Pi； i为模型的序号； 并基于概率 ｛Pi｝ 计算相对概率值Px： 当n等于0时， Px=P0‑P1； 当n不等于0时， Px=n(Pn‑P0)； n表示任意 一个路面标线完整模式类样本的概 率； T14， 基于相对概 率值Px划分出正样本集和负 样本集后确定边界样本集； T15， 以边界样本集作为路面图像数据训练样本集用于构建路面真值数据。 5.根据权利要求4所述的基于多尺度机制和注意力机制的路面标线识别方法， 其特征 在于， 全训练样本构建方法包括： 从历史路面图像数据中筛选出所有路面标线动态缺失的路面图像： 动态过程j包含的 路面图像j1， j2， ...jn； j=1,2,. ..M； 基于各动态过程的路面图像获取3M个特征图像， 所有的特征图像构 成路面标线动态缺 失模式类的N个样本； 从历史路面图像数据中随机筛选出N个路面标线完整模式类的样本， 和N个路面标线静权　利　要　求　书 1/2 页 2 CN 115546768 A 2态缺失模式类的样本得到全训练样本 。 6.根据权利要求5所述的基于多尺度机制和注意力机制的路面标线识别方法， 其特征 在于， 特征图像的获取 方法包括： 根据动态过程的路面图像计算出总 遮盖面积和路面标线总面积， 将总 遮盖面积等效为 一个长宽比为3:2的矩形遮盖物； 令矩形遮盖物遮盖路面标线获取第一特 征图像、 第二特 征图像和第三特 征图像； 所述第一特征图像为矩形遮盖物遮盖最大面积路面标线时的图像， 所述第 二特征图像 和第三特 征图像为矩形遮盖物遮盖路面标线面积为矩形遮盖物面积的1/ 3时的图像。 7.根据权利要求4所述的基于多尺度机制和注意力机制的路面标线识别方法， 其特征 在于， T14包括以下 过程： 判断各样本的相对概率值Px是否小于零， 若是则当前样本划分至负样本集， 否则划分为 正样本集； 由全部正样本集和部分负 样本集构成边界样本集。 8.根据权利要求3所述的基于多尺度机制和注意力机制的路面标线识别方法， 其特征 在于， T3包括以下子步骤： T31， 对路面图像数据进行初步特 征提取得到特征层； T32， 再将特征层进行高语义特征提取后下采样得到尺寸分别为N/4、 N/8、 N/16和N/32 的特征信息图， N表示路面图像数据的尺寸； T33， 对尺寸为N/4、 N/8和N/16的特征信息图进行上采样得到三个尺寸为N/4的特征图 像， 对尺寸 为N/32的特征信息图进行空洞卷积多尺度融合得到一个尺寸 为N/4的特征图像； T34， 基于特征图像和注意力机制构建全局信息并恢复边缘细节信息得到图像分割识 别模型。 9.根据权利要求8所述的基于多尺度机制和注意力机制的路面标线识别方法， 其特征 在于， T34包括以下子步骤： T341， 将特 征图像进行全局平均池化和一维卷积层操作得到一个一维的目标向量； T342， 对目标向量使用Sigmoid激活函数， 使目标向量中的每个元素都是一个 （0， 1） 之 间的一个权 重值； T343， 把目标向量中的权重值与特征图像相乘使特征图中每一像素都对应一个权重 值； T344， 基于二值化处理后的路面真值数据不断的反向传播训练网络直到获得最优权重 矩阵， 基于最优权 重矩阵得到图像分割识别模型。 10.基于多尺度机制和注意力 机制的路面标线识别系统， 用于实现权利要求1 ‑9任意一 项所述的方法， 其特 征在于， 包括采集模块、 识别模块和模型构建模块； 所述采集模块用于扫描 待识别路段实时采集路面图像数据； 所述识别模块用于对路面图像数据进行预处理后输入已构建好的图像分割识别模型 中进行分割识别得到路面图像数据的识别结果； 模型构建模块用于以卷积网络ConvNeXt为基线， 在提取图像特征信息的最后阶段融入 多尺度机制， 并在恢复图像特征信息的最后阶段添加注意力机制构建出图像分割识别模 型。权　利　要　求　书 2/2 页 3 CN 115546768 A 3