(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211550245.2 (22)申请日 2022.12.05 (71)申请人 鹏城实验室 地址 518000 广东省深圳市南 山区兴科一 街2号 (72)发明人 宋伟伟　莫继学　戴勇　 (74)专利代理 机构 深圳市君胜知识产权代理事 务所(普通 合伙) 44268 专利代理师 陈专 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/74(2022.01)G06N 3/04(2006.01) (54)发明名称 一种基于注意力机制的数据分类优化方法 及相关设备 (57)摘要 本发明公开了一种基于注意力机制的数据 分类优化方法及相关设备， 所述方法包括： 将所 有标记像素划分为训练集和测试集， 并分别获取 所述训练集和所述测试集的真实标签数据； 将注 意力机制嵌入到卷积神经网络中， 构建基于注意 力机制的多源 数据特征提取与融合网络； 获取融 合了样本语义信息与相似信息的训练数据， 有监 督训练所述多源 数据特征提取与融合网络； 将待 测试样本输入到训练好的所述多源数据特征提 取与融合网络中， 根据决策级融合结果， 输出最 终的分类标签。 本发明构建了基于注 意力机制的 特征提取与融合框架， 同时考虑了样本的语义信 息与相似信息， 显著提高了特征的表征能力， 通 过高效的特征提取与融合实现了HSI与LiDAR的 精确分类 。 权利要求书5页 说明书13页 附图8页 CN 115546569 A 2022.12.30 CN 115546569 A 1.一种基于注意力机制的数据分类优化方法， 其特征在于， 所述基于注意力机制的数 据分类优化方法包括： 将所有标记像素划分为训练集和测试集， 并分别获取所述训练集和所述测试集的真实 标签数据； 将注意力 机制嵌入到卷积神经网络中， 构建基于注意力 机制的多源数据 特征提取与融 合网络； 获取融合了样本语义信 息与相似信 息的训练数据， 有监督训练所述多源数据 特征提取 与融合网络； 将待测试样本输入到训练好的所述多源数据 特征提取与融合网络 中， 根据决策级融合 结果， 输出最终的分类标签。 2.根据权利要求1所述的基于注意力 机制的数据分类优化方法， 其特征在于， 所述将所 有标记像素划分为训练集和测试集， 并分别获取所述训练集和所述测试集的真实标签数 据， 之前还 包括： 若 和 分别表示HSI和LiDAR点云深度图 像中的标记像素集； 其中， 和 分别表示第 个HSI像素和第 个LiDAR像素； 是标记像素集的总 数， 是HSI光谱波段 数； 真实标签数据表示 为 ； 其中， 表示第 个像素的真实标签， 表示类别总数。 3.根据权利要求2所述的基于注意力 机制的数据分类优化方法， 其特征在于， 所述将所 有标记像素划分为训练集和测试集， 并分别获取所述训练集和所述测试集的真实标签数 据， 具体包括： 将HSI和LiDA R点云深度图像中相同坐标位置的像素组成样本对， 并根据预先定义的数 据划分准则， 将所有标记的像素划分为训练集和 测试集； 和 分别表示训练集和测试集， 和 分别表示训练集和测试集的真实标签数据， 其中， 和 分别表示训练样 本数目和 测试样本数目， 且 满足 。 4.根据权利要求3所述的基于注意力 机制的数据分类优化方法， 其特征在于， 所述多源 数据特征提取与融合网络包括： 数据预处理模块、 基于残差 ‑注意力机制特征提取模块、 基 于注意力机制特 征融合模块和基于决策级融合分类模块。 5.根据权利要求4所述的基于注意力 机制的数据分类优化方法， 其特征在于， 所述数据 预处理模块用于： 以标记像素 和 为中心， 分别在HSI和LiDAR点云深度图像上截取预设大小的图像块，权　利　要　求　书 1/5 页 2 CN 115546569 A 2构造图像对样本 ， 其中， 为高光谱图像块， 为 LiDAR点云深度图像块， 为图像块大小； 采用两个不同的卷积层分别对 和 进行卷积操作， 使 和 的数据维度相等， 预处理后的数据表示如下： ； ； 其中， 和 分别表示预处 理后的高光谱图像块和L iDAR点云深度图像块； 卷积层 和 的卷积核大小分别为 和 ， 其 中， 为卷积核的空间大小， 为卷积核的输出通道数。 6.根据权利要求5所述的基于注意力 机制的数据分类优化方法， 其特征在于， 所述基于 残差‑注意力机制特 征提取模块用于： 若 为某个残差模块输入， 则输出表示 为 ； 其中， 为两个卷积层的网络函数， 即 ； 其中， 和 为卷积核， 和 为偏置向量， 表示卷积 操作， 表示ReLU激活函数； 若多尺度通道 注意力模块的输入为 ， 提取的全局特 征 表示为： ； 其中， 表示全局平均池化操作， 表示批正则化， 和 分别表示维度减小层和维度增 加层， 为通道减小因子， 表示输入 的特征通道数； 局部特征 表示为： ； 其中， 和 表示局部特征提取过程中两个逐点卷积操作， 和 的卷积核大小分别为 和 ； 局部特征 与输入 大小相同； 多尺度通道 注意力模块的输出 特征表示为： ； 其中， 表示注意力权重， 表示逐元素乘法操作， 表示广播加法， 表示 sigmoid激活函数；权　利　要　求　书 2/5 页 3 CN 115546569 A 3