(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211528066.9 (22)申请日 2022.12.01 (71)申请人 成都考拉悠然科技有限公司 地址 610000 四川省成 都市自由贸易试验 区成都高新区天府五街200号4号楼A 区10层10 01、 1002、 1003室 (72)发明人 徐行　田加林　沈复民　申恒涛　 (74)专利代理 机构 成都君合集专利代理事务所 (普通合伙) 51228 专利代理师 尹新路 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种无监督领域适应分类方法、 系统、 设备 及存储介质 (57)摘要 本发明涉及深度学习领域， 具体地说， 涉及 一种无监督领域适应分类方法、 系统、 设备及存 储介质； 通过构建一个深度卷积网络模型， 根据 有标签源领域数据训练源域模型， 根据源域模型 构建目标域模 型， 训练目标域模 型以执行领域适 应， 根据无标签目标域数据做无监督学习， 提取 目标域数据的特征和分类概率， 并通过计算近邻 对齐损失、 正则损失、 分散损失、 跨视图对齐损失 和跨视图近邻对齐损失， 迭代地提升目标域模型 的图像分类能力， 消除域偏移和类不平衡所造成 的误分类问题， 从而实现无监督领域适应图像分 类。 权利要求书2页 说明书14页 附图3页 CN 115546567 A 2022.12.30 CN 115546567 A 1.一种无监 督领域适应分类方法， 其特 征在于， 包括以下步骤： 步骤S1： 采集带标签源域图像数据和无标签目标域图像数据， 并将采集到的图像数据 作为训练数据； 步骤S2： 建立一个包括特征提取器和线性分类器的深度卷积网络模型， 将带标签源域 图像数据进行图像分类， 根据训练数据训练得到源域模型； 步骤S3： 根据源域模型， 建立目标域模型， 并以源域模型的参数初始化目标域模型； 步骤S4： 提取目标域图像数据的特征， 根据提取的特征， 搜索每个图像数据的近邻特 征， 以近邻特 征的分类概 率作为监督信号， 计算近邻对齐损失； 步骤S5： 提取目标域图像数据的分类概率， 根据目标域图像数据的分类概率计算正则 损失和分散损失， 并根据分类概率划分目标域图像数据集， 将 高置信度图像数据划入可靠 集合， 将低置信度图像数据划入弱可靠集合， 并根据高置信度样本和低置信度样本的分类 概率计算跨视图对齐损失和跨视图近邻对齐损失； 步骤S6： 根据步骤S4得到的近邻对齐损失和步骤S5得到的正则损失、 分散损失、 跨视图 对齐损失、 跨视图近邻对齐损失， 迭代更新目标域模型， 将训练得到的目标域模 型作为无标 签目标域图像数据的图像分类模型。 2.如权利要求1所述的一种无监督领域适应分类方法， 其特征在于， 提取目标域图像数 据的特征和分类概率的提取方式为： 建立固定容量的特征队列F和分类概率向量队列P， 在 目标域模型 的每次训练迭代中， 随机采样图像数据， 计算采样的图像数据的新的特征和新 的分类概 率， 并根据采样的图像数据的索引放入至队列相应的位置 。 3.如权利要求2所述的一种无监督领域适应分类方法， 其特征在于， 所述步骤S4中计算 近邻对齐损失的具体操作为： 随机在目标域中选取图像数据样本xit， 根据图像数据样本xit 的特征fit， 从特征队列F中搜索离数据样 本xit的cosine距离最近的m个近邻， 用Nmi表示存储 近邻的索引集合， 根据目标域数据样本xit的分类概率向量pit、 加权系数λ、 随机采样的目标 域数据样本的数量nb、 每个近邻的n个近邻在队列P中的分类概率 向量Pj、 Pk， 计算出近邻对 齐损失Lnc。 4.如权利要求3所述的一种无监督领域适应分类方法， 其特征在于， 所述步骤S5 中计算 正则损失的具体操作为： 最小化随机选取的图像数据样本xit的分类概率pit和分类概率pit 处于队列P的分类概率pi的内积， 根据随机采样的图像数据样本的数量nb、 最小化后的目标 域数据样本xit， 计算出正则损失Lself。 5.如权利要求4所述的一种无监督领域适应分类方法， 其特征在于， 所述步骤S5 中计算 分散损失的具体操作为： 计算随机选取的图像数据样本xit的平均分类概率向量 ， 增大平 均分类概 率 向量的熵， 根据熵增大后的平均分类概 率 ， 计算出分散损失Ldiv。 6.如权利要求1所述的一种无监督领域适应分类方法， 其特征在于， 所述步骤S5 中根据 分类概率划分目标域图像数据集的具体操作为： 在每次遍历整个目标域图像数据集之前， 首先根据目标域模型计算每个图像数据的分类概率向量和伪标签， 其次根据伪标签将图像 数据划分到各个类别对应的集合， 然后计算分类概率向量的信息熵， 选择各个类别集合中 前r%个低熵图像数据作为高置信度样本， 将高置信度样本组成的集合作为可靠样本集合， 将剩余的样本组成的集 合作为弱可靠样本集 合。权　利　要　求　书 1/2 页 2 CN 115546567 A 27.如权利要求1所述的一种无监督领域适应分类方法， 其特征在于， 步骤S5 中计算跨视 图对齐损失的具体操作为： 从可靠样本集合中随机选取可靠样本， 将可靠样本进行弱增强 和强增强， 得到视图1数据和视图2数据， 根据索引为i的目标域数据对应的分类概率向量 pi、 视图1数据在队列P中 的分类概率向量、 视图2在队列P中的分类概率向量、 选取的可靠样 本的数量， 计算得到跨视图对齐损失Lcv。 8.如权利要求7所述的一种无监督领域适应分类方法， 其特征在于， 所述步骤S5 中计算 跨视图近邻对齐损失的具体操作为： 在队列F中搜索可靠样本的近邻， 强化可靠样本在领域 适应过程中的领导作用， 根据视图1数据在队列P中的分类概率向量、 视图2在队列P中的分 类概率向量、 加权系数 λ、 选取的可靠样本的数量， 计算出跨视图近邻对齐损失Lcvn。 9.如权利要求1所述的一种无监督领域适应分类方法， 其特征在于， 所述步骤S6的具体 操作为： 线性加权步骤S4得到的近邻对齐损失和步骤S5得到的正则损失、 分散损失、 跨视图 对齐损失、 跨视图近邻对齐损失， 得到最 终的目标函数， 根据最 终的目标函数迭代的反向传 播更新目标域模型参数， 将训练得到的目标域模型作为无标签目标域数据 的图像分类模 型。 10.如权利要求1所述的一种无监督领域适应分类方法， 其特征在于， 所述步骤S2中特 征提取器提取的特 征要经过L2正则化， 所述线性分类 器的参数向量要经 过L2正则化。 11.一种无监督领域适应分类系统， 其特征在于， 包括成像单元、 数据存储单元、 神经网 络单元、 数据处 理单元； 所述成像单 元， 用于采集 不同领域的图像样本； 所述数据存 储单元， 用于存 储所述不同领域的图像样本； 所述神经网络单元， 包括以有标签源域数据训练 的源域模型和以无标签目标域数据训 练的目标域模型； 所述数据处理单元， 基于所述有标签源域数据训练源域模型， 基于所述源域模型构建 目标域模型， 基于所述 目标域模型提取无标签目标域数据的特征和分类概率向量， 基于所 述特征和分类概率向量计算近邻对齐损失、 正则损失、 分散损失、 跨视图对齐损失和跨视图 近邻对齐损失， 基于所有损失计算最终的目标函数， 基于目标函数迭代地反向传播更新 目 标域模型参数， 基于最终训练得到的目标域模型作为无 标签目标域数据的图像分类模型。 12.一种设备， 其特 征在于， 包括处 理器、 存储器； 所述存 储器， 用于存 储计算机程序； 所述处理器， 用于执行所述计算机程序时实现如权利要求1 ‑10任一项所述的无监督领 域适应分类方法。 13.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处理器执行时实现如权利要求 1‑10任一项 所述的无监督领域适应 分类方法。权　利　要　求　书 2/2 页 3 CN 115546567 A 3