(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211498083.2 (22)申请日 2022.11.28 (71)申请人 深圳精智达技 术股份有限公司 地址 518000 广东省深圳市龙华 街道清湖 社区清湖村富安娜 公司1号101工业园 D栋1楼东 (72)发明人 乐康　张耀　张滨　徐大鹏　 曹保桂　 (74)专利代理 机构 深圳腾文知识产权代理有限 公司 44680 专利代理师 杨彩兰 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 一种缺陷数据集的生成模型的训练方法及 相关装置 (57)摘要 本申请公开了一种缺陷数据集的生成模型 的训练方法及相关装置， 用于提高缺陷图像的获 取效率和图像质量。 本申请训练方法包括： 获取 卷积神经网络模 型和缺陷类型标签； 通过生成器 和缺陷类型标签生成模拟缺陷图像； 通过真假判 别器生成第一真假判别值和第二 真假判别值； 通 过类别判别器生成第一类别判别值和第二类别 判别值； 根据第一、 第二 真假判别值、 第一和第二 类别判别值计算第一、 第二和第三损失值； 判断 第一、 第二和第三损失值是否满足预设条件； 若 满足条件， 则确定卷积神经网络模型训练完成； 若不满足条件， 则根据第一、 第二和第三损失值 更新生成器的权值， 根据第二、 第三损失值分别 更新真假判别器和类别判别器 权值。 权利要求书5页 说明书30页 附图13页 CN 115526891 A 2022.12.27 CN 115526891 A 1.一种缺陷数据集的生成模型的训练方法， 其特 征在于， 包括： 获取卷积神经网络模型和缺陷类型标签， 所述卷积神经网络模型中包括生成器、 真假 判别器和类别判别器； 将一组正态分布采样数据和所述 缺陷类型 标签输入所述 生成器， 生成模拟缺陷图像； 将真实缺陷图像和所述模拟缺陷图像输入所述真假判别器中， 生成所述真实缺陷图像 的第一真假判别值和所述模拟缺陷图像的第二真假判别值； 将所述真实缺陷 图像和所述模拟缺陷图像输入所述类别判别器中， 生成所述真实缺陷 图像的第一类别判别值和所述模拟缺陷图像的第二类别判别值； 根据所述第一真假判别值、 所述第二真假判别值、 所述第一类别判别值和所述第二类 别判别值计算所述生成器的第一损失值、 所述真假判别器的第二损失值和所述类别判别器 的第三损失值； 判断所述第一损失值、 所述第二损失值和所述第三损失值是否满足预设条件； 若满足条件， 则确定所述卷积神经网络模型训练完成； 若不满足条件， 则根据所述第一损 失值、 所述第二损 失值和所述第三损 失值更新所述 生成器的权值， 根据所述第二损失值和所述第三损失值分别更新所述真假判别器和所述类 别判别器权值。 2.根据权利要求1所述的训练方法， 其特征在于， 所述生成器包括N个生成模块 Generator和输出模块Co nv_out， N 为大于等于2的整数； 所述将一组正态分布采样数据和所述缺陷类型标签输入所述生成器， 生成模拟缺陷 图 像， 包括： 通过第一卷积模块将所述 正态分布采样数据进行 卷积操作， 生成第一采样特 征； 通过第二卷积模块将所述 缺陷类型 标签进行 卷积操作， 生成第一标签特 征； 将所述第一采样特征和所述第一标签特征输入第一生成模块Generator， 生成第一生 成参数； 将所述第一生成参数、 所述第一采样特征和所述第一标签特征输入第二生成模块 Generator， 生成第二 生成参数； 将所述第N ‑1生成参数、 所述第一采样特征和所述第一标签特征输入第N生成模块 Generator， 生成第N 生成参数； 将所述第N 生成参数通过输出模块Co nv_out进行还原输出， 生成模拟缺陷图像。 3.根据权利要求2所述的训练方法， 其特征在于， 所述生成模块Generator包括区域像 素注意力模块RPA、 注 意力Dropout模块ADO、 至少两个通道注意力模块Attention、 反卷积模 块和卷积模块； 所述将所述第一采样特征和所述第一标签特征输入第一生成模块Generator， 生成第 一生成参数， 具体为： 通过区域像素注意力模块RPA对所述第一采样特征进行区域像素值权重生成处理,生 成第一中间特 征； 通过区域像素注意力模块RPA将所述第一采样特征和第一中间特征按通道对应相乘， 生成第二中间特 征； 通过第三卷积模块将所述第二中间特 征进行卷积处理和通道叠加处 理；权　利　要　求　书 1/5 页 2 CN 115526891 A 2通过第一 通道注意力模块A ttention为所述第二中间特 征生成通道向量； 通过第一通道注意力模块Attention结合通道向量输出一个维度与所述第二 中间特征 通道数相同的归一 化一维向量； 通过第一通道注意力模块Attention根据归一化一维向量将所述第二中间特征按通道 对应相乘， 生成第三中间特 征； 通过第四卷积模块将所述第三中间特 征进行卷积处理和通道叠加处 理； 通过第二 通道注意力模块A ttention为所述第三中间特 征生成通道向量； 通过第二通道注意力模块Attention结合通道向量输出一个维度与所述第三 中间特征 通道数相同的归一 化一维向量； 通过第二通道注意力模块Attention根据归一化一维向量将所述第三中间特征按通道 对应相乘， 生成第四中间特 征； 将所述第四中间特征、 所述第一标签特征和所述第一采样特征进行通道叠加， 生成第 五中间特 征； 通过第一反卷积模块将所述第五中间特 征进行特征长宽重构， 生成第六中间特 征； 通过第一注意力Dropout模块AD O给所述第六中间特征对应的每个神经元分配注意力， 并将注意力小于第一预设阈值的神经 元进行置零， 生成第七中间特 征； 通过第二反卷积模块将所述第七中间特 征进行特征长宽重构， 生成第一 生成参数。 4.根据权利要求2所述的训练方法， 其特征在于， 所述将所述第一生成参数、 所述第一 采样特征和所述第一标签特 征输入第二 生成模块Generator， 生成第二 生成参数， 具体为： 将所述第一 生成参数和所述第一采样特 征进行通道叠加， 生成第八中间参数； 通过区域像素注意力模块RPA对所述第八中间参数进行区域像素值权重生成处理,生 成第九中间特 征； 通过区域像素注意力模块RPA将所述第八中间参数和所述第九中间特征按通道对应相 乘， 生成第十中间特 征； 通过第五卷积模块将所述第十中间特 征进行卷积处理和通道叠加处 理； 通过第三 通道注意力模块A ttention为所述第十中间特 征生成通道向量； 通过第三通道注意力模块Attention结合通道向量输出一个维度与所述第十中间特征 通道数相同的归一 化一维向量； 通过第三通道注意力模块Attention根据归一化一维向量将所述第十中间特征按通道 对应相乘， 生成第十一中间特 征； 通过第六 卷积模块将所述第十一中间特 征进行卷积处理和通道叠加处 理； 通过第四通道 注意力模块A ttention为所述第十一中间特 征生成通道向量； 通过第四通道注意力模块Attention结合通道向量输出一个维度与所述第十一中间特 征通道数相同的归一 化一维向量； 通过第四通道注意力模块Attention根据归一化一维向量将所述第十一中间特征按通 道对应相乘， 生成第十二中间特 征； 将所述第十二中间特征、 所述第一标签特征和所述第八中间参数进行通道叠加， 生成 第十三中间特 征； 通过第三反卷积模块将所述第十三中间特征进行特征长宽重构， 生成第十四中间特权　利　要　求　书 2/5 页 3 CN 115526891 A 3