(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211469867.2 (22)申请日 2022.11.23 (71)申请人 有米科技股份有限公司 地址 510006 广东省广州市番禺区小谷围 街青蓝街26号1701 (72)发明人 陈畅新　黄于晏　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 江银会 (51)Int.Cl. G06T 11/60(2006.01) G06N 3/04(2006.01) G06V 10/26(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于多图像元素的图像智能合成方法及装 置 (57)摘要 本发明公开了一种基于多图像元素的图像 智能合成方法及装置， 该方法包括： 对获取到的 第一及第二图像元素集合进行特征向量拼接， 并 根据所有拼接后图像元素的特征向量， 训练待训 练图像合成模型， 得到训练后图像合成模型， 并 判断训练后图像合成模型是否收敛； 若是， 则将 训练后图像合成模型确定为目标图像合成模型。 可见， 实施本发 明能够训练出应用于图像合成的 模型， 并通过该模型合成出与图像元素素材相匹 配的合成图像， 无需人工对图像元素进行抠图及 合成， 可以有效解决图像元素间尺 寸不匹配或存 在色差等问题， 进而可以提高图像元素间的合成 匹配度， 从而可以提高图像合 成的可靠性及准确 性， 使得合成图像能够与真实商品的试用效果相 符合。 权利要求书3页 说明书17页 附图5页 CN 115512006 A 2022.12.23 CN 115512006 A 1.一种基于多图像元 素的图像智能合成方法， 其特 征在于， 所述方法包括： 获取用于训练的训练图像元素集合； 所述训练图像元素集合包括第 一图像元素集合以 及第二图像元素集合， 所述第一图像元素集合以及所述第二图像元素集合均为对对应的训 练图像集 合进行图像元 素提取操作得到的； 对所述第一图像元素集合以及所述第 二图像元素集合执行特征向量拼接操作， 得到多 个拼接后图像元素的特征向量； 每个所述拼接后图像元素的特征向量表示对对应的第一图 像元素与对应的第二图像元 素进行特征向量拼接后所 得到的特 征向量； 根据所有所述拼接后图像元素的特征向量， 对预设的待训练图像合成模型进行训练， 得到训练后图像合成模型， 并判断所述训练后图像合成模型 是否收敛； 当判断出所述训练后图像合成模型收敛时， 将所述训练后图像合成模型确定为目标图 像合成模型； 所述 目标图像合成模型用于对待合成的图像元素素材进行合成， 以得到与所 述图像元 素素材相匹配的合成图像。 2.根据权利要求1所述的基于多图像元素的图像智能合成方法， 其特征在于， 在所述对 所述第一图像元素集合以及所述第二图像元素集合执行特征向量拼接操作， 得到多个拼接 后图像元 素的特征向量之前， 所述方法还 包括： 根据预设图像处理参数， 分别对所述第 一图像元素集合以及所述第 二图像元素集合进 行图像处理， 得到处理后第一图像元素集合以及处理后第二图像元素集合； 所述图像处理 参数包括图像处 理尺寸和/或图像处 理分辨率； 其中， 所述对所述第 一图像元素集合以及所述第 二图像元素集合执行特征向量拼接操 作， 得到多个拼接后图像元 素的特征向量， 包括： 根据预设第 一卷积处理参数， 分别对所述处理后第 一图像元素集合以及所述处理后第 二图像元素集合进行维度变换， 得到所有处理后第一图像元素的特征向量以及所有处理后 第二图像元素 的特征向量； 所述第一卷积处理参数包括卷积尺寸参数、 卷积步长参数以及 第一卷积通道数目参数中的至少一种； 对于每一所述处理后第一图像元素， 通过预设维度的间隔特征向量， 对所述处理后第 一图像元素的特征向量以及 对应的处理后第二图像元素的特征向量进 行拼接， 得到待定拼 接后图像元 素的特征向量； 根据预设标记参数， 将标记特征向量添加至所得到的每个所述待定拼接后图像元素的 特征向量中， 得到所有拼接后图像元素 的特征向量； 所述标记参数包括所述标记特征向量 的维度和/或添加位置 。 3.根据权利要求2所述的基于多图像元素的图像智能合成方法， 其特征在于， 所述待训 练图像合成模型包括定位器、 图像生成器以及图像判别器； 其中， 所述根据所有所述拼接后图像元素的特征向量， 对预设的待训练图像合成模型 进行训练， 得到训练后图像合成模型， 包括： 对于每一所述拼接后图像元素， 通过所述定位器， 从所述拼接后图像元素的特征向量 中的被标记特征向量内容确定出目标坐标位置参数； 所述目标坐标位置参数表示与对应的 处理后第一图像元素在所述拼接后图像元素中的拼接位置相匹配的检测框参数， 所述检测 框参数包括检测框中心坐标位置和/或检测框尺寸 参数； 对于每一所述拼接后图像元素， 通过所述图像生成器以及所述目标坐标位置参数， 对权　利　要　求　书 1/3 页 2 CN 115512006 A 2所述拼接后图像元素以及目标图像元素执行图像特征融合操作， 得到融合后图像元素特 征； 对于每一所述融合后图像元素特征， 通过所述图像判别器， 对所述融合后图像元素特 征执行图像特 征判别操作， 得到所述融合后图像元 素特征的判别概 率。 4.根据权利要求3所述的基于多图像元素的图像智能合成方法， 其特征在于， 所述通过 所述图像生成器以及所述目标坐标位置参数， 对所述拼接后图像元素以及目标图像元素执 行图像特 征融合操作， 得到融合后图像元 素特征， 包括： 通过所述图像生成器以及所述目标坐标位置参数， 对所述拼接后图像元素进行裁剪， 得到与所述目标坐标位置参数相匹配的裁 剪区域元 素； 根据预设目标处理参数， 分别对所述裁剪区域元素以及目标图像元素进行图像处理， 得到处理后裁剪区域元素以及处理后目标图像元素； 所述目标处理参数为放大 处理参数或 者缩小处 理参数； 根据预设特征提取参数， 分别对所述处理后裁剪区域元素以及所述处理后目标图像元 素进行特征提取， 得到所述处理后裁剪区域元素对应的第一图像元素特征以及所述处理后 目标图像元 素对应的第二图像元 素特征； 对所述第一图像元素特征以及所述第 二图像元素特征进行融合， 得到待定 融合后图像 元素特征， 并根据预设第二卷积处理参数， 对所述待定融合后图像元素特征进 行采样处理， 得到采样后图像元素特征， 作为所述拼接后图像元素以及所述目标图像元素对应的融合后 图像元素特征； 所述第二卷积处 理参数包括第二卷积通道数目参数和/或第一卷积层参数。 5.根据权利要求3或4所述的基于多图像元素的图像智能合成方法， 其特征在于， 所述 通过所述图像判别器， 对所述融合后图像元素特征执行图像特征判别操作， 得到所述融合 后图像元 素特征的判别概 率， 包括： 通过所述图像判别器以及预设第 三卷积处理参数， 对所述融合后图像元素特征执行多 次图像特征处理操作， 得到所述融合后图像元素特征对应的多个待判定图像元素特征， 并 确定每个所述待判定图像元素特征的特征值； 所述第三卷积处理参数包括第三卷积通道数 目参数和/或第二卷积层参数； 确定每个所述待判定图像元素特征的特征值所对应的权重参数， 并根据每个所述待判 定图像元素特征的特征值以及 对应的权重参数， 对所有所述待判定图像元素特征的特征值 进行加权求和， 得到针对所有所述待判定图像元素特征 的目标特征值， 作为所述融合后图 像元素特征的判别概 率。 6.根据权利要求5所述的基于多图像元素的图像智能合成方法， 其特征在于， 所述判断 所述训练后图像合成模型 是否收敛， 包括： 通过所述图像判别器， 获取 所述裁剪区域元 素的判别概 率； 根据所述裁剪区域元素的判别概率、 预设的所述裁剪区域元素对应的第一标签、 所述 融合后图像元素特征的判别概率以及预设的所述融合后图像元素特征的第二标签， 计算所 述训练后图像合成模型的目标损失参数； 根据所述目标损失参数以及所述融合后图像元素特征的判别概率， 判断所述目标损失 参数以及所述融合后图像元素特征 的判别概率是否均处于预设参数阈值范围内， 若是， 则 确定所述训练后图像合成模型收敛。权　利　要　求　书 2/3 页 3 CN 115512006 A 3