(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211535590.9 (22)申请日 2022.12.02 (71)申请人 中南大学 地址 410000 湖南省长 沙市岳麓区麓山 南 路932号 (72)发明人 陈先来　彭鹏　陈翔　赵爽　 (74)专利代理 机构 长沙轩荣专利代理有限公司 43235 专利代理师 李崇章 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/04(2006.01) G16H 50/20(2018.01) G06V 10/44(2022.01) G06V 10/52(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于多模态图像数据的多层次融合皮肤病 诊断系统 (57)摘要 本公开实施例中提供了一种基于多模态图 像数据的多层次融合皮肤病诊断系统， 属于医学 诊断技术领域， 具体包括： 数据集构建模块采集 临床图像和皮肤镜图像数据； 将多模态图像数据 集中两种模态数据分别输入两个模态特征提取 模块中； 通过通道维加权模块对输入 特征进行加 权， 根据特征图对诊断的重要性， 增加或减少相 关特征的权重； 特征融合模块提取两个模态特征 提取模块中多个层次的特征， 对同一维度的特征 进行特征级融合； 初步诊断模块包括多个分类 器； 最终诊断模块包括自适应性决策融合模块， 通过自适应决策融合模块融合分析初步诊断结 果， 得到最终诊断结果。 通过本公开的方案， 有效 解决多模态融合时的信息丢失问题， 并提高皮肤 病早期诊断的准确性。 权利要求书2页 说明书7页 附图3页 CN 115546217 A 2022.12.30 CN 115546217 A 1.一种基于多模态图像数据的多层次融合皮肤病诊断系统， 其特 征在于， 包括： 数据集构建模块， 所述数据集构建模块采集临床图像和皮肤镜 图像数据， 并对获取的 数据进行 预处理， 获取对应的多模态图像数据集； 模态特征提取模块， 模态特征提取模块与数据集构建模块连接， 将所述多模态图像数 据集中两种模态数据分别输入两个模态特 征提取模块中， 得到模态提取 特征； 通道维加权模块， 所述通道维加权模块与两个模态特征提取模块连接， 在特征提取过 程中， 通过通道维加权模块对输入特征进 行加权， 根据特征图对诊断的重要性， 增加或减少 相关特征的权重； 特征融合模块， 所述特征融合模块与两个模态特征提取模块连接， 所述特征融合模块 提取两个模态特征提取模块中多个层次的特征， 对同一维度的特征进行特征级融合， 得到 多组融合特 征； 初步诊断模块， 两个模态特征提取模块和所述特征融合模块均与所述初步诊断模块连 接， 所述初步诊断模块包括多个分类器， 将模态 提取特征和融合特征分别 传入多个分类器， 从而得到多组初步诊断结果； 最终诊断模块， 所述最终诊断模块与所述初步诊断模块连接， 所述最终诊断模块包括 自适应性决策融合模块， 通过自适应决策融合模块融合分析初步诊断结果， 得到最终诊断 结果。 2.根据权利要求1所述的系统， 其特 征在于,所述模态特 征提取模块 为残差网络 。 3.根据权利要求2所述的系统， 其特征在于,所述残差网络包括四个由不同层数的 BottleBlock块组成的卷积部分， 每 个卷积部分后均嵌入一个通道维加权模块。 4.根据权利要求3所述的系统， 其特征在于,所述通过通道维加权模块对输入特征进行 加权， 根据特 征图对诊断的重要性， 增 加或减少 相关特征的权重过程具体包括： 对于具有C个通道的特征图X， 将其沿着通道维度进行特征压缩， 将每个通道的二维特 征图通过全局平均池化压缩成一个实数， 得到 压缩特征图； 对压缩特 征图通过1 ×1的卷积分配其 通道维度间的权 重关系， 得到带权 压缩特征图； 将带权压缩特征图与原始特征图逐步相乘， 完成在原始特征上的通道维度权重再分 配。 5.根据权利要求4所述的系统， 其特征在于,所述提取两个模态特征提取模块中多个层 次的特征， 对同一维度的特 征进行特征级融合， 得到多组融合特 征过程具体包括： 提取两个模态特征提取模块四个卷积部分输出的特征， 经过通道维加权后， 对 同一维 度特征采用相乘的方式进行融合， 得到四个不同维度的融合特 征。 6.根据权利要求5所述的系统， 其特征在于,所述分类器为SVM分类器， 所述将模态提取 特征和融合特 征分别传入多个分类 器， 从而得到多组初步诊断结果过程具体包括： 将所述两个模态特征提取模块提取的特征和四个融合特征分别传入SVM分类器， 得到 六组初步诊断结果。 7.根据权利要求6所述的系统， 其特征在于,所述通过自适应决策融合模块融合分析初 步诊断结果， 得到最终诊断结果过程具体包括： 将每个分类器的分类结果和每 个分类器的准确率作为自适应决策融合 算法的输入； 统计得出具有最多相同诊断结果的分类 器数量N；权　利　要　求　书 1/2 页 2 CN 115546217 A 2比较N与设定的阈值 ， 当N大于 时， 直接输出N个分类器的结果作为最终诊断结果， 否 则计算基于D ‑S证据理论融合产生的冲突因子K， 若冲突因子大于0.5， 则选用多 数投票原则 作为融合方法， 反之则通过D ‑S证据理论作为融合规则， 最后， 输出通过融合得到的结果做 为最终诊断。权　利　要　求　书 2/2 页 3 CN 115546217 A 3