(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211513047.9 (22)申请日 2022.11.30 (71)申请人 中国科学技术大学 地址 230026 安徽省合肥市包河区金寨路 96号 (72)发明人 王翔　方俊峰　何向南　张岸　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 专利代理师 郭梦雅 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/44(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种联合图数据和图神经网络的图像解释 方法及装置 (57)摘要 本发明提供了一种联合图数据和图神经网 络的图像解释方法及装置， 可以应用于图神经网 络与机器学习技术领域。 该图像解释方法包括： 获取待处理的原始图数据和原始图神经网络， 原 始图数据包括多个节点和多个边， 原始图神经网 络包括多个神经元； 利用联合解释 框架对原始图 数据和原始图神经网络进行T轮处理， 得到第T 解 释结果， 第T解释结果满足第一预设条件， 第T解 释结果包括第T图数据和第T图神经网络； 将第T 解释结果作为与原始 图数据对应的目标解释结 果。 通过利用联合解释框架， 从图数据和图神经 网络两个方面实现了图像解释， 提高了目标解释 结果的可靠性和准确性。 权利要求书2页 说明书15页 附图5页 CN 115546612 A 2022.12.30 CN 115546612 A 1.一种联合图数据和图神经网络的图像解释方法， 其特 征在于， 包括： 获取待处理的原始图数据和原始图神经网络， 其中， 所述原始图数据用于表征与所述 原始图数据对应的图像的图结构信息， 所述原始图神经网络用于确定与所述原始图数据对 应的预测结果， 所述原始图数据包括多个节点和多个边， 所述原始图神经网络包括多个神 经元； 利用联合解释框架对所述原始图数据和所述原始图神经网络进行T轮处理， 得到第T解 释结果， 其中， 所述第T解释结果满足第一预设条件， 所述第T解释结果包括第T图数据和 第T 图神经网络， 所述第T图数据中节点的数量小于所述原始图数据， 所述第T图神经网络中神 经元的数量小于所述原 始图神经网络， T为大于或等于2的整数； 将所述第T解释结果作为与所述原 始图数据对应的目标解释结果。 2.根据权利要求1所述的方法， 其特征在于， 所述联合解释框架包括图解释器和网络解 释器， 所述图解释器用于确定所述第T图数据， 所述网络解释器用于确定所述第T图神经网 络。 3.根据权利要求2所述的方法， 其特征在于， 所述利用联合解释框架对所述原始图数据 和所述原 始图神经网络进行T轮处 理， 得到第T解释结果， 包括： 在t大于或等于2， 且t小于或等于T的情况下， 将第 （t ‑1） 解释结果中的第 （t ‑1） 图数据 和第 （t‑1） 图神经网络 输入所述图解释器， 输出第t图数据； 将所述第t图数据和所述第 （t ‑1） 图神经网络输入所述网络解释器， 输出第t图神经网 络。 4.根据权利要求3所述的方法， 其特 征在于， 还 包括： 在t等于1的情况下， 将所述原始图数据和原始图神经网络输入所述图解释器， 输出第1 图数据； 将所述第1图数据和所述原 始图神经网络 输入所述网络解释器， 输出第1图神经网络 。 5.根据权利要求3所述的方法， 其特征在于， 所述将第 （t ‑1） 解释结果 中的第 （t ‑1） 图数 据和第 （t ‑1） 图神经网络 输入所述图解释器， 输出第t图数据， 包括： 利用所述第 （t ‑1） 图神经网络处 理所述第 （t ‑1） 图数据， 得到第t1预测结果； 在确定所述第t1预测结果与标准标签之间的互信息为最大的情况下， 确定第t图掩码矩 阵， 其中， 所述第t图掩码矩阵用于筛选所述原始图数据中的节点， 所述标准标签用于表征 所述原始图数据所属的类别； 根据所述第t图掩码矩阵和所述第 （t ‑1） 图数据， 输出 所述第t图数据。 6.根据权利 要求3所述的方法， 其特征在于， 所述将所述第t图数据和所述第 （t ‑1） 图神 经网络输入所述网络解释器， 输出第t图神经网络， 包括： 利用所述网络解释器对所述第t图数据和所述第 （t ‑1） 图神经网络进行N次处理， 得到 所述第t图神经网络， 其中， 所述第t图神经网络满足第二预设条件， N为大于或等于2的整 数。 7.根据权利要求6所述的方法， 其特征在于， 所述利用所述网络解释器对所述第t图数 据和所述第 （t ‑1） 图神经网络进行N次处 理， 得到所述第t图神经网络， 包括： 在第n次处理过程 中， 利用第 （n ‑1） 网络掩码矩阵处理所述第 （t ‑1） 图神经网络， 得到第 tn‑1图神经网络， 其中， 所述第 （n ‑1） 网络掩码矩阵用于筛选所述第 （t ‑1） 图神经网络中的神权　利　要　求　书 1/2 页 2 CN 115546612 A 2经元， n大于或等于2， 且n小于或等于N； 将所述第t图数据输入所述第tn‑1图神经网络， 输出第t2 n预测结果； 利用第一损失函数处 理所述第t2 n预测结果与标准标签， 得到第一损失函数值； 利用第二损失函数处理所述第一损失函数值和所述第 （n ‑1） 网络掩码矩阵的正则项， 得到第二损失函数值； 在所述第二损 失函数值满足第三预设条件的情况下， 对第n次处理过程得到的网络掩 码矩阵进行选择性回卷， 得到第n网络掩码矩阵； 将利用所述第n网络掩码矩阵处理所述第 （t ‑1） 图神经网络 得到的第tn图神经网络作为 所述第t图神经网络 。 8.根据权利要求7 所述的方法， 其特 征在于， 还 包括： 获取与第t轮处理过程对应的初始网络掩码矩阵， 其中， 所述初始网络掩码矩阵是根据 所述原始图神经网络中神经 元的权重信息确定的； 在N次处理过程的第1次处理过程中， 利用所述初始掩码矩阵处理所述第 （t ‑1） 图神经 网络， 得到第t1图神经网络 。 9.根据权利要求7所述的方法， 其特征在于， 所述第n次处理过程得到的网络掩码矩阵 包括多个元 素， 所述元 素用于表征 所述原始图神经网络中神经 元的重要程度； 所述对第n次处理过程得到的网络掩码矩阵进行选择性回卷， 得到第n网络掩码矩阵， 包括： 根据所述多个元 素的掩码值的绝对值， 对多个所述元 素进行排序， 得到排序结果； 根据所述排序结果， 将满足第四预设条件的元素的掩码值设置为1， 将满足第五预设条 件的元素的掩码值设置为0， 得到所述第n网络掩码矩阵。 10.一种联合图数据和图神经网络的图像解释装置， 其特 征在于， 包括： 获取模块， 用于获取待处理的原始图数据和原始图神经网络， 其中， 所述原始图数据用 于表征与所述原始图数据对应的图像的图结构信息， 所述原始图神经网络用于确定与所述 原始图数据对应的预测结果， 所述原始图数据包括多个节点和多个边， 所述原始图神经网 络包括多个神经 元； 解释模块， 用于利用联合解释框架对所述原始图数据和所述原始图神经网络进行T轮 处理， 得到第T解释结果， 其中， 所述第T解释结果满足第一预设条件， 所述第T解释结果包括 第T图数据和第T图神经网络， 所述第T图数据中节点的数量小于所述原始图数据， 所述第T 图神经网络中神经 元的数量小于所述原 始图神经网络， T为大于或等于2的整数； 确定模块， 用于将所述第T解释结果作为与所述原 始图数据对应的目标解释结果。权　利　要　求　书 2/2 页 3 CN 115546612 A 3