(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211503297.4 (22)申请日 2022.11.29 (71)申请人 浙江大学计算机创新 技术研究院 地址 311200 浙江省杭州市萧 山区利一路 188号天人大厦33楼 (72)发明人 宋亚楠　刘贤斐　沈卫明　鲁鹏　 蒋唐辉　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 林超 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于全局上下文嵌入生成对抗网络的图像 异常检测方法 (57)摘要 本发明公开了一种基于全局上下文嵌入生 成对抗网络的图像异常检测方法。 先构造一个包 含生成网络和判别网络的生 成对抗网络， 生成网 络由编码网络和解码网络构成， 感知全局上下文 信息的全局上下文模块嵌入到编码网络和解码 网络中， 训练时将生成网络生 成的假图像以及输 入的真图像输入到判别网络进行训练； 测试时根 据生成图像与真实图像之间的差异以及相对应 的隐式特征差异 计算图像的异常分数， 根据异常 分数判断是否异常。 本发明能够 充分捕获图像特 征的长范围依赖关系， 有效提取全局上下文特 征， 有利于生成网络对异常特征的生成能力， 提 升异常检测任务的精度。 权利要求书2页 说明书6页 附图3页 CN 115546212 A 2022.12.30 CN 115546212 A 1.一种基于全局上 下文嵌入生成对抗网络的图像异常检测方法， 其特 征在于： 步骤1： 构建基于全局上 下文嵌入生成对抗的异常检测网络； 所述的异常检测网络包括生成网络、 判别网络、 重构损失函数和隐式损失函数； 输入图 像TX先经过生成网络获得生 成图像FX， 然后将输入图像T X和生成图像FX再共同输入到判别 网络获得输入图像TX和生 成图像FX各自对应的 隐式特征ht和hf； 再结合生 成图像FX与输入 图像TX通过重构损失函数处理获得异常检测网络的重构损失Lrec， 根据生成图像FX与输入 图像TX各自的隐式特征通过隐式损失函数处理获得异常检测网络的隐式损失Llat， 利用重 构损失Lrec和隐式损失Llat判断输入图像TX中是否存在异常； 步骤2： 将不存在异常的历史图像作为图像样本 输入异常检测网络后进行训练； 步骤3： 采集待测场景下的实时图像， 输入到训练后的异常检测网络中检测出是否为异 常图像。 2.根据权利要求1所述的一种基于全局上下文嵌入生成对抗网络的图像异常检测方 法， 其特征在于： 所述的判别网络以输入图像TX和由生 成网络生 成的生成图像FX为输入， 两 幅图像均分别依次经三个卷积模块和一个卷积操作的处理获得各自的隐式特征， 其中每个 卷积模块均由一个卷积 操作和一个激活函数依次连接构成。 3.根据权利要求1所述的一种基于全局上下文嵌入生成对抗网络的图像异常检测方 法， 其特征在于： 所述的生 成网络包括主要由编码网络和解码网络依次连接构成， 输入图像 TX输入到编码网络获得编码特征z， 编码特征z再输入到解码网络处理获得生成图像FX； 所 述的编码网络主要由第一卷积模块、 第一卷积操作、 全局上下文模块、 第一激活函数、 第二 卷积模块、 第二卷积操作 依次连接构成； 所述的解码网络主要由第一转置卷积模块、 第一转 置卷积操作、 全局上下文模块、 第二激活函数、 第二转置卷积模块、 第二转置卷积操作和第 三激活函数依次连接构成； 其中每个卷积模块均由一个卷积操作和一个激活函数依次连接 构成， 每个转置卷积模块均由一个转置卷积 操作和一个激活函数依次连接构成。 4.根据权利要求3所述的一种基于全局上下文嵌入生成对抗网络的图像异常检测方 法， 其特征在于： 所述的全局上下文模块包括多个卷积操作、 多个特征形状变换操作 reshape、 softmax操作和sigmoi d操作， 输入到全局上下文模块的图像特征X经过卷积操作 获得第一特征F1， 同时输入到全局上下文模块的图像经过特征形状变换操作reshape获得 第四特征F4， 第一特征F1经过特征形状变换操作reshape获得第二特征F2， 第二特征F2经过 softmax操作并改变形状后获得第三特征F3， 再将第三特征F3与第四特征F4按矩阵相乘后 获得第五特征F5， 第五特征F5经过特征形状变换操作reshape后获得第六特征F6， 第六特征 F6依次经过卷积操作和sigmoid操作后获得第七特征F7， 第七特征F7与输入到全局上下文 模块的图像特 征X按元素相乘获得输出 特征Y。 5.根据权利要求1所述的一种基于全局上下文嵌入生成对抗网络的图像异常检测方 法， 其特征在于： 所述步骤2中， 在训练过程中， 还利用输入图像TX和生成图像FX各自的隐式特征ht和 hf， 将隐式特征ht和hf均依次经过卷积操作和sigmoid激活函数后获得图像样本是真实图 像的概率预测值p， 进而根据概率预测值p构建异常检测网络的对抗损失Ladv， 然后进行以下 处理： S1、 初始化判别网络的参数；权　利　要　求　书 1/2 页 2 CN 115546212 A 2S2、 固定判别网络参数， 将重构损失Lrec和隐式损失Llat求和后获得异常检测网络 的总 损失L， 以总损失L 最小为目标对生成网络进行训练； S3、 固定S2训 练后的生成网络的参数， 以对抗损失Ladv最小为目标对判别网络进行训 练； S4、 不断重 复上述S2~S3更新优化整个异常检测网络的参数， 直到达到预设的最大迭代 epoch次数停止更新优化。 6.根据权利要求1所述的一种基于全局上下文嵌入生成对抗网络的图像异常检测方 法， 其特征在于： 所述利用重构损失Lrec和隐式损失Llat判断输入图像TX中是否存在异常， 具 体为： 利用重构损失Lrec和隐式损失Llat按照以下公式计算输入图像TX的异常 分数： S= λLrec+(1‑λ ) Llat 其中， λ表示预设的权值 参数； 当异常分数大于预设的异常阈值时， 则认为输入图像TX为异常图像； 否则不为异常图 像。 7.根据权利要求1、 5、 6中任一所述的一种基于全局上下文嵌入生成对抗网络的图像异 常检测方法， 其特 征在于： 所述的重构损失Lrec计算如下： Lrec = 1/(hw)*∑h i =1∑w j =1( ‖TXij  ‑  FXij‖L1) 其中， h、 w分别表示图像的高和宽， i=1...h， j=1...w， L1表示1范数； TXij和FXij分别表示 输入图像TX和生成图像F X在第i行、 第j列位置处的像素值； 所述的隐式损失Llat计算公式如下： Llat = 1/(HW)*∑H i =1∑W j =1( ‖ htij ‑  hfij‖L2)2 其中， H、 W分别表示隐式特征的高和宽， i=1...H， j=1...W， L2表示2范数， htij和hfij分别 表示输入图像TX的隐式特 征和生成图像F X的隐式特 征在第i行、 第j列位置处的特 征值。 8.根据权利要求5所述的一种基于全局上下文嵌入生成对抗网络的图像异常检测方 法， 其特征在于： 所述的对抗损失Ladv计算如下： Ladv =‑(1/N)*∑N i=1[yilog(pi)+(1‑yi)log(1‑pi)] 其中， i=1...N， N表示输入到异常检测网络的 图像样本个 数，yi表示第i个图像样本的所 属类别，pi为第i个图像样本的预测值。权　利　要　求　书 2/2 页 3 CN 115546212 A 3