(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211515828.1 (22)申请日 2022.11.30 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 街道八一路2 99号 (72)发明人 王中元　李娜　胡思成　罗来干　 何政　梁超　韩镇　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 肖明洲 (51)Int.Cl. G06T 3/40(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于孪生超分辨率网络的压缩视频超分辨 率方法及系统 (57)摘要 本发明公开了一种基于孪生超分辨率网络 的压缩视频超分辨率方法及系统， 将待处理低分 辨率视频输入本实施例的孪生超分辨率网络， 获 得超分辨率视频； 训练时本发明将原始高质量视 频进行M‑JPEG格式的压缩。 然后将压缩版本和非 压缩版本两类数据输入到孪生超分辨率网络中。 最后从四个方面约束孪生超分辨率网络的训练， 两类视频经编码器提取到的特征应该尽可能靠 近； 两类视频的超分结果和真实值共同构成了一 个三元组， 三元组内元素互为正样本； 负样本则 是压缩数据与传统降质之间的残差超分的结果。 通过这样对比学习的方式， 孪生超分辨率网络能 够最大限度地学习到对压缩视频超分需要的特 征参数， 获得更精细的超分辨 率重建结果。 权利要求书2页 说明书5页 附图3页 CN 115546030 A 2022.12.30 CN 115546030 A 1.一种基于孪生超分辨率网络的压缩视频超分辨率方法， 其特征在于： 将待处理低分 辨率视频输入所述孪生超分辨 率网络， 获得超分辨 率视频； 所述孪生超分辨率网络， 由两支并行设置超分辨率网络组成； 所述超分辨率网络， 包括 编码器网络和上采样模块； 所述编码器网络， 它由两类卷积层和若干PFRB模块组成； 第一类卷积层以输入连续三 帧图像的中心帧为输入， 每帧大小为64 ×64×3， 该卷积层将其大小转换为batchsize ×64 ×64×80的特征图， 第二类卷积层以除中心帧外其他的补充帧作为输入， 输入数据大小为 batchsiz e×64×64×6， 卷积层将这样的数据转换为batchsiz e×64×64×80的特征图， 最 后， 将这两个特征同上一轮上采样前的超分结果一起， 输入连续的PFRB模块中； 两种输入对 应的两个编码器网络共享 一个权重； 其中， batc hsize为梯度优化的批量样本数； 所述PFRB模块， 数据先被输入到三个大小为3 ×3的卷积层中， 这三个卷积层的输入输 出通道数均为8 0， 记输出为x1， 然后对 该卷积层的输出进 行拼接， 再使用一个1 ×1的卷积层 将总通道数240变换为8 0， 并且将得到的结果分别和x1中的三个结果进 行拼接， 得到的结果 记为x2， 最后， 将x2中的三个结果分别输入到三个卷积层中， 将输入数据的通道数压缩为 80， 然后将得到的三个结果与最初输入的三个结果对应加和， 得到最终的结果； 其中， 各卷 积层之间均使用LeakyReLU激活函数来引入非线性关系； 所述上采样模块， 输入数据的大小为batchsize ×3×64×64×80， 首先经过一个3 ×3 的卷积层， 将数据通道数240转换为80， 继续输入卷积层中， 将通道数80转换为48； 使用 pytorch中的pixelshuffle函数对数据进行尺度为2的上采样， 通道数压缩为12； 得到的结 果再经过一个卷积层处理， 最后使用pix elshuffle函数进行一次尺度为2的上采样； 输出的 超分数据的尺寸 为batchsize×3×256×256×3。 2.根据权利要求1所述的基于孪生超分辨率网络的压缩视频超分辨率方法， 其特征在 于： 所述孪生超分辨 率网络， 是训练好的孪生超分辨 率网络； 其训练过程包括以下步骤： 步骤1： 针对包括若干高分辨率连续帧的原始数据集， 将原始数据集中视频进行M ‑JPEG 压缩并且bicubic下采样处理得到低分辨率的压缩图像， 记 为压缩视频； 将原始数据集中视 频进行高斯模糊并且bicubic下采样处 理得到传统低质量图像， 记为BD视频； 步骤2： 利用编码器网络对输入的视频进行初步的特征提取， 对于输入的5维视频数据， 编码网络输出一个4维特征， 通过LeakyReLU激活函数处理4维特征， 引入非线性的函数关 系， 并且约束提取的两个特 征之间的损失； 步骤3： 分别将提取到的特征送入上采样模块中继续进行超分， 输出一个相比于输入长 宽放大四倍的视频； 分别约束两个输出和真值之间的关系， 使其尽可能靠近， 做为压缩视频 样本和正样本的距离； 记超分后的残差、 真值视频与压缩视频的差这两者的距离为压缩视 频样本与负 样本之间的距离， 需要在设定范围内尽可能大； 步骤4： 计算总损失， 使用反向传播梯度的方式对所述孪生超分辨率网络进行训练； 循 环执行步骤1‑4， 将所述孪生超分辨 率网络训练到收敛， 得到训练好的孪生超分辨 率网络。 3.根据权利要求2所述的基于孪生超分辨率网络的压缩视频超分辨率方法， 其特征在 于： 步骤3中， 得到BD视频和压缩视频的超分结果， 并且将两者与真值做约束， 得到损失 dispositive；权　利　要　求　书 1/2 页 2 CN 115546030 A 2； 其中，yBD指BD视频超分后的结果， ycompress指压缩视 频超分后的结果， gt指真实值， ε表示 一个常量； 将 dispositive记为压缩视频样本和正样本的距离； 将压缩视频与BD压缩视频做差， 得到负样本， 记为 xnega； 计算负样本和压缩视频样本的 距离disnegative； ； 其中， M(xnega)、xnega分别表示负 样本输入模型后得到的超分结果和负 样本本身。 4.根据权利要求2所述的基于孪生超分辨率网络的压缩视频超分辨率方法， 其特征在 于： 步骤4中， 根据步骤3中计算得到的压缩视频样本与 正样本之间的距离 dispositive和压缩 视频样本与负 样本之间的距离 disnegative， 计算最终的损失； ； 其中，margin为超参数， 用来设定 两特征距离之间的间隔； 计算出损失后， 使用Adam优化器对所述孪生超分辨 率网络进行反向传播并优化。 5.一种基于 孪生超分辨 率网络的压缩视频超分辨 率系统， 其特 征在于， 包括： 一个或多个处 理器； 存储装置， 用于存储一个或多个程序， 当所述一个或多个程序被所述一个或多个处理 器执行时， 使得所述一个或多个处理器实现如权利要求 1至4中任一项 所述的基于孪生超分 辨率网络的压缩视频超分辨 率方法。权　利　要　求　书 2/2 页 3 CN 115546030 A 3