江苏龙网

  1. 首页 > 资讯 > 科技 > >

科技小数据|霍普金斯大学开源得Syn2Real用于使用高斯过程进行图像去雨算法


作者信息

科技小数据|霍普金斯大学开源得Syn2Real用于使用高斯过程进行图像去雨算法
本文插图

介绍
在下雨天拍摄的图像通常质量较差 。 雨水条纹引起的伪影会对后续的计算机视觉算法（例如对象检测和识别）的性能产生不利影响 。 随着此类算法在诸如自主导航和视频监视等应用中成为至关重要的组成部分 ， 开发用于除雨的复杂算法变得越来越重要 。

科技小数据|霍普金斯大学开源得Syn2Real用于使用高斯过程进行图像去雨算法
本文插图

就重构误差和视觉质量而言 ， 基于CNN的最新图像去雨算法已经获得了出色的性能 。 但是 ， 这些方法在只能对完全标记的数据进行训练的意义上受到限制 。 由于获得现实世界中全标签图像去雨数据集的各种挑战 ， 现有方法仅在合成生成的数据上进行训练 ， 因此无法很好地推广到现实世界图像 。 在文献中 ， 相对较少地探讨在训练图像排水网络中使用真实世界数据 。 作者提出了一种基于高斯过程的半监督学习框架 ， 该框架使学习中的网络可以使用合成数据集进行训练 ， 同时可以更好地泛化未标记的真实世界图像 。 通过对几个具有挑战性的数据集（例如Rain800 ， Rain200H和DDN-SIRR）进行广泛的实验和消融 ， 结果证明了所提出的方法在有限的标记数据上进行训练时 ， 可以通过完全标记的训练获得出色的性能 。 此外与现有方法相比 ， 在建议的基于GP的框架中使用未标记的真实世界图像会产生更高的性能 。
高斯过程
高斯过程(GP)f(v)是随机变量的无穷集合 ， 其中的任何有限子集都是联合高斯分布的 。 GP由其均值函数和协方差函数完全指定 ， 它们的定义如下:
其中v ， v0∈V表示索引GP的可能输入 。 协方差矩阵由协方差函数或核K构成 ， 其表示基础函数的平滑度的某些先验概念 。 GP可以表示如下:
其中I是恒等矩阵 ， σ2是加性噪声的方差 。 然后 ， 函数值的任何集合按以下方式联合为高斯:
方法
如下图所示 ， 所提出的方法由基于UNet结构的CNN组成 ， 其中每个块都是使用Res2Block构建的 。 该网络由一个编码器和一个解码器组成 。
编码器和解码器分别通过θenc和θdec进行参数设置 ， x是网络的输入 ， 然后由编码器将其映射到潜在向量z 。 在我们的案例中 ， x是我们要从中删除雨条纹的多雨图像 。 潜矢量然后被馈送到解码器以产生输出雨条纹 。
然后从多雨图像（x）中减去雨条纹成分以产生干净图像y = x ? r 。
在作者表述中 ， 训练数据集为D =DL u DU ， 其中DL 是由N个样本组成的标记训练集 ， 而DU 是由N个未标记样本组成的集合 。
DL指的是标记的“合成”数据集 ， 而DU指的是未标记的“真实世界”数据集 。 建议的方法的目标是通过利用标记的（DL）和 未标记的数据集（DU） 。 训练过程会迭代标记和未标记的数据集 。 通过最小化（i）在标记训练阶段的监督损失函数（Lsup）和（ii）在未标记训练阶段的无监督损失函数（Lunsup）来学习网络参数 。
对于无标签训练阶段 ， 我们使用GP公式生成伪GT ， 然后将其用于无监督损失函数中 。

科技小数据|霍普金斯大学开源得Syn2Real用于使用高斯过程进行图像去雨算法
本文插图

图1：在学习过程中 ， 我们会利用未标记的数据 。 训练过程包括遍历标记的数据和未标记的数据 。 在标记训练阶段 ， 我们使用监督损失函数 ， 该函数由l1误差和预测与目标之间的感知损失组成 。 在未标记阶段 ， 我们使用GP共同对标记和未标记的潜在载体进行建模 ， 以获得潜在空间中未标记样品的伪GT 。 我们使用这个伪GT进行监督
数据集
使用了Rain800 Rain200H DDN-SIRR dataset以及真实图像等 。

科技小数据|霍普金斯大学开源得Syn2Real用于使用高斯过程进行图像去雨算法


推荐阅读


上一篇：手机中国|充电5分钟 刷剧4小时 2999元起OPPO Reno4系列开售！

下一篇：3DMGAME|发布会可能泄露了一些PS5的UI信息 大家看到了吗？