ai魔幻黑科技！华人学者推出视频修复AI，可换天造物，秒变科幻大片( 三 ) |换天|造物|

本文插图
可以看出，该方法在定量指标和视觉质量方面都优于CycleGAN 。
更多论文详细内容，可参见：https://arxiv.org/abs/2010.11800
相关作者
Zhengxia Zou ，是该项研究的第一作者，目前是密歇根大学安娜堡分校的博士后研究员。
他于2013年和2018年获得北京航空航天大学的学士学位和博士学位，后加入密歇根大学，其研究兴趣包括计算机视觉在遥感、自动驾驶以及视频游戏中的相关应用。
近几年，其发表的多篇相关论文被ACM、CVPR以及AAAI顶会收录。
对于该项研究， Zhengxia Zou认为，除了视频领域的应用外，还有一个潜在应用空间—数据扩充。他说，
数据集的规模和质量是计算机视觉技术的基础，在现实场景中，即使ImageNet、MS-COCO等大规模数据集，在应用中也存在采样偏差带来的局限，而该方法对于提高深度学习模型在检测、分割、跟踪等各种视觉任务中的泛化能力具有很大的潜力。
不过，目前研究也存在一定的局限性，主要体现在两个方面，

一是天空遮罩网络无法检测到夜间视频中的天空区域。
二是当视频中某段时间内没有天空像素，或者没有纹理时，天空背景的运动就无法精确建模。

其原因是用于运动估计的特征点被假定为位于同一位置，并且使用距离第二远的特征点来估计运动会不可避免地引入误差。
因此，在未来的工作中，研究会着重于三个方向进行优化：第一是自适应天空光照；第二是鲁棒背景运动估计；第三是探索基于天空渲染的数据增强对目标检测和分割的有效性。
引用链接：
https://jiupinjia.github.io/skyar/
https://www.reddit.com/r/MachineLearning/comments/jh9wej/r_this_ai_finally_lets_you_fake_dramatic_sky/
雷锋网雷锋网雷锋网
【ai魔幻黑科技！华人学者推出视频修复AI，可换天造物，秒变科幻大片】