单帧风景照变延时摄影，分分钟搞定，还能有昼夜变化( 二 )
在一般的循环推理中 ， 错误会在循环的输出帧中累积 。 而在这篇论文的运动预测中 ， 这些光流在空间上是平滑的 ， 因此对错误的敏感度较低 。
此外 ， 算法通过回溯到输入图像来重构每个预测帧 ， 避免由于重复的颜色采样而导致RGB值的错误累积 。
运动预测器
训练运动预测器的方法非常直接 ， 最终目标就是让模型预测的光流场与真实光流场之间的差异最小化 。
本文插图
至于推理过程 ， 首先从单个输入图像生成加入的运动帧 ， 通过线性混合（linear blending）使其循环 ， 然后对每个帧进行颜色转换 。
在这个过程中反复使用预测帧作为下一个运动预测的输入帧 ， 重复此过程获得多个帧 。
本文插图
但是自监督的环境中预测光流场是有挑战性的 ， 因为这本质上是要找到两个具有较大自由度的连续帧之间的对应关系 ， 这很容易陷入局部最优值中 ， 从而产生不一致的流场 。
为此 ， 作者在预测和训练阶段都限制了输出光流场的范围 ， 以一个常数除预测的光流场 ， 限制它们的幅度范围 。 事实也证明了这种方法的有效性 。
本文插图
外观预测器
由于外观预测器是使用输入图像和每个训练视频中两帧之间任意帧来训练的 ， 因此需要一个潜在代码来控制每个帧的外观 。
最终 ， 颜色迁移图通过输入图像和控制的潜在编码来共同计算完成 。 这种方法避免了反复直接从输入图像预测导致随时间变化的色彩 。
本文插图
日本团队
论文的第一作者 ， 是日本筑波大学计算机几何与图形实验室（CGG）的副教授远藤裕纪（Yuki Endo） 。
本文插图
另外两位合作者 ， 分别是同实验室的金森佳宏（Yoshihiro Kanamori）副教授 ， 和丰桥技术科技大学的栗山繁（ Kuriyama Shigeru）教授 。
本文插图
本文插图
传送门
PyTorch代码：https://github.com/endo-yuki-t/Animating-Landscape
项目地址：http://www.cgg.cs.tsukuba.ac.jp/~endo/projects/AnimatingLandscape/
论文地址：https://arxiv.org/abs/1910.07192
— 完 —
量子位 QbitAI · ***签约
关注我们 ， 第一时间获知前沿科技动态
推荐阅读
- 系统|Android 10系统因风景壁纸而崩溃
- 【】将拍照变成魔术，小米10青春版不一样的拍照体验
- 太平洋电脑网最近入手了这款旗舰 朋友都说我拍照变好看了
- 冬季风景照怎样拍出不一样的冬季风景照？
- 骑行猜！昊然弟弟骑行是“风景派”还是“风速派”
- 「」超远距双目变焦，华为P40 Pro+让远近风景皆成画
- 搜狐新闻■“宅”家莫愁：微软发布多款全新静物/风景Windows 10 4K壁纸包
- [课堂]变客厅为课堂 大屏教育“风景这边独好”
- 机器人■英国小镇疫情期间迎来新“风景”：机器人每天忙送货
- 【风景照】7个简单技巧，在天气不好时让你拍好风景照！