江苏龙网

  1. 首页 > 人文 > >

『量子位』中国女博士的“水淹食堂”大法：单目视频重建3D场景，毫无违和感( 二 )


评估的指标一共有三个 ， 覆盖模型的“测光误差”（Es）、“（不）稳定性”（Ed）、“漂移程度”（Ep） ， 都是反向指标 ， 数值越小 ， 证明模型效果更好 。
从下图中可以看出 ， 无论是静态场景还是动态场景 ， 论文中提出的深度估计算法 ， 在各个指标上都是最优 。

『量子位』中国女博士的“水淹食堂”大法：单目视频重建3D场景，毫无违和感
本文插图
从直观的结果中也能够看出效果的差异：
『量子位』中国女博士的“水淹食堂”大法：单目视频重建3D场景，毫无违和感
本文插图

『量子位』中国女博士的“水淹食堂”大法：单目视频重建3D场景，毫无违和感
本文插图
不仅精度和几何一致性更高 ， 视觉效果也更加稳定 。
此外 ， 为了评估的完整性与公平性 ， 他们还在三个公开数据集上 ， 与这些模型进行了定量比较 ， 分别是：TUM数据集、ScanNet数据集和KITTI 2015数据集 。
下表展示的是ScanNet数据集上结果 ， 论文中提出的方法虽然不是最优 ， 但与最优算法的差距并不算大 。
『量子位』中国女博士的“水淹食堂”大法：单目视频重建3D场景，毫无违和感
本文插图
来自中国女学霸 ， 本科毕业于上海交大
这一研究成果来自华盛顿大学、Facebook等研究机构 ， 一共有5名学者参与 。
一作名为罗璇 ， 是华盛顿大学在读博士 ， 2015年毕业于上海交大ACM班 ， 是戴文渊等大神的直系学妹 。
『量子位』中国女博士的“水淹食堂”大法：单目视频重建3D场景，毫无违和感
本文插图
本科毕业之后 ， 先后拿到加州伯克利大学、华盛顿大学等高校Offer ， 为了追求“虚拟视觉”而选择了华盛顿大学 ， 这也是她从高中就开始关注的领域 。
去华盛顿大学读博之后 ， 她先后在迪士尼、谷歌等知名企业实习 ， 当前的这一研究成果 ， 是她在Facebook实习期间的研究成果 。
第二作者是Jia-Bin Huang ， 弗吉尼亚理工学院助理教授 ， 本科毕业于台湾国立交通大学 。 论文的其他三位作者 ，都来自Facebook ， 分别是Richard Szeliski、Kevin Matzen、Johannes Kopf 。
关于这一研究 ， 他们在结论部分提到了不足之处——比较依赖此前的研究成果 ， 比如用COLMAP估计单目视频中摄像机的姿态 ， 依赖FlowNet2建立几何约束等等 。
这些方法的不足 ， 也直接影响到了罗璇等人的研究 。
另一个值得改进的地方在于 ， 它不支持在线处理 ， 训练244帧的视频需要约40分钟 ， 如果想要实际的生活中 ， 还需要进一步优化 。
但从广大网友的山呼海啸般的反响中 ， 也能够看到算法一旦实现 ， 用户是肯定有的~
【『量子位』中国女博士的“水淹食堂”大法：单目视频重建3D场景，毫无违和感】你期待吗？


推荐阅读


上一篇：【君子荣】马云还是动手了，偷养的万亿独角兽公司正式和阿里巴巴划清界限！

下一篇：「青蓝科技」手机处理器详解：为什么华为麒麟能叫5G SoC，高通865不能？