江苏龙网

  1. 首页 > 人文 > >

『极客公园』手机背后那不是「浴霸」，是 3D 大众化的通行证


如果乔布斯看到最新的 iPhone 11 Pro 后面的三颗吐出来的「浴霸」造型摄像头 ， 不知道会作何感想 。 当然 ， 不管「乔帮主」可能会怎么看 ， 摄像头个数代表手机档次 ， 已经成为一个潜规则 。 虽然牺牲了部分造型 ， 但确实给手机带来了新的功能 ， 例如获得深度信息 ， 这也是为什么出现了 iPhone 拥有双摄之后 ， 出现了能够虚化背景的「肖像模式」 。
新功能需要新玩法 ， 两年前 ， Facebook 推出了 3D 照片的新功能 ， 正是通过双摄手机的「肖像模式」 ， 让 2D 照片出现「部分 3D」的效果 。 遗憾的是 ， 当时拥有双摄旗舰机的人还是少数的 。 几天前 ， Facebook AI 发布博客 ， 表示通过神经网络训练 ， 现在 Facebook 已经可以将普通单摄手机拍摄的 2D 照片 ， 转化成具有 3D 效果的图片 。
除了用户在手机页面停留更长时间 ， 「3D 照片」功能背后的积累 ， 可以落地在更多场景 ， 例如 AR 场景以及无人驾驶 。 鉴于 Facebook 对于 VR 的野心依旧 ， 这项新功能将如何实现扎克伯格「10 亿人共 VR」的梦想 ， 也令人颇为期待 。
『极客公园』手机背后那不是「浴霸」，是 3D 大众化的通行证
本文插图
『极客公园』手机背后那不是「浴霸」，是 3D 大众化的通行证
本文插图
2D 照片如何变 3D 同样是 3D 照片 ， 两年时间有什么不一样的？答案是 ， 深度信息 。 2018 年的 3D 照片功能要依赖当时手机双摄「肖像模式」带来的深度信息 ， 而现在 Facebook AI 可以直接将任何时候拍摄的 2D 照片转化出 3D 效果 ， 不需要深度信息 。
抛开深度信息来制造 3D 效果的照片 ， 需要面对两个挑战 ， 一个是训练模型来推测各种物体的 3D 位置 ， 另一个是优化系统来让各种移动设备都能在短时间内将功能跑起来 。 为此 ， 团队使用卷积神经网络（CNN）训练了数百万对的 3D 照片以及对应的深度信息；同时 ， 利用 Facebook AI 团队之前的开发 FBNet 和 ChamNet 的优化方式 ， 来将功能推广到更多的设备上 。
通过这个方式 ， 给出任意一张标准的 RGB 图像 ， 卷积神经网络可以估算出任一像素到摄像头的距离 。 目前 ， iPhone 7 及之后的设备 ， 都可以使用 3D 照片功能 。
在攻克 2D 照片的深度信息预测算法之后 ， Facebook AI 团队表示正在尝试将实验扩大到视频范围 ， 后者的挑战在于每一帧画面的深度必须与前后帧的保持一致 ， 同时好消息是 ， 由于视频通常有同一物体的不同视角 ， 能够用来提供更精确的深度信息预测 。 而这些尝试将让团队强化算法在深度、物体表面以及空间方面的推测能力 ， 并最终将其使用到实时场景之中 ， 例如手机端的 AR 应用上 。
如果通过这些方式 ， 能让机器更好的理解立体的现实环境 ， 也会对无人驾驶车辆或者无人机的导航提供帮助 。
『极客公园』手机背后那不是「浴霸」，是 3D 大众化的通行证
本文插图
YouTube 和 3D 民主化 十五年前的 2005 年 ， YouTube 的三位创始人创立这个平台的时候 ， 最开始的想法是做成视频相亲网站 ， 很难说当时如果他们坚持那个方向 ， 是不是还会变成现在这个视频界的谷歌 。 当时数码设备尚未流行 ， 员工经常需要跑到用户家里去取用户想要上传的视频的光盘 ， 拿回到公司帮忙上传 ， 可想而知平台前几年发展有多艰难 。 如果没有后来智能手机的爆发 ， 估计也不会有现在的 YouTube 了 。
从 2014 年收购 Oculus ， Facebook 在 VR 上下了重注 ， 但是行业发展显然没有扎克伯格当时签支票时预料的那么快 。 视频 3D 效果的创意 ， 其实早在几年前 Facebook 360 视频团队就曾经尝试过 ， 由于 Facebook 360 项目最终停滞 ， 相关的内容也难以见到了 。
这折射了 VR 和 AR 行业发展的一个瓶颈 ， 如果普通用户无法用手机便捷的创建 3D 内容 ， 那么他们可能不会对 VR 或者 AR 产生太大的兴趣 。 虽然收购了一家又一家 VR 游戏公司 ， 但是用 PGC 的方式生产 VR 内容 ， 毕竟速度和数量都和视频的 UGC 不在一个数量级上 。


推荐阅读


上一篇： 领导@“院领导抗疫补助超援鄂一线医护”调查结果公布，院长和副院长被免职

下一篇： 「防控」北京市社区防控组：截至目前，82.7万返京人员正处于14天居家观察