映维网：概述谷歌 Pixel 4 深度传感 uDepth 工作原理和底层算法( 二 )
最后 ， 从相邻平面假设中选择最佳匹配 。
本文插图
绿色组件由GPU运行 ， 黄色组件由CPU运行 ， 蓝色组件则由PixelNeuralCore运行
当手机出现跌落情况时 ， 这可能会导致立体摄像头的出厂校准偏离实际位置 。 为了在实际使用中确保高质量的结果 ， uDepth系统支持自校准 。 计分程序评估每个深度图像是否存在误校准的迹象 ， 并建立对设备状态的信心 。 如果检测到校准错误 ， 则从当前场景重新生成校准参数 。
本文插图
左边是未校准的立体深度；右边是经过自校准后的立体深度
更多的信息请参阅SlantedO(1)Stereo 。
3.用于计算摄影的深度
uDepth传感器的原始数据需要是精确和可度量 ， 这是人脸解锁的基本要求 。 诸如人像模式和三维照片等计算摄影应用有着非常不同的需求 。 在所述用例中 ， 实现视频帧速率并不重要 ， 但深度应该是平滑的 ， 边缘对齐的 ， 并且在彩色摄像头的整个视场中都是完整的 。
本文插图
从左到右：原始深度感测结果 ， 预测深度 ， 3D照片
为了实现这一目标 ， 团队训练了一个端到端的深度学习架构 。 它增强了原始uDepth数据 ， 并推断出一个完整、密集的3D深度映射 。 谷歌采用了RGB图像、人像分割和原始深度的组合 。
本文插图
用于计算摄影深度的架构
为了获得GroundTruth ， 团队利用了一个体三维捕捉系统 。 这是一个配备有331个自定义彩色LED灯、一组高分辨率色摄像头和一组自定义高分辨率深度传感器的测地线球体 ， 能够生成接近照片真实感的人像模型 。 谷歌在设置中添加了Pixel4智能手机 ， 并将它们与其他硬件（灯光和摄像头）同步 。 生成的训练数据包括Pixel4视点真实图像和合成渲染的组合 。
【映维网：概述谷歌 Pixel 4 深度传感 uDepth 工作原理和底层算法】
本文插图
数据获取综述
4.将一切整合起来
当所有一切就位后 ， uDepth将能够以30Hz产生深度数据流 ， 并生成平滑的后处理深度映射 。 系统生成的平滑、密集、每像素深度支持启用SocialMediaDepth功能的所有Pixel4自拍照片 ， 并且可用于社交媒体的散焦和3D照片等后期捕获效果 。
谷歌最后提供了一个演示应用 ， 这样你就可以利用uDepth提供的实时点云可视化工具进行体验 。 请点击这里下载（注 ， 这个应用仅用于演示和研究目的 ， 不用于商业用途；谷歌不会提供任何支持或更新） 。 这个演示应用会从你的Pixel4可视化三维点云 。 由于深度映射属于时间同步 ， 并且与RGB图像位于同一坐标系中 ， 所以可以显示3D场景的纹理映射 ， 如下面示例：
本文插图
利用uDepth获取的单帧RGB点云示例
概述谷歌Pixel4深度传感uDepth工作原理和底层算法最先出现在映维网 。
推荐阅读
- 「IT之家」对标Apple Card：谷歌拟推Google Card借记卡
- 华为Mate30：华为宣布！P40基本已去谷歌！外媒：华为P40去谷歌依然是顶级旗舰
- 大型机@IBM危险了！谷歌云收购大型机公司
- 「全媒体聚焦」要和高通说再见了，谷歌宣布一大消息，华为又将迎来对手
- 『谷歌』外泄谍照显示谷歌拟推Google Card借记卡
- 『谷歌』Google Pixel 4系列手机即日起支持双卡双待
- 『亚马逊』谷歌、苹果、亚马逊老大同天发声 再谈复工复产计划
- 映维VR■TeamViewer AR远程协作开始支持iPad Pro激光雷达特性
- 「Google」为缓解宽带压力！谷歌将降低Nest相机的质量，但用户却不买账
- 『』谷歌和高通急了，连忙开启牵制华为的“新行动”