江苏龙网

  1. 首页 > 资讯 > 科技 > >

映维网|Arm分享：从科幻到现实，移动端全息显示计算的发展进步( 二 )


本文插图

图3：基于FFT的CGH管道
在切片过程中 ， 点云的每个点被划分为深度层 。 在下一步中 ， 深度层将重新采样并栅格化为深度网格 。 在这个阶段 ， 每个深度栅格包含处于相同深度的点 。 在实际应用中 ， 每个深度网格可以看作是一个二维图像 ， 而每个深度层的点可以有效地视为像素 。 这种分层方法允许我们将计算全息问题简化为具有O（N2 log N）时间复杂度的快速傅立叶变换问题（其中N是显示器的边长） 。 接下来 ， 我们进行色度网格划分 ， 将深度网格划分为RGB通道 。 然后利用FFT对深度网格进行衍射计算 ， 并且生成全息图 。 每个RGB通道都需要自己的FFT计算 ， 因为衍射速率取决于每个颜色波长 。 最后 ， 将RGB通道全息图合并成单色全息图 。
当生成全息图（干涉图）后 ， 我们应该在哪里记录或打印并用激光束重建及产生全息投影呢？数字技术已经在这一领域获得长足的进步 ， 所谓的空间光调制器（SLM）取代了模拟胶片 。 SLM可以动态显示计算出的衍射图样 ， 并在用红绿蓝三种激光二极管照明时产生全息投影 。
显然 ， 这是全息图生成过程的一个简略版本 ， 我们在这里没有考虑与显示器本身相关的技术挑战 。 然而 ， 我们可以看到所需的计算能力将随深度层的数量和深度网格的分辨率提升而增加 。 随着层数的增加 ， 我们可以预期FFT计算的权重将更加显著 。 GPU在并行计算方面非常出色 。 它们可以充分利用运算能力 ， 而高端GPU的运算能力通常更为强大 。 这就是为什么今天全息图生成过程的推荐计算单元是GPU的原因 。
在访问VividQ期间 ， 我尝试了团队研发的全息头显原型（图4） 。 这家公司已经为相关的软件和参考设计申请了专利 ， 并希望加速全息显示在AR头显和智能眼镜、汽车平视显示器和消费电子产品领域的大规模采用 。
映维网|Arm分享：从科幻到现实，移动端全息显示计算的发展进步
本文插图
【映维网|Arm分享：从科幻到现实，移动端全息显示计算的发展进步】

图4：VividQ的双目全息头显原型 ， 头显上方是一个深度传感器 。
如今 ， VividQ的全息头显原型会接入到一台PC ， 而后者运行的相关程序可以渲染来自Unity或Unreal等游戏引擎的虚拟内容 。 虚拟内容的颜色和深度信息会发送到CGH管道（图3） 。 当在环境中投射全息图时 ， 所述设备同时会使用深度传感摄像头的信息来实现虚拟与真实和真实与虚拟的遮挡（图5） 。 FFT计算在GPU中进行 。
映维网|Arm分享：从科幻到现实，移动端全息显示计算的发展进步
本文插图

图5：在不同距离捕获的三维全息投影 。
尝试VividQ的全息头显是一次令人大开眼界的经历 ， 因为当CGH只存在于科幻作品描述的的未来时 ， 我的全息知识就随着我的大学毕业而终止 。 这一次访问令我意识到全息技术自80年代以来已经发展到什么程度 ， 但还有更多的惊喜在等着我 。
3. 移动端的实时CGH：是科幻还是现实？
将CGH从桌面端带到移动端似乎是一项艰巨的任务 。 如果在拥有强大CPU和GPU的桌面端实现CGH已经是一个巨大挑战 ， 将全息图生成转移到移动设备还有意义吗？然而 ， 如果我们仔细思考 ， 如果我们希望看到实时全息显示器的广泛采用 ， 转向移动端显然是下一个自然而然的步骤 。
类似的过程已经在虚拟现实发生 。 如果你关注这个行业的发展 ， 你应该会知道于2016年面世的Oculus Rift和HTC Vive 。 这种系留头显需要接入一台功能强大的PC ， 然后才能够以每秒帧数（FPS）的高分辨率为每只眼睛渲染虚拟场景 。 但我们在2018年看到了第一代VR一体机Oculus Go ， 并在后来见证了非常成功的Oculus Quest 。 一体机的形式意味着它包含了提供虚拟现实体验所需的一切组件 ， 不再需要外接设备 。 这一形态的设备优势非常明显：不再需要线缆 ， 设备可以随身携带 ， 功耗更低 。 所有这一切都是通过移动SoC实现 。 将CGH移植到移动SoC可以为我们带来同样的好处 ， 并把这项技术带到AR的真正未来 。 在这个未来里 ， 一款形状紧凑的低功耗全息显示器将是必要事项 。 对于这一点 ， Arm的Total Compute（全面计算）策略将能发挥重要的作用 。


推荐阅读


上一篇：3DM游戏网|微软做过调研 对Xbox Series S仅用512G硬盘有信心

下一篇：正月壹餐饮管理|做餐饮有好有坏，就看是从哪方面入手