江苏龙网

  1. 首页 > 资讯 > 科技 > >

[]Oculus为移动VR做了这个AI技术，从此无需担心画质( 二 )


[]Oculus为移动VR做了这个AI技术，从此无需担心画质
文章图片

文章图片

为了呈现流畅的VR体验 ， 通常头显屏幕的刷新率需要高于普通屏幕20%到50% ， 因此双眼图像渲染流程的延迟需要控制在11到14毫秒之间 。目前提出的一些解决方案包括：异步时空扭曲算法 ， 通过降低渲染延迟的观感 ， 提升渲染速度；注视点渲染技术 ， 通过识别视网膜最高分辨率注视点来调整分辨率 。
然而 ， 即使使用上述方式 ， 移动VR使用传统渲染方法依然无法达到预期中的高清画质 ， 因此需要从架构层面改变渲染流程 ， 通过AI算法来提升效果 。
在VR一体机中 ， SoC负责全部的图像渲染和处理任务 ， 传统SoC中的CPU、GPU、NPU、DPU、DSP等处理单元通常使用相同的物理内存 。而使用特殊硬件来运行机器学习网络时 ， 效率可能比传统CPU提升3到10倍 。但考虑到在传统图形渲染流程中 ， GPU不仅要运行经过训练的机器学习模型 ， 同时会运行渲染系统 ， 这对于大多数移动VR应用来讲比较困难（GPUS没有足够空间去运行机器学习模型） 。
[]Oculus为移动VR做了这个AI技术，从此无需担心画质
文章图片

文章图片

相比之下 ， Facebook科研人员提出的机器学习框架通过将AI算法在特殊的处理器（比如数字信号处理器DSP ， 或者神经处理单元NPU）中异步运行 ， 然后GPU会对得到的缓冲数据进一步处理 ， 在补偿延迟后传输到显示屏 。这样做的好处是 ， 渲染速度可提升5到10倍 ， 而且还省电 。
考虑到Quest搭载的骁龙835 SoC的DSP算力有限 ， Facebook认为可以采用快速卷积网络来渲染中心视觉分辨率 。而至于搭载更强大SoC的移动设备（DSP/NPU算力翻了约30倍） ， 则可使用功能更更强大和丰富的深度学习网络 。
[]Oculus为移动VR做了这个AI技术，从此无需担心画质
文章图片

文章图片

科研人员发现 ， 实现这样一种机器学习运行框架 ， 需要解决两大挑战 ， 即：1）降低跨处理器协作的计算开销（在读取相同内存时避免产生额外的重复计算）；2）流水线和延迟补偿 。于是 ， 通过修改图形内存分配系统（使用特殊的ION分配算法） ， 以及同时渲染两帧图像（将第一帧发送给NPU、GPU后 ， 开始渲染第二帧） ， 和额外的排列式渲染方案（加上旋转扭曲和late latching等传统方式） ， 分别缓解这两个问题 。
据悉 ， 使用上述框架在VR一体机中运行机器学习算法后 ， 可实现足够连贯和令人视觉愉悦的VR观感 。此外 ， 使用该框架的DSP/NPU的计算效率 ， 比于最新SoC技术提升10倍以上 。
[]Oculus为移动VR做了这个AI技术，从此无需担心画质
文章图片

文章图片

也就是说 ， 如果将余光部分的分辨率降低70% ， 大约可缩减40%GPU渲染时间 ， 开发者便可利用省下的算力来提升内容质量 。对于VR观影场景 ， 节省的GPU算力可用于提升电池续航 。
尽管不用眼球追踪数据 ， 使用这个框架也能渲染出一个比较统一的高效率图像 。但与注视点渲染系统结合后 ， 能够进一步降低延迟和伪影 ， 提升注视点高分辨率重建的效果 ， 将高分辨率与低分辨率区域融合得更自然 。如此一来 ， 眼球的移动时间延迟可降至约1帧 ， 加上机器学习算法重建时间（一小部分） 。
[]Oculus为移动VR做了这个AI技术，从此无需担心画质
文章图片

文章图片


推荐阅读


上一篇：「」玩了10年的QQ，现在才知道它的英文意思，翻译成汉语真是美翻了

下一篇：【】微软 Xbox Series X 配置完整公布：8 核 CPU，3328 流处理