指向|如何在XR中实现与GUI菜单，键盘输入和指向的基本交互( 二 )
由于XR本质为3D，开发者需要考虑如何渲染详细的项目。例如，当用户移动和旋转时，头显的角度分辨率将决定要使用的字体大小，而GUI元素的选择则取决于所使用的感知技术。
3. 令上述成为现实的感知技术
需要在XR追踪的三个关键感知因素是头、手和眼睛。用于追踪它们的感知技术必须在很大程度上实现三个关键KPI：
精度：感知结果与完美结果（round truth）的比较。鲁棒性：边缘情况的处理。功耗：一种技术或算法的功率和热效率。
3.1 头部追踪
对于应用呈现用户界面，追踪用户头部的方向和平移是另一个重要的考虑因素。头部追踪算法追踪三个方向自由度：纵摇（Pitch）、横摇（Roll）和垂摇（Yaw），以及用户位置（X、Y和Z）的位置自由度。这种算法通常称为六自由度算法。
文章图片
头部追踪算法通常能够增加预测用户未来头部位置/方向的能力（通常为10到20毫秒），这有助于平滑渲染并确保虚拟对象在空间中保持固定。
头部追踪算法必须持续运行，提供低延迟，并保持低功耗。这种算法的精度要求是很少或没有出现平移和旋转误差。为了帮助实现这一点，骁龙XR2使用了一种名为SLAM的技术来创建一个环境映射。映射环境是为了用于鲁棒、快速和精确的追踪。为了保证算法的鲁棒性，它必须能够处理像摄像头模糊、光线不好等情况。所以，骁龙XR2采用了具有宽视场的特殊单色摄像头，并且搭配了一个硬件加速的头部追踪算法，从而在非常低功耗的情况下以高精度运行。
3.2 手部追踪
捕捉手的运动十分重要，因为大多数人把手作为与自然世界交互的主要方式。这可以通过多种技术实现，包括基于摄像头的手部追踪、移动设备的传感器和触控屏等等。它们可以捕捉到各种各样的动作和手势，包括：
指向和轻触动作（如选择、移动和放置对象）滑动（如浏览屏幕）从一侧到另一侧的手部移动（如滚动）手腕转动，类似于查看手表（如在虚拟手臂显示用户界面元素）通过电容器测量触控（如检测手势，比方说竖起大拇指）。
手部追踪的保真度测量最高可达28个自由度（包括手的所有关节和每个手指）。手部运动的一个重要KPI是允许较大的追踪量，因为用户希望能够张开手臂，抬起手臂和放下手臂。鲁棒性是通过处理边缘情况来实现，如手遮挡摄像头，交叉手指，一只手覆盖另一只手等。
为了允许虚拟手部/控制器的近实时UI交互呈现，手部追踪保持低延迟同样非常重要。对于涉及使用神经网络的手部追踪算法，骁龙XR2能够以高达每秒15万亿次的速度处理基于神经网络的算法。
3.3 眼动追踪
最后，眼动追踪用于追踪用户的视线（或称为注视向量）。
文章图片
有效的眼动追踪通常需要眼球运动到屏幕变化低于10毫秒的管道。考虑到眼睛的移动速度，这是一个重大的挑战。所以，高通与Tobii进行了合作，将眼动追踪技术带到骁龙XR2的Hexagon DSP SDK，并提供对摄像头的低延迟访问。为了提高眼动追踪的鲁棒性，它应该能够处理世界各地的不同人群的眼睛特征，所以骁龙XR2算法中使用的底层神经网络是通过一个大型、多样化的数据集进行训练。
眼动追踪同时可以通过促进注视点渲染来提高能效。这涉及到以不同细节程序渲染屏幕不同的区域。
4. 总结
随着沉浸式XR体验等新媒介越来越流行，UI设计领域将继续发展。但与传统的2D GUI不同，3D环境及新的交互方式不仅带来了新的可能性，其同时揭示了新的设计考虑。
驱动这一点的是尖端的感知技术，包括头部、眼睛和手部追踪设备。但为了有效地提供所述功能，相关技术必须是鲁棒的、精确的的和节能的。
原文链接：https://yivian.com/news/76954.html
【来源：砍柴网】
【 指向|如何在XR中实现与GUI菜单，键盘输入和指向的基本交互】声明：转载此文是出于传递更多信息之目的。若有来源标注错误或侵犯了您的合法权益，请作者持权属证明与本网联系，我们将及时更正、删除，谢谢。 邮箱地址：newmedia@xxcb.cn
推荐阅读
- 284.53|民生银行上半年实现净利润284.53亿元
- 漂亮的转身：中国在世界建桥史上首次实现“二次转体”
- 下街|“下街”新变化！老沧口区发祥地实现“华丽微更新”
- 海尔|海尔智家2020年半年度业绩出炉 实现收入957亿元
- 取消商品房预售制呼声再起 全现房销售能实现吗？
- 「新浪科技综合」这个实验实现了“身体互换”，发现人的性格和记忆也会因此改变新浪科技综合2020-08-29 10:37:300阅
- 跑出“加速度” 全国交通固定资产投资连续4个月实现正增长
- 加速度|跑出“加速度” 全国交通固定资产投资连续4个月实现正增长
- 住房城乡建设部：确保实现稳地价、稳房价、稳预期目标
- 取消预售制呼声再起|取消预售制呼声再起 全现房销售能实现吗