江苏龙网

  1. 首页 > 资讯 > 科技 > >

VR陀螺|微软新项目：让AR眼镜HoloLens成为视障人士的眼睛( 二 )


因此他提出 ， 有没有一种技术能够为盲人提供他们周围的人的信息？这一想法立刻引发了大家的共鸣 。

VR陀螺|微软新项目：让AR眼镜HoloLens成为视障人士的眼睛
本文插图

微软研究院首席研究员 Ed Cutrell 与项目中经过改装的 HoloLens 设备
HoloLens 的进化
明确了 Project Tokyo 想要创造什么样的 AI 体验 ， 研究团队以微软混合现实眼镜 HoloLens 为基础构建 AI 技术 。
HoloLens 能将全息图投影到用户可操纵的真实世界中 ， 为构建与环境实时交互的 AI 代理提供了非常好的基础 。 HoloLens 的灰度相机阵列可提供接近180度的环境视角 ， 它的高分辨率彩色相机能够高精度地进行面部识别 ， 而位于用户耳朵上方的扬声器能够提供空间感极其真实的音频 ， 让声音从特定的方位响起 。
研究团队中的机器学习专家开发了一系列计算机视觉算法来识别环境中不同人的位置信息 。 其中一个模型用于检测环境中人的姿势 ， 计算他们相对于用户的位置和距离 ， 另一个则能够分析高分辨率相机拍摄的照片流 ， 来识别和匹配照片中的人物是谁 。 随后这些信息将通过音频提示告诉用户 。
比如 ， 如果设备在用户左侧一米远处检测到朋友 A ， 用户左耳将听到咔嗒声 ， 听起来像是来自左侧一米远处 。 用户想知道这个人是谁 ， 一个嗡嗡的音效会将用户的视线引向 A 所在的方位 。 当 HoloLens 的中央摄像头对准了 A 的脸部 ， 用户会听到一个尖锐的咔哒声提示用户已经面朝 A 了 。 如果系统识别出了 A ， 就会为用户念出 A 的名字 。
作为音频工程师 ， Peter Bosher 在项目早期参与了音频体验的部分 ， “我特别喜欢这个工具为失明的我们带来的这种‘凝视’的感觉 ， 它能让我们有一些肢体语言上的沟通 。 ”

VR陀螺|微软新项目：让AR眼镜HoloLens成为视障人士的眼睛
本文插图

盲人音频工程师 Peter Bosher（中）在微软剑桥研究院查看系统的最新版本
与视障社区一起制作原型
随着研究团队对技术的开发 ， 研究人员开始进一步与视障社区合作 ， 邀请盲人或视力不佳的成年人来亲身体验和测试这项技术 ， 提供真实的反馈信息 。
有几位用户认为不停地转动头部让人感到很尴尬 ， 希望能在头部固定的情况下轻松地获取系统收集的信息 。 这些反馈又使研究团队开发了更多功能 ， 比如在用户头部固定时 ， 系统能用具有空间感的声音 ， 对辨认出的所有人作一个概述 。
如果我们感受到他人的视线 ， 我们会从眼神交流开始自然地和对方展开交谈 。 研究团队据此研发了另一个实验性的功能 ， 当环境中的某个人看向用户时 ， 系统会在那个方向发出提示音 ， 但这个提示音后不会出现对方的名字 。
“不给出名字会让你将注意力转向那个试图引起你注意的人 ， 将头转向他们 ， 而当你直视对方时 ， 系统会告诉你他的名字 。 ” Grayson 向一位体验者解释这个细微的设计 。
“我完全同意这一点 ， 视力健全的人就是这样反应的 。 他们从眼角捕捉到某个人 ， 然后转过头去叫他们的名字 。 ”这位体验者说 。
经过改进的 HoloLens ， 摄像头上方还装有一个 LED 灯带 ， 白色表示正在追踪接近用户的人 ， 绿色代表已为用户识别这个人 。 这个功能可让与用户交流的朋友知道他们已经被“看见”了 ， 使交流更加自然 ， 也能让他们自由地选择进入和移出设备的视野 。
帮助视障儿童学习社会互动
随着研究的深入 ， 研究团队发现 ， 这项技术还拥有帮助盲人或弱视儿童发展社会互动能力的潜力 。
此前的研究表明 ， 约有三分之二的失明或弱视儿童表现出了与自闭症儿童相似的社交行为 ， 比如在谈话中似乎没有在与谈话对象交流 ， 常常将头靠在桌子上露出一只耳朵 。 于是 ， 研究团队开始探索这一技术是否可以帮助他们学习发起和维持与他人的社会互动 。


推荐阅读


上一篇：观察者网|143名美国学者联名督促扎克伯格：请站在历史正确一面

下一篇：驱动之家|夏日神器：4000mAh 手持便携式充电宝风扇拆解