江苏龙网

  1. 首页 > 资讯 > 科技 > >

Array|提升 AR 效果，谷歌发布精确虹膜估计全新机器学习模型 MediaPipe Iris

查看引用/信息源请点击：映维网
无需专用的深度传感器就可以确定从摄像头到用户的距离
（映维网2020年08月08日）包括计算摄影（如人像模式）和增强现实效果（如虚拟化身）在内的大量应用都依赖于通过虹膜追踪来估计眼睛位置 。一旦获得精确的虹膜追踪数据 ， 我们无需专用的深度传感器就可以确定从摄像头到用户的距离 。反过来说 ， 虹膜追踪可以改善从计算摄影到虚拟眼镜或帽子穿戴等一系列的用例 。
由于有限的计算资源 ， 可变的光照条件 ， 以及遮挡物的存在（如头发或因眯眼造成的眼脸） ， 移动设备实现虹膜追踪是一项艰巨的任务 。一般而言 ， 这项技术会采用复杂的专用硬件 ， 而这限制了相关解决方案的支持设备范围 。
Array|提升 AR 效果，谷歌发布精确虹膜估计全新机器学习模型 MediaPipe Iris
文章图片

文章图片

FaceMesh可用于驱动虚拟化身（中间） 。通过额外利用虹膜追踪 ， 我们可以大大提升虚拟化身的生动感
Array|提升 AR 效果，谷歌发布精确虹膜估计全新机器学习模型 MediaPipe Iris
文章图片

文章图片

由MediaPipeIris实现的眼睛重新着色示例
谷歌日前发布了用于精确虹膜估计的全新机器学习模型：MediaPipeIris 。所述模型以MediaPipeFaceMesh的研究作为基础 ， 而它无需专用硬件就能够通过单个RGB摄像头实时追踪涉及虹膜 ， 瞳孔和眼睛轮廓的界标 。利用虹膜界标 ， 模型同时能够在不使用深度传感器的情况下以相对误差小于10％的精度确定对象和摄像头之间的度量距离 。请注意 ， 虹膜追踪不会推断人们正在注视的位置 ， 同时不能提供任何形式的身份识别 。MediaPipe是一个旨在帮助研究人员和开发者构建世界级机器学习解决方案与应用程序的开源跨平台框架 ， 所以在MediaPipe中实现的这一系统能够支持大多数现代智能手机 ， PC ， 笔记本电脑 ， 甚至是Web 。
Array|提升 AR 效果，谷歌发布精确虹膜估计全新机器学习模型 MediaPipe Iris
文章图片

文章图片

用于远视用户的可用性原型：无论距离如何 ， 字体大小都能够保持恒定
1.用于虹膜追踪的机器学习管道
谷歌介绍道 ， 开发系统的第一步利用了之前针对3DFaceMeshes的研究 ， 亦即通过高保真面部界标来生成近似面部几何形状的网格 。根据所述网格 ， 研究人员分离出原始图像中的眼睛区域以用于虹膜追踪模型 。然后 ， 谷歌将问题分为两个部分：眼睛轮廓估计和虹膜位置 。他们设计了一个由一元化编码器组成的多任务模型 ， 每个组件对应一个任务 ， 这样就能够使用特定于任务的训练数据 。
Array|提升 AR 效果，谷歌发布精确虹膜估计全新机器学习模型 MediaPipe Iris
文章图片

文章图片

虹膜（蓝色）和眼脸（红色）追踪示例
为了将裁剪后的眼睛区域用于模型训练 ， 团队手动注释了大约50万张图像 。其中 ， 图像涵盖了不同地理位置的各种照明条件和头部姿势 ， 如下所示 。
Array|提升 AR 效果，谷歌发布精确虹膜估计全新机器学习模型 MediaPipe Iris
文章图片

文章图片

用眼脸（红色）和虹膜（蓝色）注释眼睛区域
Array|提升 AR 效果，谷歌发布精确虹膜估计全新机器学习模型 MediaPipe Iris
文章图片

文章图片

裁剪的眼睛区域形成模型的输入 ， 而它将通过单独的组件预测界标
2.虹膜深度：用单个图像进行深度估计


推荐阅读


上一篇：Array|售价最低的华为5G，6+64G仅售1649元，4000mAh+22.5W

下一篇：Array|简单介绍苹果平板四大系列，你知道它们有什么区别吗？