江苏龙网

  1. 首页 > 资讯 > 科技 > >

Array|提升 AR 效果，谷歌发布精确虹膜估计全新机器学习模型 MediaPipe Iris( 二 )


无需任何专门的硬件 ， 这个虹膜追踪模型能够以不到10％的误差确定对象到摄像头的度量距离 。相关的原理事实是 ， 人眼的水平直径虹膜基本恒定为11.7±0.5毫米 。作为说明 ， 请想象将针孔摄像头模型投影到正方形像素的传感器 。你可以使用摄像头的焦距估计从面部界标到对象的距离 ， 而这可以通过CameraCaptureAPI或直接从捕获图像的EXIF元数据 ， 以及其他摄像头固有参数进行获取 。给定焦距 ， 对象到摄像头的距离与对象眼睛的物理尺寸成正比 ， 如下图所示 。
Array|提升 AR 效果，谷歌发布精确虹膜估计全新机器学习模型 MediaPipe Iris
文章图片

文章图片

利用类似的三角形 ， 我们可以根据焦距（f）和虹膜大小来计算对象的距离（d）
Array|提升 AR 效果，谷歌发布精确虹膜估计全新机器学习模型 MediaPipe Iris
文章图片

文章图片

左边：在Pixel2运行的MediaPipeIris正在以cm为单位估计度量距离 ， 没有采用任何深度摄像头；右边：groud-truth深度
为了量化所述方法的精确性 ， 研究人员收集了200多位被试的正向同步视频和深度图像 ， 并将其与iPhone11的深度传感器进行比较 。团队使用激光测距设备 ， 通过实验确定iPhone11的深度传感器在2米以内的误差小于2％ 。对于使用虹膜大小进行深度估算的方法 ， 平均相对误差为4.3％ ， 标准偏差是2.4％ 。谷歌对有眼镜被试和正常视力被试（不计入隐形眼镜情况）测试了所述方法 ， 并发现眼镜会将平均相对误差略微提高到4.8％（标准偏差是3.1％） 。另外 ， 实验没有测试存在任何眼睛疾病的被试 。考虑到MediaPipeIris不需要专门的硬件 ， 所述结果表明系统能够支持一系列成本范围的设备根据单张图像获取度量深度 。
Array|提升 AR 效果，谷歌发布精确虹膜估计全新机器学习模型 MediaPipe Iris
文章图片

文章图片

估计误差的直方图（左边） ， 以及实际和估计距离的比较（右边）
3.发布MediaPipeIris
这个虹膜和深度估计模型将作为支持PC ， 移动设备和Web的跨平台MediaPipe管道发布 。正如谷歌在最近一篇关于MediaPipe的博文所述 ， 团队利用WebAssembly和XNNPACK在浏览器中本地运行IrisML管道 ， 无需将任何数据发送到云端 。
Array|提升 AR 效果，谷歌发布精确虹膜估计全新机器学习模型 MediaPipe Iris
文章图片

文章图片

使用MediaPipe的WASM堆栈 。你可以在浏览器种运行模型
Array|提升 AR 效果，谷歌发布精确虹膜估计全新机器学习模型 MediaPipe Iris
文章图片

文章图片

仅使用包含EXIF数据的单张图片计算虹膜深度
请点击这里以尝试虹膜追踪 ， 请点击这里以尝试虹膜深度 。
4.未来方向
【Array|提升 AR 效果，谷歌发布精确虹膜估计全新机器学习模型 MediaPipe Iris】谷歌计划进一步扩展MediaPipeIris模型 ， 实现更稳定的追踪性能以降低误差 ， 并将其部署用于无障碍用例 。谷歌在相关文档和随附的ModelCard中详细说明了预期的用途 ， 限制和模型的公平性 ， 从而确保模型的使用符合谷歌的AI原则 。请注意 ， 任何形式的监视监控都明显超出应用范围 ， 故不予支持 。团队表示："我们希望的是 ， 通过向广泛的研究与开发社区提供这种虹膜感知功能 ， 从而促使创造性用例的出现 ， 激发负责任的新应用和新研究途径 。"
提升AR效果 ， 谷歌发布精确虹膜估计全新机器学习模型MediaPipeIris最先出现在映维网 。


推荐阅读


上一篇：Array|售价最低的华为5G，6+64G仅售1649元，4000mAh+22.5W

下一篇：Array|简单介绍苹果平板四大系列，你知道它们有什么区别吗？