江苏龙网

  1. 首页 > 人文 > >

听声辨位过时了！这个AI系统仅凭光回声就能得到3D图像( 二 )


Turpin 表示：「我们需要背景 ， 没有背景网络将无法正常运转 。 」在面对全新场景时 ， 该系统可能生出错误的图像 ， 而它与训练过程中见过的场景类似 。
Turpin 表示 ， 该时域成像系统相比普通成像系统具备多项优势 。 例如 ， 新系统速度很快 ， 能够以每秒 1000 帧的速率运行 。 Turpin 称 ， 这种粗糙但迅速的 3D 成像技术有很多应用场景 。 同时 ， 该系统价格低廉、构造简单 。 理论上 ， 技术爱好者使用一台普通的笔记本电脑和无线电路由器的天线 ， 就可以监控房间 。
不过 ， Waller 表示 ， 目前尚不清楚这一系统的效果如何 ， 毕竟现有的相机价格也不算昂贵 。 她认为 ， 该研究实验提出了一个有趣的概念性问题：神经网络是如何学习创建合理图像的？「它的运行原理是什么？其背后的物理学是什么？」Waller 认为 ， 真正的挑战在于 ， 不再把神经网络作为黑箱 ， 而是真正探讨它的原理 。
以下是论文内容的详细介绍：
听声辨位过时了！这个AI系统仅凭光回声就能得到3D图像
本文插图
论文地址：https://www.osapublishing.org/optica/abstract.cfm?uri=optica-7-8-900
单点 3D 成像方法详解
这项研究采取了一种不同的方法 ， 通过基于包含目标检索图像类型的数据集的先验知识提供额外信息 ， 并且为这一目标训练了一种监督式机器学习算法 。
具体而言 ， 如下图 1 所示 ， 这种 3D 成像方法共包含三个部分：(i) 脉冲光源 ， (ii) 单点时间分辨传感器 ，(iii) 图像检索算法 。 利用脉冲光源对场景进行泛光照明 ， 然后用传感器收集由此产生的反向散射光子 。
该研究通过结合使用单点 SPAD 检测器和时间相关单光子计数（TCSPC）电子器件 ， 将光子到达场景中不同位置物体的时间形成时间直方图（temporal histogram ， 参见图 1b） ， 不同形状的物体为传感器提供到达时间的不同分布 。
听声辨位过时了！这个AI系统仅凭光回声就能得到3D图像
本文插图
图 1：基于单点时间分辨传感器的 3D 成像 。
该方法包括两个步骤：a）数据收集 ， b）部署 。 在第一步中 ， 用脉冲激光束照射场景 ， 用单点传感器（此处是 SPAD）采集反射光 ， SPAD 通过 TCSPC 提供时间直方图 。 同时 ， ToF 相机记录来自场景的 3D 图像 ， 该相机独立于 SPAD 和脉冲激光系统运行 。 SPAD 时间直方图和 ToF 3D 图像被用来训练图像检索神经网络 。 步骤 2 仅在神经网络训练完成后进行 。 在该部署阶段 ， 只需使用脉冲激光源和 SPAD：仅基于时间直方图提取 3D 图像 。
实验结果
图 3 中的实验结果显示了该系统在不同情况下从时间直方图恢复 3D 图像的性能 。
第一列显示使用 SPAD 传感器和 TCSPC（a-d 行）或雷达收发器（e 行）记录的时间直方图 。 最后一列代表直接用 ToF 相机度量的 3D 图像 ， 用于与重建图像（第二列）进行对比 。 彩色条描述的是颜色编码深度图 。
听声辨位过时了！这个AI系统仅凭光回声就能得到3D图像
本文插图
详细信息参见以下视频：
00:00/00:00倍速 画中画
Visualization 1 。
00:00/00:00倍速
Visualization 2 。
参考链接：https://www.sciencemag.org/news/2020/08/time-camera-generates-3d-images-echoes-light


推荐阅读


上一篇：魔兽世界|wow副本故事：熔火之心

下一篇：挂脖裙■夏季怎么穿轻熟舒适？不妨试试这件轻熟优雅的挂脖裙，优雅又减龄