「人工智能」AI芯片新玩法！图像处理速度提升2万倍，传感器当神经网络用
本文插图
芯东西（ID：aichip001）文 | 云鹏 心缘
芯东西3月5日消息 ， 《Nature》刊登一则新研究 ， 提供了一种新颖的AI视觉芯片研发方向 。
维也纳大学的电气工程师Lukas Mennel和他的同事们研发了一种新型的超高速机器视觉设备 ， 用图像传感器将图像处理速度提升至传统技术的数千甚至上万倍 。
本文插图
Mennel介绍说：“我们的图像传感器在工作时不会消耗任何电能 ， 被检测的光子本身就可以作为电流供能 。 ”
他着重提到 ， 传统的机器视觉技术通常能够每秒处理100帧图像 ， 一些更快的系统则可以每秒处理1000帧 ， 相比之下 ， “我们的系统每秒可以处理2000万帧 。 ”
据悉 ， 其视觉系统设计模仿了大脑对信息处理的方式 ， 只用纳秒级时间就能完成简单图像的分类 。
Nature 579, 32-33 (2020)
doi: 10.1038/d41586-020-00592-6
一、将图像传感器变成人工神经网络 现代图像传感器最早在1970年代初开发出来 ， 主要分为电荷耦合器件和有源像素传感器两种类型 。
这些传感器能从环境中准确捕获视觉信息 ， 但同时也会生成大量冗余数据 ， 而传感器与处理单元之间大量数据的移动 ， 往往会导致高功耗和延迟问题 。
如今汽车、机器人、工业制造等领域的视觉应用都对延迟非常敏感 ， 要求尽可能实现实时处理和决策 ， 而受带宽限制 ， 把所有数据都送到云端处理很难解决延时问题 ， 边缘计算逐渐成为刚需 。
另外 ， 由于传感器通常会产生模拟输出 ， 而模数转换既耗时又耗能 ， 因此模拟处理要好过数字处理 。
维也纳大学研究人员们试图通过减少中间步骤来加快机器视觉 ， 他们直接在图像传感器中实现了人工神经网络（ANN） 。
本文插图
▲ 输入信息在视觉传感器内进行计算 ， 实现智能 ， 高效的预处理
传统AI视觉传感器的处理过程如图（a）所示 ， 传感器收集信号 ， 通过模数转换器（ADC）将模拟信号转换为数字信号 ， 放大后输入到外部人工神经网络（ANN） ， 经参数调优训练神经网络 。
ANN的输入层接收编码简单物理元素的信号（点、线） ， 这些信号在随后的层中被优化为中级特征（简单形状） ， 最后在输出层上形成精细的图像（3D形状） ， 总体响应可能很慢而且耗能 。
而Mennel等人研发的视觉系统如图（b）所示 ， 芯片上的互连传感器（正方形）不仅可以采集信号 ， 而且还可以用作ANN来识别简单特征 ， 从而减少了传感器和外部电路之间的冗余数据移动 。
二、传感器中集成权重 ， 减少冗余数据移动 研究人员们在芯片上构建了一个光电二极管网络 。
这些光电二极管是对光敏感的微小单元 ， 每个单元都包含几个原子层的二硒化钨 ， 二硒化钨是一种可调节光响应的二维半导体材料 。
本文插图
▲浮栅光电二极管示意图
通过更改施加的电压 ， 可以增加或减少该半导体对光的响应 ， 从而分别调节每个二极管的灵敏度 。
改变光电二极管的光响应性 ， 会改变网络中的连接权重 。
本文插图
▲epoch 1和epoch 30时的编码器光响应值（左）和解码器权重（右）
相当于把网络的训练结果直接放在传感器端 ， 不用经过把训练权重送到外部存储器这一过程 。
推荐阅读
- 行行查TB■英特尔宣布：Q87、H81、C226、QM87和HM86芯片组将停产
- 涨金策略说财经：石油行业领涨芯片股集体爆发，收评：沪指涨1.69%创业板指大涨近3%
- 高通865对比麒麟990 选择5G手机芯片别再犹豫！
- 2020改变就在眼前，量化派助力多行业人工智能化
- 死磕AI芯片四年，寒武纪“抢跑”科创板
- 麒麟820：麒麟820完虐骁龙756G，华为芯片终于出了一口气
- 爱集微：张江高科895营·云路演直播开启，芯片医生、VR/AR慧眼、指尖魔法
- 「生活君常识」出狱后一无所有只剩北京264套房，他曾豪言半年造出芯片
- 『接风娱乐』人机对战协作新时期已经来临，提高智能化与人工智能技术趋于结合
- 游戏谈▲人工智能上线助力疫情！5天时间如何如何完成？