人工智能@边缘AI能聪明到什么程度?( 五 )


至于软件方面 , Levy称恩智浦提供了eIQML软件开发环境 , 在恩智浦产品系列(从i.MX RT到i.MX 8应用处理器及更多)中实现开放原始码ML技术 。 “利用eIQ , 客户可以根据需要在他们选择的运算单元上(包括CPU、GPU、DSP或NPU)执行ML 。 甚至还会见到一些异质实现 , 比如在DSP上运作关键词检测的语音应用、在GPU或CPU上的人脸辨识、在NPU上的高性能视讯应用 , 或它们的任意组合 。 “
Bergey说:“全世界的IoT设备已接近1兆台 , 我们的基础设施和架构面临前所未有的挑战 , 为迎接这一巨大机会 , 我们所需的技术也在不断发展 。 Arm主要提供可配置、可扩展的解决方案 , 以满足性能和功耗要求 , 从而让AI无处不在 。 ”
Adesto也提供边缘AI赋能技术 , 包括内建AI加速器的ASIC、在语音和影像辨识AI芯片中储存权重的NOR闪存 , 以及将新、旧数据送至云端(如IBM Watson和Microsoft Azure)进行分析的智慧边缘服务器 。
人工智能@边缘AI能聪明到什么程度?
本文插图

图8 Adesto使用RRAM技术开发内存内AI运算 , 其中单个内存单元既是储存元素又是运算资源 。 (图片来源:Adesto)
Intrater补充 , “我们也在利用RRAM技术开发内存内AI运算 , 其中单个储存单元既是储存元素又是运算资源 。 在这种范式中 , 深度神经网络矩阵变成NVM单元数组 , 矩阵权值变成NVM单元的电导 。 将输入电压施加到RRAM单元 , 然后对所产生的电流求和 , 即可完成点积运算 。 由于不需要在运算资源和内存之间移动权重 , 因此这一模型可以实现电源效率和可扩展性的完美组合 。 ”
一致的观点 在笔者看来 , 边缘AI和终端AI之间有一个非常明显的区别 。 终端是实体世界与数字世界的交汇点 , 而边缘的定义却很灵活 。 供货商的说法也各不相同 , 有的认为数据中心以外的一切都是边缘(包括网关、网络边缘、汽车) , 而有的则把终端定义为边缘的子集 。
【人工智能@边缘AI能聪明到什么程度?】如何定义并不重要 。 最终还是要看具体的应用 , 以及可以在终端或边缘实现多少智慧 。 这需要在可用内存容量、性能需求、成本和能耗之间进行权衡 , 以决定能够在边缘实现多少推理和分析 , 需要多少神经网络加速器 , 以及是作为SoC的一部分 , 还是与CPU、GPU或DSP并列使用 。 当然 , 在应对这些挑战时 , 不要忘记使用创新的方法和技术 , 比如内存内运算和AI 。


推荐阅读