钛媒体|模仿大脑的算法来了，可帮助人工神经网络节省内存和能量
本文插图
图片来源@视觉中国
文丨学术头条
如今 ， 人工智能的发展如火如荼 ， 广泛应用到了图像、自然语言、人机对话等各个领域 ， 对各个产业进行了变革 。
在移动应用中 ， 人工智能广泛使用的最大障碍之一是人工神经网络的学习活动需要消耗大量能量 ， 而解决这一问题的一种方法可以从大脑中获得灵感 。 这是因为大脑具有超级计算能力 ， 而且大脑神经元之间可以通过短的电脉冲或尖峰进行有效传输 ， 极大节省了能量 。
基于此思路 ， 奥地利格拉茨工业大学的研究人员 Wolfgang Maass 和 Robert Legenstein 领导的工作组开发了一种称为 e-propagation (简称 e-prop) 的新型机器学习算法 。 该算法可根据人脑模型进行学习 ， 适应不断变化的需求 ， 其在线学习的特性也极大节省了能量 。
本文插图
该项研究的结果发表在近期的 Nature Communications 杂志上 。
大脑的神经网络比人工神经网络更节能通常我们将大脑中的神经元网络与人工智能的深度神经网络进行类比 ， 然而人工智能的运作原理与人脑完全不同 ， 其中最大的区别是神经元相互交流的方式 。 深度神经网络的每一层以同步方式生成数字 ， 而大脑通过异步发射的尖峰进行通信 。
现代深度学习最早受生物学启发 ， 以神经元的单个计算单元的大型网络之间的连接强度来编码信息 。 人工神经网络被组织成层 ， 每个神经元通常连接到下一层中的每个神经元 。 信息以高度同步的方式在层之间传递 ， 对数据进行预测 ， 再与目标值进行比较 ， 计算损失 ， 之后再反向传播 ， 经过多次迭代调整网络 ， 得到准确的预测为止 。
而对于大脑来说 ， 生物神经元通过发射尖峰的电脉冲进行交流 ， 每个神经元都按照自己的时间表进行交流 。 连接并没有整齐地分成几层 ， 并具有许多反馈回路 ， 这意味着神经元的输出通常最终会影响其输入 。
大脑这种基于峰值的方法在能源效率方面要比人工神经网络高得多 ， 一般训练最强大的 AI 需要几千瓦的电能 ， 而大脑只需要 20 瓦 。 因此人们对人工神经网络以及神经形态硬件（一种可以模仿大脑的物理组织和原理的计算机芯片）的兴趣日益浓厚 。
既然大脑传递信息能极大节能 ， 那如果将人工神经网络的思想应用到大脑中会发生什么呢？我们可以看到 ， 这里存在一个问题 ， 在大脑中的神经元进行反向传播 ， 相当于将信号在时间和空间上通过神经元之间的突触向后发送 ， 这显然是不可能的 。
新型机器学习算法这促使研究人员在实验神经科学数据中研究已经清楚的两个特征：一个特征是每个神经元以分子标记的形式保留了先前活动的记忆 ， 并随着时间的流逝而逐渐消失；另一个特征是大脑使用像神经递质多巴胺这样的东西提供自上而下的学习信号 ， 该信号调节神经元群的行为 。
奥地利的这支团队利用了这两种特征进行最佳组合 ， 创建了一种称为 e-prop 的新学习算法 ， 该算法无需对信号进行时间反向传播 。 它的学习速度虽然比反向传播慢 ， 但趋近于反向传播的性能 。 此外 ， e-prop 还适用于具有更复杂神经元模型的 RSNN 。
更重要的是 ， 该方法允许在线学习 。 这意味着 ， 无需立即处理大量数据 ， 而只是在数据可用时就从数据中学习 。 这极大地减少了所需的内存和能量 ， 这使得在较小的移动设备中进行片上学习变得更加实用 。
在大脑中 ， 一般尖峰仅在网络中的信息处理需要它们时才会变得活跃 ， 而对于不那么活跃的网络 ， 学习则是一种特殊挑战 ， 因为需要更长的观察时间才能确定哪些神经元连接可以改善网络性能 ， 因此学习率很低 。
推荐阅读
- 科学|世界本来没有颜色？科学家发现大脑中的“调色板”机制
- 蓝橡树|牛娃爸爸分享: 孩子如何通过学习编程， 激活大脑， 提升成绩， 逆袭名校？
- 互联网|百度360等最强大脑签约落户黄埔
- 趣头条|安卓11系统可无线连接车载安卓多媒体
- 马斯克|马斯克公布最新＂脑机＂Neuralink：＂大脑与电脑连接＂更进一步
- 小米|华为被锤真的利好小米？
- 丁道师|天下秀都360亿市值了，还有必要质疑“自媒体还能做吗？”
- 苹果|苹果欲为AR眼镜做铺垫？ Apple TV+流媒体明年或将引入AR内容
- IT之家|媒体：小米电视明日起将对多款产品进行涨价处理
- 大脑|世界本来没有颜色？研究人员发现大脑中的“调色板”机制