钛媒体|模仿大脑的算法来了,可帮助人工神经网络节省内存和能量( 二 )


而 e-prop 算法的出现解决这一问题 。 在该方法中 , 首先将自上而下的信号标记为学习信号 , 而每个神经元在所谓的资格跟踪信号中记录何时使用连接 。 利用这两种信号以及突触可塑性提供一个规范模型 , 由此产生的学习模型表明 , 许多生物神经元的一个特征方面(即缓慢变化的隐藏变量的存在)为 RSNN 如何学习而没有错误信号向后传播的问题提供了一种可能的解决方案 , 即神经元导致合格性迹线在更长的时间跨度内向前传播 , 因此能够与后来出现的瞬时错误信号重合 。
除此外 , e-prop 理论为实验发现的多巴胺信号多样性对不同神经元群体的功能作用提供了一个假设 。 以前的基于奖励的学习理论要求将相同的学习信号发送给所有神经元 , 而对于 e-prop 来说 , 它是针对特定目标来发送的 , 因为神经元群的自上而下的学习信号取决于其对网络性能的影响(即损失函数) 。
神经形态硬件的驱动力Maass 和 Legenstein 都相信 , e-prop 将推动新一代移动学习计算系统的发展 , 这些系统无需编程 , 而是按照人脑模型进行学习 , 从而根据不断变化的需求进行调整 。 其目的是确保这样的计算系统不再仅仅通过云来消耗大量能源 , 而是有效地将学习潜力的大部分整合到移动硬件组件中 , 从而节约能源 。

钛媒体|模仿大脑的算法来了,可帮助人工神经网络节省内存和能量
本文插图

该小组目前正在与英特尔的研究人员合作 , 将该方法与该公司的神经形态芯片 Loihi 的下一个版本集成 , 后者针对尖峰网络进行了优化 。 他们还与曼彻斯特大学的人脑计划研究人员合作 , 将 e-prop 应用于神经形态超级计算机 SpiNNaker 。
要使这项技术与当今领先的 AI 的能力相提并论 , 还有很长的路要走 。 但是 , 如果它可以帮助我们开始接近我们在生物大脑中看到的效率 , 那么不久 , 人工智能无处不在 。
资料来源:https://www.nature.com/articles/s41467-020-17236-yhttps://singularityhub-com.cdn.ampproject.org/c/s/singularityhub.com/2020/07/27/a-new-brain-inspired-learning-method-for-ai-saves-memory-and-energy/amp/https://www.azorobotics.com/News.aspx?newsID=11478
【钛媒体|模仿大脑的算法来了,可帮助人工神经网络节省内存和能量】


推荐阅读