[新智元]Science子刊：人脑存在加速学习机制，算力赛过最新AI算法( 三 )

本文插图

动量μ和正则化α在区域[0 ， 1]中是常数，并且 0η0是一个常数。
我们优化了动量策略（等式2）的绩效（，， 0）（μ ， α ， η0）使用交叉熵代价函数（材料和方法）对有限的训练数据集进行了比较，并将其性能与以下两种由时间相关的η组成的实验启发式学习机制进行了比较。
论文中对加速度还有更详细的公式给出，篇幅所限，本文就不做更多介绍了。
结果：在线训练集由300个随机选择的示例组成：每个标签以随机顺序出现30次。经过300个学习步骤，加速方法的性能优于动量法超过25％，测试精度分别从约0.43提高到0.54 。

本文插图

对于给定数量的网络更新，结果表明，较小的示例集可产生更多信息。为了最大程度地提高在线场景（尤其是小型数据集）的测试准确性，平衡的示例集和平衡的时间训练顺序是重要的组成部分。
论文结论
基于连贯的连续梯度增加的η ，针对小组的训练示例，脑启发式的加速学习机制优于现有的通用ML策略。在各种成本函数上运行（例如平方成本函数）均会出现一致的结果，但是性能会相对下降（见下图）。

本文插图

因为给定数据集的最大性能取决于所选的加速方法（见下图），在培训过程中调整学习方法可以提高绩效。

本文插图

但是，除了可能的用于更新η的高级非线性函数外，在网络更新次数高的情况下，加速方法的最终调度和使性能最大化的受训实例的排序也值得进一步研究。
实验神经科学和ML的桥梁有望进一步推进利用有限的数据库进行决策，这是许多方面的现实：人类活动、机器人控制和网络优化。
本文研究机构
巴伊兰大学缩写BIU ，建立于1955年，位于以色列拉马特甘，是一所公立大学，也是目前以色列规模第二大的学术研究机构。

本文插图

参考链接：
研究人员重建了神经科学与人工智能之间的桥梁：
https://techxplore.com/news/2020-04-rebuild-bridge-neuroscience-artificial-intelligence.html
【[新智元]Science子刊：人脑存在加速学习机制，算力赛过最新AI算法】论文参见：《科学报告》：脑实验暗示适应机制优于通用AI学习算法

[新智元]Science子刊：人脑存在加速学习机制，算力赛过最新AI算法( 三 )

推荐阅读

|世体：拉尔森可能将作为科曼教练组成员回归巴萨

海蜇皮怎么处理海蜇皮怎么处理咸味

扬子晚报|搬家公司员工坐地起价不成竟耍赖不走还威胁当事人

家里可以做的小实验家里可以做的小实验滴水成冰

『海宝君传奇』行程太过巧合，网友纷纷留言祝福，杨幂魏大勋酒店密会上热搜

饺子皮用冷水还是热水和面饺子皮怎么和面

古人讲“五花八门”，是哪五花和哪八门？被孩子问到可别答不上来

北青网综合|新疆克孜勒苏州乌恰县发生3.0级地震震源深度10千米

今日亚洲|王晓鹏：美国再度高调介入南海问题的九重企图

汽车之家|低油耗，瑞虎8的这两点让我满意，高颜值

94三国演义日本反响(新三国在日本有多火)

草字头加吕字念什么草字头加吕

保温杯制冷多长时间保温杯制冷初次使用方法

战略先锋▲这次全部搭载实弹，终于动真格了！我军一支舰艇编队紧急赶赴南海

这些地方最好玩：一年进账超5亿，历时15年跻身全球第二，被低估的中国芯片巨头

上市公司|29家创业板公司进入减持区间，20%涨跌停下股东是否趁机套现？

车晓前夫|车晓前夫李兆会22亿资产四度流拍曾是山西首富

草莓可以放冰箱冷藏吗草莓可以放冰箱冷藏吗

『综艺节目』美国劲爆综艺，禁欲一个月可拿10万美金，网友：单身20年想参赛

【解放网】学习中国经验！总台记者独家探访伊朗版“方舱医院”