新智元|这么简单的游戏还卡壳？神经网络在「生命游戏」里苦苦挣扎( 二 )
文章图片
但在大多数情况下 ， 经过训练的神经网络并没有找到最优解 ， 并且 ， 随着步数的增加 ， 网络性能进一步下降 。
果然 ， 训练样本集的选取和初始参数对神经网络的训练效果有很大影响 。
最不幸的是 ， 你永远不会知道神经网络的初始权重应该是多少 。 常见的做法是从正态分布中挑选随机值 。
雅各布·施普林格说:「对于许多问题 ， 你在数据集方面没有太多的选择;你可以收集数据 ， 所以如果你的数据集有问题 ， 你可能很难训练神经网络 。 」
大型神经网络的性能
文章图片
左图:一个手动调整的卷积神经网络可以非常准确地预测生命游戏的结果 。 右:实践中 ， 当从头开始训练网络时 ， 需要一个更大的神经网络来获得同样的结果
在机器学习中 ， 提高表现不佳的模型准确性的流行方法之一就是增其复杂性 。 这个技巧在生命的游戏中起到了作用 。
随着研究人员为神经网络增加了更多的层次和参数 ， 结果得到了改善 ， 训练过程最终产生了一个近乎完美的精确度的解决方案 。
但是 ， 一个更大的神经网络也意味着训练和运行深度学习模型的成本增加 。
文章图片
【新智元|这么简单的游戏还卡壳？神经网络在「生命游戏」里苦苦挣扎】一方面 ， 这表明了大型神经网络的灵活性 。 虽然一个巨大的深度学习模型可能不是解决问题的最佳架构 ， 但是它有更大的机会找到一个好的解决方案 。 但另一方面 ， 它证明了可能存在一种更小的深度学习模型 ， 能够提供相同或更好的结果ーー如果你能找到它的话 。
这些发现与麻省理工学院CSAIL的人工智能研究人员在ICLR2019会议上提出的“彩票假说”是一致的 。 该假设认为 ， 对于每一个大型神经网络 ， 如果它们的参数已经根据幸运中奖值初始化 ， 就会有较小的子网络可以收敛到一个解决方案 ， 因此称为「彩票」命名法 。
生命游戏论文的作者写道:「彩票假说认为 ， 当训练一个卷积神经网络时 ， 小型幸运子网络会迅速聚集到一个解决方案上 。 」 。 「这表明 ， 梯度下降优化不是通过权值空间广泛搜索最优解 ， 而是可能依赖于幸运的权值初始化 ， 这些权值恰好将子网定位在接近网络收敛到的合理局部极小值的位置 。 」
文章图片
斯普林格说:「我认为这些结果肯定会激励人们研究改进的搜索算法 ， 或者提高大型网络效率的方法 。 」
推荐阅读
- 恨琴影视|没唱功、没演技、没担当的肖战为何这么火？还请您细品
- 林侠侠聊电竞|阴阳师：SR式神也能这么帅？双形态式神“久次良”前来报道！
- 追狐狸的人呐|简单的玩法，不简单的表达，最好的反战游戏之一
- bigfun毕方|「王者荣耀」为什么孙膑这么难缠？
- HongKongFilm|这些建筑一直在模仿从未被超越，《我的世界》谁说方形建筑就简单
- 韩金|SN闯入四强后，SMLZ反被热议，与焕峰如此相似为何成绩差这么多？
- kpl|为什么蒙犽一个无位移射手，能在KPL的优先级这么高，甚至成为T0射手？
- jdg战队|淘汰后也要被嘲讽下等马，JDG的风评为何这么差？只能怪他们太作
- 官宣|王者荣耀：5周年裴擒虎海报官宣，获取方式简单，学生党却哭了！
- ZAKER娱乐|没资格继续打KPL！，“请求KPL恢复升降级制度”！寒夜：EDG这么菜