江苏龙网

  1. 首页 > 人文 > >

游戏|世界上最难的“沙雕”游戏 被AI攻破了( 二 )


游戏|世界上最难的“沙雕”游戏 被AI攻破了
文章图片
然后Liao让AI自己继续训练 。所谓师父领进门，修行在个人，AI能否将人类技术和自学能力结合起来？
结果令人兴奋，经过90个小时的训练，AI终于学会了像人一样奔跑！
游戏|世界上最难的“沙雕”游戏 被AI攻破了
文章图片
最终成绩是1分25秒，已经能跑进全球排行榜的前15名，离超过人类不远了 。
接下来要做的就是再向AI教授更多技巧，奈何本人技术太渣 。
所以要想进一步提高AI的水平，必须找顶级高手来帮忙 。
顶级高手助阵
Liao观察速通排行榜上的录像，发现顶级玩家的技巧是把左腿抬高可以跑的更快 。
游戏|世界上最难的“沙雕”游戏 被AI攻破了
文章图片
△排名第一玩家gunmaneko的踢腿技巧
他开始全球排名前二的玩家gunmaneko和Kurodo请教踢腿技巧的操作 。
游戏|世界上最难的“沙雕”游戏 被AI攻破了
文章图片
两位玩家热情地回答了他的问题 。其中Kurodo指出这个技巧的关键在于减少游戏角色在纵向的移动，并提出把保持身体高度加入AI的奖励函数 。
游戏|世界上最难的“沙雕”游戏 被AI攻破了
文章图片
Liao向Kurodo分享了他的代码，Kurodo慷慨地使用代码记录了50次自己游戏时的按键记录发给Liao 。
Liao尝试使用这些数据对AI进行预训练，但效果并不好 。AI还没来得及学会踢腿技巧，倒先把基本的跑步方法忘记了 。
游戏|世界上最难的“沙雕”游戏 被AI攻破了
文章图片
Liao不得不改变方法，他把Kurodo的数据注入到AI的回放缓存*（Replay Buffer）*中 。这相当于修改AI的记忆，使AI有一半的记忆是自己的，另一半来自Kurodo 。
游戏|世界上最难的“沙雕”游戏 被AI攻破了
文章图片
并且是AI每自己玩一次，就注入一次Kurodo的数据，保证AI随机从记忆中选取一段来学习时选到两种记忆的概率相同，避免在学习新技巧的过程中把基本操作忘掉 。
AI使用Kurodo的数据训练了15个小时，终于学会了踢腿，但因为两种记忆无法协调在一起，跑时间长了动作会不稳定 。
Liao此时把Kurodo的记忆移除，又让AI自己训练了25小时，总训练时间达到了65小时 。
最终AI的成绩达到1分08秒，终于进入前十 。
打破世界纪录
Liao把教AI玩这个游戏的过程做成视频发在网上 。一个月前，外媒Gismodo问他：为什么AI还没有打破世界纪录？
游戏|世界上最难的“沙雕”游戏 被AI攻破了
文章图片
于是Liao重新训练了一个只为优化速度而存在的新AI 。
新AI改用Prioritized DDQN算法，因为这种算法会给学习效率更高的状态增加权重而不是均匀采样，能使新AI迅速学会旧AI已经掌握了的技巧 。
并且，新AI的奖励函数去掉了身体高度，膝盖弯曲角度等参数，改成只和前进速度相关 。
新AI先用已有数据进行只有几分钟的预训练，随后是40小时的自训练 。最终，新AI每秒所做的动作数在训练环境中由9提高到18，并在测试环境中达到25 。
新AI对踢腿技巧的掌握非常稳定，即使被障碍物影响也能迅速恢复 。
游戏|世界上最难的“沙雕”游戏 被AI攻破了
文章图片
快速高效的动作使AI的成绩提高到47.34秒，比人类最高纪录48.34秒刚好快1秒 。
游戏|世界上最难的“沙雕”游戏 被AI攻破了
文章图片
这才终于算是，在人工智能超越人类的游戏列表中又增加了一项 。
One More Thing
你以为这就完了？
跑完100米不算完，这款游戏还有一种世界级难度——“是男人就跑完马拉松” 。
游戏|世界上最难的“沙雕”游戏 被AI攻破了
文章图片
为Liao提供帮助的玩家Kurodo最近刚刚提交了世界纪录，全球也只有两人完成了这项壮举 。


推荐阅读


上一篇：SQUARE|微软商店版《尼尔：机械纪元》画面大幅优化：Steam玩家差评轰炸

下一篇：腾讯|最严防沉迷 腾讯：每天1784万未成年帐号被“踢”下线