网易|网易的黑科技：以前策划写三四周AI，现在放那儿自己跑就行了( 三 )
文章图片
开发完AI之后还得有个部署 。游戏线上怎么用？我们这边做了好几款游戏，积累了一些经验，我们有服务端的ASI的部署能力，部署了AI服务器，让游戏请求到AI服务器，进行AI推理，进行对应的动作 。另外一个提供一些客户端部署方案，现在有在安卓、iOS上的部署 。有些游戏必须是在手游上部署的，因为逻辑就在客户端上，我们提供SDK能直接把训练好的模型变成在端上的模型直接用 。
三
第三部分介绍一下我们在《逆水寒》里的效果，这是给他们做的一个游戏场景，是一个流派竞技的玩法 。这个玩法每天可以排行榜里挑战排行更高的玩家，但MMO里玩家不一定实时在线，当这个玩家不在线的时候，可以用AI替代玩家出战 。以前AI很弱，基本上都能打过 。游戏方要我们提供高水平的、提供不同难度的AI，让对手也能体验到乐趣 。另外也希望AI能有这样一些行为多样性 。
文章图片
看上去好像很简单一个场景，1V1，实际上还有很多困难 。《逆水寒》里面有20个技能，每次携带10个技能出场，每个玩家携带的不一样，升级路线也不一样 。因为AI是替代玩家打，这就要求AI要去适应所有玩家的技能组合 。这个组合其实很多 。光这样一个职业AI，就有4万多种技能组合 。
怎么表示这种场景？玩家可能携带了很多技能，怎么在建模过程中表示带了哪些技能、可以用哪些技能、让模型合理地用技能？我们用01向量表示玩家携带的技能 。模型可能会输出未携带技能，当它输出不合法的动作，我们会替换掉 。这个游戏里面龙吟地上插很多器件，可以刷技能CD，理论上它应该要看到这个信息 。
文章图片
常见想法是，深度学习直接画一张图就行了，用Image表示就可以了 。这样它的计算量成倍增长，需要很多GPU、很多计算时间 。但这对于这样一款游戏真正落地来说是不适合的，我们不可能用这么多的代价训练这样一个AI 。我们做了一个取舍：我们让AI看到这些，雷达图让AI看到周边哪些地方是有器件的，不需要那么准的位置，标一下就行了 。最后展出来就是八维的向量，输入到state里面，最后测出来这个已经达到水平了 。
我们训出来比较强的AI，怎么匹配多难度的玩家？一种做法是比较简单的，一种比较天然的想法，因为我们训练这个模型就是越来越强的，我把前期的模型拿出来就是弱的，中期的模型拿出来比较中期的水平 。
这样就会带来一个问题——可能在线上部署了非常多的模型，在线上用的时候，我要用十几个段位，部署十几个模型，对我们挑战也非常大 。我们后来只做一个模型，专家跟低水平玩家之间的差距体现在几方面，一是操作反应速度、技能释放频率 。高手技能释放间隔非常短，释放速度非常快，那种动作的反应非常好 。低水平玩家，这点要弱一点 。
所以我们增加了一维参数，调整AI输出频率 。另外高水平玩家在APM高的基础上，误操率也很低 。而有些玩家，可能按的很快，但是很多时候按错了，做了很多误操作，这也是影响人水平的过程 。
还有一个维度就是动作随机概率，让模型有一定概率使出随机动作，这个也比较明显地降低了玩家AI水平 。另外一点，我们是在仿照人类，玩家对于战场信息判断有问题的 。针对这一点，可以在输入层上加噪音，在一些关键信息——比如说血量、位置、技能的CD——这些关键信息上加一些噪音，这个AI水平也会有明显的下降 。他自己也看不清了，判断就会出错 。
文章图片
这些东西到底有没有用？我们做了验证，让这些参数变得水平越来越低、间隔越来越大、随机概率越来越高 。我们训一个AI之后，最高水平是1600，随着参数越来越弱，水平几乎是线性下降 。线上打出来的感觉，也和低水平玩家蛮像的——这个基本上已经满足了策划的需求 。
我们线上部署的时候部署了一个模型，这样一个场景下，基本上能满足当前1V1的需求 。对于复杂的，比如说团队游戏，这些参数可能不够，还要在策略层上做一些丰富性 。不过对当前的场景来说，只能说这是一个比较好的解决方案了 。
另外，我们训练出的这个AI，水平到底够不够强，开发组这边请最高水平的玩家来体验过 。实际上AI水平已经非常高了 。
红色的是AI，绿色的是我们这边龙吟的高手 。我们AI是不掉血的，基本上所有技能都可以完美躲过 。如果没玩过这个游戏可能看不太清楚为什么赢 。为什么两个人放同样的技能，看着差不多的，但有一方基本上没怎么掉血？我们采访过策划，他说AI的一些组合非常合理，很多时候确实是他们策划怎么设计的，打出来就是什么样的，基本满足策划的需求、设计的想法 。再加上可能因为是最高水平，反应非常快，所以人类反应跟不上，实际上很难打过它 。
推荐阅读
- 地下城与勇士|网易最新刷图网游不日公测！比DNF赚钱，搬砖玩家已疯日入万元
- 科技日报|塑料微粒影响几何？人类认知仍不足
- 七号人称说科技|华为始料未及？台积电又成了“炮灰”？新风暴说来就来
- 大众新闻|众安科技荣获“今日·保险中介榜”年度Insurtech独角兽
- 雷科技|朋友圈都在秀的“互联网勋章”到底是什么？
- 快科技|小米10至尊纪念版妙享功能升级：手机与Windows电脑合体
- 七号人称说科技|再给华为一颗糖？美国到底在打什么“算盘”？，先给华为一巴掌
- 量子科技，爆发！有项关键技术中国已领先世界
- 暖日科技盈如|这到底是为什么？，俄罗斯华人给出劝告：最好别跟俄罗斯女孩结婚
- 周到|民警利用无人机指挥事故车辆立即撤离 “科技赋能”破解交通管理难题