来源：OpenAI Blog
作者：大明
昨天，OpenAI Five与人类队伍的三局两胜的Dota2比赛中以2:1获胜，对手的游戏水平高于99.95%的玩家，队员分别为Blitz、Cap、Fogged、Merlini和MoonMeander，其中有四人是Dota2前职业玩家，在现场和观看直播的观众超过10万人。在第三局由现场观众故意为AI选择弱势英雄的情况下，人类队伍赢得了第三局比赛。我们还展示了我们的初步成果，包括OpenAI Five对比赛形势的判断，预测其获胜概率等，预测结果让人类观察者感到惊讶。这些结果表明，OpenAI Five是迈向处理现实世界的复杂性和不确定性的高级AI系统的重要一步。
预热：与观众对战
最开始时，现场观众中的志愿者队伍勇敢地参加了与OpenAI Five的第一场公开比赛。
现场盛况
结果OpenAI Five仅用14分钟就获得胜利。（实力相当的匹配局比赛平均用时为45分钟）
观众志愿者队伍与OpenAI Five对战
第1局和第2局比赛：人类选手被碾压
人类队伍在比赛前
我们展示了一个OpenAI Five的一个新能力：即选人能力。英雄选择（draft）被认为是Dota2中极具挑战性的一部分，因为众多英雄们以复杂的方式相互交流。
第一局开始阶段，OpenAI Five在每个英雄都被选出后给出了预期的获胜概率
6月下旬，我们在神经网络中添加了一个获胜概率的输出，想看看OpenAI Five的预测能力如何。当后来考虑把英雄选择这一指标加进来时，我们觉得可以用它来评估任何英雄阵容的胜利概率：只要看一下比赛阵容确定那一刻的预测结果就可以了。在这个策略实施的一周内，我们模拟了1100种可能的团队对阵阵容，打造了一个框架，并编写了一个树搜索，以找到OpenAIFive的最佳的英雄选择策略。
在第一场比赛的选人结束后，OpenAI Five就预测自己有95％的获胜概率，而在人类看来，这场比赛看起来基本是五五开。OpenAI Five用了21分37秒赢得了第一场比赛。在第2场比赛的英雄阵容出来后，OpenAI Five预测自己的获胜概率为76.2％，并在24分53秒内赢得了第二场比赛。
第3局比赛：观众为AI选英雄，人类挽回面子
在第3局比赛中，我们要求观众为OpenAI Five选英雄。不出所料，他们选择了一套弱势阵容。
在比赛开始之前，OpenAI Five预测自己只有2.9％的机会获胜。尽管获胜几率很低，比赛还是照常进行了，而且OpenAI Five比赛中一度取得进展，预测胜率上升至17%，但最终OpenAI Five在35分47秒后输掉了第三局。
人类队伍获得第三局比赛的胜利
模型的训练
我们通常的开发流程是，从头开始训练系统的每个版本。不过，当前版本的OpenAIFive包含自6月9日以来在六个大幅修订版的系统中进行训练的参数。每个新版系统都使用前一个版本的参数进行初始化。
我们在“手术”工具上投入了大量资源，使得我们能够将旧的参数映射到新的网络架构上。例如，当第一次训练插眼（warding）时，我们共用了一个action head来决定英雄的移动方向和插眼位置。但是OpenAI Five往往会把眼插在它试图前进的方向上，我们推测这主要是因为OpenAI Five主要将其运算力分配在了移动上。后来，我们利用工具让将一个action head分为完全相同的两个，并使用相同参数进行初始化。
据我们估计，训练各种Dota AI系统的计算力为：
1v1模型：8 petaflop/s-days
6月6日模型：40 petaflop/s-days
8月5日模型：190 petaflop/s-days
我们还发布了最新的网络架构。
新模型概览
我们可以通过输出来了解模型，输出可以预测英雄在未来一段时间的预计位置。在下面的视频中突出显示了斯温（Sven）在6秒后的预测位置：
我们还可以训练输出以预测各种其他统计数据，比如补刀数、推塔数等：
要实现模型功能需要解决许多bug和意外行为。下面的视频中就是一些例子：
下一步：剑指TI8!
这些结果使我们有信心推进该项目的下一阶段：本月晚些时候，我们计划让OpenAI5参加Dota2最高水平的国际赛事：TI8。一旦最终确认，我们将会公布更多的详细信息，敬请期待！
