1997年国际象棋神话卡斯帕罗夫输给计算机后,围棋成为人类的最后尊严。在大多数人看来,计算机想要在围棋领域打败人类,至少需要十年,甚至更长的时间。然而,AlphaGo的出现,直接击碎了这一想法。
2016年,谷歌旗下的DeepMind团队发布AlphaGo,并在以4:1的成绩击败了世界围棋冠军、韩国棋手李世石,震撼全球。战胜李世石的这版AlphaGo,参考学习了大量的人类专业棋手的棋谱。此后,AlphaGo又进化出了AlphaGo Master版本,并以3:0战胜了当今世界围棋第一人、中国棋手 洁。“功成名就”后,Deepmind公司宣布AlphaGo退役,不再与人类下棋。不过,故事并未结束。退出人类棋坛、无敌寂寞的AlphaGo开始了闭关学习,进行“左右手互博”,从而实现“挑战自我”、“战胜自我”。2017年10月18日,神秘面纱揭开:DeepMind推出了最新版本,也是迄今为止最强版本——AlphaGo Zero。
在DeepMind的最新论文中,AlphaGo Zero利用了强化学习的方法,在没有人类指导的情况下,只用3天时间进行学习,就打败了战胜过李世石的那版AlphaGo,比分是100:0。
2016年3月9日,韩国首尔,DeepMInd开发的智能系统AlphaGo(阿尔法围棋)和韩国职业围棋选手李世石的第一场比赛正式结束。 视觉中国 资料图
在《自然》杂志上为DeepMind论文撰写的评论中,密歇根大学计算机科学和工程学院教授Satinder Singh写道,这是强化学习转化为应用领域里取得的最大进步之一。
那么AlphaGo Zero是如何实现这种飞跃的?前文提到,AlphaGo Zero采用的是人工神经网络。这种网络可以计算出下一步走棋的可能性,估算出下棋选手赢的概率。随后根据计算,AlphaGo Zero会选择最大概率赢的一步去下。整个训练过程中,并没有人类参与,全程是AlphaGo Zero自我学习,自我对弈。
在训练过程中,AlphaGo Zero每下一步需要思考的时间是0.4秒。但正是通过对围棋游戏的模拟和训练,神经网络变得越来越好。值得一提的是,AlphaGo Zero相比之前的版本,仅使用了单一的神经网络。
新版本的AlphaGo究竟有多厉害?打败李世石的AlphaGo用了3000万盘比赛作为训练数据,AlphaGo Zero用了490万盘比赛数据。经过3天的训练,AlphaGo Zero就以100:0的比分赢下了李世石版AlphaGo,并且只用了1台机器和4个TPU(谷歌专为加速深层神经网络运算能力而研发的芯片)。而李世石版AlphaGo则用了48个TPU。
这一切的意义在哪里?AlphaGo的诞生惊艳了世人,现在AlphaGo Zero又将机器能做到的极限往后推了几个量级。Satinder Singh认为,AlphaGo和AlphaGo Zero在一年多时间里取得的进步已经证明,基于强化学习的人工智能比基于人类知识经验的智能表现地更好。实际上,AlphaGo Zero将来很有可能会帮助人类棋手提高棋艺,并启发他们对围棋的理解。还有一点也是毋庸置疑的,那就是AlphaGo的成功带来了全球媒体对于人工智能的关注,也让围棋变成流行与美并存的游戏。
美国围棋协会的Andy Okun和Andrew Jackson也为此次的论文在《自然》杂志上撰写了评论,他们认为,围棋人工智能的出现,重启了我们究竟对围棋这项游戏了解多少这个问题。通常一个世纪才会出现一位传奇的围棋棋手,他能改变人类对围棋的理解。而当AlphaGo打败李世石,Master以60:0的成绩横扫各国顶尖棋手,并以3:0赢下 洁后,关于人工智能给围棋带来的启示一直不绝于耳。
这一次,AlphaGo Zero带来的进步肯定也是围棋棋手日后学习的宝库。要知道,AlphaGo Zero是独立学习训练的,但它使用的招数却超越了许多人类棋手的下棋顺序和招法。也就说,人工智能丰富了我们下围棋的选择。或许它在下棋过程中有些下法是人类无法理解的,甚至认为是错误的,但在机器的理解看来确实万分正确的。从这些经验中,人类棋手看到了与以往不同的围棋世界。
“之前,人类与人工智能对话总是显得非常遥远,甚至像科学小说。但现在对于围棋选手来说,对话已经发生了,就在这里。” Andy Okun和Andrew Jackson说。