逼搶兇狠、擅長中場突破、短傳行云流水，幾乎毫無破綻……
去年12月，谷歌聯(lián)手英超曼城在Kaggle平臺上，舉辦了首屆“AI足球世界杯”，吸引了1138個團(tuán)隊(duì)角逐比拼。其中，網(wǎng)易伏羲強(qiáng)化學(xué)習(xí)團(tuán)隊(duì)表現(xiàn)出色，斬獲亞軍;其接近專業(yè)教練的AI戰(zhàn)術(shù)布局能力，讓主辦方看到了“AI+足球”的巨大潛力。
近日，網(wǎng)易伏羲受邀與英超曼城俱樂部、谷歌、Kaggle等行業(yè)高管深入交流，分享了比賽中采用的技術(shù)框架和訓(xùn)練方法，共同探討了AI技術(shù)在足球領(lǐng)域的應(yīng)用方向。
(網(wǎng)易伏羲強(qiáng)化學(xué)習(xí)團(tuán)隊(duì)(藍(lán)隊(duì))在決賽中率先破門得分)
(本次比賽競爭激烈，吸引全球1138個團(tuán)隊(duì)參賽)
據(jù)了解，本次比賽在 Google Research Football 強(qiáng)化學(xué)習(xí)環(huán)境下進(jìn)行，參賽團(tuán)隊(duì)可以在11個智能體中控制1個單獨(dú)智能體。比賽涉及大量復(fù)雜的團(tuán)隊(duì)協(xié)作和戰(zhàn)術(shù)變化;同時，也考驗(yàn)各個團(tuán)隊(duì)解決強(qiáng)化學(xué)習(xí)中幾大極具挑戰(zhàn)性問題的能力，例如長時決策(Long Time Horizon)、稀疏獎勵(Sparse Reward)、多智能體(Multi-Agent)等。
溝通會上，主辦方認(rèn)為，網(wǎng)易伏羲AI采用的戰(zhàn)術(shù)已經(jīng)“非常接近”專業(yè)教練的打法，具備在虛擬環(huán)境中，模擬真實(shí)足球比賽戰(zhàn)術(shù)的能力。同時，網(wǎng)易伏羲的“AI球員”還踢出了自己的風(fēng)格：中場快速突破，短傳配合進(jìn)攻，最終進(jìn)球得分。
(網(wǎng)易伏羲的短傳組合)
網(wǎng)易伏羲AI“定位球”的專業(yè)打法，也讓主辦方印象深刻。曼城俱樂部母公司、城市足球集團(tuán)數(shù)據(jù)洞察和決策技術(shù)總監(jiān)Brian Prestidge坦言，網(wǎng)易伏羲AI所采用的“定位球”策略，與現(xiàn)實(shí)比賽中專業(yè)教練的“定位球”戰(zhàn)術(shù)非常相似。
AI如同真人專業(yè)球隊(duì)，不僅儲備了擅長的“定位球”打法，還能根據(jù)場上的變化，靈活調(diào)整后續(xù)戰(zhàn)術(shù)配合。例如，發(fā)邊線球時，AI則會根據(jù)場上態(tài)勢判斷，自主選擇保守或激進(jìn)的打法。
據(jù)網(wǎng)易伏羲方面介紹，強(qiáng)化學(xué)習(xí)團(tuán)隊(duì)在本次比賽采用多頭向量輸入模型，主要通過玩家對戰(zhàn)環(huán)境(PVE)與自博弈(Self-Play)相結(jié)合的訓(xùn)練方式，讓AI從0到1學(xué)會踢球。賽程中，團(tuán)隊(duì)通過Surgery、模仿學(xué)習(xí)、課程學(xué)習(xí)等方式，幫助AI不斷擴(kuò)充狀態(tài)特征和動作，學(xué)會對手的打法并予以反制，以及嘗試不同的初始站位來豐富開局變化。
此外，網(wǎng)易伏羲還采用了自主研發(fā)的RLEase強(qiáng)化學(xué)習(xí)框架訓(xùn)練AI。該框架集成了主流強(qiáng)化學(xué)習(xí)算法，簡化了環(huán)境接入流程，大幅降低強(qiáng)化學(xué)習(xí)的門檻。該框架還提供了標(biāo)準(zhǔn)接口，添加新算法時，只需要完成標(biāo)準(zhǔn)接口的實(shí)現(xiàn)即可，無需人工重復(fù)開發(fā)分布式等相關(guān)功能，這也使得游戲中試驗(yàn)新算法變得更容易。
(網(wǎng)易伏羲自主研發(fā)的RLEase強(qiáng)化學(xué)習(xí)框架)
“足球賽場極其復(fù)雜，球員要面對很多挑戰(zhàn)，但更困難的是從中學(xué)習(xí)規(guī)律。人們一般通過失敗來學(xué)習(xí)成長，但球場卻很難容忍失敗。”Brian Prestidge對“AI足球世界杯”寄予厚望，他認(rèn)為，谷歌創(chuàng)造的虛擬環(huán)境是一個絕佳的試驗(yàn)場所，球隊(duì)可以在其中測試戰(zhàn)術(shù)概念、完善訓(xùn)練方法，讓教練更有信心地開展自己的職業(yè)生涯。
(曼城母公司高管對“AI足球世界杯”寄予厚望)
未來，隨著技術(shù)發(fā)展，AI有望更加深刻地改變足球行業(yè)。例如，AI可以輔助訓(xùn)練球員、提升戰(zhàn)績;為教練出謀劃策、提供戰(zhàn)術(shù)支持;甚至還能幫助管理層更好地經(jīng)營球隊(duì)。
綠茵賽場外，網(wǎng)易伏羲在本次比賽中使用的強(qiáng)化學(xué)習(xí)技術(shù)，也已在多款網(wǎng)易自研游戲中應(yīng)用落地。例如，《逆水寒》流派競武場景中，玩家可以挑戰(zhàn)比自己高排名的玩家，如果被挑戰(zhàn)者不在線，AI就能代替玩家出戰(zhàn)。借助強(qiáng)化學(xué)習(xí)技術(shù)，AI不僅能打出高水平，還能“自我調(diào)節(jié)”難度，用變化多端的打法，讓玩家體驗(yàn)與“真人高手”對抗一般的樂趣。
(《逆水寒》流派競武場景)
在《潮人籃球》3V3場景中，AI不僅學(xué)會了傳球、投籃等基礎(chǔ)動作，還學(xué)會了擋拆、協(xié)防、突破等眾多高級配合打法。
(《潮人籃球》3V3場景)
網(wǎng)易伏羲成立于2017年，是國內(nèi)專業(yè)從事游戲、文娛產(chǎn)業(yè)AI研究和應(yīng)用的頂尖機(jī)構(gòu)，研究方向包括強(qiáng)化學(xué)習(xí)、圖像動畫、自然語言、虛擬人、用戶畫像、大數(shù)據(jù)平臺、云計(jì)算平臺、云游戲等領(lǐng)域。在為網(wǎng)易眾多產(chǎn)品提供高質(zhì)量和前沿AI技術(shù)的同時，網(wǎng)易伏羲正在進(jìn)一步把AI技術(shù)和產(chǎn)品開放給更多合作伙伴，推動行業(yè)加速發(fā)展。
