今年11月，世界杯又要開賽了。到時(shí)候，不管踢不踢，踢得好還是踢得不好，又會(huì)有很多人開始聊足球了。沒辦法，誰叫足球是世界第一大運(yùn)動(dòng)呢。不過相比于世界杯，科學(xué)家對(duì)年度機(jī)器人杯3D模擬聯(lián)盟更感興趣。

不久前，來自英國(guó)人工智能公司DeepMind的研究團(tuán)隊(duì)，利用一種加速版運(yùn)動(dòng)課程，通過計(jì)算機(jī)模擬數(shù)十年足球比賽的情況，訓(xùn)練AI學(xué)會(huì)了熟練地控制數(shù)字人形足球運(yùn)動(dòng)員，相關(guān)研究也發(fā)表在了《科學(xué)·機(jī)器人》雜志上。

AI足球運(yùn)動(dòng)員的進(jìn)化簡(jiǎn)史

顯然，這已經(jīng)不是第一次「AI足球運(yùn)動(dòng)員」進(jìn)入大眾視野了。早在2016年，AlphaGo在圍棋上戰(zhàn)勝李世石后沒多久，Deepmind就開始琢磨讓AI踢足球了。當(dāng)年6月，DeepMind的研究人員讓AI控制一只螞蟻形狀的物體去追逐小球，然后帶球直至將其送進(jìn)球門得分。

根據(jù)DeepMind小組負(fù)責(zé)人David Silver的說法，借助當(dāng)時(shí)谷歌最新開發(fā)出異步Actor-Critic算法，即A3C，AI不僅完成了這個(gè)項(xiàng)目，而且在整個(gè)過程中不需要向他灌輸有關(guān)力學(xué)的知識(shí)。這項(xiàng)實(shí)驗(yàn)，讓「AI踢足球」迎來了開門紅。

到了2019年，DeepMind已經(jīng)訓(xùn)練了許多「Player」，它們分別由不同訓(xùn)練計(jì)劃制作而成的，DeepMind從中選擇10個(gè)雙人足球團(tuán)隊(duì)。這10個(gè)團(tuán)隊(duì)每個(gè)都有250億幀的學(xué)習(xí)經(jīng)驗(yàn)，DeepMind收集了它們之間的100萬場(chǎng)比賽。

然后DeepMind設(shè)置環(huán)境，讓多個(gè)AI一起踢足球賽，并且提前設(shè)置了規(guī)則，獎(jiǎng)勵(lì)整個(gè)「足球隊(duì)」而不是去鼓勵(lì)某個(gè)「AI球員」的個(gè)人成績(jī)，以促成整個(gè)球隊(duì)的進(jìn)步。DeepMind用這種方式證明了，AI是可以互相合作的。

看起來一切順利，然而到了2020年，DeepMind的AI球員出問題了。

根據(jù)腦極體提供的資料，在一場(chǎng)比賽中，一方的足球機(jī)器人排成一排向球門發(fā)起射擊，但機(jī)器人守門員卻并沒有準(zhǔn)備防守，而是一屁股倒在地上開始胡亂擺動(dòng)起了雙腿。接著，擔(dān)任前鋒的機(jī)器人球員跳了一段十分令人困惑的舞蹈，跺跺腳，揮揮手，啪嘰一下摔倒在地上。

這一幕讓觀眾極為震驚：見過放水的，沒見過這么放水的！

為何會(huì)這樣呢？「AI踢足球」的開始，研究人員就采用了強(qiáng)化學(xué)習(xí)這條道路。此前，AlphaGo的學(xué)習(xí)是基于監(jiān)督學(xué)習(xí)，即通過標(biāo)記好的數(shù)據(jù)集來進(jìn)行訓(xùn)練的。但這種方式對(duì)數(shù)據(jù)的「潔凈」程度要求高：一旦數(shù)據(jù)有問題，AI就會(huì)犯錯(cuò)。與之相比，強(qiáng)化學(xué)習(xí)是模仿人類的學(xué)習(xí)模式，AI以「試錯(cuò)」的方式進(jìn)行學(xué)習(xí)，對(duì)了受獎(jiǎng)，錯(cuò)了受罰，從而建立正確的聯(lián)系?？雌饋肀葌鹘y(tǒng)的監(jiān)督學(xué)習(xí)智能了不少，但還是有漏洞。比如，AI會(huì)對(duì)獎(jiǎng)懲措施產(chǎn)生錯(cuò)誤的理解，因而生成奇怪的策略。

OpenAI曾經(jīng)設(shè)計(jì)了一個(gè)賽艇游戲，AI原本的任務(wù)是完成比賽。研究者設(shè)置了兩種獎(jiǎng)勵(lì)，一是完成比賽，二是收集環(huán)境中的得分。結(jié)果就是智能體找到了一片區(qū)域，在那里不停地轉(zhuǎn)圈「刷分」，最后自然沒能完成比賽，但它的得分反而更高。

這次，AI踢出了什么新花樣

雖然AI踢足球出現(xiàn)過翻車現(xiàn)場(chǎng)，但研究人員沒有放棄。文章開頭提到，DeepMind的研究團(tuán)隊(duì)在訓(xùn)練「AI足球運(yùn)動(dòng)員」上有了新突破。據(jù)論文描述，盡管DeepMind團(tuán)隊(duì)在此次研究中簡(jiǎn)化了游戲規(guī)則，并將兩隊(duì)球員人數(shù)限定在了2-3人，但「AI足球運(yùn)動(dòng)員」可以完成帶球突破、身體對(duì)抗、精準(zhǔn)射門等動(dòng)作。

那研究人員是怎么訓(xùn)練「AI足球運(yùn)動(dòng)員」的呢？簡(jiǎn)單來說，是將監(jiān)督學(xué)習(xí)與強(qiáng)化學(xué)習(xí)結(jié)合起來。第一步，AI需要觀看人類踢足球的視頻剪輯，學(xué)會(huì)自然行走，因?yàn)锳I開始并不知道要在足球場(chǎng)上做什么。第二步，AI在強(qiáng)化學(xué)習(xí)的算法下，練習(xí)運(yùn)球和射門。

第三步，就用用比賽的形式訓(xùn)練，AI機(jī)器人進(jìn)行2對(duì)2比賽，這一步需要耗時(shí)2到3周，主要是讓AI學(xué)會(huì)團(tuán)隊(duì)協(xié)作,以及預(yù)測(cè)傳球等更高難度的運(yùn)動(dòng)控制。

這次「AI 足球運(yùn)動(dòng)員」的表現(xiàn)還是讓研究團(tuán)隊(duì)覺得比較滿意。DeepMind團(tuán)隊(duì)認(rèn)為，這一研究推動(dòng)了人工系統(tǒng)向人類水平運(yùn)動(dòng)智能向前邁進(jìn)。不過，DeepMind團(tuán)隊(duì)還是比較清醒，他們知道，這次突破還是有局限性的。比如，比賽是2v2，而不是現(xiàn)實(shí)足球比賽常用的11v11，還不能說明AI可以參加更復(fù)雜的足球比賽。此外，即便是簡(jiǎn)單的2v2比賽，也沒法直接用在機(jī)器人硬件上。

換句話說，科學(xué)家們目前還不能研制出可以踢足球的機(jī)器人。

參考資料：

https://www.science.org/doi/10.1126/scirobotics.abo0235

https://sports.yahoo.com/deepmind-ai-now-play-football-134345563.html?guccounter=2

https://www.woshipm.com/ai/3619952.html

http://it.people.com.cn/n1/2016/0622/c1009-28467916.html

本文轉(zhuǎn)載于公眾號(hào)：BFT機(jī)器人，更多機(jī)器人信息請(qǐng)關(guān)注。

BFT白芙堂機(jī)器人是一站式機(jī)器人工業(yè)互聯(lián)網(wǎng)平臺(tái)（www.bft-robot.com），能為客戶提供一站式機(jī)器人系統(tǒng)采購，包括協(xié)作機(jī)器人、工業(yè)機(jī)器人、移動(dòng)機(jī)器人、服務(wù)機(jī)器人、3D機(jī)器視覺產(chǎn)品、工業(yè)相機(jī)、鏡頭、3D打印機(jī)等產(chǎn)品，也為客戶提供算法及系統(tǒng)定制、職校教學(xué)、K12教育及科研實(shí)驗(yàn)室平臺(tái)、機(jī)器人展廳，線上機(jī)械機(jī)加工等服務(wù)。通過BFT平臺(tái)，客戶可以快速找到合適的機(jī)器人本體、夾具及相關(guān)應(yīng)用等產(chǎn)品和服務(wù)。目前，BFT機(jī)器人已與大量國(guó)內(nèi)外機(jī)器人知名公司建立戰(zhàn)略合作或代理關(guān)系。