原創(chuàng)翻譯，禁轉(zhuǎn)，尤其a9vg。

老規(guī)矩，牛關(guān)為鏈接完整版：https://cowlevel.net/article/2132014

2020/09/07 13:46

　　CEDEC** 2020第三天（2020年9月4日），討論了“想研究游戲AI！沒素材研發(fā)部就拿老作品改??！”（ゲームAI研究をしたい！ ゲームを持たない研究開発部署は、発売済みタイトルから実験場を生み出した！?。┳h題。

　　主講為From Software研發(fā)部亨·讓菲利普（ヘン?ジャンフィリップ），內(nèi)容有研發(fā)部門（R&D）作為開發(fā)者在研究游戲AI時需要跨過的障礙、為跨過障礙所作的努力以及開發(fā)專用AI的范例和展望。

<講師履歷>

2014年 ? ?蒙特利爾學(xué)習(xí)算法研究所(Mila)實習(xí)。后赴日讀研，主攻強化學(xué)習(xí)方向。
2018年 ? ?就職From Software。
? ? ? ? ? ? ? ? 在研發(fā)部負(fù)責(zé)開發(fā)輔助工具庫、機器學(xué)習(xí)商業(yè)化的應(yīng)用研究。

<對聽眾的寄語>

近來，AI的實踐并沒有止步于成為Starcraft 2、Dota 2的高玩，測試、調(diào)整當(dāng)中采用強化學(xué)習(xí)的例子也公開過不少。
然而在游戲開發(fā)方面，構(gòu)建高效強化學(xué)習(xí)環(huán)境的參考還談不上充足。
希望本次交流能給各位在引進強化學(xué)習(xí)的可行性帶來一定啟發(fā)。

研發(fā)部研究游戲AI時遇上的坎

　　研發(fā)（R&D）一般不直接參與游戲開發(fā)，而主要負(fù)責(zé)開發(fā)庫和工具、物色有應(yīng)用前景的技術(shù)并對其進行研究。From Software研發(fā)部尤其重視以實際運用為前提的技術(shù)儲備。畢竟碼農(nóng)出身的中小企業(yè)，資源要用在刀刃上，功利/實惠。

　　其中自然包括對游戲AI的研究。 AI在游戲中的職能包括NPC的操縱和調(diào)試、整個游戲的控制（meta-AI）、自動調(diào)整和環(huán)境分析。此外，AI除了腳本（script），行為樹（behaviour tree）和狀態(tài)機（state machine）之類的經(jīng)典模型外，也有近來關(guān)注度較高的增強學(xué)習(xí)和機器學(xué)習(xí)模型。
　　要研究游戲AI就少不了AI沙盒，因為需要能輕易反復(fù)試錯并使用多種方法進行驗證的環(huán)境。

　　然而研究部門一旦以研究目的構(gòu)建沙盒，就容易做得“針對實驗”、“迷你游戲”。這種環(huán)境易于操作乍看沒問題，但加載AI時就會遇到麻煩。

　　換句話說，由于AI僅在最寬松的環(huán)境得到測試，而游戲環(huán)境復(fù)雜且受限，于是容易出現(xiàn)意料之外的問題。 這么一來加載AI的代價就很大。 開發(fā)一線對此也心知肚明，所以也不會輕易嘗試。

　　即便強行操作，問題一樣會大量出現(xiàn)。根治不了，風(fēng)險也會增加。

　　要避免此類故障，就得考慮開發(fā)過程中存在的問題和限制，并準(zhǔn)備明顯能夠運用到開發(fā)過程、接近游戲環(huán)境的實戰(zhàn)型AI沙盒。

　　但是，由研發(fā)部準(zhǔn)備實戰(zhàn)型AI沙盒是比較困難的。 如開頭所述，研發(fā)并不專職游戲開發(fā)，不具備開發(fā)接近游戲環(huán)境的知識經(jīng)驗。 強行創(chuàng)建顯然會耗費大量工時，勢必對研發(fā)部的本職工作造成影響。

　　此外，還有兩條路：“使用現(xiàn)成環(huán)境”和“參與游戲開發(fā)”。

　　現(xiàn)成AI環(huán)境有ALE（Arcade Learning Environment）、ML-Agents或者提供AI專用API的《Starcraft 2》。如能使用這些環(huán)境，研發(fā)部就不用自行開發(fā)了，但這些環(huán)境不開源，就算開源因為授權(quán)限制也沒法用，就算能用也發(fā)生過小游戲（mini game）或懷舊游戲（retro game）的問題。此外，最近出現(xiàn)的AI環(huán)境大都針對強化學(xué)習(xí)，很難驗證其他模型。

　　另一條路就是參與游戲開發(fā)，在AI相關(guān)功能尚在構(gòu)建的游戲中直接對AI進行試驗和驗證，研發(fā)部無需自行創(chuàng)建沙盒，直接獲得實戰(zhàn)環(huán)境。
　　不過，一旦涉及游戲開發(fā)，開發(fā)作業(yè)是優(yōu)先確保的，研究這邊就很難有機會推進。 此外，開發(fā)階段出現(xiàn)bug、規(guī)格改動導(dǎo)致環(huán)境跟著變，無法指望穩(wěn)定的環(huán)境。 于是得出結(jié)論，用開發(fā)階段的游戲研究AI并不現(xiàn)實。（難怪總是測試不足）

如何跨過這道坎呢

　　最后，研發(fā)部決定把已上市的自家作品改成AI沙盒。既然已經(jīng)上市就是現(xiàn)成又穩(wěn)定的實戰(zhàn)環(huán)境，而且可以優(yōu)先進行感興趣的研究。
　　接下來就是選擇合適的作品了。選擇條件就是“AI的職能盡量多，研究起來簡單”（できるだけ多くの役割のAIを簡単に研究できること），能構(gòu)建的場面越多越理想。符合該條件的兩個備選分別是2016年的DARK SOULS III和2013年的ARMORED CORE VERDICT DAY（ACVD）。

　　比較討論下來，幾乎全部項目（例如“移動區(qū)域”、“戰(zhàn)斗距離”）都有大量選項、自由度更高的ACVD被選為AI沙盒。而ACVD沒有現(xiàn)成的PC版，所以只移植了需要的部分。

　　此外，ACVD有不少AI模型未對應(yīng)行為樹（behavior tree）、強化學(xué)習(xí)，需要擴充。

　　然而ACVD的AI和游戲環(huán)境緊密結(jié)合，直接擴充有困難。代碼也比較復(fù)雜，貿(mào)然操作可能會引發(fā)意外的bug或故障。

　　于是把AI部分從游戲抽離，這么做還有“進行某些研究時可以無視ACVD的情況”“方便移植”“能適配新的AI模型”的好處。

　　作業(yè)的具體內(nèi)容是用中間件（中間層）替換了ACVD里的AI環(huán)境（AI関連の実裝）。中間件具備原作環(huán)境的幾乎全部機能，外部AI連接于其上。于是，對游戲環(huán)境而言一切照舊，而真正的AI則在和泛用接口進行交互。

　　此外，考慮到調(diào)試，測試員能直接操作通常由AI控制的角色會方便不少，所以中間件除了接AI，還能接手柄。?

　　在推進過程中，研發(fā)部發(fā)現(xiàn)游戲環(huán)境和AI有不同的數(shù)據(jù)傾向。以角色的位置坐標(biāo)為例，游戲環(huán)境擅長處理自身世界具**置的“世界坐標(biāo)”，而對AI而言則是以自身為出發(fā)點離開多少距離的“局部坐標(biāo)”更容易處理。
　　所以中間件加上了這種差異的轉(zhuǎn)換功能，游戲環(huán)境和AI就不用自己轉(zhuǎn)換了。

研究中的實例

　　用調(diào)整好的AI沙盒進行的驗證當(dāng)中，講座介紹了兩個NPC操作實例。首先是研發(fā)部內(nèi)部舉行比賽的例子，使用經(jīng)典AI模型（腳本、行為樹、狀態(tài)機）。
　　所有研發(fā)部成員使用Lua語言創(chuàng)建自己的AI，參加循環(huán)賽。 旨在搜集比賽數(shù)據(jù)。勝負(fù)及比賽中的受創(chuàng)情況等信息也得到可視化。

　　而在強化學(xué)習(xí)的案例中，亨介紹了首先要考慮的兩個特點。第一個是強化學(xué)習(xí)“很難自行適應(yīng)最新的算法”。具體原因有：規(guī)模大、實裝里的數(shù)學(xué)容易弄錯、不優(yōu)化就會把大量時間浪費在學(xué)習(xí)上、難以調(diào)試。
　　第二個特點是“需要大量實時數(shù)據(jù)”。這與其他機器學(xué)習(xí)相同，尤其在強化學(xué)習(xí)中，要在學(xué)習(xí)的同時收集數(shù)據(jù)，而作為驗證者還是希望把數(shù)據(jù)收集的時間壓縮到合理范圍內(nèi)。
　　作為針對措施，對于最新算法自適應(yīng)問題，研發(fā)部采用已在Python中實裝的學(xué)習(xí)算法。原因有許多主流的學(xué)習(xí)算法都使用Python且開源、幾乎全部用于機器學(xué)習(xí)的庫都支持Python。
　　但最近遇到過要把Python環(huán)境的學(xué)習(xí)算法用到C++開發(fā)的游戲上的問題。解決辦法是在游戲和算法間使用Python的強化學(xué)習(xí)工具包Gym和網(wǎng)絡(luò)通信庫grpc。

　　對于需要大量實時數(shù)據(jù)，則通過并行強化學(xué)習(xí)提高效率、禁用學(xué)習(xí)中用不上的描畫降低計算成本。 通過這些措施，普通配置的PC也能玩轉(zhuǎn)合適時長的強化學(xué)習(xí)了。

　　這么一來，主要問題得到了解決，但Gym并不支持學(xué)習(xí)期間環(huán)境參數(shù)的改變，譬如場地。另外，它也不支持對戰(zhàn)型學(xué)習(xí)，學(xué)習(xí)AI之間不能對打。于是研發(fā)部自建實例管理服務(wù)器解決了這些問題。
　　最后I7-8700，GeForce GTX 1060配置的PC，在128并行實例（並列実行のインスタンス數(shù)128）環(huán)境下，花了大約12個小時確認(rèn)了強化學(xué)習(xí)的動作。

　　亨表示今后會在ACVD外的游戲中進行類似研究。調(diào)試AI等承擔(dān)更多職能的AI也在考慮當(dāng)中。

　　當(dāng)然，將來隨著研究正式立項，實用AI能做出來的話，會考慮用在From Software的游戲里，他總結(jié)道。

*如有錯誤請不吝賜教。由于中日語言表達(dá)方式的差異，個人極力避免翻譯腔，受母語能力所限最近的手法是只求達(dá)意不求保留結(jié)構(gòu)，所以原文一些表達(dá)會被調(diào)整語序砍得面目全非。

**CEDEC = Computer Entertainment Developers Conference，遺憾，2020第三天的視頻里并沒有本次講座。

私貨時間：

1.與時俱進地為AI強化學(xué)習(xí)進行人才儲備，畢竟7年前上市的vd那行為樹也比較老套了，從本文也能看出，研發(fā)部純粹因為沒素材臨時改一個現(xiàn)成游戲。而部分ac玩家卻在意淫vd移植PC的可能性，太過饑渴。From畢竟是個摳門公司，資源永遠(yuǎn)用在刀刃上。回憶下先前的HD作品，哪個他們自己操刀？標(biāo)題圖就是我的態(tài)度，理智又熟悉from和ac系列的人也不會覺得意外。

「ACV」向けのAIは「戦略層」、「戦術(shù)層」、「機體制御層」の3層で構(gòu)成されている。上位層で行動目標(biāo)（ゴール）が設(shè)定されると、下の層ではその実現(xiàn)のために取りうる手順が、個々のゴールとして組み立てられていくという趣向だ。
? ??出處

2.說起From的AI，ACVD上市前制作組坦言就是內(nèi)部ai編輯系統(tǒng)的簡化版。所以看到CEDEC這講座我是有些納悶的。到底是因為那套系統(tǒng)太老需要更新還是已經(jīng)沒人玩得轉(zhuǎn)了？考慮到老外18年入職，from最新作品打鐵是19年3月上市。時間上有種莫名的吻合，而文中介紹的工作也明顯是為將來打基礎(chǔ)，三個好處之中“方便移植”。話說老頭環(huán)一個運行演示都還沒公布過來著。無論如何，F(xiàn)rom的ai各種蠢是該進化了，后文會列舉。

3.from除了自己編，還有上世紀(jì)末把高玩打法做成ai。據(jù)我所知From游戲里最先嘗試讓玩家編輯ai是2003年的ACSL，游戲提供一個培養(yǎng)名額，乍看是玩家駕駛艙里的幽靈，會學(xué)習(xí)模仿玩家操作云云。聽下來是不是很興奮覺得能克隆一個自己了？實際機制是把玩家的傾向取平均，于是要灌輸一個動作就必須在一場戰(zhàn)斗中盡量多次發(fā)生該動作。From不僅CG欺詐。

之后則是2005年模塊更加明確的ACFF，畢竟psp按鍵太少，盡可能的因地制宜。然后是06年的合金獵犬，之后就是受其影響巨大的VVD了。sl、ff、vd在劇情上也嵌入了ai的內(nèi)容。

但ai再厲害，開發(fā)者的思路更重要。譬如v當(dāng)初的概念是巷戰(zhàn)，制作組希望玩家通過建筑物遮擋攻擊，所以v沒有盾牌。但最后給玩家玩成了蹬墻機動戰(zhàn)。而v的ai是基于制作人預(yù)期編制的，于是單機部分幾乎所有的機甲npc都顯得很蠢，大多不會滯空，菜鳥玩家也是這樣?！癟rue groundwalker stands completely still.”

如果你vd里編輯過ai，會發(fā)現(xiàn)它們的邏輯和玩家完全不一樣。

玩家的流程：丟探機，掃描對手三防，換對應(yīng)武器針對弱項，走位，找機會猛打。

而ai則是：感應(yīng)敵人位置，通過距離切換對應(yīng)武器，走位。（所以距離切換如有重復(fù)或者間隔不夠就會發(fā)現(xiàn)unac不斷切換武器劃水）

譬如acvd里編輯ai里首先通過敵人距離選擇武器，由于有兩套武器（制作人的邏輯是武器按有效射程劃分，并有不同屬性，而玩家的著眼點則是目標(biāo)裝甲的弱點屬性，rpg那套），如果設(shè)置的切換距離有交集，ai就會發(fā)傻，它會不停切換武器而作不出任何攻擊。臨界點現(xiàn)象在魂系也能見到：ai在邊界進進出出（血源太刀哥、假醫(yī)生），同個ai在特定地形會非常厲害，一旦換場地/引到其他地方，馬上變?nèi)?，表面上是激活了ai底層邏輯里對活動范圍的限制（from有把ai和屬地綁定的傳統(tǒng)）。

曾經(jīng)也有這種精巧ai（3:27開始是ai視角，玩家開了金手指，所以機動性不在一個水平），暴力讀取玩家坐標(biāo)，花式套框固然兇狠，好在場地簡單，但可以發(fā)現(xiàn)，那時候的ai也不太離地。

到了ps360上的acv，由于地形變復(fù)雜，絕大部分ai都顯得很蠢，而acvd將地面改扁平后，戇戇度稍微得到了改善。不禁懷疑from那套ai模板，對3d支持不佳，所以魂也不太跳，打鐵其實也一樣。也可能是復(fù)雜的地形占用太多留給ai的資源更少的緣故。

到了vd里制作組也只能通過高速推進器+低傳導(dǎo)身改變ai移動節(jié)奏制造變數(shù)，當(dāng)然，最重要的是地圖扁平簡單化，減小了ai的劣勢，售前宣傳里玩家給ai打得滿地找牙。對于ps360而言也是好事，負(fù)擔(dān)輕了死機少了。v計算量太大，ps3黑屏死機退xmb不勝枚舉。

除了3d，from的ai還看不到障礙物?？赡苁浅绦騿T實力不夠，也可能還是硬件拖累etc。

賣萌。

11年后，還是這樣。

義父逃課。

希望老頭環(huán)的ai能有一些進步。