今天看到一個(gè)新聞，OpenAI 收購了Global Illumination這家公司。這家公司的核心產(chǎn)品不知道大家體驗(yàn)過沒有，是一個(gè)開放世界沙盒游戲。

由于最近團(tuán)隊(duì)一直在集中研究斯坦福AI 小鎮(zhèn)，對(duì)這方面的信息很敏感，我們第一個(gè)想到的，就是OpenAI也要利用他們強(qiáng)大的語言模型能力，進(jìn)軍虛擬人AI-Agent智能體，打造以生成式智能體為核心的的開放游戲。開放游戲世界和元宇宙社區(qū)，是AI技術(shù)的廣闊使用場(chǎng)景，利用AI技術(shù)，打造AI agents的角色，構(gòu)建創(chuàng)新性玩法。這種結(jié)合會(huì)為用戶全新的虛擬體驗(yàn)，也為整個(gè)技術(shù)和行業(yè)帶來新的變革。

那在如此之讓人振奮的賽道上，和全球的AI公司同臺(tái)合作和競(jìng)技。虛擬人的大舞臺(tái)上，我們的優(yōu)勢(shì)就是要把Motionverse的動(dòng)作表情的生成，做到極致，讓虛擬人可以充分、輕松、豐富的進(jìn)行各種感情表達(dá)。

回到我們的項(xiàng)目進(jìn)度上，整套服務(wù)器的部署已經(jīng)完成，但還有坑沒有填完，運(yùn)行比較多步的時(shí)候，會(huì)出現(xiàn)卡死的情況，還在排查這塊，整體解決后，我們會(huì)總結(jié)避坑指南。我們?cè)诤Ｍ獍⒗镌撇渴鹆艘粋€(gè)服務(wù)，跑了3個(gè)NPC，下面這個(gè)是一個(gè)片段，做個(gè)記錄

http://154.22.104.10:8000/demo/July1_the_ville_isabella_maria_klaus-step-3-14/1/3/#

繼續(xù)來研究論文，斯坦福的論文中，花了很多筆墨，在描述一個(gè)為了完成一個(gè)可信任的智能體，很多開發(fā)者做出的各種貢獻(xiàn)。到今年，大型語言模型的出現(xiàn)為重新審視這些問題提供了一個(gè)重要的契機(jī)，我們能創(chuàng)造一個(gè)有效的架構(gòu)，將記憶的數(shù)據(jù)通過大模型生成為為可信行為。

這些智能體可以感知和居住在一個(gè)開放的環(huán)境中,就像我們所處的人類社會(huì)環(huán)境一樣,并努力以通過與用戶或其他智能體的社交互動(dòng)產(chǎn)生涌現(xiàn)行為的方式行事。通常情況下，這些智能體是在游戲中的，智能NPC的背景下開發(fā)使用的，創(chuàng)造具有可信行為的NPC，通過與智能體NPC的社交互動(dòng)來增強(qiáng)玩家在游戲和互動(dòng)小說中的體驗(yàn)。

在斯坦福的論文中，生成式智能體充分利用大型語言模型驅(qū)動(dòng)其行為。通過這些年大語言模型的高速發(fā)展，大型語言模型從其訓(xùn)練數(shù)據(jù)中，學(xué)習(xí)到了廣泛的人類行為。

如果使用細(xì)致定義的上下文進(jìn)行提示詞工程，大語言模型是足夠可以用來生成人類可信行為的。AI智能小鎮(zhèn)核心就是使用思維鏈來生成描述原型系統(tǒng)中的人物和其行為。

同時(shí)，憑借生成和分解動(dòng)作序列的能力,大型語言模型也被用于規(guī)劃智能體的任務(wù)，模型會(huì)被提示將任務(wù)分解成更小的動(dòng)作序列

目前大多數(shù)測(cè)試和產(chǎn)品，包括我們前陣子自己在做的智能NPC村，都只依賴于一階模板的少數(shù)提示。這些模板在僅基于智能體當(dāng)前環(huán)境的條件下生成行為方面是有效的。但是,可信智能體不僅需要根據(jù)當(dāng)前環(huán)境,還需要根據(jù)大量過去經(jīng)歷進(jìn)行條件化,目前提示詞窗口在這方面是有限制的，沒法帶入全部歷史過程，斯坦福的論文中，提出了通過為語言模型增加靜態(tài)知識(shí)庫和信息檢索方案或者簡單的總結(jié)方案來越過一階提示。論文中提出的架構(gòu)可以處理檢索,其中過去經(jīng)歷在每個(gè)時(shí)間步都動(dòng)態(tài)更新,并與智能體當(dāng)前的上下文和計(jì)劃相結(jié)合。

上面提到的我們自己在做的智能NPC村，是我們自己團(tuán)隊(duì)用我們公司的motionverse sdk打造的一個(gè)開源Demo。

Demo背景是在一個(gè)寧靜的小村莊，里面的住民有農(nóng)夫，有藝術(shù)家，有音樂家，還有保衛(wèi)村莊的勇士。整個(gè)Demo 是一個(gè)基于unity打造的3d環(huán)境，角色還是來自于RPM。

我們?yōu)槊恳晃籒PC設(shè)置了其專屬提示詞，約定了他的背景，設(shè)定和性格。也帶入了簡單的上下文多輪對(duì)話能力（大概5輪對(duì)話）。這塊其實(shí)就是論文中提到的一階少數(shù)提示詞，并且是有限的過去經(jīng)歷記憶。

雖然智能程度不及論文中設(shè)定的架構(gòu)，使用起來還是比較有意思的。在語音識(shí)別環(huán)境，我們接入了微軟的ASR，支持多種語言輸入。收到大模型返回的文本，在我們的motionverse的云端馬上生成了智能體情感表達(dá)所需要的語音，動(dòng)作和表情數(shù)據(jù)。于是你可以自由的和每位村民開心的交談了。這個(gè)Demo目前還在最終整理階段，有興趣的同學(xué)可以關(guān)注我們，馬上會(huì)開源整個(gè)工程。這個(gè)Demo的擴(kuò)展性非常強(qiáng)，幾乎可以覆蓋目前限定環(huán)境下，數(shù)字人的絕大部分需求。我們這次打造斯坦福AI小鎮(zhèn)，也會(huì)基于這個(gè)工程繼續(xù)創(chuàng)作。UE引擎版本，也在開發(fā)中，大家可以關(guān)注起來，有什么意見和建議，也可以隨時(shí)聯(lián)系我們哦。