英偉達(dá)（NVIDIA）的科學(xué)家范林曦（Linxi "Jim" Fan）在2023年5月26日晚11:15發(fā)布消息：

我很高興地宣布我們創(chuàng)造了 Voyager（航海家），它是第一個能在 Minecraft 游戲里自我學(xué)習(xí)的工具。Voyager 通過編寫、修改、提交代碼和查找技能庫里的代碼來提升自身能力。

利用 GPT-4，我們找到了一種新方法：“訓(xùn)練”是指運行代碼，而不是降低梯度。“經(jīng)過訓(xùn)練的模型”現(xiàn)在指的是由 Voyager 一次次組合出來的技能代碼庫，而不是浮點矩陣。我們正在把這種無需降低梯度的架構(gòu)發(fā)展到極致。

在 Minecraft 游戲中，Voyager 表現(xiàn)得就像一個有經(jīng)驗的探險者。它找到的獨特物品數(shù)量超過以前的3.3倍，游戲里的行程距離增加了2.3倍，并且解鎖關(guān)鍵技術(shù)樹里程碑的速度比以前快15.3倍。

我們把所有這些都開源了?，F(xiàn)在大家都可以在 Minecraft 里面看到全能代理人！

聰明且有自主能力的智能代理是人工智能的新目標(biāo)。它們在開放世界里不斷探索、規(guī)劃，并且學(xué)習(xí)新技能，驅(qū)動力是生存和好奇心。

到目前為止，Minecraft 是最好的測試平臺，它提供了無盡的代理機會。

Voyager 主要由三部分組成：

1）一個反復(fù)提示機制，通過游戲反饋、執(zhí)行錯誤和自我驗證來完善程序；

2）一個技能代碼庫，用于保存和查找復(fù)雜行為；

3）一個自動設(shè)定課程的機制，以最大限度地增加探索。

首先，Voyager 試圖使用流行的 Minecraft JavaScript API（Mineflayer）編寫一個程序以達(dá)到某個目標(biāo)。第一次嘗試可能會出錯。游戲環(huán)境的反饋和 JavaScript 執(zhí)行的錯誤（如果有）將幫助 GPT-4 改進程序。

然后，Voyager 通過把成功的程序保存在向量數(shù)據(jù)庫里逐步建立技能庫。每個程序都可以通過其文檔字符串的嵌入進行檢索。復(fù)雜的技能是由簡單技能組合而成，這增加了航海家隨著時間的推移所具備的能力。

最后，自動設(shè)定的課程會根據(jù)代理當(dāng)前的技能水平和世界狀態(tài)提出適當(dāng)?shù)奶剿魅蝿?wù)，比如在沙漠里學(xué)習(xí)收集沙子和仙人掌，而不是在森林里找鐵?？梢园堰@看作是*新奇搜索*的一種形式。

把這些元素組合在一起，以下是完整的數(shù)據(jù)流設(shè)計，可以在一個大的3D像素世界中實現(xiàn)終身學(xué)習(xí)，而無需任何人工干預(yù)。

我們在 Minecraft 中系統(tǒng)地對 Voyager 與其他基于大語言模型（LLM）的代理技術(shù)，如 ReAct、Reflexion 和流行的 AutoGPT 進行了評估。

在160次提示迭代中，Voyager 找到了63個獨特的物品，比下一個最好的方法多出3.3倍。

那么，經(jīng)過這樣的終身學(xué)習(xí)，我們的“訓(xùn)練模型”——技能庫究竟有多強呢？

我們清空了代理程序的庫存/裝備，生成了一個新世界，并進行了未見過的任務(wù)測試。Voyager 解決這些問題的速度顯著加快。我們的技能庫甚至可以提升 AutoGPT，因為代碼很容易轉(zhuǎn)移。

目前，Voyager 只支持文字，但未來可能會加入視覺感知。我們進行了初步的研究，讓人類像圖像字幕模型一樣行動，并給 Voyager 提供反饋。

這項工作是我和我的團隊在NVIDIA共同完成的：

@guanzhi_wang（我們優(yōu)秀的實習(xí)生），

@yuqi_xie5，

@YunfanJiang，

@AjayMandlekar，

@ChaoweiX，

@yukez，

@DrJimFan（也就是我，共同的指導(dǎo)者），

@AnimaAnandkumar（共同的指導(dǎo)者）。

林曦 "Jim" 范（Linxi "Jim" Fan）

研究科學(xué)家

NVIDIA AI

我在 NVIDIA AI 工作，做研究科學(xué)家。我主要的研究方向是開發(fā)可以自主學(xué)習(xí)的智能體。為了達(dá)到這個大目標(biāo)，我的研究涵蓋了基礎(chǔ)模型、策略學(xué)習(xí)、機器人技術(shù)、多模態(tài)學(xué)習(xí)和大規(guī)模系統(tǒng)等領(lǐng)域。我在斯坦福 Vision Lab 獲得了博士學(xué)位，我的導(dǎo)師是李飛飛教授。在這之前，我曾在 NVIDIA、Google Cloud AI、OpenAI、Baidu Silicon Valley AI Lab 和 Mila-Quebec AI Institute 實習(xí)過。我是哥倫比亞大學(xué)2016屆的優(yōu)秀畢業(yè)生，并獲得了 Illig 獎?wù)隆g迎關(guān)注我最新的研究動態(tài)和團隊更新！

參考

- https://twitter.com/DrJimFan/status/1662115266933972993

- https://voyager.minedojo.org

- https://arxiv.org/abs/2305.16291

- https://github.com/MineDojo/Voyag

- https://scholar.google.com/citations?user=sljtWIUAAAAJ&hl=en