OpenAI聯(lián)合創(chuàng)始人Andrej Karpathy最近在一個(gè)開(kāi)發(fā)者活動(dòng)上發(fā)表簡(jiǎn)短講話，談?wù)摿俗约汉蚈penAI內(nèi)部對(duì)AI Agents （人工智能代理）的見(jiàn)解。Andrej Karpathy 對(duì)比了過(guò)去開(kāi)發(fā)AI Agent的困難和現(xiàn)在新技術(shù)工具下開(kāi)發(fā)的新機(jī)會(huì)，Andrej Karpathy認(rèn)為此刻正是再次回歸神經(jīng)科學(xué)，從中尋求靈感的時(shí)刻——正像在深度學(xué)習(xí)早期發(fā)生的那樣。

另一方面，Andrej Karpathy認(rèn)為普通人、創(chuàng)業(yè)者和極客在構(gòu)建AI Agents方面相比OpenAI這樣的公司更有優(yōu)勢(shì)，大家目前處于平等競(jìng)爭(zhēng)的狀態(tài)，因此他很期待看到這方面的成果。

以下是此次分享全文：

大家好。我受邀就AI Agents 的話題說(shuō)一些激勵(lì)的話。我認(rèn)為AI Agents在某種程度上跟我是很近的關(guān)系，讓我以一個(gè)故事開(kāi)始，這是一個(gè)非常早期的OpenAI的故事，那時(shí)OpenAI可能只有十幾個(gè)人，在2016年左右，當(dāng)時(shí)的潮流實(shí)際上是RL Agents（強(qiáng)化學(xué)習(xí)Agents人）。每個(gè)人都對(duì)建立Agents人非常感興趣，但在當(dāng)時(shí)主要是基于游戲，人們的興奮點(diǎn)圍繞著像 Atari這樣的游戲公司，而我當(dāng)時(shí)在OpenAI的項(xiàng)目試圖將RL Agents的重點(diǎn)放在用鍵盤(pán)和鼠標(biāo)使用電腦上，而不是游戲。我想讓它們變得更有用，可以做很多工作，這個(gè)項(xiàng)目被稱之為World of Bits。我和幾位同事最后發(fā)表了一篇論文。

這不是一篇非常驚艷的論文，因?yàn)閷?shí)際上這是基于RL強(qiáng)化學(xué)習(xí)方法的。我們的網(wǎng)頁(yè)非常簡(jiǎn)單，上面可以讓人比如預(yù)定一個(gè)航班或者訂購(gòu)一些食物等等。這一切顯然是行不通的，因?yàn)榧夹g(shù)還沒(méi)有準(zhǔn)備好，在那時(shí)做這些東西是不明智的。事實(shí)證明，應(yīng)該完全忘記AI Agents這件事，去做語(yǔ)言模型。五年之后我們回到這里，期間我被自動(dòng)駕駛分了一點(diǎn)心，但現(xiàn)在AI Agents重新酷了起來(lái)，而我們的工具箱完全不一樣了，我們處理這些問(wèn)題的方式也完全不同了。

事實(shí)上，你們所有人都在研究AI Agents，但你們可能沒(méi)有使用任何強(qiáng)化學(xué)習(xí)方法。這太瘋狂了，我不認(rèn)為我們當(dāng)時(shí)會(huì)預(yù)見(jiàn)到這一點(diǎn)。這簡(jiǎn)直太有趣了。下面我花一點(diǎn)時(shí)間談?wù)劄槭裁碅I Agents如此火爆。我想很明顯，對(duì)很多人來(lái)說(shuō)，AGI（通用人工智能）將充分利用AI Agents的能力，不是一個(gè)，而是很多個(gè)。也許將會(huì)出現(xiàn)數(shù)字實(shí)體的組織或文明，我認(rèn)為這是非常鼓舞人心的，甚至有點(diǎn)瘋狂。不過(guò)，我也想為此潑點(diǎn)冷水。我認(rèn)為有一大類(lèi)問(wèn)題很容易想象，很容易構(gòu)建、演示，但實(shí)際上很難制作稱為產(chǎn)品。很多事情都屬于這一類(lèi)，比如我想自動(dòng)駕駛就是一個(gè)例子。自動(dòng)駕駛很容易想象，也很容易構(gòu)建汽車(chē)?yán)@街區(qū)行駛的演示，但將其變成產(chǎn)品需要十年時(shí)間。同樣的道理，我覺(jué)得VR也是如此，讓它發(fā)揮作用需要十年時(shí)間。我認(rèn)為AI Agents某種程度上也是如此。很容易想象它的場(chǎng)景，非常激發(fā)人的興奮感，但我認(rèn)為如果你參與其中，你應(yīng)該投入十年時(shí)間來(lái)讓它真正發(fā)揮作用。我想說(shuō)的另一件事是，我認(rèn)為現(xiàn)在回到神經(jīng)科學(xué)并在某些方面再次從中獲得靈感是很有趣的，深度學(xué)習(xí)的早期階段就受到了神經(jīng)科學(xué)的啟發(fā)。思考它們之間的關(guān)系是非常有趣的，特別是我認(rèn)為很多人都把語(yǔ)言模型當(dāng)作解決方案的一部分，但如何構(gòu)建一個(gè)完整的，擁有人類(lèi)所有認(rèn)知能力的數(shù)字實(shí)體呢？顯然，我們都認(rèn)為我們需要某種潛在的系統(tǒng)來(lái)規(guī)劃、思考和反思我們正在做的事情，這是神經(jīng)科學(xué)發(fā)揮作用的地方。比如，海馬體是非常重要的，AI Agents中什么東西發(fā)揮著海馬體的作用，用來(lái)實(shí)現(xiàn)儲(chǔ)存記憶，標(biāo)記檢索等等這些功能？我們大致已經(jīng)了解如何構(gòu)建視覺(jué)和聽(tīng)覺(jué)皮層，但還有許多的東西我們并不知道在AI Agents中意味著什么。比如視覺(jué)游戲在AI Agents中是什么樣子的？潛意識(shí)的所在地——丘腦在AI Agents中又相當(dāng)于什么呢？這非常有趣。事實(shí)上我今天帶了一本神經(jīng)科學(xué)的書(shū)，David Eagleman的《大腦與行為》，我發(fā)現(xiàn)這本書(shū)非常有趣和有啟發(fā)性。從神經(jīng)科學(xué)中汲取一些有趣的靈感，就像早期我們?cè)O(shè)計(jì)單個(gè)神經(jīng)元時(shí)所做的那樣，今天我們也許應(yīng)該再次這樣做。

最后我想用一些鼓勵(lì)的話結(jié)尾。一個(gè)有趣但不明顯的事情是，你們（指現(xiàn)場(chǎng)觀眾）構(gòu)建的AI Agents實(shí)際上處于當(dāng)代AI Agents能力的最前沿，所有的大型LLM機(jī)構(gòu)比如OpenAI、DeFi等，我懷疑他們都沒(méi)有處于最前沿，你們正處于最前沿。

舉個(gè)例子，OpenAI 非常擅長(zhǎng)訓(xùn)練 Transformer 大語(yǔ)言模型。如果一篇論文提出了某種不同的訓(xùn)練方法，那么我們OpenAI內(nèi)部的Slack群組里的討論會(huì)類(lèi)似于，哦是的，有人在兩年半嘗試過(guò)，它不起作用，我們對(duì)這種方法的來(lái)龍去脈非常了解。但是當(dāng)新的AI Agents論文出來(lái)的時(shí)候，我們都非常感興趣，覺(jué)得它非?？?，因?yàn)槲覀兊膱F(tuán)隊(duì)并沒(méi)有花費(fèi)五年時(shí)間在這上面，我們并不比你們更多掌握什么，我們正在與你們所有人一起競(jìng)爭(zhēng)。這就是認(rèn)為你們處于AI Agents能力的最前沿的原因。