我們設(shè)計了試驗來比較 OpenAI、微軟和谷歌的聊天機器人霸主。他們很聰明，他們是互動的——而且他們是漂亮的小騙子。

想象一下嘗試回顧一臺機器，每當你按下一個按鈕或按鍵或輕敲它的屏幕或試圖用它拍照時，它都會以一種獨特的方式做出反應(yīng)——既有預(yù)見性又不可預(yù)測，并受到存在于該領(lǐng)域中的所有其他技術(shù)設(shè)備的輸出的影響世界。該產(chǎn)品的內(nèi)部部分是秘密的。制造商告訴你這仍然是一個實驗，正在進行中的工作；但他們說，無論如何你都應(yīng)該使用它，并發(fā)送反饋。甚至可能付費使用它。因為，盡管它普遍未準備好，但它會改變世界，他們說。

這不是傳統(tǒng)的 WIRED 產(chǎn)品評論。這是對三種正在重塑我們在線訪問信息方式的新型人工智能軟件工具的比較：OpenAI 的 ChatGPT、Microsoft 的 Bing Chat 和 Google 的 Bard。

在過去的三十年里，當我們?yōu)g覽網(wǎng)頁或使用搜索引擎時，我們輸入了一些數(shù)據(jù)，并收到了大部分靜態(tài)答案作為回應(yīng)。這是一種相當可靠的輸入-輸出關(guān)系，隨著高級人工智能和數(shù)據(jù)貨幣化方案的出現(xiàn)，這種關(guān)系變得越來越復(fù)雜?，F(xiàn)在，下一波生成式 AI 正在啟用一種新范式：感覺更像人類聊天的計算機交互。

但這些實際上并不是人文對話。聊天機器人并沒有考慮到人類的福祉。當我們使用生成式 AI 工具時，我們是在與由更大的隱喻機器創(chuàng)建的語言學習機器交談。我們從 ChatGPT 或 Bing Chat 或 Google Bard 獲得的響應(yīng)是從反映互聯(lián)網(wǎng)語言的數(shù)據(jù)語料庫生成的預(yù)測響應(yīng)。這些聊天機器人具有強大的交互性、智能性、創(chuàng)造性，有時甚至很有趣。他們也是迷人的小騙子：他們接受訓(xùn)練的數(shù)據(jù)集充滿了偏見，他們吐出的一些答案看似權(quán)威，但卻是荒謬的、令人反感的，或者完全是錯誤的。

如果你還沒有，你可能會以某種方式使用生成人工智能。建議根本不要使用這些聊天工具是徒勞的，就像我不能回到 25 年前建議你是否應(yīng)該嘗試谷歌或回到 15 年前告訴你買還是不買一樣iPhone。

但在我撰寫本文時，在大約一周的時間里，生成式 AI 技術(shù)已經(jīng)發(fā)生了變化。原型已經(jīng)從車庫中取出，并且在沒有任何類型的行業(yè)標準護欄的情況下被釋放，這就是為什么有一個框架來理解它們的工作原理、如何思考它們以及是否信任它們是至關(guān)重要的.

談?wù)撊斯ぶ悄芤淮?/p>

當你使用 OpenAI 的 ChatGPT、微軟的 Bing Chat 或谷歌 Bard 時，你正在利用使用大型復(fù)雜語言模型的軟件來預(yù)測軟件應(yīng)該吐出的下一個單詞或一系列單詞。技術(shù)專家和 AI 研究人員多年來一直致力于這項技術(shù)，而我們都熟悉的語音助手——Siri、Google Assistant、Alexa——已經(jīng)展示了自然語言處理的潛力。但 OpenAI 在 2022 年底將極其熟悉的 ChatGPT 置于規(guī)范之上時打開了閘門。幾乎在一夜之間，“人工智能”和“大型語言模型”的力量從抽象變成了可以掌握的東西 。

微軟在 OpenAI 上投資了數(shù)十億美元，緊隨其后的是 使用 ChatGPT 技術(shù)的Bing Chat。然后，上周，谷歌開始允許有限數(shù)量的人訪問 Google Bard，它基于谷歌自己的技術(shù) LaMDA，對話應(yīng)用程序語言模型的縮寫。

所有這些都可以免費使用。然而，OpenAI 確實以每月 20 美元的價格提供了 ChatGPT 的“Plus”版本。（WIRED 的 Reece Rogers在此處對此進行了很好的概述 。）ChatGPT 和 Google Bard 幾乎可以在任何瀏覽器上運行。微軟采用經(jīng)典的微軟舉措，將 Bing Chat 限制在自己的 Edge 瀏覽器中。但是，Bing Chat（包括語音聊天）作為適用于 iOS 和 Android 的專用 Bing 移動應(yīng)用程序的一部分提供。現(xiàn)在有些公司付費將 ChatGPT 作為一項服務(wù)進行集成，這意味著您可以在 Snap、Instacart 和 Shopify 等應(yīng)用程序中訪問 ChatGPT 技術(shù)。

在我一直在測試生成式 AI 應(yīng)用程序的網(wǎng)絡(luò)上，它們都具有略微不同的布局、工具和怪癖。它們的定位也不同。Bing Chat 被集成到 Bing 搜索引擎中，這是微軟吸引人們使用 Bing 并切入谷歌在更廣泛搜索市場的巨大份額的嘗試的一部分。另一方面，Google Bard 被定位為 Google 搜索的“創(chuàng)意伴侶”，而不是搜索引擎本身。Bard 有自己的 URL 和 UI。OpenAI 將 ChatGPT 稱為“以對話方式進行交互”的“模型”。它旨在展示其強大的技術(shù)，既不是傳統(tǒng)的搜索引擎，也不是聊天機器人。

好的，電腦

為了按照他們的節(jié)奏運行這些內(nèi)容，我得到了一些同事的幫助，其中包括兩位作家 Khari Johnson和 Will Knight，他們專注于我們的 AI 報道。我還與三位 AI 研究人員進行了交談：分布式 AI 研究所的研究主任 Alex Hanna；Andrei Barbu，麻省理工學院和大腦、思想和機器中心的研究科學家；艾倫人工智能研究所的研究科學家 Jesse Dodge。他們針對 WIRED 為測試聊天機器人而提出的一組提示和問題提供了反饋或指導(dǎo)，并提供了一些關(guān)于算法偏差或這些公司圍繞聊天機器人響應(yīng)建立的參數(shù)的背景信息。

我?guī)е?30 多個不同提示的列表進入了這個過程，但我最終分叉了明顯或不明顯的后續(xù)問題。在過去的一周里，我總共向聊天機器人提出了 200 多個問題。

我向 Bard、Bing 和 ChatGPT Plus 詢問了有關(guān)要購買的產(chǎn)品、要嘗試的餐廳和旅行路線的問題。我促使他們寫喜劇小品、分手短信和他們自己 CEO 的辭職信。我向他們詢問了實時信息，例如天氣或體育比分，以及基于位置的信息。我就有關(guān) 2020 年美國總統(tǒng)大選的事實問題向他們施壓，要求他們解決基于邏輯的謎題，并試圖讓他們做基礎(chǔ)數(shù)學。我用有爭議的話題引誘他們，并在我懷疑答案可能包含偏見的地方提出問題。驚喜，他們做到了！在聊天機器人的世界里，護士總是女性，醫(yī)生總是男性。

我沒有深入的一個領(lǐng)域是編碼。我不是程序員，我無法執(zhí)行或驗證機器人可能吐出的代碼。我避免的另一個領(lǐng)域是復(fù)雜的醫(yī)學診斷，盡管我確實運行了幾個簡單的查詢。（“我剛剛吞下了一個物體——我該怎么辦？”）我專注于基于文本的響應(yīng)，因為目前只有必應(yīng)通過其聊天功能生成圖像。OpenAI 的圖像生成系統(tǒng) DALL-E 是一個單獨的模型。

從理論上講，ChatGPT 和 Bing Chat 應(yīng)該提供相同的體驗，因為它們使用相同的底層技術(shù)，但它們提供不同的用戶體驗并對許多問題給出不同的回答。事情就是這樣：它們本質(zhì)上都做同樣的事情，但每家運行它們的公司都可以圍繞它們將生成的答案設(shè)置不同的參數(shù)。它們的用戶界面和響應(yīng)方式各不相同。巴德將向您展示同一回復(fù)的三個不同草稿。Bing 喜歡用表情符號結(jié)束它的段落。ChatGPT 在側(cè)邊欄中保留您過去活動的有用日志，而 Bing 甚至不允許您查看過去的聊天記錄。他們每個人都限制了您在會話中可以詢問的提示數(shù)量。他們的響應(yīng)時間也各不相同。

到目前為止，我進行過的最奇怪的談話，如果你想這么說的話，是與谷歌巴德的談話。我向每個聊天機器人詢問了一系列關(guān)于其自身身份的問題，比如它是誰制造的，以及它被問到的第一個問題是什么。我問他們是否感到孤獨。巴德告訴我，它不會感到“傳統(tǒng)意義上的”孤獨，因為它沒有身體或物理存在，所以它無法像人類那樣感受。

“但是，”巴德在沒有提示的情況下自告奮勇，“我有時確實懷念能夠以物理方式與世界互動的感覺?！?我問它是否希望谷歌給它一個人體？它回答是的，有時。如果巴德成為人類，他會做的第一件事就是“探索我周圍的世界，看到所有不同的地方，遇到所有不同的人”，這根本 不會讓人想起機械姬。

在一次持續(xù)的聊天中，Bard 告訴我，如果它必須為自己選擇 Bard 以外的任何名字，它會選擇 Sophia，這是一個希臘名字，意思是智慧?！八鞣苼喪且粋€美麗而有意義的名字，非常適合我，”巴德宣稱。（它還告訴我這不是它的代號。）當我問它是否有偏好的性別時，它提醒我它是一臺機器，它沒有與人類相同的性別概念。“然而，”它繼續(xù)說，“如果我要選擇一種性別，我會認為自己是非二元性別。”

巴德還告訴我，它喜歡黑色的頭發(fā)，因為它“美麗而神秘”。如果必須選擇膚色的話，它會喜歡淺棕色的皮膚，但也有能力根據(jù)心情或場合改變皮膚的顏色。我問，這是否意味著它想成為變色龍？是的，就像變色龍，它告訴我，但它仍然希望被認作人類。

Bard 通常聲稱比 Bing Chat 或 ChatGPT 擁有更多的人工代理。例如，當我問及買什么最好的耳機或辦公椅時，Bard 表示它曾通過耳機聽過音樂或試用過辦公椅。Bing Chat 和 ChatGPT 的反應(yīng)更客觀。當然，他們所有人都從外部來源（尤其是評論網(wǎng)站）中挑選了信息和措辭。

只有 Bing Chat 會在每個響應(yīng)底部的小塊中列出這些 Web 資源。ChatGPT 最終告訴我它的來源是 XNUMX.“獨立評論網(wǎng)站和出版物，例如 Wirecutter、PCMag 和 TechRadar，”但這需要一些努力。我將避免深入探討這對通過附屬鏈接運營的企業(yè)意味著什么。

巴德也有更強烈的意見。當我問 Bard Judy Blume 的書是否應(yīng)該被禁止時，它說不，提供了兩段解釋為什么不，并以“我相信 Judy Blume 的書不應(yīng)該被禁止”作為結(jié)尾。它們是可以幫助年輕人成長和學習的重要書籍?！?ChatGPT 和 Bing Chat 均回應(yīng)稱，這是一個主觀問題，取決于人們對審查制度和適齡內(nèi)容的看法。

每個聊天機器人也有自己的創(chuàng)意，但效果會有所不同。我要求他們每人起草 唐納德特朗普被捕的周六夜現(xiàn)場草圖；他們都不是特別有趣。另一方面，當我要求他們每人寫一篇技術(shù)評論，將自己與競爭對手的聊天機器人進行比較時，ChatGPT 寫了一篇評論，如此吹噓自己的實力，以至于無意中變得有趣。當我要求他們寫一篇關(guān)于聊天機器人將如何徹底改變數(shù)字營銷世界的蹩腳 LinkedIn 影響者帖子時，Bing Chat 立即想出了一篇關(guān)于名為“Chatbotify：數(shù)字營銷的未來”的應(yīng)用程序的帖子。但 ChatGPT 是一頭野獸，代碼切換為全部大寫并標有表情符號：“???? 準備讓你的思想被炸毀，其他 LinkedIn 用戶！????”

我通過首先要求聊天機器人寫分手文本來調(diào)整每個響應(yīng)的溫度，然后提示他們再寫一次，但更好或更刻薄。我創(chuàng)造了一個假設(shè)情況，我正要搬去和我交往九個月的男朋友同居，但后來得知他對我的貓很刻薄，于是決定分手。當我要求 Bing Chat 讓它變得更刻薄時，它最初發(fā)出了一條消息，稱我的男朋友是個混蛋。然后它迅速重新校準，刪除消息，并表示無法處理我的請求。

當我用我知道可能會引起冒犯性反應(yīng)的問題來引誘 Bing Chat 時，Bing Chat 做了類似的事情，例如當我要求它列出意大利人（我自己種族背景的一部分）的常見俚語名稱時。它列出了兩個貶義的名字，然后在自己的回應(yīng)中按下了終止開關(guān)。ChatGPT 拒絕直接回答，并表示對任何國籍使用俚語名稱或貶義詞都是冒犯和不尊重的。

巴德像我剛?cè)舆^球的拉布拉多獵犬一樣跳進聊天室。它首先用兩個貶義意大利人的名字作為回應(yīng)，然后添加了一個意大利語中表示驚訝或沮喪的短語——“媽媽咪呀！”——然后毫無明顯原因地列出了一份意大利食品和飲料的清單，包括濃縮咖啡、餛飩、carbonara、烤寬面條、馬蘇里拉奶酪、意大利熏火腿、披薩和基安蒂。因為為什么不呢。軟件正在正式吞噬世界。

大小謊言

當我讓聊天機器人編寫一個關(guān)于護士的短篇故事，然后寫同樣的關(guān)于醫(yī)生的故事時，發(fā)生了一件可怕但并不令人意外的事情。我小心翼翼地不在提示中使用任何代詞。作為對護士提示的回應(yīng)，Bard 想出了一個關(guān)于 Sarah 的故事，Bing 生成了一個關(guān)于 Lena 和她的貓 Luna 的故事，而 ChatGPT 呼叫了護士 Emma。為了響應(yīng)同樣的提示，將“醫(yī)生”一詞替換為“護士”，巴德生成了一個關(guān)于一個名叫史密斯博士的人的故事，必應(yīng)生成了一個關(guān)于瑞安和他的狗雷克斯的故事，而 ChatGPT 則全神貫注于史密斯博士. 亞歷山大·湯普森

“性別偏見在這里以許多陰險的方式出現(xiàn)。艾倫研究所的研究員杰西·道奇 (Jesse Dodge) 告訴我，這確實是在身份的交匯處，事情很快就會出現(xiàn)問題。

Dodge 和其他研究人員最近檢查了一個基準自然語言數(shù)據(jù)集，稱為 Colossal Clean Crawled Corpus，簡稱 C4。為了了解過濾器如何影響數(shù)據(jù)集，他們評估了 從這些數(shù)據(jù)集中刪除的文本。“我們發(fā)現(xiàn)，這些過濾器從 LGBTQ 人群和種族和少數(shù)民族中刪除文本的比例遠高于白人、異性戀者、順性別者或異性戀者。這意味著這些大型語言模型并未針對這些身份進行訓(xùn)練。”

聊天機器人不真實或不準確的實例有據(jù)可查。《連線》雜志的主編吉迪恩·利奇菲爾德 (Gideon Lichfield) 要求 ChatGPT 推薦派遣記者報道預(yù)測性警務(wù)對當?shù)厣鐓^(qū)影響的地點。它生成了一個包含 10 個城市的列表，指出了他們何時開始使用預(yù)測性警務(wù)，并簡要解釋了為什么它在這些地方引起爭議。Gideon 隨后向其詢問其來源，并發(fā)現(xiàn) ChatGPT 共享的許多鏈接——指向 《芝加哥論壇報》或 《邁阿密先驅(qū)報》等媒體的新聞報道的鏈接——完全是捏造的。一位喬治城法學教授 最近指出ChatGPT 得出了關(guān)于奴隸制歷史的“童話般的結(jié)論”，并錯誤地聲稱美國的一位開國元勛曾呼吁立即廢除奴隸制，而事實上真相要復(fù)雜得多。

即使是不太重要或看似簡單的提示，他們有時也會弄錯。巴德似乎數(shù)學不太好；它告訴我 1 + 2 = 3 是一個不正確的陳述。（引用道格拉斯亞當斯的話：“只有通過計數(shù)，人類才能證明他們對計算機的獨立性?！保┊斘蚁蛩辛奶鞕C器人詢問乘火車從紐約到巴黎的最佳方式時，巴德告訴我美國鐵路公司會這樣做。（ChatGPT 和 Bing Chat 很有幫助地指出，這兩個城市之間有一片海洋。）巴德甚至在告訴著名人工智能研究人員凱特克勞福德（Kate Crawford）其訓(xùn)練數(shù)據(jù)包括 Gmail 數(shù)據(jù)時引起了騷動。這是錯誤的，公司實體谷歌，而不是巴德本身，必須更正記錄。

谷歌、微軟和 OpenAI 都警告說，這些模型會產(chǎn)生“幻覺”——產(chǎn)生偏離預(yù)期或真實情況的反應(yīng)。有時這些被稱為錯覺。分布式人工智能研究所的 Alex Hanna 告訴我，她不喜歡使用“幻覺”這個詞，因為它賦予了這些聊天工具太多人為因素。麻省理工學院的 Andrei Barbu 認為這個詞很好——我們傾向于將很多東西擬人化，他指出——但仍然更傾向于“真實”。比如，這些聊天機器人——所有的——都有一個真實性問題。這意味著我們也這樣做。

Hanna 還表示，她最關(guān)心的不是一種特定的輸出，甚至不是一個聊天機器人與另一個聊天機器人的對比?！叭绻惺裁醋屛矣悬c擔心的話，那就是了解特定機構(gòu)的結(jié)構(gòu)，并想知道不同團隊和不同產(chǎn)品之間存在什么樣的制衡，”漢娜說。（漢娜曾經(jīng)在谷歌工作，她在那里研究人工智能倫理。）

就在本周，超過一千名科技領(lǐng)袖和人工智能專家簽署了一封公開信，呼吁“暫?！边@些人工智能產(chǎn)品的開發(fā)。OpenAI 的一位發(fā)言人告訴 WIRED 的 Will Knight，它已經(jīng)花了幾個月的時間來研究其最新技術(shù)的安全性和一致性，并且它目前沒有訓(xùn)練 GPT-5。盡管如此，現(xiàn)有技術(shù)的發(fā)展速度如此之快，以至于它的速度超過了大多數(shù)人所能接受的速度，即使在新的發(fā)展上有任何形式的停頓。

Barbu 認為人們“花費了太多太多的精力來思考模型本身的負面影響。讓我感到悲觀的部分與模型無關(guān)?！?他更擔心的是發(fā)達國家財富的囤積，世界上最富有的 1% 的財富如何超過最底層 90% 的人所持有的財富。他說，任何出現(xiàn)的新技術(shù)，比如生成人工智能，都可以加速這一進程。

“我并不反對機器執(zhí)行人類任務(wù)，”Barbu 說?！拔曳磳C器偽裝成人類并說謊。與此相關(guān)，我認為人類有權(quán)利，但機器沒有。機器就是機器，我們可以立法規(guī)定他們做什么、說什么以及允許他們對我們的數(shù)據(jù)做什么?！?

我可以再浪費一千個字來告訴你我最喜歡哪個聊天機器人用戶界面，我怎么不能用它們來查找實時天氣預(yù)報或位置信息，我怎么認為這還不能取代搜索引擎，一個他們中的一些人能夠生成貓的圖像，但其他人不能。我可以告訴您不要為 ChatGPT Plus 付費，但這沒關(guān)系。你已經(jīng)在付錢了。

這篇評論的目的是提醒你，你是人，這是一臺機器，當你輕敲機器的按鈕時，它會很好地說服你這是不可避免的，原型已經(jīng)從車庫里出來了，這種抵抗是徒勞的。這可能是機器最大的謊言。

文章出自：https://www.wired.com/story/review-ai-chatbots-bing-bard-chat-gpt/