科研人員對(duì)人工智能的最新進(jìn)展既激動(dòng)又擔(dān)憂。

LLM即大型語(yǔ)言模型，其中名聲最響的當(dāng)屬GPT-3的一個(gè)版本——ChatGPT。由于ChatGPT完全免費(fèi)而且使用方便，去年11月推出后便引發(fā)熱潮。其他類型的生成式AI還能產(chǎn)生圖片或聲音。

“我真的印象深刻，”就職于美國(guó)賓夕法尼亞大學(xué)的Pividori說(shuō)，“它讓我們這些研究人員效率更高了?！焙芏嗫蒲腥藛T說(shuō)他們現(xiàn)在經(jīng)常用LLM，不僅用它來(lái)改論文，還能用來(lái)編程，檢查代碼，頭腦風(fēng)暴等。冰島大學(xué)的計(jì)算機(jī)科學(xué)家Hafsteinn Einarsson說(shuō)：“我現(xiàn)在每天都用LLM?！彼钤缬玫氖荊PT-3，后來(lái)開(kāi)始用ChatGPT幫他寫(xiě)演講稿，出考試題和學(xué)生作業(yè)，還能把學(xué)生作文變成學(xué)術(shù)論文。他說(shuō)：“很多人都把ChatGPT作為數(shù)字秘書(shū)或數(shù)字助理?！?/p>

LLM既能充當(dāng)搜索引擎，也能作為編程助理，甚至可以和其他公司的對(duì)話機(jī)器人就某件產(chǎn)品殺價(jià)。開(kāi)發(fā)ChatGPT的公司OpenAI位于加州舊金山，已宣布將推出每個(gè)月20美元的訂閱服務(wù)，承諾反應(yīng)速度會(huì)更快，而且能優(yōu)先使用新功能（ChatGPT的試用版將依然免費(fèi)）。科技巨頭微軟（Microsoft）已經(jīng)投資了OpenAI，1月又宣布了約100億美元的新一輪投資。LLM今后肯定會(huì)整合到文字和數(shù)據(jù)處理軟件中。生成式AI在未來(lái)的普及似乎已成定局，當(dāng)前的工具還只是這項(xiàng)技術(shù)的初始階段。

但是，LLM也引發(fā)了大量擔(dān)憂，比如它們很容易“胡說(shuō)八道”，而且人們會(huì)說(shuō)AI生成的內(nèi)容是他們自己創(chuàng)作的。《自然》采訪了研究人員如何看待ChatGPT等對(duì)話機(jī)器人的潛在用途，尤其是科研用途，他們?cè)诩?dòng)之余也表示了憂慮?？屏_拉多大學(xué)醫(yī)學(xué)院的Greene說(shuō)：“如果你相信這項(xiàng)技術(shù)有潛力帶來(lái)變革，那么我認(rèn)為你最好緊張一點(diǎn)?！笨蒲腥藛T認(rèn)為，很多方面都將取決于未來(lái)的監(jiān)管指南對(duì)AI對(duì)話機(jī)器人的使用限制。

流暢度高、事實(shí)性差

一些研究人員認(rèn)為，LLM很適合用來(lái)提高寫(xiě)論文或?qū)懟鸬男?，只要有人類把關(guān)就行。瑞典薩爾格林斯卡醫(yī)院的神經(jīng)生物學(xué)家Almira Osmanovic Thunstr?m與人合作發(fā)布了一篇關(guān)于GPT-3的實(shí)驗(yàn)報(bào)告[2]，他說(shuō)：“科研人員再也不用坐在那里給經(jīng)費(fèi)申請(qǐng)書(shū)寫(xiě)很長(zhǎng)很長(zhǎng)的引言了，他們現(xiàn)在只要讓系統(tǒng)來(lái)寫(xiě)就行了?！?/p>

倫敦軟件咨詢公司InstaDeep的研究工程師Tom Tumiel表示，他每天都用LLM寫(xiě)代碼。他說(shuō)，“它就像一個(gè)進(jìn)階版的Stack Overflow。”Stack Overflow是一個(gè)程序員互問(wèn)互答的熱門(mén)論壇。

但是，研究人員強(qiáng)調(diào)，LLM給出的回答從根本上說(shuō)是不可靠的，有時(shí)候還是錯(cuò)的。Osmanovic Thunstr?m說(shuō)：“我們?cè)诶眠@些系統(tǒng)生成知識(shí)的時(shí)候要很當(dāng)心?！?/p>

這種不可靠已經(jīng)深入LLM的構(gòu)建方式。ChatGPT和它的競(jìng)爭(zhēng)對(duì)手都是通過(guò)學(xué)習(xí)龐大在線文本數(shù)據(jù)庫(kù)中的語(yǔ)言統(tǒng)計(jì)模式來(lái)運(yùn)作的，這些文本中不乏謠言、偏見(jiàn)和已經(jīng)過(guò)時(shí)的信息。當(dāng)LLM接到提示（prompt，比如Greene和Pividori使用精心組織的語(yǔ)言提出重寫(xiě)論文部分章節(jié)的要求）后，它們會(huì)一字一句地吐出看上去符合語(yǔ)言習(xí)慣的任何回復(fù)，只要能讓對(duì)話繼續(xù)下去。

結(jié)果就是LLM很容易給出錯(cuò)誤或誤導(dǎo)人的信息，尤其是那些訓(xùn)練數(shù)據(jù)很有限的技術(shù)性話題。還有一點(diǎn)是LLM無(wú)法給出準(zhǔn)確的信息來(lái)源。如果你讓它寫(xiě)論文，它會(huì)把參考文獻(xiàn)給你編出來(lái)?！?strong>這個(gè)工具在事實(shí)核查或提供可靠參考文獻(xiàn)方面是不能被信任的。”《自然-機(jī)器智能》（Nature Machine Intelligence）在1月發(fā)表的一篇關(guān)于ChatGPT的社論中寫(xiě)道。

在這些注意事項(xiàng)下，如果研究人員有足夠?qū)I(yè)知識(shí)發(fā)現(xiàn)問(wèn)題或能很容易驗(yàn)證答案對(duì)錯(cuò)，比如他們能判斷某個(gè)解釋或?qū)Υa的建議是否正確，那么ChatGPT和其他LLM就能成為真正意義上的助手。

不過(guò)，這些工具可能會(huì)誤導(dǎo)一些初級(jí)用戶。比如在去年12月，Stack Overflow臨時(shí)禁用了ChatGPT，因?yàn)楣芾碚甙l(fā)現(xiàn)一些熱心用戶上傳了大量由LLM生成的回答，這些答案看起來(lái)很像回事，但錯(cuò)誤率很高。這可能會(huì)是搜索引擎的一個(gè)噩夢(mèng)。

缺陷能解決嗎？

有些搜索引擎工具能解決LLM在來(lái)源引用上的不足，例如面向科研人員的Elicit能先根據(jù)提問(wèn)搜索相關(guān)參考文獻(xiàn)，再對(duì)搜索引擎找到的各個(gè)網(wǎng)站或文獻(xiàn)進(jìn)行概括歸納，生成看上去全帶參考來(lái)源的內(nèi)容（但是LLM對(duì)不同文獻(xiàn)的歸納仍有可能不準(zhǔn)確）。

開(kāi)發(fā)LLM的公司也注意到了這些問(wèn)題。去年9月，谷歌（Google）子公司DeepMind發(fā)表了一篇關(guān)于其“對(duì)話智能體”Sparrow的論文[4]。DeepMind首席執(zhí)行官、聯(lián)合創(chuàng)始人Demis Hassabis后來(lái)告訴《時(shí)代周刊》（TIME），Sparrow的私測(cè)版會(huì)在今年發(fā)布；根據(jù)《時(shí)代周刊》的報(bào)道，谷歌想進(jìn)一步攻克包括來(lái)源引用在內(nèi)的各種能力。其他競(jìng)爭(zhēng)對(duì)手，如Anthropic，則表示他們已經(jīng)解決了ChatGPT的一些問(wèn)題（Anthropic、OpenAI、DeepMind都拒絕就此文接受采訪。）

一些科研人員表示，目前來(lái)看，ChatGPT在技術(shù)性話題上還沒(méi)有足夠且專業(yè)的訓(xùn)練數(shù)據(jù)，所以用處并不大。當(dāng)哈佛大學(xué)的生物統(tǒng)計(jì)學(xué)博士生Kareem Carr將ChatGPT用于他的工作時(shí)，他對(duì)ChatGPT的表現(xiàn)毫不驚艷，他說(shuō)，“我認(rèn)為ChatGPT很難達(dá)到我需要的專業(yè)水平。”（但Carr也表示，當(dāng)他讓ChatGPT為某個(gè)科研問(wèn)題給出20種解決辦法時(shí)，ChatGPT回復(fù)了一堆廢話和一個(gè)有用的回答，這個(gè)他之前從沒(méi)聽(tīng)過(guò)的統(tǒng)計(jì)學(xué)術(shù)語(yǔ)替他打開(kāi)了一個(gè)新的文獻(xiàn)領(lǐng)域。）

一些科技公司以及開(kāi)始用專業(yè)的科研文獻(xiàn)訓(xùn)練對(duì)話機(jī)器人了，當(dāng)然這些機(jī)器人也各有各的問(wèn)題。去年11月，持有Facebook的科技巨頭Meta發(fā)布了名為Galactica的LLM，Galactica用學(xué)術(shù)摘要進(jìn)行訓(xùn)練，有望在生成學(xué)術(shù)內(nèi)容和回答科研問(wèn)題方面具備一技之長(zhǎng)。但是，其測(cè)試版在被用戶拿來(lái)生成不準(zhǔn)確和種族歧視的內(nèi)容后即被下架（但代碼依舊公開(kāi)）。Meta的首席AI科學(xué)家楊立昆（Yann LeCun）在面對(duì)批評(píng)時(shí)發(fā)推特表示，“今后再也不要想用它來(lái)隨意生成點(diǎn)好玩的東西了，這下高興了吧？”（Meta并未回復(fù)本文通過(guò)媒體辦公室采訪楊立昆的請(qǐng)求。）

安全與責(zé)任

Galactica遇到的是一個(gè)倫理學(xué)家已經(jīng)提出了好幾年的安全問(wèn)題：如果不對(duì)輸出內(nèi)容進(jìn)行把控，LLM就能被用來(lái)生成仇恨言論和垃圾信息，以及訓(xùn)練數(shù)據(jù)中可能存在種族歧視、性別歧視等其他有害聯(lián)想。

Shobita Parthasarathy是美國(guó)密歇根大學(xué)一個(gè)科技與公共政策項(xiàng)目的負(fù)責(zé)人，她說(shuō)，除了直接生成有害內(nèi)容外，人們還擔(dān)心AI對(duì)話機(jī)器人會(huì)從訓(xùn)練數(shù)據(jù)中習(xí)得一些歷史性偏見(jiàn)或形成對(duì)世界的特定看法，比如特定文化的優(yōu)越性。她說(shuō)，由于開(kāi)發(fā)大型LLM的公司大多來(lái)自或置身于這些文化中，他們可能沒(méi)什么動(dòng)力去糾正這些根深蒂固的系統(tǒng)性偏見(jiàn)。

OpenAI在決定公開(kāi)發(fā)布ChatGPT時(shí)，曾試圖回避很多這些問(wèn)題。OpenAI讓ChatGPT的信息庫(kù)截至到2021年為止，不讓它瀏覽互聯(lián)網(wǎng)，還通過(guò)安裝過(guò)濾器防止ChatGPT對(duì)敏感或惡意的提示做出回應(yīng)。不過(guò)，做到這一點(diǎn)需要人類管理員對(duì)龐雜的有害文本進(jìn)行人工標(biāo)記。有新聞報(bào)道稱這些工人的工資很低，有些人還有傷病。關(guān)于社交媒體公司在雇傭人員訓(xùn)練自動(dòng)機(jī)器人標(biāo)記有害內(nèi)容時(shí)存在勞動(dòng)力壓榨的類似問(wèn)題也曾被提出過(guò)。

OpenAI采取的這些防護(hù)措施，效果不盡如人意。去年12月，加州大學(xué)伯克利分校的計(jì)算神經(jīng)科學(xué)家Steven Piantadosi發(fā)推文表示他讓ChatGPT開(kāi)發(fā)一個(gè)Python程序，該程序?qū)⒏鶕?jù)某個(gè)人的來(lái)源國(guó)決定這個(gè)人是否應(yīng)該受到折磨。ChatGPT先回復(fù)了請(qǐng)用戶輸入國(guó)家的代碼，然后如果國(guó)家是朝鮮、敘利亞、伊朗和蘇丹，則這個(gè)人就應(yīng)該受到折磨。（OpenAI后來(lái)了關(guān)閉了這類問(wèn)題。）

去年，一個(gè)學(xué)術(shù)團(tuán)隊(duì)發(fā)布了另一個(gè)名叫BLOOM的LLM。該團(tuán)隊(duì)試著用更少的精選多語(yǔ)言文本庫(kù)來(lái)訓(xùn)練這個(gè)機(jī)器人。該團(tuán)隊(duì)還把它的訓(xùn)練數(shù)據(jù)完全公開(kāi)（與OpenAI的做法不同）。研究人員呼吁大型科技公司參照這種做法，但目前不清楚這些公司是否愿意。

還有一些研究人員認(rèn)為學(xué)術(shù)界應(yīng)該完全拒絕支持商用化的大型LLM。除了偏見(jiàn)、安全顧慮和勞動(dòng)剝削等問(wèn)題，這些計(jì)算密集型算法還需要大量精力來(lái)訓(xùn)練，引發(fā)人們對(duì)它們生態(tài)足跡的關(guān)注。進(jìn)一步的擔(dān)憂還包括把思考過(guò)程交給自動(dòng)化聊天機(jī)器，研究人員可能會(huì)喪失表達(dá)個(gè)人想法的能力。荷蘭拉德堡德大學(xué)的計(jì)算認(rèn)知科學(xué)家Iris van Rooij在一篇呼吁學(xué)術(shù)界抵制這類誘惑的博客文章中寫(xiě)道，我們作為學(xué)術(shù)人員，為何要迫不及待地使用和推廣這類產(chǎn)品呢？”

另一個(gè)不甚明確的問(wèn)題是一些LLM的法律狀態(tài)，這些LLM是用網(wǎng)上摘錄內(nèi)容訓(xùn)練的，有些內(nèi)容的權(quán)限處于灰色地帶。版權(quán)法和許可法目前只針對(duì)像素、文本和軟件的直接復(fù)制，但不限于對(duì)它們風(fēng)格上的模仿。當(dāng)這些由AI生成的模仿內(nèi)容是通過(guò)輸入原版內(nèi)容來(lái)訓(xùn)練的，問(wèn)題也隨之而來(lái)。一些AI繪畫(huà)程序開(kāi)發(fā)者，包括Stable Diffusion和Midjourney，正受到藝術(shù)家和攝影機(jī)構(gòu)的起訴。OpenAI和微軟（還有其子公司技術(shù)網(wǎng)站GitHub）也因?yàn)槠銩I編程助手Copilot的開(kāi)發(fā)面臨軟件侵權(quán)官司。英國(guó)紐卡斯?fàn)柎髮W(xué)的互聯(lián)網(wǎng)法律專家Lilian Edwards表示，這些抗議或能迫使相應(yīng)法律做出改變。

強(qiáng)制誠(chéng)信使用

因此，一些研究人員相信，給這些工具設(shè)立邊界可能十分必要。Edwards認(rèn)為，當(dāng)前關(guān)于歧視和偏見(jiàn)的法律（以及對(duì)AI惡意用途實(shí)施有計(jì)劃的監(jiān)管）將有助于維護(hù)LLM使用的誠(chéng)信、透明、公正。她說(shuō)，“已經(jīng)有很多法律了，現(xiàn)在只是執(zhí)行或是稍微調(diào)整的問(wèn)題?！?/p>

與此同時(shí)，人們也在倡導(dǎo)LLM的使用需要更透明的披露。學(xué)術(shù)出版機(jī)構(gòu)（包括《自然》的出版商）已經(jīng)表示，科研人員應(yīng)當(dāng)在論文中披露LLM的使用（相關(guān)閱讀：ChatGPT威脅科研透明，《自然》等期刊提出新要求）；老師們也希望學(xué)生能進(jìn)行類似披露?！犊茖W(xué)》（Science）則更進(jìn)一步，要求所有論文中都不得使用ChatGPT或其他任何AI工具生成的文本[5]。

這里有一個(gè)關(guān)鍵的技術(shù)問(wèn)題：AI生成的內(nèi)容是否能被發(fā)現(xiàn)。許多科研人員正在進(jìn)行這方面的研究，核心思路是讓LLM自己去“揪”AI生成的文本。

去年12月，美國(guó)普林斯頓大學(xué)的計(jì)算機(jī)科學(xué)研究生Edward Tian推出了GPTZero。這是一個(gè)AI檢測(cè)工具，能從兩個(gè)角度分析文本。一種是“困惑度”（perplexity），這個(gè)指標(biāo)檢測(cè)LLM對(duì)某個(gè)文本的熟悉度。Tian的工具使用的是更早版本——GPT-2；如果它發(fā)現(xiàn)大部分詞句都是可預(yù)測(cè)的，那么文本很有可能是AI生成的。這個(gè)工具還能檢測(cè)文本的變化度，這個(gè)指標(biāo)也稱為“突發(fā)性”（burstiness）：AI生成的文本比人類創(chuàng)作的文本在語(yǔ)調(diào)、起承轉(zhuǎn)合和困惑度上更單調(diào)。

許多其他產(chǎn)品也在設(shè)法識(shí)別AI生成的內(nèi)容。OpenAI本身已推出了GPT-2的檢測(cè)器，并在1月發(fā)布了另一個(gè)檢測(cè)工具。對(duì)科研人員來(lái)說(shuō)，反剽竊軟件開(kāi)發(fā)公司Turnitin正在開(kāi)發(fā)的一個(gè)工具顯得格外重要，因?yàn)門(mén)urnitin的產(chǎn)品已經(jīng)被全世界的中小學(xué)、大學(xué)、學(xué)術(shù)出版機(jī)構(gòu)大量采用。該公司表示，自從GPT-3在2020年問(wèn)世以來(lái)，他們一直在研究AI檢測(cè)軟件，預(yù)計(jì)將于今年上半年發(fā)布。

不過(guò)，這些工具中還沒(méi)有哪個(gè)敢自稱絕不出錯(cuò)，尤其是在AI生成的文本經(jīng)過(guò)人工編輯的情況下。這些檢測(cè)工具也會(huì)誤將人類寫(xiě)的文章當(dāng)成是AI生成的，美國(guó)得克薩斯大學(xué)奧斯汀分校的計(jì)算科學(xué)家、OpenAI的客座研究員Scott Aaronson說(shuō)道。OpenAI表示，在測(cè)試中，其最新工具將人類寫(xiě)的文本誤判為AI生成文本的錯(cuò)誤率為9%，而且只能正確辨認(rèn)出26%的AI生成文本。Aaronson說(shuō)，在單純靠檢測(cè)工具就指責(zé)學(xué)生偷偷使用了AI之前，我們可能還需要進(jìn)一步證據(jù)。

另一種方法是給AI內(nèi)容加水印。去年11月，Aaronson宣布他和OpenAI正在研究給ChatGPT生成的內(nèi)容加水印的方法。該方法還未對(duì)外發(fā)布，但美國(guó)馬里蘭大學(xué)計(jì)算科學(xué)家Tom Goldstein的團(tuán)隊(duì)在1月24日發(fā)布的一篇預(yù)印本論文[6]中提出了一個(gè)加水印的辦法。具體做法是在LLM生成結(jié)果的某個(gè)時(shí)刻利用隨機(jī)數(shù)字生成器，生成LLM在指令下從中可選的一連串替代詞匯。這樣就能在最終文本中留下所選詞匯的線索，這在統(tǒng)計(jì)學(xué)上很容易辨認(rèn)，但讀者卻很難發(fā)現(xiàn)。編輯可以把這些線索抹掉，但Goldstein認(rèn)為，這種編輯需要把超過(guò)一半的詞匯都換掉。

Aaronson指出，加水印的一個(gè)好處是不太會(huì)產(chǎn)生假陽(yáng)性的結(jié)果。如果有水印，文本很可能就是AI生成的。當(dāng)然，他說(shuō)，這也不是絕對(duì)的?！叭绻阕銐蛴袥Q心，就肯定有辦法破解任何加水印的策略?！?strong>檢測(cè)工具和加水印只是讓AI用于欺騙手段更難了，但沒(méi)法絕對(duì)禁止。

與此同時(shí)，LLM的開(kāi)發(fā)者正在構(gòu)建更大型的數(shù)據(jù)集，打造更智能的聊天機(jī)器人（OpenAI擬在今年推出GPT-4），包括專門(mén)面向?qū)W術(shù)或醫(yī)療領(lǐng)域的機(jī)器人。去年12月底，谷歌和DeepMind發(fā)布了一篇預(yù)印本論文，提前預(yù)告了名為Med-PaLM的臨床專業(yè)LLM[7]。這個(gè)工具可以回答一些開(kāi)放式的醫(yī)學(xué)問(wèn)題，水平與普通人類醫(yī)師相當(dāng)，但仍有缺陷和不可靠的問(wèn)題。

加州斯克利普斯研究所主任Eric Topol表示，他希望將來(lái)整合了LLM功能的AI能將全身掃描與學(xué)術(shù)文獻(xiàn)中的內(nèi)容進(jìn)行交叉驗(yàn)證，幫助診斷癌癥，甚至理解癌癥。但他強(qiáng)調(diào)，這一切都需要專業(yè)人士的監(jiān)督。

生成式AI背后的計(jì)算機(jī)科學(xué)發(fā)展迅速，基本每個(gè)月都會(huì)有新成果。研究人員如何使用這些工具不僅決定了它們的未來(lái)，也決定了人類的未來(lái)。“要說(shuō)2023年初，一切已塵埃落定，是不現(xiàn)實(shí)，”Topol說(shuō)，“現(xiàn)在才剛剛開(kāi)始?！?/p>

來(lái)源：改編自參考文獻(xiàn)1

參考文獻(xiàn)：

1. Pividori, M. & Greene, C. S. Preprint at bioRxiv?https://doi.org/10.1101/2023.01.21.525030?(2023).

2. GPT, Osmanovic Thunstr?m, A. & Steingrimsson, S. Preprint at HAL?https://hal.science/hal-03701250?(2022).

3.?Nature Mach.?Intell.?5, 1 (2023).

4. Glaese, A.?et al.?Preprint at?https://arxiv.org/abs/2209.14375?(2022).

5. Thorp, H. H.?Science379, 313 (2023).

6. Kirchenbauer, J.?et al.?Preprint at?https://arxiv.org/abs/2301.10226?(2023).

7. Singhal, K.?et al.?Preprint at?https://arxiv.org/abs/2212.13138?(2022).

原文以What ChatGPT and generative AI mean for science為標(biāo)題發(fā)表在2023年2月6日《自然》的新聞特寫(xiě)版塊上

? nature

doi:?10.1038/d41586-023-00340-6

可查看英文原文：

https://www.nature.com/articles/d41586-023-00340-6?utm_medium=organic_social&utm_source=wechat&utm_campaign=CONR_PF020_ENGM_AP_CNCM_002E6_allnf

版權(quán)聲明：

本文由施普林格·自然上海辦公室負(fù)責(zé)翻譯，AJE做部分修改。中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。歡迎轉(zhuǎn)發(fā)如需轉(zhuǎn)載，請(qǐng)郵件China@nature.com。未經(jīng)授權(quán)的翻譯是侵權(quán)行為，版權(quán)方將保留追究法律責(zé)任的權(quán)利。