?? ?欄目簡(jiǎn)介?

如果說(shuō)之前推出的【論文速讀】是領(lǐng)讀頂會(huì)嚴(yán)謹(jǐn)?shù)膶?shí)證研究論文，那么【好文譯遞】則想傳遞觀點(diǎn)性、發(fā)散性的議論文章，只是靜靜地完整呈現(xiàn)譯文，任您自由地品讀和思考。

??? 編者按?

—

2023年2月6日，Nature 的 NEWS FEATURE 欄目發(fā)表了評(píng)論文章《THE PROMISE AND PERIL ?OF GENERATIVE AI——What ChatGPT and generative AI mean for science》，作者是 Chris Stokel-Walker 和 Richard Van Noorden，文章從“流暢但錯(cuò)了”“缺陷能被解決嗎”“安全與責(zé)任”“增強(qiáng)誠(chéng)實(shí)使用”四個(gè)方面講述了生成式 AI的前景、風(fēng)險(xiǎn)與解決對(duì)策，予以行業(yè)相關(guān)人員深刻啟迪。由于文章篇幅較長(zhǎng)，我們將分作兩期推送：本期我們編譯了導(dǎo)言和前兩個(gè)論點(diǎn)，下一期則將編譯文章后兩個(gè)論點(diǎn)和結(jié)論。歡迎大家持續(xù)關(guān)注~

?? 原文中譯?

生成式AI 的前景與風(fēng)險(xiǎn)——ChatGPT 和 生成式AI 對(duì)科學(xué)意味著什么

—

研究人員對(duì)于 ChatGPT 等工具如何變革科學(xué)和社會(huì)感到興奮，但同時(shí)也感到憂慮。

—— Chris Stokel-Walker &?Richard Van Noorden

12月，計(jì)算生物學(xué)家 Casey Greene 和 Milton Pividori 開始了一項(xiàng)不尋常的實(shí)驗(yàn)：請(qǐng)一位非科學(xué)家助手幫忙修改他們的三篇研究論文。他們勤勉的助手在幾秒鐘內(nèi)就對(duì)文件的某些部分提出了修改意見，并在每份手稿上花了大約5分鐘來(lái)進(jìn)行審閱。在一份生物學(xué)手稿中，他們的助手甚至發(fā)現(xiàn)了一個(gè)方程式的參考文獻(xiàn)中的錯(cuò)誤。試驗(yàn)并非完全順利，但最終的手稿更流暢通順了——而且費(fèi)用不高，每份文件只需不到 0.50美元。

如 Greene 和 Pividori 在 1月 23日的預(yù)印本中所言，這個(gè)助手并不是一個(gè)人，而是名為 GPT-3 的人工智能算法，它于 2020年首次發(fā)布。GPT-3 是一個(gè)備受關(guān)注的生成式人工智能聊天式工具之一，可以輕松產(chǎn)出流暢的文本，無(wú)論是要求生成散文、詩(shī)歌、計(jì)算機(jī)代碼，還是如這些科學(xué)家讓它編輯研究論文。這些工具中最著名的是 ChatGPT，它是 GPT-3的一個(gè)版本，在去年 11月發(fā)布后因?yàn)槊赓M(fèi)且易用而一炮走紅。

其他生成式 AI 可以生成圖像或聲音。在費(fèi)城賓夕法尼亞大學(xué)工作的 Pividori 說(shuō)道：“我真的很驚訝，這將幫助提高我們研究人員的工作效率?！?其他科學(xué)家表示，他們現(xiàn)在經(jīng)常使用大模型，不僅用于編輯手稿，還用于幫助他們編寫或檢查代碼，以及頭腦風(fēng)暴?！拔椰F(xiàn)在每天都在使用大模型，”在雷克雅未克冰島大學(xué)的計(jì)算機(jī)科學(xué)家 Hafsteinn Einarsson 說(shuō)道。他最初使用的是 GPT-3，但后來(lái)轉(zhuǎn)向了 ChatGPT，用它來(lái)撰寫 PPT、出學(xué)生試題和作業(yè)，以及將學(xué)生論文轉(zhuǎn)換成正式研究論文。“許多人把它當(dāng)作數(shù)字秘書來(lái)使用”，他說(shuō)。

大模型現(xiàn)在已成為搜索引擎、代碼編寫助手的一部分，甚至還可以用作與其他公司的聊天機(jī)器人進(jìn)行談判以獲取更有利的產(chǎn)品價(jià)格。ChatGPT 的創(chuàng)造者——位于加州舊金山的 OpenAI，已經(jīng)發(fā)布了一項(xiàng)每月20美元的訂閱服務(wù)，承諾會(huì)有更快的響應(yīng)速度并且可以優(yōu)先使用新功能（雖然其試用版仍然免費(fèi)）。而已經(jīng)投資了OpenAI 的科技巨頭微軟，在1月份宣布了進(jìn)一步的投資，據(jù)報(bào)道約為 100億美元。大模型注定將被整合到通用的文字和數(shù)據(jù)處理軟件中。

生成式 AI 未來(lái)在社會(huì)中將無(wú)處不在似乎是無(wú)可爭(zhēng)議的，現(xiàn)今的工具代表了該技術(shù)的雛形。但大模型也引發(fā)了廣泛的擔(dān)憂——從它們回傳虛假信息的傾向，到人們擔(dān)心有人將由AI生成的文本冒充為自己的原創(chuàng)。當(dāng) Nature 詢問(wèn)研究人員 ChatGPT等聊天機(jī)器人的潛在用途（尤其是在科學(xué)領(lǐng)域）時(shí)，他們的興奮和擔(dān)憂并存。

位于奧羅拉的科羅拉多大學(xué)醫(yī)學(xué)院的 Greene 說(shuō)："如果你相信這項(xiàng)技術(shù)有可能帶來(lái)變革，那么我認(rèn)為你必須對(duì)它提高警惕。”研究人員說(shuō)，這在很大程度上將取決于未來(lái)的法規(guī)和準(zhǔn)則如何限制 AI 聊天機(jī)器人的使用。

流暢，但錯(cuò)了

一些研究者認(rèn)為大模型非常適合在人類的監(jiān)督下用于加速論文或申請(qǐng)書撰寫的任務(wù)。瑞典薩爾格倫斯卡大學(xué)醫(yī)院的神經(jīng)生物學(xué)家 Almira Osmanovic Thunstr?m曾實(shí)驗(yàn)用 GPT-3 合著了一篇手稿，她評(píng)價(jià)道：“科學(xué)家不會(huì)再費(fèi)力為研究經(jīng)費(fèi)撰寫漫長(zhǎng)的申請(qǐng)介紹了，他們只需要讓系統(tǒng)代為完成?！?/p>

倫敦軟件咨詢公司 InstaDeep 的研究工程師 Tom Tumiel 說(shuō)，他每天都會(huì)使用大模型輔助他編寫代碼。他表示：“這幾乎就像是一個(gè)更好用的 Stack Overflow”。他口中的 Stack Overflow 是指那些程序員會(huì)互相回答問(wèn)題的熱門社區(qū)網(wǎng)站。

但研究者強(qiáng)調(diào)，大模型在回答問(wèn)題方面根本不可靠，有時(shí)會(huì)生成錯(cuò)誤的回答。Osmanovic Thunstr?m 說(shuō)：“我們?cè)谑褂眠@些系統(tǒng)生成知識(shí)時(shí)必須要保持警惕?！?/p>

這種不可靠性已經(jīng)固化在大模型的構(gòu)建方式中。ChatGPT 及其同行通過(guò)學(xué)習(xí)龐大的線上文本數(shù)據(jù)庫(kù)中的語(yǔ)言數(shù)據(jù)模式來(lái)運(yùn)作，其中包括一些不實(shí)、存在偏見、或過(guò)時(shí)的知識(shí)。然后，當(dāng)大模型獲得提示時(shí)，它們僅僅逐字逐句地輸出任何在語(yǔ)言風(fēng)格上似乎合理的內(nèi)容來(lái)延續(xù)對(duì)話。

結(jié)果是，大模型很容易給出錯(cuò)誤的或有誤導(dǎo)性的信息，特別是在有些缺乏訓(xùn)練數(shù)據(jù)的技術(shù)型領(lǐng)域。同時(shí)，大模型也不能展示它們的信息來(lái)源；如果被要求撰寫一篇學(xué)術(shù)論文，它們會(huì)編造虛假的引文。Nature 子刊《自然· 機(jī)器智能》雜志的一位編輯于今年1月發(fā)表的評(píng)論中指出：“這種工具給出的事實(shí)或參考文獻(xiàn)是不可信的。”在將這些警示納入考量的情況下，ChatGPT 和其他大模型可以成為專業(yè)研究者的高效助手，只要他們有足夠的專業(yè)知識(shí)來(lái)直接點(diǎn)出大模型產(chǎn)生的錯(cuò)誤或輕松驗(yàn)證其答案，例如關(guān)于一行代碼的解釋或建議是否正確。

但這些工具可能會(huì)誤導(dǎo)新手用戶。例如，去年12月 Stack Overflow 暫時(shí)禁止使用 ChatGPT，因?yàn)榫W(wǎng)站管理員發(fā)現(xiàn)了大量由熱心用戶發(fā)送的大模型回答。這些回復(fù)雖然看似有說(shuō)服力，但實(shí)際上都是錯(cuò)誤的，這對(duì)搜索引擎來(lái)說(shuō)簡(jiǎn)直是一個(gè)大災(zāi)難。

這些缺陷能夠被解決嗎？

一些類似 Elicit 一樣面向研究人員的搜索引擎工具會(huì)?利用大模型的功能來(lái)規(guī)避其屬性問(wèn)題：首先通過(guò)大模型引導(dǎo)對(duì)于相關(guān)文獻(xiàn)的搜索請(qǐng)求，然后簡(jiǎn)要概括搜索引擎查詢到的網(wǎng)站或文檔，從而輸出一個(gè)顯然有參考依據(jù)的內(nèi)容（盡管大模型仍可能對(duì)其中每個(gè)單獨(dú)的文檔進(jìn)行錯(cuò)誤的概述）。

構(gòu)建大模型的公司也非常清楚這些問(wèn)題。去年9月，Google 子公司，DeepMind 發(fā)布了一篇關(guān)于“對(duì)話代理”的論文，并命名該代理為 Sparrow。該公司的首席執(zhí)行官兼聯(lián)合創(chuàng)始人 Demis Hassabis 后來(lái)告訴《時(shí)代雜志》，Sparrow 的私人測(cè)試版將于今年發(fā)布；該雜志報(bào)道稱，谷歌旨在開發(fā)出處引用等產(chǎn)品功能。而谷歌的其他競(jìng)爭(zhēng)對(duì)手，例如 Anthropic，則聲稱他們已經(jīng)解決了一些 ChatGPT 存在的的問(wèn)題（Anthropic、OpenAI 和 DeepMind 拒絕接受本文采訪）。

就目前而言，一些科學(xué)家表示，ChatGPT 沒(méi)有受過(guò)足夠?qū)I(yè)內(nèi)容的訓(xùn)練，也無(wú)法在技術(shù)領(lǐng)域提供幫助。哈佛大學(xué)生物統(tǒng)計(jì)學(xué)博士生 Kareem Carr 曾在測(cè)試ChatGPT 工作能力時(shí)感到不太滿意。他說(shuō)：“我認(rèn)為 ChatGPT 很難達(dá)到我所需的專業(yè)度?！保幢闳绱耍珻arr 提到當(dāng)他向 ChatGPT 詢問(wèn)20種解決某科研問(wèn)題的方法時(shí)，它亂七八糟地回答了一堆，但有一個(gè)有用的想法——一個(gè)他從未聽說(shuō)過(guò)的統(tǒng)計(jì)術(shù)語(yǔ)，并將他指向了一片新的學(xué)術(shù)文獻(xiàn)領(lǐng)域。）

一些科技公司正在用專業(yè)的科學(xué)文獻(xiàn)訓(xùn)練聊天機(jī)器人，但他們也遇到了自己的問(wèn)題。去年 11月，科技巨頭 Meta 發(fā)布了一個(gè)名為 Galactica 的大模型。Galactica 由科學(xué)摘訓(xùn)練而成的，旨在使其特別擅長(zhǎng)產(chǎn)出學(xué)術(shù)內(nèi)容和回答研究問(wèn)題。然而，在用戶讓其產(chǎn)生錯(cuò)誤的或帶有種族主義的言論后，該演示被取消了公共訪問(wèn)權(quán)限（盡管其代碼仍然可用）。Meta 的首席人工智能科學(xué)家 Yann LeCun 在回應(yīng)批評(píng)者時(shí)發(fā)推文稱：“不能再通過(guò)隨意的地濫用它來(lái)找樂(lè)子了，你們開心了嗎？”（Meta 未回應(yīng)其新聞辦公室提出的與 LeCun 交談的要求。）

未完待續(xù)...

原文??：https://www.nature.com/articles/d41586-023-00340-6

*聲明：原文來(lái)自 Nature 官網(wǎng)，如有侵權(quán)，可提議撤稿

?? ?好文征集?

歡迎大家添加 OpenBMB 微信，即可進(jìn)入大模型社群交流文章，也可分享推薦更多AI領(lǐng)域的好文！文章時(shí)效不限，既可以是討論密集的的熱點(diǎn)時(shí)文，也可以是歷久彌香的經(jīng)典前文~?

? 傳送門 ｜官方網(wǎng)站?

?? https://www.openbmb.org

? 傳送門 ｜GitHub 主頁(yè)?

??? https://github.com/OpenBMB

?? 加社群/ 提建議/ 有疑問(wèn)?

請(qǐng)找 OpenBMB 萬(wàn)能小助手（上方二維碼）

?? 關(guān)注我們

微信搜索關(guān)注 “OpenBMB開源社區(qū)”

后臺(tái)回復(fù)“CPM-Live” 即可加入CPM-Live加油群

還可獲取更多大模型干貨知識(shí)和前沿資訊！?