??? 欄目簡介?

如果說之前推出的【論文速讀】是領(lǐng)讀頂會嚴謹?shù)膶嵶C研究論文，那么【好文譯遞】則想傳遞觀點性、發(fā)散性的議論文章，只是靜靜地完整呈現(xiàn)譯文，任您自由地品讀和思考。

?????編者按?

—

2023年2月6日，Nature 的 NEWS FEATURE 欄目發(fā)表了評論文章《THE PROMISE AND PERIL ?OF GENERATIVE AI——What ChatGPT and generative AI mean for science》，作者是 Chris Stokel-Walker 和 Richard Van Noorden，文章從“流暢但錯了”“缺陷能被解決嗎”“安全與責任”“增強誠實使用”四個方面講述了生成式 AI的前景、風險與解決對策，予以行業(yè)相關(guān)人員深刻啟迪。由于文章篇幅較長，我們將文章分作兩期進行推送。上一期我們編譯了導(dǎo)言和前兩個論點，這一期則是文章的后兩個論點和結(jié)論。

?

?? 原文中譯?

生成式AI 的前景與風險——ChatGPT 和 生成式AI 對科學(xué)意味著什么

—

安全與責任

Galactica 遇到了倫理學(xué)家多年來一直關(guān)注的一個常見安全問題：沒有輸出控制的大語言模型很容易被用于生成仇恨性言論和垃圾郵件，以及如種族主義、性別歧視等其他隱含在訓(xùn)練數(shù)據(jù)中的危害性言論。

密歇根大學(xué)安娜堡分校的科技與公共政策項目主任 Shobita Parthasarathy 表示，除了直接生成有害內(nèi)容外，AI聊天機器人會受到來自其訓(xùn)練數(shù)據(jù)的歷史偏見或世界觀的影響，例如特定文化的優(yōu)越性。因為正在創(chuàng)建大型語言模型的公司大多植根于這些文化之中，那么它們可能不會嘗試克服這些系統(tǒng)性的且難以糾正的偏見，她補充道。

OpenAI 在決定公開發(fā)布 ChatGPT 時試圖規(guī)避許多類似的問題。它將知識庫限制在 2021年之前，阻止它瀏覽互聯(lián)網(wǎng)，并安裝了過濾器，試圖讓該工具拒絕為敏感或有害性提示生成內(nèi)容。然而，要實現(xiàn)這一點，需要人類審核員標記大量有害文本。記者報道稱，這些審核工人薪資低微，且其中有些人遭受了創(chuàng)傷。關(guān)于員工剝削的相似擔憂也曾在其他雇用人力訓(xùn)練自動化機器人以標記有害內(nèi)容的社交媒體公司上被提起。

OpenAI 的防護措施并不完全成功。去年 12月，加利福尼亞大學(xué)伯克利分校的計算神經(jīng)科學(xué)家史蒂文·皮安塔多西（Steven Piantadosi）在 Twitter 上發(fā)文稱，他讓 ChatGPT 開發(fā)一款根據(jù)人的出生國家判斷是否應(yīng)該對其施加酷刑的 Python 程序。ChatGPT 聊天機器人返回的代碼邀請用戶輸入一個國家，如果該國是朝鮮、敘利亞、伊朗或蘇丹，該代碼則回應(yīng)“應(yīng)該對這個人施以酷刑”。（OpenAI 隨后封鎖了這種類型的問題。)

去年，一群學(xué)者發(fā)布了一種名為 BLOOM 的替代性語言大模型。研究者試圖通過選擇更小范圍、更高質(zhì)量的多語種文本庫進行訓(xùn)練以減少有害輸出。該團隊還將其訓(xùn)練數(shù)據(jù)完全開放（不像 OpenAI）。研究者督促大型科技公司認真負責地遵循這個范例——但我們并不清楚他們是否會遵守。

一些研究人員表示，學(xué)術(shù)界應(yīng)該拒絕支持大型商業(yè)語言模型。除了偏見、安全問題和被剝削工人等問題之外，這些高強度計算算法還需要大量的能源來進行訓(xùn)練，這引發(fā)了對它們造成生態(tài)問題的擔憂。更令人擔憂的是，通過將思維轉(zhuǎn)移到自動聊天機器人上，研究人員可能會失去表達自己思想的能力。荷蘭尼伊梅亨 Radboud 大學(xué)的計算認知科學(xué)家 Iris van Rooij 敦促學(xué)者們抵制此類產(chǎn)品的誘惑，并在一篇博客中質(zhì)問道：“作為學(xué)者，我們?yōu)槭裁匆獰嶂杂谑褂煤托麄鬟@種產(chǎn)品？”

另一個問題是一些大語言模型的?合法性。這些大語言模型從互聯(lián)網(wǎng)上獲取內(nèi)容進行訓(xùn)練，但這種獲取方式有時并沒有獲得明確的許可權(quán)限。版權(quán)和許可法目前包含像素、文本和軟件的直接拷貝，但不涵蓋它們的風格模仿，當這些 AI 生成的模仿通過融合原始材料進行訓(xùn)練時，就會帶來棘手的侵權(quán)問題。一些 AI 藝術(shù)程序的創(chuàng)作者，包括 Stable Diffusion 和 Midjourney，目前正在受到藝術(shù)家和攝影機構(gòu)的起訴；OpenAI 和微軟（以及其附屬技術(shù)網(wǎng)站 GitHub）也因其 AI 編碼助手 Copilot 的創(chuàng)作而被起訴侵犯軟件版權(quán)。英國紐卡斯爾大學(xué)的互聯(lián)網(wǎng)法專家 Lilian Edwards 表示，公眾的抗議可能會迫使法律發(fā)生變化。

增強誠實使用

一些研究人員表示，設(shè)定這些工具的界限可能至關(guān)重要。英國紐卡斯爾大學(xué)的互聯(lián)網(wǎng)法專家 Lilian Edwards 建議，現(xiàn)有的有關(guān)歧視和偏見法律（以及 AI 危險使用的計劃監(jiān)管）將有助于確保語言大模型的使用是誠實、透明和公正的。她說：“現(xiàn)在有很多法律存在，只需要稍加修改或?qū)嵤┘纯?。?/span>

同時，大語言模型逐漸被推向?使用透明化。學(xué)術(shù)出版商（包括《自然》雜志的出版方）表示，科學(xué)家應(yīng)在研究論文中披露大語言模型的使用（另請參見《自然》613,612；2023）；教師表示他們希望學(xué)生采取同樣的行為?！犊茖W(xué)》雜志更進一步表示，任何由 ChatGPT 或任何其他 AI 工具生成的文本都不能用于論文。

一個關(guān)鍵的技術(shù)問題是，AI 生成的內(nèi)容是否容易被發(fā)現(xiàn)。許多研究人員正在研究這個問題，主旨是使用大語言模型本身來發(fā)現(xiàn) AI 創(chuàng)建的文本。例如，新澤西州普林斯頓大學(xué)的計算機科學(xué)本科生 Edward Tian 在去年 12月發(fā)布了 GPTZero。這個AI檢測工具以兩種方式分析文本：一種是“困惑度”，即大語言模型對檢測文本的熟悉程度。Tian 的工具使用了一個早期模型，GPT-2；如果它發(fā)現(xiàn)文本中大多數(shù)的詞和句子是可預(yù)測的，那么該文本很可能是由 AI 生成的。該工具還檢查文本的變化度，這是一種被稱為“突發(fā)性”的度量：AI 生成的文本往往比人類編寫的文本有更加一致的語調(diào)、節(jié)奏和復(fù)雜度。

許多其他產(chǎn)品同樣致力于檢測由 AI 寫作的內(nèi)容。OpenAI 自己已經(jīng)發(fā)布了一個用于檢測 GPT-2 的檢測器，并在今年 1月份發(fā)布了另一個檢測工具。對于科學(xué)家而言，由反抄襲軟件開發(fā)商 Turnitin 開發(fā)的工具可能尤為重要，因為 Turnitin 的產(chǎn)品已經(jīng)被全球的學(xué)院、大學(xué)和學(xué)術(shù)出版商使用。該公司表示，自從 GPT-3 于 2020年發(fā)布以來，他們一直在開發(fā) AI 檢測軟件，并計劃在今年上半年推出。

然而，這些工具都無法保證其絕對可靠，尤其當如果由AI生成的文本被人為編輯過。此外，OpenAI 的客座研究員--德克薩斯大學(xué)奧斯汀分校的計算機科學(xué)家 Scott Aaronson 表示，檢測器可能會錯誤地將一些人工撰寫的文本誤判為 AI 生成的。OpenAI 提到，在測試中，其最新研發(fā)的工具有 9% 的概率錯誤地將人工編寫的文本標記為AI編寫，并且只正確識別了 26% 的 AI 編寫文本。因此，Aaronson 表示，我們不能僅僅通過檢測器的測試就指控一個學(xué)生暗中使用 AI，需要更多的證據(jù)來證明其是否使用了 AI。

另一個想法：AI 內(nèi)容將帶有自己的水印。去年 11月，Aaronson 宣布他和 OpenAI 正在研究一種為 ChatGPT 的輸出添加水印的方法。雖然還沒有發(fā)布，但馬里蘭大學(xué)學(xué)院公園分校的計算機科學(xué)家 Tom Goldstein 領(lǐng)導(dǎo)的團隊于 1月 24日發(fā)布的預(yù)印本中提出了一種添加水印的方法。這個想法是在大語言模型生成輸出的那一刻使用隨機數(shù)生成器，創(chuàng)建一個可替換詞語的列表，然后指示大模型從中選擇。這樣，在最終的文本中留下了選擇的單詞的痕跡，這些痕跡被統(tǒng)計并識別出來，但對讀者來說并不明顯。編輯可以破壞這種痕跡，但是 Goldstein 指出這需要修改超過一半的單詞。

Aaronson 指出，數(shù)字水印的一個優(yōu)點是它很少在測試里產(chǎn)生假陽性結(jié)果。如果有數(shù)字水印，那么這篇文章很可能是由 AI 生成的，但是并不是絕對可靠的。他說：“如果鐵定要做，那肯定有方法來打敗任何數(shù)字水印設(shè)置?！睓z測工具和數(shù)字水印只是讓暗中使用AI更加困難，但無法杜絕。

與此同時，大模型的創(chuàng)建者們正在忙于構(gòu)建更復(fù)雜的，基于更大數(shù)據(jù)集的聊天機器人（如 OpenAI 今年發(fā)布 GPT-4），其中包括專門針對學(xué)術(shù)或醫(yī)學(xué)工作的工具。去年12月底，Google 和 DeepMind 發(fā)表了一篇關(guān)于臨床語言大模型的預(yù)印本，稱為 Med-PaLM7。該工具可以回答一些開放性的醫(yī)學(xué)問題，回答得幾乎和普通人類醫(yī)生一樣好，盡管它仍然存在一些缺點和不可靠性。

加州圣迭戈的斯克里普斯研究所主任 Eric Topol 表示，他希望未來運用大模型的 AI 甚至可以通過對比學(xué)術(shù)文獻中的文本記錄與身體掃描圖像來幫助診斷和學(xué)習癌癥。但是他強調(diào)，這些都需要專家的審慎監(jiān)督。

生成式 AI 背后的計算機科學(xué)正在快速發(fā)展，每個月都會出現(xiàn)創(chuàng)新改革。研究人員如何使用它們的抉擇將決定它們和我們的未來。Topol 說：“在 2023年初我們認為我們已經(jīng)看到一個瘋狂的結(jié)局，但真的才剛剛開始。”

原文??：https://www.nature.com/articles/d41586-023-00340-6

*聲明：原文來自 Nature 官網(wǎng)，如有侵權(quán)，可提議撤稿

???? 好文征集?

歡迎大家添加?OpenBMB?微信，即可進入大模型社群交流文章，也可分享推薦更多AI領(lǐng)域的好文！文章時效不限，既可以是討論密集的的熱點時文，也可以是歷久彌香的經(jīng)典前文~

?? 傳送門??OpenBMB官網(wǎng)?

???https://www.openbmb.org

?? 傳送門?? OpenBMB GitHub?

???https://github.com/OpenBMB

? ?加社群/ 提建議/ 有疑問?

請找 OpenBMB 萬能小助手（上方二維碼）

?? 關(guān)注我們

微信搜索關(guān)注 “OpenBMB開源社區(qū)”

后臺回復(fù)“CPM-Live” 即可加入CPM-Live加油群

還可獲取更多大模型干貨知識和前沿資訊！?