隨著科研人員邁入高級對話AI的新世界，出版機構(gòu)必須認可它們的合法使用，并為防止濫用制定清晰準則。

多年來，人工智能（AI）已能熟練使用語言，生成的文本與人類組織的語言難分伯仲。去年，《自然》報道過一些科研人員將對話機器人作為科研助手，幫助組織他們的想法，生成對工作的反饋，協(xié)助寫代碼，以及匯總研究文獻（Nature?611, 192–193; 2022）。

然而，11月推出的對話AI ChatGPT，將這類統(tǒng)稱為大型語言模型（LLM）的工具帶到了更多用戶的面前。開發(fā)該工具的美國加州公司OpenAI讓 ChatGPT免費使用，即使不懂技術(shù)的用戶也能輕松上手。這個軟件的用戶已達上百萬乃至上千萬，產(chǎn)生了大量有趣甚至時而令人害怕的寫作實驗，激發(fā)了人們對這些工具日漸增長的激動和畏懼情緒。

作為科學(xué)的根基，研究方法的透明度正受到ChatGPT的威脅。

來源：Tada Images / Shutterstock

ChatGPT能寫出漂亮的學(xué)生論文，概括論文摘要，回答問題的水平能通過醫(yī)學(xué)專業(yè)考試，還能生成有意義的程序代碼。ChatGPT編寫的研究摘要已經(jīng)好到科研人員也難以發(fā)現(xiàn)作者竟然是計算機。但人類社會需要擔心的是，ChatGPT也會讓垃圾郵件、勒索軟件等惡意內(nèi)容更容易產(chǎn)生。雖然OpenAI已經(jīng)嘗試對ChatGPT的能力范圍進行限制，但用戶顯然找到了突破這些限制的方法。

科研圈面臨的一個嚴重問題是，學(xué)生和科研人員會謊稱LLM生成的文章是他們自己寫的，或是以過分簡化的方式利用LLM（如很片面的文獻綜述）來產(chǎn)出很不可靠的工作。已有多篇預(yù)印本論文和正式發(fā)表的論文以正式署名的方式來承認ChatGPT的貢獻。

這便是為何研究人員和出版機構(gòu)應(yīng)當立即制定準則，規(guī)定如何使用LLM才是合乎道德的?！蹲匀弧泛退惺┢樟指瘛ぷ匀坏钠诳贫艘韵聝蓷l準則，并加入了我們最新版的作者指南（見go.nature.com/3j1jxsw，或掃描文末二維碼）中。根據(jù)《自然》新聞團隊的報道，其他科研出版機構(gòu)也會采取類似立場。

第一條，不接受任何LLM工具作為對研究論文有貢獻的作者。這是因為署名權(quán)意味著對研究負有責任，而AI工具無法擔負這種責任。

第二條，使用LLM工具的研究人員應(yīng)在方法或致謝單元里聲明。如果論文中沒有這兩個單元，也可以在前言或其他合適的部分說明對LLM的使用。

模式識別

編輯和出版機構(gòu)能發(fā)現(xiàn)哪些內(nèi)容是由LLM生成的嗎？現(xiàn)在的回答是“有可能”。如果仔細檢查，ChatGPT生成的原始內(nèi)容是有蛛絲馬跡的，尤其是在涉及多個段落且主題與科研內(nèi)容有關(guān)的時候。這是因為LLM主要根據(jù)訓(xùn)練數(shù)據(jù)中的統(tǒng)計關(guān)聯(lián)和它們看到的“提示”（prompt）來歸納詞匯模式，意味著它們輸出的內(nèi)容可能會淡而無味，還會出現(xiàn)低級錯誤。此外，他們也無法索引輸出內(nèi)容的來源。

但在將來，AI研究人員或能找到克服這些問題的辦法，已有一些實驗在嘗試結(jié)合對話機器人和引用來源的工具，還有一些實驗在訓(xùn)練對話機器人處理專業(yè)性的科學(xué)文本。

有些工具或能用來分辨出由LLM生成的內(nèi)容，而《自然》的出版機構(gòu)——施普林格·自然也是正在開發(fā)這些技術(shù)的出版社之一。但LLM還會升級，而且進步速度非?？?。有人希望LLM的發(fā)明者能以某種方式在其生成內(nèi)容上加水印，但這在技術(shù)上也不能保證萬無一失。

從最初開始，科學(xué)的運作就需要對方法和證據(jù)保持開放和透明，無論時下風靡哪種技術(shù)。如果研究人員和他們的同事使用以根本上不透明的方式工作的軟件，他們就應(yīng)該問問自己：產(chǎn)生知識的過程所依賴的透明度和可信度還能在多大程度上得到保證？?

這也是為何《自然》要在現(xiàn)在推出這些準則：歸根結(jié)底，科研必須在研究方法上保持透明，還需要作者堅持科研誠信和真理。因為到頭來，這才是科學(xué)賴以進步的根本。

原文以Tools such as ChatGPT threaten transparent science; here are our ground rules for their use標題發(fā)表在2023年1月24日《自然》的社論版塊上

? nature

doi:?10.1038/d41586-023-00191-1

可查看英文原文：

Tools such as ChatGPT threaten transparent science; here are our ground rules for their use (nature.com)

版權(quán)聲明：

本文由施普林格·自然上海辦公室負責翻譯。中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準。歡迎轉(zhuǎn)發(fā)如需轉(zhuǎn)載，請郵件China@nature.com。未經(jīng)授權(quán)的翻譯是侵權(quán)行為，版權(quán)方將保留追究法律責任的權(quán)利。

? 2023 Springer Nature Limited.?All Rights Reserved