研究人員不能總是區(qū)分人工智能生成的摘要和原始摘要。

根據(jù)12月底在bioRxiv服務器上發(fā)布的一篇預印本，一個人工智能（AI）聊天機器人可以寫出如此有說服力的假研究論文摘要，以至于科學家們常常無法發(fā)現(xiàn)它們。研究人員對其對科學的影響存在分歧。

"英國牛津大學研究技術和監(jiān)管的Sandra Wachter說："我非常擔心，他沒有參與這項研究。"她補充說："如果我們現(xiàn)在處于專家無法確定真假的情況下，我們就會失去我們迫切需要的指導我們解決復雜話題的中間人。

聊天機器人ChatGPT可以根據(jù)用戶的提示創(chuàng)造出逼真的、聽起來很智能的文本。它是一個 "大型語言模型"，一個基于神經(jīng)網(wǎng)絡的系統(tǒng)，通過消化大量現(xiàn)有的人類生成的文本來學習執(zhí)行一項任務。位于加州舊金山的軟件公司OpenAI于11月30日發(fā)布了該工具，并且可以免費使用。

自其發(fā)布以來，研究人員一直在努力解決圍繞其使用的道德問題，因為其輸出的許多內(nèi)容可能難以與人類書寫的文本區(qū)分?？茖W家們已經(jīng)發(fā)表了一篇預印本2和一篇由ChatGPT撰寫的社論3?，F(xiàn)在，伊利諾伊州芝加哥西北大學的Catherine Gao領導的小組用ChatGPT生成人工研究論文摘要，以測試科學家是否能發(fā)現(xiàn)它們。

研究人員要求聊天機器人根據(jù)發(fā)表在《美國醫(yī)學會雜志》、《新英格蘭醫(yī)學雜志》、《英國醫(yī)學雜志》、《柳葉刀》和《自然醫(yī)學》上的精選文章編寫50份醫(yī)學研究摘要。然后，他們通過抄襲檢測器和人工智能輸出檢測器將這些摘要與原始摘要進行比較，并要求一組醫(yī)學研究人員發(fā)現(xiàn)編造的摘要。

ChatGPT生成的摘要順利通過了抄襲檢查器：原創(chuàng)性得分的中位數(shù)為100%，這表明沒有發(fā)現(xiàn)抄襲行為。人工智能輸出檢測器發(fā)現(xiàn)了66%的生成摘要。但是人類審稿人的表現(xiàn)并沒有好到哪里去：他們只正確識別了68%的生成摘要和86%的真實摘要。他們錯誤地識別了32%的生成的摘要是真實的，14%的真實摘要是生成的。

"ChatGPT寫出了可信的科學摘要，"Gao及其同事在預印本中說。"道德和可接受的使用大型語言模型來幫助科學寫作的界限仍有待確定"。

Wachter說，如果科學家不能確定研究是否真實，可能會有 "可怕的后果"。除了對研究人員來說是個問題，他們可能被拉到有缺陷的調(diào)查路線上，因為他們正在閱讀的研究是偽造的，還有 "對整個社會的影響，因為科學研究在我們的社會中發(fā)揮著如此巨大的作用"。她補充說，例如，這可能意味著有研究依據(jù)的政策決定是不正確的。

但新澤西州普林斯頓大學的計算機科學家Arvind Narayanan說："任何嚴肅的科學家都不太可能使用ChatGPT來生成摘要"。他補充說，生成的摘要是否能被檢測出來 "無關緊要"。"問題是這個工具是否能生成一個準確和令人信服的摘要。他說："它不能，所以使用ChatGPT的好處是微不足道的，而壞處是很大的。

總部設在紐約和巴黎的人工智能公司Hugging Face研究人工智能的社會影響的Irene Solaiman對任何依賴大型語言模型的科學思維表示擔憂。"她補充說："這些模型是根據(jù)過去的信息訓練出來的，而社會和科學的進步往往可以來自于與過去不同的思考方式，或開放的思考方式。

作者建議，那些評估科學傳播的機構(gòu)，如研究論文和會議記錄，應該制定政策，杜絕使用人工智能生成的文本。如果機構(gòu)選擇允許在某些情況下使用該技術，他們應該圍繞披露問題制定明確的規(guī)則。本月早些時候，將于7月在夏威夷檀香山舉行的大型人工智能會議--第四十屆國際機器學習會議宣布，它已禁止使用ChatGPT和其他人工智能語言工具撰寫論文。

索拉伊曼補充說，在虛假信息可能危及人們安全的領域，如醫(yī)學，期刊可能必須采取更嚴格的方法來驗證信息是否準確。

Narayanan說，這些問題的解決方案不應該集中在聊天工具本身，"而是導致這種行為的不正當激勵，比如大學通過計算論文來進行聘用和晉升審查，而不考慮其質(zhì)量或影響"。