ChatGPT寫論文不靠譜?但可處理簡單任務(wù)如編寫摘要或生成代碼

日前,一項題為《水果蔬菜消費(fèi)和體力活動對成年人糖尿病風(fēng)險的影響》的學(xué)術(shù)研究論文發(fā)布。乍一看,這似乎是在學(xué)術(shù)期刊上又發(fā)表的一個調(diào)查。然而這篇論文并不常見,因為它是在ChatGPT的幫助下只用了不到一個小時的時間完成的。[1]
本文包括摘要、引言、假設(shè)、方法,以及結(jié)果、討論和結(jié)論。在這篇特別的論文中,研究了成年人水果和蔬菜攝入量、體力活動與糖尿病風(fēng)險之間的關(guān)系。這項研究的結(jié)果表明,多吃水果和蔬菜與降低患糖尿病的風(fēng)險有關(guān)。
Kishony和她的學(xué)生Tal Ifargan幾乎是全過程使用了ChatGPT。
首先,他們向ChatGPT提供了超過250000名美國人的數(shù)據(jù)庫,包括有關(guān)他們的水果、蔬菜消費(fèi),體力活動和糖尿病狀況的信息。
然后他們要求ChatGPT生成代碼來解析該數(shù)據(jù)。經(jīng)過多次的修改完善提示之后,他們獲得了一些有用的代碼,他們繼續(xù)使用ChatGPT生成研究目標(biāo)并進(jìn)行數(shù)據(jù)分析,從而得出本文的研究結(jié)果。
最后,他們要求ChatGPT使用生成的信息,撰寫一篇完成的具有學(xué)術(shù)論文結(jié)構(gòu)的文章。然而,問題的關(guān)鍵在于任務(wù)質(zhì)量完成得如何。Kishony和Ifargan指出,這篇文章的質(zhì)量完成得很好,并且包含可靠的數(shù)據(jù)分析。但他們也指出,在某些段落中,ChatGPT包含虛假引用或不準(zhǔn)確的信息來填充內(nèi)容。
Kishony表示,這類人工智能工具的使用可能會導(dǎo)致科學(xué)界出現(xiàn)不誠實的行為,并導(dǎo)致學(xué)術(shù)期刊出現(xiàn)大量低質(zhì)內(nèi)容。然而,《自然》雜志顧問、麻省理工學(xué)院和哈佛大學(xué)博德研究所的計算生物學(xué)家Shantanu Singh表示,ChatGPT和其他類似程序還是可以放心地用作簡單任務(wù)的處理,例如編寫摘要或生成代碼。[2]
參考資料:
[1]https://www.94c.cc/info/with-chatgpt-1-hour-to-finish-paper-2023-7.html
[2]https://www.hoycripto.com/inteligenciaartificial/ChatGPT-dos-investigadores-usaron-la-IA-para-escribir-un-articulo-este-es-el-resultado-20230711-0017.html