89%美國(guó)大學(xué)生竟用ChatGPT寫作業(yè)!紐約大學(xué)教授警告:用AI就是剽竊
????? ?來(lái)源: 新智元報(bào)道??
編輯:Aeneas 好困
【新智元導(dǎo)讀】調(diào)查發(fā)現(xiàn),89%的美國(guó)大學(xué)生已經(jīng)在用ChatGPT寫作業(yè)了,而其中的72%也同時(shí)支持封殺。對(duì)此,老師們的態(tài)度倒是褒貶不一,值得玩味。
ChatGPT誕生才兩個(gè)月,但它給全世界投下的‘重磅炸彈’就沒(méi)停下來(lái)過(guò)。
雖然在很多學(xué)校,老師們防ChatGPT如洪水猛獸,卻還是屢禁不止。
一項(xiàng)調(diào)查顯示,現(xiàn)在美國(guó)89%的大學(xué)生都是用ChatGPT做作業(yè)的。

89%的學(xué)生用ChatGPT做作業(yè)
89%?沒(méi)錯(cuò),甚至,真實(shí)的比例更高。
雖然此前,紐約的教育系統(tǒng)全面封殺了ChatGPT,但憑學(xué)生們的聰明才智,怎么可能真正把它禁掉呢?
果然,現(xiàn)在教育工作者們不得不直面現(xiàn)實(shí):學(xué)生們已經(jīng)在用ChatGPT肆無(wú)忌憚地作弊了。
比如,北密歇根大學(xué)哲學(xué)教授Antony Aumann在為自己的世界宗教課評(píng)分時(shí)發(fā)現(xiàn),全班第一的論文竟然是用ChatGPT寫的。

在線課程供應(yīng)商Study.com向1,000名18歲以上的學(xué)生中發(fā)起一項(xiàng)調(diào)查,詢問(wèn)了他們?cè)谡n堂上使用ChatGPT的情況。
結(jié)果顯示——
每10個(gè)學(xué)生中就有超過(guò)9個(gè)知道ChatGPT,遠(yuǎn)遠(yuǎn)超過(guò)小學(xué)教育工作者
超過(guò)89%的學(xué)生使用ChatGPT來(lái)完成家庭作業(yè)
48%的學(xué)生用ChatGPT完成小測(cè)驗(yàn),53%的學(xué)生用ChatGPT寫論文,22%的學(xué)生用ChatGPT生成論文大綱
令人驚訝的是,72%的大學(xué)生認(rèn)為ChatGPT應(yīng)該在大學(xué)網(wǎng)絡(luò)中被禁

這些高得驚人的數(shù)據(jù),令我們不得不正視這個(gè)現(xiàn)象:AI已經(jīng)融入了人類的社會(huì)結(jié)構(gòu),且產(chǎn)生了廣泛而深遠(yuǎn)的后果。
有趣的是,雖然有將近90%的學(xué)生在家里用ChatGPT做作業(yè),但也有將近四分之三的學(xué)生希望ChatGPT在學(xué)校被禁。
也就是說(shuō),不患寡而患不均,無(wú)論是在哪個(gè)場(chǎng)景,學(xué)生們都希望站在同一起跑線上。
要么大家一起用,要么就都不用。

老師們?cè)趺纯矗?/strong>
同時(shí),Study.com也調(diào)查了100多名教育工作者,以便深入了解他們對(duì)ChatGPT的感受。
了解ChatGPT的大學(xué)教授中有72%擔(dān)心它對(duì)作弊的影響,而小學(xué)教育工作者中這一比例為58%
超過(guò)三分之一 (34%) 的教育工作者認(rèn)為ChatGPT應(yīng)該在學(xué)校中被禁,剩下66%的則支持學(xué)生使用
看來(lái),老師們遠(yuǎn)比我們想象得開(kāi)明。那么他們打算如何使用ChatGPT呢?
根據(jù)Study.com的調(diào)查,已經(jīng)有21%的老師開(kāi)始用ChatGPT輔助教學(xué)工作了——
7%使用ChatGPT提供寫作提示
5%使用 ChatGPT來(lái)幫助授課
4%使用ChatGPT來(lái)制定課程計(jì)劃
4%使用ChatGPT教授寫作風(fēng)格
3%使用ChatGPT作為數(shù)字導(dǎo)師
可以看到,與我們的印象不同,參與調(diào)查的老師中,大部分人對(duì)于AI的態(tài)度是相對(duì)開(kāi)明的,66%的人認(rèn)為ChatGPT可以作為幫助學(xué)生的資源。
與之相比,反倒是學(xué)生們自己的信任度要低得多,高達(dá)72%的人認(rèn)為ChatGPT在學(xué)校里應(yīng)該被禁。

在整個(gè)人類歷史上,一項(xiàng)新事物的誕生,往往伴隨著諸多爭(zhēng)議。
很顯然,面對(duì)ChatGPT這個(gè)誕生兩個(gè)月的‘新生兒’,教師團(tuán)隊(duì)內(nèi)部也并沒(méi)有統(tǒng)一意見(jiàn)。
其中一部分教師,對(duì)于學(xué)生使用ChatGPT的態(tài)度非常鮮明——就是純純的作弊!
紐約大學(xué)教授:要像避瘟神一樣躲開(kāi)ChatGPT!
這幾天,美國(guó)的很多學(xué)校開(kāi)學(xué)了,師生中最熱門的話題,無(wú)疑就是ChatGPT。
在紐約大學(xué),教學(xué)大綱的‘學(xué)術(shù)誠(chéng)信’部分已經(jīng)明確把使用AI視為作弊行為,明令禁止。
此外,學(xué)生們?cè)谏险n第一天也收到了教授的警告。

在紐約大學(xué)Tisch藝術(shù)學(xué)院的一堂課上,教授在教學(xué)大綱上直截了當(dāng)?shù)貙懙馈?/p>
‘問(wèn):使用ChatGPT或其他生成文本或內(nèi)容的AI工具是否視為作弊?答:是的?!?/p>
即使在不需要寫論文的課上,教授也提出了ChatGPT警告。
一份宏觀經(jīng)濟(jì)學(xué)教學(xué)大綱這樣寫道:‘我們刻意把時(shí)間限制得很緊,所以你不可能有時(shí)間查閱書籍、ChatGPT或其他資源,同時(shí)還能完成測(cè)試。在測(cè)驗(yàn)的24小時(shí)中,學(xué)生不得與任何人(包括 ChatGPT)交流?!?/p>
當(dāng)然,眾所周知ChatGPT面對(duì)數(shù)學(xué)題時(shí)常犯蠢,因此數(shù)學(xué)系的教授們倒是免了這一層擔(dān)憂。

紐約大學(xué)文理學(xué)院副院長(zhǎng)Jenni Quilter表示,現(xiàn)在教授們都在擔(dān)心學(xué)生會(huì)使用ChatGPT作弊。
據(jù)Quilter介紹,早在12月,就有學(xué)生使用ChatGPT的事件發(fā)生。
‘在未經(jīng)允許的情況下使用ChatGPT,后果等同于任何學(xué)術(shù)剽竊事件,處理結(jié)果包括重做作業(yè)、扣分、寫檢查?!?/p>
紐約大學(xué)古典學(xué)教授David Levene表示,他正在密切關(guān)注所有與ChatGTP相關(guān)的剽竊行為。
‘我已經(jīng)明確警告學(xué)生,除非有我的許可,否則無(wú)論以任何形式使用ChatGPT,都是作弊?!?/p>
‘我還跟他們說(shuō),我已經(jīng)試過(guò)用ChatGPT寫論文,它的最好成績(jī)是B-,最差是F。所以如果他們想得到比B-更高的成績(jī),就應(yīng)該像避瘟神一樣避開(kāi)它!’

紐約大學(xué)教授們的擔(dān)心并非杞人憂天。
根據(jù)斯坦福日?qǐng)?bào)進(jìn)行的一項(xiàng)調(diào)查,17%的學(xué)生曾使用ChatGPT來(lái)完成秋季學(xué)期的作業(yè)和考試。
不過(guò),比起Study.com的89%和48%,斯坦福這邊的比例顯然要低了很多。

AI會(huì)讓學(xué)生‘大腦萎縮’?
很多教授在擔(dān)心,AI聊天機(jī)器人會(huì)對(duì)教育產(chǎn)生災(zāi)難性影響。
‘僅僅因?yàn)橛幸慌_(tái)機(jī)器可以幫助我舉起啞鈴,并不意味著我的肌肉就會(huì)發(fā)達(dá),’西華盛頓大學(xué)歷史學(xué)教授Johann Neem接受《華爾街日?qǐng)?bào)》采訪時(shí)說(shuō)。
‘同樣地,有一臺(tái)可以寫論文的機(jī)器并不意味著我的思維就會(huì)發(fā)展?!?/p>
但其他教授認(rèn)為,應(yīng)該利用ChatGPT強(qiáng)大的技術(shù),讓學(xué)生為新的現(xiàn)實(shí)做好準(zhǔn)備。
韋伯州立大學(xué)教授Alex Lawrence表示:‘我希望它能給你足夠的啟發(fā)和教育,讓你想要學(xué)習(xí)如何利用這些工具,而不僅僅是學(xué)會(huì)更好地作弊。’
而賓夕法尼亞大學(xué)的Ethan Mollick說(shuō),他希望自己文學(xué)系的學(xué)生能夠利用技術(shù)‘寫得更多’和‘寫得更好’。
‘ChatGPT是寫作的力量倍增器,’Mollick補(bǔ)充道?!蚁M麄兪褂盟?。’
谷歌可以,ChatGPT就不行?
雖然引發(fā)了學(xué)術(shù)誠(chéng)信的風(fēng)暴,但許多專家認(rèn)為,這項(xiàng)技術(shù)只是一個(gè)新學(xué)習(xí)時(shí)代的開(kāi)始——AI寫作工具是學(xué)習(xí)的未來(lái)。
迪肯大學(xué)數(shù)字研究中心主任Phillip Dawson表示:‘我認(rèn)為這是人類能力提升的一個(gè)重大時(shí)刻?!?/p>
‘在我看來(lái),五年后畢業(yè)的學(xué)生比現(xiàn)在的學(xué)生能做的事情要多得多,因?yàn)樗麄冇羞@些AI工具?!?/p>
他把寫論文的學(xué)生與駕駛現(xiàn)代飛機(jī)的飛行員做了類比。‘是的,你必須學(xué)會(huì)使用所有的儀器,你需要知道這些儀器是如何工作的,但你也需要在儀器出現(xiàn)故障時(shí)駕駛飛機(jī)。’
阿德萊德大學(xué)計(jì)算機(jī)與數(shù)學(xué)學(xué)院講師Cheryl Pope博士表示,ChatGPT非常適合編寫初稿,但無(wú)法取代人工編輯和事實(shí)核查的需求。‘你需要理解這個(gè)話題,才能評(píng)論它產(chǎn)生的答案?!?/p>
ChatGPT能讓你走出幾步,但不能讓你獲得高分。但它的可能性讓人興奮,能讓我們走向更高的標(biāo)準(zhǔn)。就像我們對(duì)兩個(gè)小時(shí)的筆試和兩個(gè)月寫出的論文有不同的期待。
還有一個(gè)原因是,獲得幫助需要大量的社會(huì)資源。
問(wèn)別人一個(gè)蠢問(wèn)題,會(huì)讓人很羞愧,但是面對(duì)AI,我們永遠(yuǎn)不會(huì)有這樣的擔(dān)心。

斯坦福最強(qiáng)檢測(cè)器:DetectGPT
有攻就有防,能為老師們解憂的AI作弊檢測(cè)工具,也火速誕生了。
最近,來(lái)自斯坦福大學(xué)的研究團(tuán)隊(duì)就提出了一種用于檢測(cè)AI生成文本的全新方法——DetectGPT。
概括來(lái)說(shuō):
DetectGPT通過(guò)利用模型的對(duì)數(shù)概率函數(shù)的局部曲率(由LLM生成的往往占據(jù)負(fù)曲率區(qū)域),來(lái)檢測(cè)文本是否出自預(yù)訓(xùn)練語(yǔ)言模型。
DetectGPT只使用興趣模型計(jì)算出的對(duì)數(shù)概率和來(lái)自另一個(gè)通用預(yù)訓(xùn)練語(yǔ)言模型(如T5)的隨機(jī)擾動(dòng),無(wú)需訓(xùn)練單獨(dú)的分類器,收集真實(shí)或生成的段落數(shù)據(jù)集,或給生成文本加水印。
DetectGPT的檢測(cè)效果比現(xiàn)有的零樣本(zero-shot)方法更好,特別是將20B參數(shù)GPT-NeoX生成的假新聞的檢測(cè)率從0.81 AUROC提高到了0.95 AUROC。

論文地址:https://arxiv.org/abs/2301.11305
我們可以觀察到,機(jī)器生成的文本(左)有位于對(duì)數(shù)負(fù)曲率區(qū)域的趨勢(shì),而附近的樣本平均具有較低的模型對(duì)數(shù)概率。
相比之下,人類的文本(右)則不會(huì)明顯占據(jù)負(fù)對(duì)數(shù)概率曲率區(qū)域。

接下來(lái),想要確定一段文字是否由一個(gè)特定的LLM產(chǎn)生,如GPT-3。
首先需要DetectGPT使用一個(gè)通用的預(yù)訓(xùn)練模型(如T5)對(duì)該段落產(chǎn)生輕微的擾動(dòng)。然后再讓DetectGPT比較原始樣本與每個(gè)擾動(dòng)樣本的對(duì)數(shù)概率。
如果平均對(duì)數(shù)比很高,則該樣本很可能來(lái)自源模型。

具體的測(cè)試結(jié)果如下:

此外,經(jīng)過(guò)真實(shí)和生成文本的大型數(shù)據(jù)集訓(xùn)練的有監(jiān)督檢測(cè)模型,在分布式文本上的表現(xiàn)與DetectGPT一樣,甚至更好。(上)
然而,對(duì)于新的領(lǐng)域,如PubMed醫(yī)學(xué)文本和來(lái)自WMT16的德國(guó)新聞數(shù)據(jù),zero-shot是開(kāi)箱即用的,而有監(jiān)督的檢測(cè)方法則會(huì)由于過(guò)度的分布偏移而垮掉。(下)

不過(guò),DetectGPT自身也存在著明顯的限制。
首先,DetectGPT基于的是白盒假設(shè),即我們可以評(píng)估有關(guān)模型的對(duì)數(shù)概率。對(duì)于那些API背后的模型(如GPT-3),評(píng)估概率還需要花錢。
其次,DetectGPT需要獲得一個(gè)合理的擾動(dòng)函數(shù)。雖然在這項(xiàng)工作中,作者使用了現(xiàn)成的掩碼模型,如T5和mT5(用于非英語(yǔ)語(yǔ)言),但如果現(xiàn)有的模型不能很好地對(duì)空間進(jìn)行表征,那么DetectGPT在一些領(lǐng)域的性能就可能會(huì)降低。
最后,DetectGPT比其他檢測(cè)方法的計(jì)算量更大,因?yàn)樗枰獙?duì)每個(gè)候選段落的擾動(dòng)集進(jìn)行抽樣和評(píng)分,而不是僅僅對(duì)候選段落進(jìn)行評(píng)分。

雖然DetectGPT現(xiàn)階段還沒(méi)開(kāi)放,但問(wèn)題不大。
畢竟,市面上還有很多工具可以直接使用。
尤其是GPTZero,不僅免費(fèi),而且效果拔群。
小編親測(cè)發(fā)現(xiàn),最新版本的GPTZero甚至可以明確地指出一段文字中,哪段是AI生成的,哪段是人類寫的。

原理上,GPTZero主要靠‘困惑度’(文本的隨機(jī)性)和‘突發(fā)性’(困惑度的變化)作為指標(biāo)進(jìn)行判斷。
在每次測(cè)試中,GPTZero還會(huì)挑選出困惑度最高的那個(gè)句子,也就是AI寫出的最像人話的句子。
