（圖片來源：https://multilingual.com/the-false-promise-of-generative-ai-detectors/）

在ChatGPT和其他生成式人工智能（AI）應(yīng)用程序公開亮相后的幾個(gè)月里，許多應(yīng)用程序也開始嶄露頭角，它們彼此間有所差異但又密切相關(guān)：比如GPTZero和Writer.com的AI內(nèi)容檢測器（AI Content Detector）等生成式AI檢測器。

這些工具據(jù)稱能夠檢測及識(shí)別大型語言模型（LLM）所生成的文本。但這些工具的實(shí)際效果如何？事實(shí)證明，這些人工智能檢測工具本身就頗有偏見，可能并不是檢測和淘汰人工智能所生成內(nèi)容的良方。

斯坦福大學(xué)計(jì)算機(jī)科學(xué)系的一組研究人員最近發(fā)表了一項(xiàng)研究，他們發(fā)現(xiàn)“GPT檢測器對(duì)非英語母語者存在驚人的偏見”。

研究人員使用七種不同的當(dāng)紅生成式人工智能檢測工具，對(duì)91篇由中文母語者撰寫的英語論文進(jìn)行檢測，發(fā)現(xiàn)平均誤報(bào)率為61%，這意味著這些工具誤將論文中的內(nèi)容標(biāo)記為由人工智能生成。其中一種檢測工具甚至將非母語人士所寫的文章中97.8%的部分標(biāo)記為由人工智能生成。

研究人員寫道：“許多教師認(rèn)為GPT檢測是阻止‘21世紀(jì)作弊形式’的關(guān)鍵對(duì)策，但大多數(shù)GPT檢測器并不能一眼識(shí)別。許多GPT探測器的設(shè)計(jì)在本質(zhì)上歧視非母語作者，尤其是在語言多樣性和用詞選擇方面受到限制的作者。”

研究人員認(rèn)為，由于生成式人工智能探測器通常會(huì)衡量復(fù)雜程度（即文本結(jié)構(gòu)和詞匯的“隨機(jī)性”），以確定文本是否出自真人之手，因此，對(duì)于非母語人士常寫的更簡單、語言上不那么復(fù)雜的句子抱有偏見。很明顯，在大眾認(rèn)為這些工具可靠之前，我們必須開發(fā)更復(fù)雜的度量方法。

教育工作者和人事經(jīng)理經(jīng)常使用這些工具來標(biāo)記人工智能生成的內(nèi)容。但事實(shí)是，這些工具并不能非常可靠地衡量已知文本是否確由人工智能生成，這可能使得在高風(fēng)險(xiǎn)情況下使用這些工具與在相同情況下使用ChatGPT等工具同樣地不負(fù)責(zé)任。

一些人工智能探測器認(rèn)識(shí)到了這一點(diǎn)，例如ZeroGPT包含了一項(xiàng)免責(zé)聲明，“由人工智能生成的內(nèi)容其性質(zhì)在不斷變化。所以，不應(yīng)該用這些結(jié)果懲罰學(xué)生。雖然我們?yōu)镚PTZero建立了更強(qiáng)有力的模型，但我們建議教育工作者將這些結(jié)果作為學(xué)生作業(yè)整體評(píng)估的眾多結(jié)論之一?！钡硪恍┤斯ぶ悄芴綔y器則沒有提供此類免責(zé)聲明，使得在高風(fēng)險(xiǎn)環(huán)境中使用這些工具成為一種初衷很好但相當(dāng)魯莽的嘗試。

（原文網(wǎng)址來源：https://multilingual.com/the-false-promise-of-generative-ai-detectors/）

特別說明：本文內(nèi)容選自Multilingual Magazine官網(wǎng)，僅供學(xué)習(xí)交流使用，如有侵權(quán)請(qǐng)后臺(tái)聯(lián)系小編刪除。

- END -

摘譯編輯：唐蕊

推文編輯：楊亞江