近日，一篇名為《遞歸的詛咒：在生成數(shù)據(jù)上訓(xùn)練會導(dǎo)致模型遺忘》的研究論文發(fā)現(xiàn)，使用模型生成的內(nèi)容進(jìn)行訓(xùn)練會導(dǎo)致生成的模型出現(xiàn)不可逆轉(zhuǎn)的缺陷，原始內(nèi)容分布的尾部會消失。

研究人員將這種現(xiàn)象稱為“模型崩潰”，并

表明它可能發(fā)生在變分自編碼器、高斯混合模型和大型語言模型（LLM）中。他們說：“我們建立了對這種現(xiàn)象的理論直覺，并展示了它在所有學(xué)習(xí)的生成模型中的普遍性?！?br/>

研究人員指出，如果我們想要維持從網(wǎng)絡(luò)上抓取的大規(guī)模數(shù)據(jù)訓(xùn)練所帶來的好處，就必須認(rèn)真對待模型崩潰的問題?！笆聦嵣希彼麄冋f，“關(guān)于真實人類與系統(tǒng)交互的數(shù)據(jù)收集的價值將隨著LLM在網(wǎng)絡(luò)上爬取的數(shù)據(jù)中生成內(nèi)容的增加而越來越高?！?/p>

自從OpenAI的ChatGPT和Google的Bard等大型語言模型（LLM）近期公開發(fā)布以來，固有的假設(shè)一直是無限制的進(jìn)步。

但是，在LLM等系統(tǒng)中發(fā)現(xiàn)了內(nèi)置的模型崩潰，否定了這一假設(shè)，并讓專家們談?wù)撈鹆诉@些系統(tǒng)本身可能無法避免的退化。

OpenAI的ChatGPT等LLM是否存在致命缺陷？

目前的LLM，包括ChatGPT和其他大型語言模型，都依賴于公開可訪問的互聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行訓(xùn)練。這些數(shù)據(jù)來自于日常個人消費、寫作、推特、評論和評價信息，讓我們對其來源有所了解。

有兩種公認(rèn)的方法可以提高LLM模型的效率。第一種是增加用于訓(xùn)練的數(shù)據(jù)量，而第二種是增加模型考慮的參數(shù)數(shù)量。參數(shù)代表與模型學(xué)習(xí)主題相關(guān)的唯一數(shù)據(jù)點或特征。傳統(tǒng)上，模型使用各種形式的人類生成數(shù)據(jù)進(jìn)行工作，包括音頻、視頻、圖像和文本。

然而，隨著機(jī)器生成內(nèi)容在網(wǎng)絡(luò)上越來越多地出現(xiàn)，這些特征正在逐漸消失。機(jī)器生成內(nèi)容往往缺乏真實性和多樣性，而且可能存在重復(fù)、錯誤和偏見。

當(dāng)這些內(nèi)容被用于訓(xùn)練LLM時，就會導(dǎo)致模型的分布發(fā)生變化，從而忽略或遺忘原始數(shù)據(jù)中的重要信息。這就是模型崩潰的本質(zhì)，它會影響模型的性能、可靠性和安全性。

研究人員通過實驗表明，模型崩潰是一種不可逆轉(zhuǎn)的過程，即使在停止使用生成數(shù)據(jù)后，模型也無法恢復(fù)到原始狀態(tài)。他們還發(fā)現(xiàn)，模型崩潰會導(dǎo)致生成內(nèi)容的質(zhì)量下降，出現(xiàn)語法錯誤、邏輯錯誤和不一致性。

此外，他們還指出，模型崩潰可能會增加對抗攻擊的風(fēng)險，因為攻擊者可以利用生成數(shù)據(jù)來干擾或欺騙模型。

如何防止或減輕模型崩潰？

研究人員提出了一些可能的方法來防止或減輕模型崩潰的影響，包括：

- 使用真實數(shù)據(jù)進(jìn)行訓(xùn)練和驗證，避免使用生成數(shù)據(jù)

- 使用數(shù)據(jù)質(zhì)量檢測和過濾技術(shù)，去除重復(fù)、錯誤和偏見的內(nèi)容

- 使用多樣性增強(qiáng)技術(shù)，提高生成內(nèi)容的變化和豐富度

- 使用魯棒性增強(qiáng)技術(shù)，提高模型對噪聲和擾動的抵抗能力

- 使用可解釋性和可信度評估技術(shù)，提高模型的透明度和可審計性

總之，研究人員警告說，模型崩潰是一種嚴(yán)重的現(xiàn)象，需要引起LLM開發(fā)者和使用者的注意。他們說：“我們認(rèn)為，在未來幾年內(nèi)，這一問題將成為機(jī)器學(xué)習(xí)社區(qū)面臨的主要挑戰(zhàn)之一。”

#AI #LLM #ChatGPT #Bard #模型崩潰 #生成式AI