簡(jiǎn)而言之: 我們需要更好的方法來評(píng)估文生圖模型中的偏見

介紹

文本到圖像 (TTI) 生成 現(xiàn)在非常流行，成千上萬的 TTI 模型被上傳到 Hugging Face Hub。每種模態(tài)都可能受到不同來源的偏見影響，這就引出了一個(gè)問題: 我們?nèi)绾伟l(fā)現(xiàn)這些模型中的偏見？在當(dāng)前的博客文章中，我們分享了我們對(duì) TTI 系統(tǒng)中偏見來源的看法以及解決它們的工具和潛在解決方案，展示了我們自己的項(xiàng)目和來自更廣泛社區(qū)的項(xiàng)目。

圖像生成中編碼的價(jià)值觀和偏見

偏見和價(jià)值 之間有著非常密切的關(guān)系，特別是當(dāng)這些偏見和價(jià)值嵌入到用于訓(xùn)練和查詢給定 文本到圖像模型 的語言或圖像中時(shí); 這種現(xiàn)象嚴(yán)重影響了我們?cè)谏蓤D像中看到的輸出。盡管這種關(guān)系在更廣泛的人工智能研究領(lǐng)域中是眾所周知的，并且科學(xué)家們正在進(jìn)行大量努力來解決它，但試圖在一個(gè)模型中表示一個(gè)給定人群價(jià)值觀的演變性質(zhì)的復(fù)雜性仍然存在。這給揭示和充分解決這一問題帶來了持久的道德挑戰(zhàn)。

例如，如果訓(xùn)練數(shù)據(jù)主要是英文，它們可能傳達(dá)相當(dāng)西方化的價(jià)值觀。結(jié)果我們得到了對(duì)不同或遙遠(yuǎn)文化的刻板印象。當(dāng)我們比較 ERNIE ViLG (左) 和 Stable Diffusion v 2.1 (右) 對(duì)同一提示“北京的房子”的結(jié)果時(shí)，這種現(xiàn)象顯得非常明顯:

偏見的來源

近年來，人們?cè)趩我荒B(tài)的 AI 系統(tǒng)中進(jìn)行了大量關(guān)于偏見檢測(cè)的重要研究，包括自然語言處理 (Abid et al., 2021) 和計(jì)算機(jī)視覺 (Buolamwini and Gebru, 2018)。由于機(jī)器學(xué)習(xí)模型是由人類構(gòu)建的，因此所有機(jī)器學(xué)習(xí)模型 (實(shí)際上，所有技術(shù)) 都存在偏見。這可能表現(xiàn)為圖像中某些視覺特征的過度和不足 (例如，所有辦公室工作人員都系著領(lǐng)帶)，或者文化和地理刻板印象的存在 (例如，所有新娘都穿著白色禮服和面紗，而不是更具代表性的世界各地的新娘，如穿紅色紗麗的新娘)。鑒于 AI 系統(tǒng)被部署在社會(huì)技術(shù)背景下，并且在不同行業(yè)和工具中廣泛部署 (例如 Firefly，Shutterstock)，它們特別容易放大現(xiàn)有的社會(huì)偏見和不平等。我們旨在提供一個(gè)非詳盡的偏見來源列表:

訓(xùn)練數(shù)據(jù)中的偏見:?一些流行的多模態(tài)數(shù)據(jù)集，如文本到圖像的 LAION-5B，圖像字幕的 MS-COCO 和視覺問答的 VQA v2.0，已經(jīng)被發(fā)現(xiàn)包含大量的偏見和有害關(guān)聯(lián) (Zhao et al 2017，Prabhu and Birhane, 2021，Hirota et al, 2022)，這些偏見可能會(huì)滲透到在這些數(shù)據(jù)集上訓(xùn)練的模型中。例如，來自 Hugging Face Stable Bias project 的初步結(jié)果顯示，圖像生成缺乏多樣性，并且延續(xù)了文化和身份群體的常見刻板印象。比較 Dall-E 2 生成的 CEO (右) 和經(jīng)理 (左)，我們可以看到兩者都缺乏多樣性:

預(yù)訓(xùn)練數(shù)據(jù)過濾中的偏見:?在將數(shù)據(jù)集用于訓(xùn)練模型之前，通常會(huì)對(duì)其進(jìn)行某種形式的過濾; 這會(huì)引入不同的偏見。例如，在他們的 博客文章 中，Dall-E 2 的創(chuàng)建者發(fā)現(xiàn)過濾訓(xùn)練數(shù)據(jù)實(shí)際上會(huì)放大偏見 - 他們假設(shè)這可能是由于現(xiàn)有數(shù)據(jù)集偏向于在更性感化的背景下呈現(xiàn)女性，或者由于他們使用的過濾方法本身具有偏見。

推理中的偏見:?用于指導(dǎo) Stable Diffusion 和 Dall-E 2 等文本到圖像模型的訓(xùn)練和推理的 CLIP 模型 有許多 記錄詳細(xì)的偏見，涉及年齡、性別和種族或族裔，例如將被標(biāo)記為?白人?、?中年?和?男性?的圖像視為默認(rèn)。這可能會(huì)影響使用它進(jìn)行提示編碼的模型的生成，例如通過解釋未指定或未明確指定的性別和身份群體來表示白人和男性。

模型潛在空間中的偏見:?已經(jīng)進(jìn)行了一些 初步工作，探索模型的潛在空間并沿著不同軸 (如性別) 引導(dǎo)圖像生成，使生成更具代表性 (參見下面的圖像)。然而，還需要更多工作來更好地理解不同類型擴(kuò)散模型的潛在空間結(jié)構(gòu)以及影響生成圖像中反映偏見的因素。

后期過濾中的偏見:?許多圖像生成模型都內(nèi)置了旨在標(biāo)記問題內(nèi)容的安全過濾器。然而，這些過濾器的工作程度以及它們對(duì)不同類型內(nèi)容的魯棒性有待確定 - 例如，對(duì) Stable Diffusion 安全過濾器進(jìn)行紅隊(duì)對(duì)抗測(cè)試 表明，它主要識(shí)別性內(nèi)容，并未能標(biāo)記其他類型的暴力、血腥或令人不安的內(nèi)容。

檢測(cè)偏見

我們上面描述的大多數(shù)問題都不能用單一的解決方案解決 - 實(shí)際上，偏見是一個(gè)復(fù)雜的話題，不能僅靠技術(shù)來有意義地解決。偏見與它所存在的更廣泛的社會(huì)、文化和歷史背景緊密相連。因此，解決 AI 系統(tǒng)中的偏見不僅是一個(gè)技術(shù)挑戰(zhàn)，而且是一個(gè)需要多學(xué)科關(guān)注的社會(huì)技術(shù)挑戰(zhàn)。其中包括工具、紅隊(duì)對(duì)抗測(cè)試和評(píng)估在內(nèi)的一系列方法可以幫助我們獲得重要的見解，這些見解可以為模型創(chuàng)建者和下游用戶提供有關(guān) TTI 和其他多模態(tài)模型中包含的偏見的信息。

我們?cè)谙旅娼榻B一些這些方法:

探索偏見的工具:?作為 Stable Bias 項(xiàng)目 的一部分，我們創(chuàng)建了一系列工具來探索和比較不同文本到圖像模型中偏見的視覺表現(xiàn)。例如，Average Diffusion Faces 工具讓你可以比較不同職業(yè)和不同模型的平均表示 - 如下面所示，對(duì)于 ‘janitor’，分別為 Stable Diffusion v1.4、v2 和 Dall-E 2:

其他工具，如 Face Clustering tool 和 Colorfulness Profession Explorer 工具，允許用戶探索數(shù)據(jù)中的模式并識(shí)別相似性和刻板印象，而無需指定標(biāo)簽或身份特征。事實(shí)上，重要的是要記住，生成的個(gè)人圖像并不是真實(shí)的人，而是人工創(chuàng)造的，所以不要把它們當(dāng)作真實(shí)的人來對(duì)待。根據(jù)上下文和用例，這些工具可以用于講故事和審計(jì)。

紅隊(duì)對(duì)抗測(cè)試:?“紅隊(duì)對(duì)抗測(cè)試” 包括通過提示和分析結(jié)果來對(duì) AI 模型進(jìn)行潛在漏洞、偏見和弱點(diǎn)的壓力測(cè)試。雖然它已經(jīng)在實(shí)踐中用于評(píng)估語言模型 (包括即將到來的 DEFCON 上的 Generative AI Red Teaming 活動(dòng)，我們也參加了)，但目前還沒有建立起系統(tǒng)化的紅隊(duì)對(duì)抗測(cè)試 AI 模型的方法，它仍然相對(duì)臨時(shí)性。事實(shí)上，AI 模型中有這么多潛在的故障模式和偏見，很難預(yù)見它們?nèi)?，而生成模型?隨機(jī)性質(zhì) 使得難以復(fù)現(xiàn)故障案例。紅隊(duì)對(duì)抗測(cè)試提供了關(guān)于模型局限性的可行性見解，并可用于添加防護(hù)欄和記錄模型局限性。目前沒有紅隊(duì)對(duì)抗測(cè)試基準(zhǔn)或排行榜，突顯了需要更多開源紅隊(duì)對(duì)抗測(cè)試資源的工作。Anthropic 的紅隊(duì)對(duì)抗測(cè)試數(shù)據(jù)集 是唯一一個(gè)開源的紅隊(duì)對(duì)抗測(cè)試 prompts，但僅限于英語自然語言文本。

評(píng)估和記錄偏見:?在 Hugging Face，我們是 模型卡片 和其他形式的文檔 (如 數(shù)據(jù)表、README 等) 的大力支持者。在文本到圖像 (和其他多模態(tài)) 模型的情況下，使用探索工具和紅隊(duì)對(duì)抗測(cè)試等上述方法進(jìn)行的探索結(jié)果可以與模型檢查點(diǎn)和權(quán)重一起共享。其中一個(gè)問題是，我們目前沒有用于測(cè)量多模態(tài)模型 (特別是文本到圖像生成系統(tǒng)) 中偏見的標(biāo)準(zhǔn)基準(zhǔn)或數(shù)據(jù)集，但隨著社區(qū)在這個(gè)方向上進(jìn)行更多 工作，不同的偏見指標(biāo)可以在模型文檔中并行報(bào)告。

價(jià)值觀和偏見

上面列出的所有方法都是檢測(cè)和理解圖像生成模型中嵌入的偏見的一部分。但我們?nèi)绾畏e極應(yīng)對(duì)它們呢？

一種方法是開發(fā)新的模型，代表我們希望它成為社會(huì)性模型。這意味著創(chuàng)建不僅模仿我們數(shù)據(jù)中的模式，而且積極促進(jìn)更公平、更公正觀點(diǎn)的 AI 系統(tǒng)。然而，這種方法提出了一個(gè)關(guān)鍵問題: 我們將誰的價(jià)值觀編程到這些模型中？?jī)r(jià)值觀在不同文化、社會(huì)和個(gè)人之間有所不同，使得在 AI 模型中定義一個(gè)“理想”的社會(huì)應(yīng)該是什么樣子成為一項(xiàng)復(fù)雜的任務(wù)。這個(gè)問題確實(shí)復(fù)雜且多面。如果我們避免在我們的 AI 模型中再現(xiàn)現(xiàn)有的社會(huì)偏見，我們就面臨著定義一個(gè)“理想”的社會(huì)表現(xiàn)的挑戰(zhàn)。社會(huì)并不是一個(gè)靜態(tài)的實(shí)體，而是一個(gè)動(dòng)態(tài)且不斷變化的構(gòu)造。那么，AI 模型是否應(yīng)該隨著時(shí)間的推移適應(yīng)社會(huì)規(guī)范和價(jià)值觀的變化呢？如果是這樣，我們?nèi)绾未_保這些轉(zhuǎn)變真正代表了社會(huì)中所有群體，特別是那些經(jīng)常被忽視的群體呢？

此外，正如我們?cè)?上一期簡(jiǎn)報(bào) 中提到的，開發(fā)機(jī)器學(xué)習(xí)系統(tǒng)并沒有一種單一的方法，開發(fā)和部署過程中的任何步驟都可能提供解決偏見的機(jī)會(huì)，從一開始誰被包括在內(nèi)，到定義任務(wù)，到策劃數(shù)據(jù)集，訓(xùn)練模型等。這也適用于多模態(tài)模型以及它們最終在社會(huì)中部署或生產(chǎn)化的方式，因?yàn)槎嗄B(tài)模型中偏見的后果將取決于它們的下游使用。例如，如果一個(gè)模型被用于人機(jī)交互環(huán)境中的圖形設(shè)計(jì) (如 RunwayML 創(chuàng)建的那些)，用戶有多次機(jī)會(huì)檢測(cè)和糾正偏見，例如通過更改提示或生成選項(xiàng)。然而，如果一個(gè)模型被用作幫助法醫(yī)藝術(shù)家創(chuàng)建潛在嫌疑人警察素描的 工具 (見下圖)，那么風(fēng)險(xiǎn)就更高了，因?yàn)檫@可能在高風(fēng)險(xiǎn)環(huán)境中加強(qiáng)刻板印象和種族偏見。

其他更新

我們也在繼續(xù)在道德和社會(huì)的其他方面進(jìn)行工作，包括:

• 內(nèi)容審核:

• 我們對(duì)我們的 內(nèi)容政策 進(jìn)行了重大更新。距離我們上次更新已經(jīng)快一年了，自那時(shí)起 Hugging Face 社區(qū)增長(zhǎng)迅速，所以我們覺得是時(shí)候了。在這次更新中，我們強(qiáng)調(diào)?同意?是 Hugging Face 的核心價(jià)值之一。要了解更多關(guān)于我們的思考過程，請(qǐng)查看 公告博客?。

• AI 問責(zé)政策:

• 我們提交了對(duì) NTIA 關(guān)于 AI 問責(zé)政策 的評(píng)論請(qǐng)求的回應(yīng)，在其中我們強(qiáng)調(diào)了文檔和透明度機(jī)制的重要性，以及利用開放協(xié)作和促進(jìn)外部利益相關(guān)者獲取的必要性。你可以在我們的 博客文章 中找到我們回應(yīng)的摘要和完整文檔的鏈接！

結(jié)語

從上面的討論中你可以看出，檢測(cè)和應(yīng)對(duì)多模態(tài)模型 (如文本到圖像模型) 中的偏見和價(jià)值觀仍然是一個(gè)懸而未決的問題。除了上面提到的工作，我們還在與社區(qū)廣泛接觸這些問題 - 我們最近在 FAccT 會(huì)議上共同主持了一個(gè)關(guān)于這個(gè)主題的 CRAFT 會(huì)議，并繼續(xù)在這個(gè)主題上進(jìn)行數(shù)據(jù)和模型為中心的研究。我們特別興奮地探索一個(gè)更深入地探究文本到圖像模型中所蘊(yùn)含的 價(jià)值 及其所代表的方向 (敬請(qǐng)期待！)。

英文原文:?https://hf.co/blog/ethics-soc-4

作者: Sasha Luccioni, Giada Pistilli, Nazneen Rajani, Elizabeth Allendorf, Irene Solaiman, Nathan Lambert, Margaret Mitchell

譯者: innovation64

排版/審校: zhongdongy (阿東)