內(nèi)容審核一直被視為互聯(lián)網(wǎng)大廠中的臟活和累活。就拿審文章來說，審核員們一天要審約2000篇文章，7×24h工作制，經(jīng)常過著晝夜顛倒的日子，更要命的是，他們每天都要接收各種低俗污穢內(nèi)容，久而久之，心理也承受著相當(dāng)大的壓力。沒有點體力和強(qiáng)大的心臟，這行還真干不了。

別看內(nèi)容審核員承擔(dān)著繁重的“內(nèi)容清潔”的工作，但由于簡單重復(fù)等工作特性，他們往往是大廠的“邊緣人”，而且薪酬也較其他崗位低很多。AI火了之后，不少人認(rèn)為，要想解救被困在大廠精算系統(tǒng)里的審核員，還得看人工智能。沒想到，這一天這么快就到來了。

8月15日，OpenAI在官網(wǎng)稱，其開發(fā)了一種使用GPT-4進(jìn)行內(nèi)容審核的解決方案，從而實現(xiàn)更一致的標(biāo)記、更快的策略優(yōu)化反饋循環(huán)，以及減少人工審核人員的參與。

使用 GPT-4 構(gòu)建內(nèi)容審核系統(tǒng)，可以將內(nèi)容審核工作從六個月縮短到幾小時（這里的六個月其實包括了審核人員培訓(xùn)的時間），具體的迭代過程是：

1. 內(nèi)容審核政策指南編寫完成后，政策專家可以通過識別少量的示例并根據(jù)政策為其分配標(biāo)簽來創(chuàng)建一個黃金數(shù)據(jù)集。

2. GPT-4閱讀內(nèi)容政策并為相同的數(shù)據(jù)集分配標(biāo)簽，而不需要答案。

3. 通過檢查GPT-4的判斷與人類的判斷之間的差異，政策專家可以要求GPT-4提出其標(biāo)簽背后的推理，分析政策定義中的歧義，解決混淆并相應(yīng)地提供進(jìn)一步的澄清。我們可以重復(fù)步驟2和3，直到對政策質(zhì)量感到滿意。

4. 通過迭代這個過程，可以把內(nèi)容審核政策轉(zhuǎn)化為分類器，進(jìn)而實現(xiàn)審核系統(tǒng)的部署和內(nèi)容管理。如果有必要的話，甚至可以使用GPT-4的結(jié)果來微調(diào)小模型。

官方給出了一個審核政策的例子，K Illicit Behaviour Taxonomy（K分類法）：在未干預(yù)的情況下，GPT-4 默認(rèn)給出了 K0 的分類：

在更新審核政策并重新要求分類后，GPT-4 給出了和人類審核一樣的 K3 分類：

通過這樣的迭代過程，內(nèi)容審核系統(tǒng)可以很快地適應(yīng)新的內(nèi)容審核策略，進(jìn)而與內(nèi)容審核要求相一致。

不過，從測試結(jié)果來看，強(qiáng)如 GPT-4，在內(nèi)容審核方面也暫時無法超越經(jīng)驗豐富的人工審核的準(zhǔn)確度（不過在一些場景下，可以超過新手的表現(xiàn)）：

用人工智能進(jìn)行內(nèi)容審核，這個簡單而強(qiáng)大的想法為傳統(tǒng)的內(nèi)容審核方法提供了一些改進(jìn)：

首先是更加一致的標(biāo)注。由于內(nèi)容政策在不斷發(fā)展，條例變得越來越多。就像有一千個讀者就有一千個哈姆雷特那樣，人們對這些繁雜條例的理解也會有偏差。同時，因為人類還需要一定的時間來熟悉新的政策變化，這也會讓內(nèi)容的標(biāo)注不一致。相比之下，像GPT-4這樣的LLM對內(nèi)容措辭的細(xì)微差異非常敏感，可以做到實時更新，為用戶提供一致的內(nèi)容體驗。

第二是更快的反饋循環(huán)。政策更新的周期是一個非常漫長的過程。從制定新政策、標(biāo)記到收集人工反饋，傳統(tǒng)的人工審核要完成這一流程可能會花費(fèi)數(shù)周、甚至數(shù)月。在內(nèi)容政策更新比較頻繁的時候，人工審核可能還沒有完成上次的更新的內(nèi)容，就得面對新的更新了......

但GPT-4 可以將這一過程縮短到幾個小時。不僅大大減小了人工審核的滯后性，還能更快地應(yīng)對新的危害漏洞。

最后一個好處是減輕人類的心理負(fù)擔(dān)。持續(xù)接觸有害或冒犯性的內(nèi)容會導(dǎo)致人類審核員產(chǎn)生情感麻木以及心理壓力。內(nèi)容審核員面臨著極高的各類精神疾病風(fēng)險，同時三班倒工作時間和低微的薪水與沒有上升空間的職業(yè)道路，讓擔(dān)任內(nèi)容審核的人類自嘲自己和「機(jī)器」一樣。如果讓真正的機(jī)器來擔(dān)任這類工作，將有利于相關(guān)人員的福祉，畢竟我們應(yīng)該不太用擔(dān)心，大量接觸不良信息會讓GPT模型心理崩潰。

GPT-4的標(biāo)記質(zhì)量類似于經(jīng)過輕度訓(xùn)練的人工版主（B 組）。不過，兩者都被經(jīng)驗豐富、訓(xùn)練有素的人類主持人（A 組）超越了

跟Constitutional AI（依賴于模型自己判斷是否安全）相比，OpenAI的這個方法可以讓基于平臺的特定內(nèi)容政策迭代更快、更省力。

OpenAI表示鼓勵安全從業(yè)者都嘗試這個過程進(jìn)行審核，只要有OpenAI的API訪問權(quán)限就行。OpenAI還在嘗試通過結(jié)合思維鏈推理或者自我批評，來提高GPT-4的預(yù)測質(zhì)量。另外他們也在嘗試檢測未知風(fēng)險的方法，以及利用模型來識別潛在的有害內(nèi)容，并對其進(jìn)行高級的描述（也是受ConstitutionalAI）的啟發(fā)。這些發(fā)現(xiàn)也會為全新的風(fēng)險政策提供信息。

當(dāng)然，GPT-4也會在訓(xùn)練期間出現(xiàn)偏差，這個過程中還需要人類來監(jiān)控、驗證和完善。而節(jié)省的人力，可以用來專注于解決政策需要最需要的復(fù)雜邊緣情況。