導(dǎo)讀

模型是成熟科學(xué)探索的標(biāo)志。在心理學(xué)中，這種成熟是通過一個普遍的問題來實(shí)現(xiàn)的：什么樣的模型最能代表情緒面部表情？一些假說提出了不同的面部動作組合[動作單元（AUs）]，以最好地代表跨文化的六種基本情緒和四種會話信號。本研究開發(fā)了一個新的框架，將這樣的假設(shè)形式化為預(yù)測模型，比較其在西方和東亞文化中預(yù)測人類情緒分類的能力，解釋單個AUs的因果作用，并探索更新的、以文化為重點(diǎn)的模型。本研究的預(yù)測模型還提供了一個噪聲上限，以了解不用因素(如AUs和個體差異)的解釋力和限制。因此，本研究的框架提供了一種新的方法來測試社會信號模型，解釋其預(yù)測能力，并探索其優(yōu)化，這對理論的發(fā)展具有直接影響。

前言

在成熟的科學(xué)研究中，模型以三種互補(bǔ)的方式來促進(jìn)知識的發(fā)展：通過預(yù)測一種現(xiàn)象，解釋其原因，并利用從這些解釋中獲得的理解，探索該現(xiàn)象的改進(jìn)模型。心理學(xué)領(lǐng)域提供了一個強(qiáng)有力的例證，以解釋人類核心行為模型的發(fā)展：從面部表情識別情緒。自從達(dá)爾文對面部表情的進(jìn)化起源做出了開創(chuàng)性的工作以來，人們已經(jīng)提出了其他幾種面部表情模型，以更準(zhǔn)確地表示六種經(jīng)典的基本情緒：憤怒、厭惡、恐懼、快樂、悲傷和驚訝。研究人員經(jīng)常使用一種著名的人類面部動作分類方法——面部動作編碼系統(tǒng)(FACS)——根據(jù)面部“動作單元”(AUs)描述面部的活動。然后，基本情緒模型變成了關(guān)于哪些AU組合代表每個類別的假設(shè)。例如，Ekman和Friesen將憤怒的面部表情描述為眉毛下拉(AU4)、上眼瞼升高(AU5)、眼瞼收緊(AU7)和嘴唇收緊(AU23)，而Cordar及其同事將相同的面部表情描述為僅包括眉毛下拉(AU4)和眼瞼收緊(AU7)。因此，在這里，模型將構(gòu)成面部表情的AUs(例如，AU4、AU5、AU7和AU23)作為輸入，并據(jù)此預(yù)測相關(guān)情緒類別作為輸出(例如，“憤怒”)。

尋找具有代表性的面部表情模型是一項(xiàng)長期的努力，并且已經(jīng)產(chǎn)生了許多相互競爭的模型。然而，這些模型通常是關(guān)于AUs與情緒關(guān)系的定性描述性假設(shè)，因此難以定量評估和比較。使用“假設(shè)核分析”這一新技術(shù)，本研究旨在通過將此類定性假設(shè)轉(zhuǎn)化為正式的模型來改進(jìn)這些定性假設(shè)，從而對給定面部表情相關(guān)的情緒進(jìn)行定量預(yù)測。本研究進(jìn)一步提出了一個新的預(yù)測-解釋-探索框架(見圖1)。該框架提供了一種原則性和一般方法來評估、比較和改進(jìn)預(yù)測模型的(包括情緒的面部表情模型)預(yù)測性能和局限性。

該框架量化了不同模型預(yù)測人類情緒分類的能力，通過識別對分類性能至關(guān)重要的特定AUs來解釋其預(yù)測，并使用這些信息來探索更新的基于AU的模型，以提高性能。在這里，本研究使用該框架系統(tǒng)地比較和定量評估了六個有影響力的基于AU的六種經(jīng)典基本情緒的面部表情模型和一個數(shù)據(jù)驅(qū)動模型。本研究擴(kuò)展了西方(WE)和東亞(EA)文化之間的比較和評估，以構(gòu)建改進(jìn)的、具有文化意識的模型。為了突出這種方法的穩(wěn)健性，本研究進(jìn)一步將該框架從基本的六種情緒擴(kuò)展到四種對話信號模型。

預(yù)測-解釋-探索框架

圖1說明了這個新框架，它概述了如何在預(yù)測、解釋和探索這三個階段評估、解釋和優(yōu)化模型。首先，預(yù)測階段生成模型預(yù)測(此處為情緒分類)，并將這些預(yù)測與人類對相同數(shù)據(jù)的分類進(jìn)行比較，從而生成模型性能分?jǐn)?shù)，該分?jǐn)?shù)總結(jié)了模型預(yù)測與人類分類的一致性。在解釋階段，系統(tǒng)地操縱模型的構(gòu)成要素(此處為單個面部動作-AUs)，以評估它們對行為預(yù)測的因果效應(yīng)以及它們?nèi)绾斡绊懩Ｐ头诸愋阅?。在探索階段，從解釋階段估計(jì)的因果效應(yīng)被用于自動構(gòu)建包含新假設(shè)的更新和改進(jìn)的模型(這里，關(guān)于代表六種情緒中每一種的特定AUs，包括特定文化特征)。這些新的、優(yōu)化的模型得益于從整個模型比較中獲得的見解，從而有效地結(jié)合了它們的相對優(yōu)勢。

預(yù)測模型的一個明顯優(yōu)勢是，它們可以將人類分類行為中的方差分解為三個不同的組成部分(見圖2)，從而深入了解模型的局限性。第一個部分是解釋方差(用橙色表示)——這里是面部表情模型正確預(yù)測的人類分類行為的方差比例。另外兩個部分由模型的噪聲上限決定，該上限將剩余的方差細(xì)分為未解釋方差(以綠色表示)和個體差異(以紅色表示)，這些差異來自于個體對相同面部表情的不同分類。因此，噪聲上限強(qiáng)調(diào)了這樣一個概念，即根據(jù)定義，單個“通用”模型無法解釋個體之間分類行為的變化，這代表了任何忽略這些個體差異的模型的最大性能。本文使用噪聲上限來提供這種基于AU的固定面部表情模型的性能上限。

為了將預(yù)測-解釋-探索框架應(yīng)用于六種經(jīng)典情緒模型，本研究使用一種新的方法將其描述性假設(shè)轉(zhuǎn)化為預(yù)測模型。然后，在預(yù)測-解釋-探索框架內(nèi)對這些預(yù)測模型進(jìn)行了定量評估、比較和優(yōu)化。

基于預(yù)測-解釋-探索框架的人類情緒面部表情分類建模

使用預(yù)測-解釋-探索框架，對六種經(jīng)典情緒的七個有影響力的面部表情模型進(jìn)行了測試。本研究選擇這些模型是基于它們對與六種經(jīng)典情緒相關(guān)的特定AUs的明確假設(shè)。本研究根據(jù)框架的三個主要階段預(yù)覽結(jié)果。

預(yù)測

本研究使用每個參與者2400個情緒分類試次的大型數(shù)據(jù)集，評估了七個模型如何預(yù)測每種基本情緒類別。每個試次包含一個由動態(tài)AUs的隨機(jī)組合組成的未知生成的面部動畫。要求60名WE參與者和60名EA參與者將每個面部動畫視頻分類為六種經(jīng)典情緒之一：“快樂”、“驚訝”、“恐懼”、“厭惡”、“憤怒”或“悲傷”，只有當(dāng)他們認(rèn)為面部動畫代表了其中一種情緒時才進(jìn)行分類，否則選擇“不知道”。本研究使用相同的試次來預(yù)測每個模型最相似的情緒類別，以評估它預(yù)測人類情緒分類行為的效果。本研究發(fā)現(xiàn)，所有七個模型都解釋了人類行為大部分變化，盡管都低于噪音上限，這表明每個模型都可以進(jìn)一步優(yōu)化，以更好地?cái)M合人類行為。此外，模型在WE參與者中的表現(xiàn)優(yōu)于EA參與者，這表明他們傾向于情緒面部表情的WE表達(dá)，并且缺乏EA文化的重要特征。

解釋

接下來，為了解釋每個模型中的單個AU如何影響情緒分類性能，本研究使用了一個“AU消融”程序，該程序系統(tǒng)地從每個模型中刪除單個AUs，并分別對WE和EA文化重新計(jì)算其對人類行為的預(yù)測，該程序確定了一組特定于文化的性能關(guān)鍵型AUs，當(dāng)去除這些AUs時，會降低模型的預(yù)測性能。該程序還確定了一組特定于文化的性能不利型AUs，在去除這些AUs時，可以提高模型的預(yù)測性能。換句話說，對性能不利的AUs阻礙了對其他五種情緒的準(zhǔn)確分類。

探索

最后，為了探索解釋性能的因果AUs是否確實(shí)改善了預(yù)測，本研究在原始模型中添加了性能關(guān)鍵型AUs，并分別針對WE和EA文化刪除了性能不利型AUs，從而生成更新、優(yōu)化和特定于文化的模型。本研究發(fā)現(xiàn)，與原始模型相比，它們對新刺激和參與者的預(yù)測性能(即預(yù)測和解釋階段未使用的數(shù)據(jù))有了顯著提高，并消除了之前報(bào)告的WE偏差。然而，AU增強(qiáng)模型的性能仍然低于噪聲上限，這表明模型可以通過改進(jìn)其AU表征或添加其他與表達(dá)相關(guān)的特征(例如，頻率)來改進(jìn)。此外，由于個體差異而產(chǎn)生的大量方差表明，模型可以受益于文化之外的其他與感知者相關(guān)的特征，例如性別或年齡。

對其他情緒的概括

由于六種基本情緒只是面部可以表達(dá)的心理狀態(tài)的子集，本研究將該框架擴(kuò)展到基于AU模型選擇的四種會話信號(“無聊”、“困惑”、“感興趣”和“思考”)。傳達(dá)和推斷這些心理狀態(tài)對有效溝通至關(guān)重要，尤其是在對話環(huán)境中。本研究確定了五項(xiàng)描述面部運(yùn)動的研究，將其編碼為AU組合，并使用假設(shè)核分析方法將其轉(zhuǎn)換為預(yù)測模型。使用來自40名參與者(20WE和20EA)的2400個會話信號分類數(shù)據(jù)集，使用預(yù)測-解釋-探索框架來評估和優(yōu)化會話信號模型，就像對基本情緒模型所做的那樣。本研究發(fā)現(xiàn)，大多數(shù)模型都能準(zhǔn)確地預(yù)測人類分類，但對WE表征具有類似的偏倚。與基本情緒模型一樣，優(yōu)化和文化感知模型顯著提高了預(yù)測性能(仍低于噪聲上限)，并且減少了WE偏差。總之，這些結(jié)果復(fù)制了本研究對基本情緒的發(fā)現(xiàn)，并證明了該方法可以推廣到其他心理狀態(tài)。

假設(shè)核分析

為了將AUs和情緒類別之間的統(tǒng)計(jì)關(guān)系形式化為預(yù)測模型，本研究提出了一種稱之為假設(shè)核分析的新方法。使用該方法來推導(dǎo)出分類模型，這些模型在給定一組AUs的情況下預(yù)測情緒的概率[類似于人們?nèi)绾螐拿娌勘砬橥茢嗲榫w]。以下是該方法在概念層面上的工作原理。假設(shè)核分析的思想是基于觀察和特征集合(例如，AUs，自變量)與假設(shè)(例如，“快樂用AU6和12表示”)之間的相似性來預(yù)測分類因變量(這里是感知到的情緒)。本研究可以將這一預(yù)測與實(shí)際觀察結(jié)果進(jìn)行比較，以評估假設(shè)的準(zhǔn)確性。這里必須克服三個方法上的挑戰(zhàn)：(i)我們應(yīng)該如何衡量觀察和假設(shè)之間的相似性？(ii)如何根據(jù)這種相似性得出預(yù)測？以及(iii)應(yīng)該如何將預(yù)測與實(shí)際數(shù)據(jù)進(jìn)行比較？圖3用五個步驟概述了這三個挑戰(zhàn)的解決方案，即(1)將假設(shè)嵌入到AU空間；(2)將每個刺激嵌入與假設(shè)相同的AU空間；(3)計(jì)算每個刺激和每個假設(shè)情緒類別之間的相似性；(4)得出對每個刺激的預(yù)測；(5)量化每個模型的預(yù)測性能。

結(jié)果

預(yù)測

在第一階段，本研究使用了一種新方法(假設(shè)核分析)，將先前報(bào)告的基于定性AU的情緒模型轉(zhuǎn)換為預(yù)測模型。評估了每個模型預(yù)測人類在執(zhí)行相同任務(wù)(對大量隨機(jī)生成的動態(tài)面部表情進(jìn)行分類)時提供的情緒類別的能力。本研究使用受試者操作曲線下面積(AUROC)總結(jié)了七個模型中每個模型預(yù)測80名參與者(40WE和40EA)分類行為的效果——對于隨機(jī)分配標(biāo)簽的二元分類模型(預(yù)測一種情緒相對于所有其他情緒)，概率水平為0.5，對于完美預(yù)測每個標(biāo)簽的模型，理論最大值為1。對于每種情緒，本研究還估計(jì)了代表最大可實(shí)現(xiàn)模型性能的噪聲上限。最大理論值(即AUROC=1)意味著不同參與者用相同的情緒標(biāo)簽對相同的AU組合進(jìn)行分類。如果參與者用不同的情緒標(biāo)簽對相同的AU組合進(jìn)行分類，那么任何僅基于AU的模型都無法減少這種“實(shí)驗(yàn)噪聲”，這將使噪聲上限低于1，從而降低模型可以解釋的方差比例。

圖4A總結(jié)了每個模型的平均預(yù)測性能和每個參與者的AUROC分?jǐn)?shù)，分別用顏色編碼條和顏色編碼點(diǎn)表示。虛線表示每個模型的噪聲上限(如上所示的精確值)。在大多數(shù)情緒中，大多數(shù)模型預(yù)測的分類行為遠(yuǎn)高于隨機(jī)水平(即AUROC為0.5)，情緒之間存在一些顯著差異，例如，恐懼(平均AUROC=0.57)與驚訝(平均AUROC=0.76)，以及模型之間的差異，例如Keltner等人[2019；平均AUROC=0.66]與Jack等人[2014；平均AUROC=0.74]。然而，平均性能(跨模型和情緒，AUROC=0.68)仍遠(yuǎn)低于平均噪聲上限(AUROC=0.88)，這表明模型沒有達(dá)到最佳性能。此外，由于噪聲上限低于理論最大值(AUROC=1)，這些基于AU的模型原則上無法解釋人類情緒分類中相當(dāng)大比例的方差。

圖4B顯示了取決于參與者文化的性能差異(各模型的平均值)。平均而言，WE參與者在厭惡、恐懼和驚訝方面的模型性能明顯優(yōu)于EA參與者(α=0.05)。相比之下，EA參與者在快樂模型上的表現(xiàn)優(yōu)于WE參與者。重要的是，當(dāng)模型包含文化特征時，這些跨文化差異在探索階段就消失了。

解釋

在建模的第二階段，旨在通過量化每個AU對模型性能的因果效應(yīng)來解釋不同模型的行為預(yù)測和相對準(zhǔn)確性。為此，本研究使用了前面所描述的AU消融方法，該方法系統(tǒng)地從每個模型中移除(即“消融”)單個AU，并重新計(jì)算其行為預(yù)測性能。

圖5顯示了從面部表情模型中消融AUs的方法如何解釋其預(yù)測。圖5A圖解說明了AU消融過程及其結(jié)果。具體而言，對于特定的厭惡模型(AU9+AU25，“原始模型”)，單個AU(例如AU9)的消融可能會導(dǎo)致模型性能降低或提高，從而分別表明該AU是性能關(guān)鍵型或性能不利型(見右下方的顏色編碼)。將此消融程序應(yīng)用于所有模型。圖5B以顏色編碼矩陣顯示結(jié)果。對于每個情緒類別(y軸)，顏色編碼矩陣根據(jù)每個單獨(dú)AU的消融顯示AUROC性能差異(標(biāo)簽見x軸)，在所有模型上取平均值。紅色表示對人類行為的預(yù)測性能降低(例如，AU9表示厭惡，AU5表示驚訝)，藍(lán)色表示預(yù)測性能增加(例如AU5表示悲傷；見右側(cè)顏色條)。結(jié)果表明，每個面部表情模型都可以通過選擇性地添加性能關(guān)鍵型和去除對性能不利的AUs來進(jìn)行改進(jìn)。此外，每種文化中的消融分析表明，其性能關(guān)鍵型和性能不利型的AUs是不同的，這意味著探索特定于文化的模型可以提高其預(yù)測性能。為了驗(yàn)證這一點(diǎn)，本研究進(jìn)行了第三個也是最后一個探索階段。

探索

在建模的最后階段，本研究旨在利用解釋人類情緒分類的發(fā)現(xiàn)自動生成和探索替代性的面部表情優(yōu)化模型。因?yàn)樾阅荜P(guān)鍵型和性能不利型的AUs是特定于文化的，所以本研究在WE和EA文化中分別探索了模型優(yōu)化。具體來說，為了優(yōu)化WE或EA文化中的給定模型，本研究(i)添加了所有在消融時降低性能的AUs和(ii)刪除了所有在消融時提高性能的AUs。對于每個原始表達(dá)模型，此過程生成了兩個優(yōu)化模型：WE-特征模型和EA-特征模型。圖6A說明了這種探索過程，通過添加性能關(guān)鍵型AU(例如AU9)和刪除性能不利型AU(例如AU25)，得到了一個更新的厭惡假設(shè)模型(AU10+AU25)。然后，本研究在新參與者的新刺激下評估了這些優(yōu)化的模型，有效地對這些模型進(jìn)行了交叉驗(yàn)證。

圖6B顯示了在每種情緒下，優(yōu)化后的以文化為重點(diǎn)的模型相對于原始模型在預(yù)測性能方面的改進(jìn)(用?AUROC表示)。對于大多數(shù)模型和情緒，優(yōu)化模型的自動生成提高了性能，其中憤怒的改進(jìn)幅度最大(各模型改進(jìn)的中值=0.12），驚訝的改進(jìn)幅度最小(各模型改進(jìn)的中值=0.05)。優(yōu)化后的模型由于能更好地解開原本經(jīng)常混淆的情緒，因此具有更好的預(yù)測性能。
最后，圖6C顯示了WE和EA參與者的優(yōu)化的、具有文化特征模型的預(yù)測性能。在探索之后，優(yōu)化的、具有文化特征的模型在WE和EA參與者之間沒有產(chǎn)生顯著的預(yù)測差異(α=0.05)。因此，這些結(jié)果表明，使用優(yōu)化的模型進(jìn)行探索可以彌補(bǔ)此處測試模型的WE偏差。其他分析進(jìn)一步表明，文化特征模型對大多數(shù)情緒的預(yù)測性能更強(qiáng)，偏差更小。

對其他情緒的概括

在預(yù)測階段，本研究評估了每個模型對人類情緒分類的預(yù)測程度。圖7A顯示，除了Cunningham等人(2005)外，所有模型都解釋了所有情緒的顯著方差。此外，圖7B顯示，評估的會話信號模型在WE參與者中的表現(xiàn)也明顯優(yōu)于EA參與者，重現(xiàn)了在基本情緒模型中觀察到的文化偏差。在解釋階段，消融分析確定了每個模型和情緒的性能關(guān)鍵型和性能不利型AUs。探索階段使用這些見解來構(gòu)建優(yōu)化的、以文化為中心的模型。圖7C概述了優(yōu)化模型相較于原始模型的預(yù)測性能的變化(?AUROC)，結(jié)果表明除el Kaliouby和Robinson外，每個模型都有顯著改善(見圖7A)。與基本情緒模型一樣，優(yōu)化后的會話信號模型對WE或EA參與者的表現(xiàn)沒有明顯更好或更差——除了“困惑”在WE參與者中表現(xiàn)更好(P=0.03)。

結(jié)論

本研究測試了不同的模型，這些模型提供了關(guān)于AUs如何與面部情緒表達(dá)具體相關(guān)的競爭性的假設(shè)。在利用假設(shè)核分析這一新技術(shù)將這些定性模型轉(zhuǎn)化為預(yù)測模型后，將其嵌入到一個新的預(yù)測-解釋-探索框架中。在這個框架內(nèi)，本研究比較了每個模型預(yù)測來自WE和EA參與者的大量動態(tài)面部表情刺激的人類情緒分類的準(zhǔn)確性。然后，使用系統(tǒng)性AU消融的方法解釋了哪些特定AUs會影響預(yù)測精度，最后利用這些不同模型的相對優(yōu)勢自動生成和探索更新的模型，從而顯著改善預(yù)測性能。最后，本研究證明了具有文化特征的六種面部表情模型可以更好地預(yù)測人類行為的文化多樣性。本研究預(yù)期，在預(yù)測模型的背景下，本研究的預(yù)測-解釋-探索框架將通過開發(fā)更準(zhǔn)確地反映人類非語言溝通的復(fù)雜性和多樣性的模型，從而加深我們對社會信號的理解。
原文：Testing, explaining, and exploring models of facial expressions of emotions.https://www.science.org/doi/10.1126/sciadv.abq8421

小伙伴們點(diǎn)星標(biāo)關(guān)注茗創(chuàng)科技，將第一時間收到精彩內(nèi)容推送哦～