Frontiers系列:戴口罩對表情識別、情感閱讀和聲音信息的影響
1. 口罩對面部表情識別的影響:對基本情緒感知的真實研究
由于新冠肺炎大流行,用于覆蓋口鼻處的口罩成為日常佩戴物品,與情感表達相關(guān)的面部區(qū)域中約有60-70%被隱藏起來。這一日常生活的變化引發(fā)了對蒙面人面部情緒感知的相關(guān)研究。這些研究大多通過展示一張張情緒化的面部圖像,圖像面部將口罩疊加在鼻口區(qū)域。這些相關(guān)研究的一個常見發(fā)現(xiàn)是,微笑情緒識別變得不那么明顯。
圖1. 實驗試次示意圖,展示了兩個戴口罩和不戴口罩的演員的面部表情。
圖2. 未蒙面和蒙面微笑的平均誠實評級, 分別為誠實(Duchennne)和不誠實(social)微笑。
本研究的目的是通過生態(tài)上有效的程序,即通過情感面部表情的視頻序列,重新探究針對蒙面人面部的情緒感知。本項研究的結(jié)果重復(fù)出了佩戴口罩相關(guān)靜態(tài)圖像中收集到的許多證據(jù),此外,結(jié)果還發(fā)現(xiàn)了與現(xiàn)有研究相比的關(guān)于微笑感知的根本差異,這些差異比之前的研究所暗示的要小,戴口罩后“不誠實”(即社交)微笑的表達方式更容易被識別,可能是由于口罩的運動(即抬高)。這一發(fā)現(xiàn)與現(xiàn)有靜態(tài)圖像的研究不一致,這些研究報告稱,蒙面微笑被視為中性表達。但無論如何,誠實的微笑是最容易感知的情感。
參考文獻:Leitner, M. C., V. Meurer, F. Hutzler, S. Schuster and S. Hawelka (2022). "The effect of masks on the recognition of facial expressions: A true-to-life study on the perception of basic emotions." Frontiers in Psychology 13.
2. 戴口罩在閱讀情感方面會使同行感到困惑
戴口罩是預(yù)防某些呼吸道疾病傳播的重要手段之一,如新型冠狀病毒(COVID-19)。雖然西半球?qū)Υ祟惪谡值慕邮艹潭日谠黾?,然而,口罩也覆蓋了人臉的主要部分,這可能會對社會互動產(chǎn)生至關(guān)重要的影響。在本實驗中,我們測試了佩戴口罩對情緒可讀性的影響。
參與者(N = 41,通過先驗Power分析計算;隨機招募18-87歲不同年齡階段的健康志愿者)共評估了12張不同面孔表現(xiàn)出的情感表達。每張臉都隨機呈現(xiàn)出六種不同的表情(憤怒、厭惡、恐懼、快樂、中立和悲傷),表情同時完全可見或部分被口罩覆蓋。
圖3. 一個沒有戴口罩(A)和戴口罩(B)的人表現(xiàn)出的六種不同情緒。
結(jié)果發(fā)現(xiàn),參與者對戴口罩圖像評估所顯示的情緒的準確性較低,信心較低,這表明情緒閱讀確實因口罩的存在而受到影響。我們進一步檢測到特定的識別混淆模式,主要在將厭惡的面孔誤解為憤怒,以及將許多其他情緒(例如快樂、悲傷和憤怒)評估為中性的情況下。研究還討論了即使相關(guān)的視覺信息嚴重減少后可以保持社交互動有效性的補償行為(例如肢體語言、手勢和語言溝通)。
圖4. 表達和感知情緒的混淆矩陣。
參考文獻:Carbon, C.-C. (2020). "Wearing Face Masks Strongly Confuses Counterparts in Reading Emotions." Frontiers in Psychology 11.
3. COVID-19口罩:面部和聲音信息的障礙
隨著新冠肺炎大流行,我們已經(jīng)習(xí)慣了佩戴口罩,并發(fā)現(xiàn)戴口罩似乎會損害情感和語言識別。雖然過去已有幾項研究通過在面部情感照片上添加口罩圖像來進行面部情感識別,但在本研究中我們創(chuàng)建了一個視頻數(shù)據(jù)庫,其中演員們真實佩戴口罩,以在更生態(tài)的條件下測試其效果。
圖5. 面部配件佩戴對視覺情感識別的影響。A, 視覺刺激; B, 客觀和主觀驗證;C, 配件對視覺情感識別的影響; D, 混淆矩陣;E, 年齡和配件對視覺情感識別的影響。
在驗證了演員表現(xiàn)出的情緒后,我們發(fā)現(xiàn)佩戴外科口罩損害了幸福和悲傷的識別,但不會影響中立情緒。此外,對幸福的影響效果是針對口罩的,而不是覆蓋臉部下半部分,這可能是由于與外科口罩相關(guān)的認知偏見。
此外我們還制作了帶有語音的視頻,并測試了以聽覺、視覺或視聽方式顯示時口罩對情感和語音識別的影響。在視覺和視聽模式中,佩戴口罩損害了幸福和悲傷,但改善了中立性情緒識別。無論模式如何,佩戴口罩都會損害雙唇音節(jié)的識別。此外,它僅以視聽方式改變70歲以上參與者的語音識別??傮w而言,COVID-19口罩主要損害除老年參與者之外的情感識別,也會影響語音識別,這可能是因為老年參與者更多地依賴視覺信息來補償與年齡相關(guān)的聽力損失。
參考文獻:Aguillon-Hernandez, N., R. Jusiak, M. Latinus and C. Wardak (2022). "COVID-19 masks: A barrier to facial and vocal information." Frontiers in Neuroscience 16.