導讀

人際神經同步(INS)正在成為預測多人協(xié)調、溝通和合作成功等社會互動的有力標志。由于對INS的起源知之甚少，本研究測試了INS是否以及如何從自發(fā)的二元行為中產生。要求一對參與者在不說話或做出共同語言手勢的情況下互相看著對方，并記錄他們的神經活動(EEG)和行為(全身運動、眼球運動和面部表情)。本研究結果發(fā)現(xiàn)：首先，盡管沒有結構化的社交任務，但當參與者看到對方時，INS就會自發(fā)出現(xiàn)。其次，這種自發(fā)的INS，包括特定的頻譜和地形特征，不僅反映了個體內神經活動的調節(jié)，而且反映了神經活動的實時和成對特異性耦合。第三，本研究使用最先進的視頻圖像處理和深度學習，提取了三個顯著的社交行為線索(身體運動、目光接觸和微笑)的時間進程，并證明了這些行為也在二元組中自發(fā)同步。第四，本研究探索了INS在這種同步社交行為中的相關性。使用互相關和格蘭杰因果分析表明，同步的社交行為可以預測INS。這些結果初步證明了研究自然和無約束條件下的人際神經和行為同步的可能性。最重要的是，INS可以被看作是兩個耦合神經系統(tǒng)的一種涌現(xiàn)特性：一種由實時二元行為促進的夾帶(同步)現(xiàn)象。

前言

同類社交互動是我們生活中最復雜和最關鍵的部分之一。為了成功地適應社會環(huán)境，我們與他人的大腦之間必須進行信息交流，從而導致我們對伙伴內心狀態(tài)和行為信息的持續(xù)和交互更新。這種持續(xù)的交流和更新推動了我們的社交互動，并可能最終影響我們預測和適應他人行為的能力。那么，個體在社會交往中是如何完成這種信息傳遞的呢？

人際神經同步(INS)——即互動雙方之間神經活動的時間同步——被認為是一種調節(jié)人際信息交換的機制。它基于這樣的觀點，即神經振蕩反映了皮層興奮性的瞬時狀態(tài)，因此假設人際同步可能有助于個體協(xié)調其行為，甚至共享其內在的認知或情感狀態(tài)。這一觀點得到了一些研究的支持，這些研究表明INS可以預測社交互動的成功，而社交互動通常是使用涉及協(xié)調、合作或口頭交流的結構化任務來測量的。

目前，人類INS研究主要集中在INS的強度與特定的“結構化”社會任務之間的關聯(lián)，即根據(jù)任務指令實現(xiàn)集體目標。這種方法足以建立INS與社交行為之間的關系，甚至在某些情況下可能表明INS對社會行為具有直接影響。然而，僅憑這種方法并不能闡明INS最初是如何產生的。盡管這個問題非常關鍵，但在該研究領域中卻鮮有關注，通常認為INS要么是由任務本身引發(fā)的，要么是由通常不被監(jiān)測到的微妙行為線索引發(fā)。值得注意的是，當測量這些線索時，它們經常與任務執(zhí)行混淆在一起，例如，當使用肢體語言來加強口頭交流時就會發(fā)生這種情況。

為了闡明INS的起源，本研究設計了一項超掃描研究，該研究不強制進行結構化的社交互動。這使我們能夠測量自發(fā)的大腦活動和行為，而不受特定任務的限制和混淆。本研究招募了23對參與者，并要求他們自發(fā)地看著對方(圖1a)。不允許說話或做共同語言手勢。通過同時記錄兩名受試者的腦電圖(EEG)來測量INS。結合眼動追蹤和自動化(基于深度學習)視頻分析，本研究還記錄了一些行為測量指標，使我們能夠估計三個基本行為線索的時間展開：目光接觸、身體運動和微笑。本研究整合了這些神經和行為測量結果，并使用分層貝葉斯模型和格蘭杰因果關系等計算方法研究了它們的實時相互依賴性。

本研究檢驗了兩個假設：首先，在沒有結構化任務的情況下，INS是否會自發(fā)出現(xiàn)。為此，本研究操縱了隱含調節(jié)社會行為的兩個因素：人際視覺接觸和人際空間接近(圖1b)。其次，假設這種最小的社會條件足以調節(jié)INS，那么特定的行為線索可以預測INS。在檢驗第二個假設時，本研究比較了兩個模型：一個模型是一個參與者的個體行為作為信號來觀察INS；而第二個模型則需要這樣的行為得到回應。

材料和方法

參與者

46名參與者(26名女性；平均年齡為21.43歲，范圍為18-30歲)組成23對(13對同性別二元組)。所有組成二元組的參與者彼此熟悉(熟悉年限為6.59±5.08 SD年；主觀接近度評分為7.87±2.27 SD，評分范圍為1-10分，其中1分表示低接近度，10分表示最高主觀接近度)。參與者視力正?；虺C正至正常，無心理或神經系統(tǒng)疾病史。所有參與者都提供了書面知情同意書，并獲得了25歐元的報酬。所有實驗程序均獲得當?shù)貍惱砦瘑T會批準，并按照修訂版《赫爾辛基宣言》的原則進行。

實驗設計與程序

該研究包括四個主要的實驗條件，根據(jù)2(人際視覺接觸：接觸、無接觸)×2(人際空間接近(參與者之間的距離是3米還是1米)：遠、近)析因設計進行組織(圖1b)。該設計還包括兩個控制條件，稱之為“積極”和“消極”。積極控制條件涉及一項社會任務(即，牽手)，該任務之前被認為與INS有關。消極控制條件(基線)要求參與者在兩個單獨的房間里休息(圖1b)。在這種基線條件下，參與者不共享相同的環(huán)境，并且無法以任何方式交換信息。因此，本研究假設在這種“基線”條件下不會出現(xiàn)INS。

本研究收集了6個與消極控制條件相關的試次(其中一半試次在實驗開始時收集，另一半在實驗結束時收集)，每個試次持續(xù)2分鐘。對于所有其他條件，每個條件收集了3個試次，共21個試次。與實驗條件和積極控制條件相關的試次被進一步分為三個block，每個block包括5個試次，其順序是隨機的(注意：兩個遠和兩個近條件總是相互影響，所以盡量減少參與者在整個實驗過程中的移動)。

在實驗開始之前，向參與者介紹有關數(shù)據(jù)收集設備的信息。在整個實驗過程中，他們被要求放松并自發(fā)地看著對方(除非兩名參與者之間有屏幕阻擋；參見圖1a)。特別是，要求參與者放松，表現(xiàn)自然，并在可能的情況下看著對方(不一定要有目光接觸)[這是實驗者在任務開始之前給參與者宣讀的指導語(意大利語)：“Il vostro compito è semplice：restare rilassati sulla sedia, comportarsi in modo naturale e, quando è possibile, Guardare l'altra persona (non necessariamente negli occhi)]。參與者不被允許通過口頭或語言手勢進行交流，并進一步明確指出，參與者并不一定需要看著對方的臉或眼睛，但通常會被要求看著對方的身體。在實驗結束后，參與者被告知實驗的目的和范圍。整個實驗過程包括任務說明、設備準備(雙腦EEG、雙眼動儀、雙視頻記錄)和事后情況說明，耗時約2.5小時。

行為和神經記錄

實驗過程記錄了兩名參與者的神經活動(使用雙腦電圖)、眼球運動(使用雙眼動追蹤)和視頻。視頻記錄被用于事后量化身體運動和面部表情(特別是微笑行為)。采用python編寫的自定義庫協(xié)調了這種異構設備的同步。該庫提供了一個圖形用戶界面(GUI)，用于記錄參與者的數(shù)據(jù)、平衡實驗條件以及在設備之間生成同步的觸發(fā)信號。該GUI是使用PySimpleGUI包(https://pypi.org/project/PySimpleGUI/)編寫的。該庫與雙腦電圖系統(tǒng)、兩個獨立的攝像機和雙眼動追蹤系統(tǒng)接口。采用64導Ag/AgCl活性電極，根據(jù)擴展的國際10-10系統(tǒng)(Biosemi?Active-2 system)記錄EEG數(shù)據(jù)，采樣率為2048Hz。

神經和行為數(shù)據(jù)的整合

①瞬時同步

通過計算兩名參與者之間的瞬時相關性來估計時間同步INS，重點關注視覺條件(即兩名參與者看向彼此時)。本研究僅關注與先前INS分析得出的三個顯著團簇(即一個α團簇，一個β團簇和一個γ團簇)相關的功率時間序列，并獲取每個參與者的功率時間序列。首先，減去它們的均值，然后歸一化為單位長度。然后將此歸一化數(shù)據(jù)的每個時間點表示為2D空間中的向量，其中坐標軸對應于每個參與者的歸一化數(shù)據(jù)。然后，取該向量所對應的兩個角度中較小的角度與等距線正交來計算相關指數(shù)。在這種情況下，90°角表示完全相關，而45°角表示無相關性。由此獲得的瞬時INS被最大程度歸一化，取值范圍為0到1。本研究還估計了兩個參與者之間的行為同步性(再次關注視覺條件)。為此，將行為數(shù)據(jù)(目光接觸、微笑和身體運動)作為神經信號來處理，從而得出瞬時行為同步的估計值。然后將這種行為同步重采樣至10Hz，以匹配瞬時INS的采樣頻率。

②計算建模

本研究使用貝葉斯分層線性回歸從行為同步性(目光接觸、身體運動和微笑)來預測INS。在第一個分層模型中，根據(jù)離散化的行為數(shù)據(jù)預測了INS。具體來說，對于離散的目光接觸，首先估計了每張圖像上伙伴的面部區(qū)域(使用OpenPose估計的地標)。然后，將該信息與眼動儀獲取的注視信息相結合，得到一個二進制編碼(注視位置與面部位置重疊為1，否則為0)。對于微笑和身體動作的離散化數(shù)據(jù)，使用均值+1個標準差的閾值。該分析顯示，在視覺條件下，參與者有21.20%的時間看著對方的臉部(其中20.48%與伙伴同步)，14.16%的時間互相微笑(其中35.48%與伙伴同步)，18.38%的時間里進行自發(fā)的身體運動(其中22.84%與伙伴同步)。接下來，本研究比較了兩個分層模型，測試了一個參與者的個體行為作為信號是否足以觀察到INS(IND模型)，或者這種行為是否需要互相回應，因此在兩個參與者中同時發(fā)生(REC模型)。第二個分層模型則從連續(xù)的行為數(shù)據(jù)(即非二進制數(shù)據(jù))中預測隨時間變化的INS。所有貝葉斯建模均使用“pymc3”進行，而模型選擇則使用“arviz”軟件包進行。

③互相關

本研究考察了行為同步性是先于還是在INS之后發(fā)生。為此，本研究對神經和行為同步性的瞬時估計(分別針對三種行為和三個團簇)在不同滯后(±10s)下進行了互相關分析。使用雙側單樣本t檢驗對每個點的互相關系數(shù)進行了顯著性檢驗。使用錯誤發(fā)現(xiàn)率(FDR)對獲得的p值進行校正。

④格蘭杰因果分析

本研究進一步采用格蘭杰因果分析來確定神經和行為同步之間的時間關系，即行為同步是否與格蘭杰引起的神經同步，反之亦然。給定兩個變量X和Y，如果X的過去信息確實傳遞了關于Y未來的信息，也就是說，對變量Y的預測效果要優(yōu)于只單獨由Y的過去信息對Y進行的預測效果，即變量X有助于解釋變量Y的將來變化，則認為變量X是導致變量Y的格蘭杰原因。利用向量自回歸(VAR)模型理論，以多元時間序列變量模型為基礎的方法操作格蘭杰因果關系。應用格蘭杰因果對團簇(每個簇包含1200個數(shù)據(jù)點)的連續(xù)功率時間序列進行分析。這些時間序列比該領域常用的時間序列要長，并且這是為了彌補每個條件只有三個試次的限制所采取的措施。然而，需要注意的是，僅使用少量試次進行格蘭杰因果分析可能導致估計結果的可變性，因此可能不太理想。因此，建議未來的研究盡可能采集更多的試次。然后，對這些數(shù)據(jù)進行z評分，并估計VAR模型的信息準則(赤池和貝葉斯)(模型階數(shù)估計的最大模型階數(shù)=15)。使用貝葉斯模型階數(shù)來擬合VAR模型。然后使用所得回歸系數(shù)獲得自協(xié)方差序列，從而得到成對條件的時域多元格蘭杰因果關系(MVGCs)。采用顯著性檢驗來比較兩個方向之間的差異。由于數(shù)據(jù)不符合正態(tài)分布(Anderson-Darling檢驗ps＜0.05)，因而使用非參數(shù)Wilcoxon符號秩檢驗。此外，使用MVGC MatLab工具箱進行格蘭杰因果分析。

結果

INS通過人際視覺接觸自發(fā)地產生本研究將INS參數(shù)化為電極和子頻段特異性EEG功率時間進程之間的Pearson相關，這些時間進程是從二元組的兩個個體中測量的(圖2a)。采用完全數(shù)據(jù)驅動的方法(即基于團簇的置換檢驗)比較了不同條件下的INS。INS簇代表了在時間上具有類似演變的同源頭皮區(qū)域的活動。

當二元組中的兩個參與者能夠看到對方時，INS就會自發(fā)出現(xiàn)，無論他們的人際空間距離如何(即彼此坐得遠(3m)或近(1m))。這種INS(僅由人際視覺接觸介導)表現(xiàn)為beta(βenv=13-30Hz)和gamma(γenv=31-95Hz)EEG波段包絡的腦間相關性(圖2；βenv?INS簇的p=0.02，Cohen’d=0.62；γenv?INS簇的p=0.002，Cohen’d=0.63)。βenv?INS簇呈現(xiàn)出中央-后部地形結構，并且偏向右側。γenv?INS簇具有雙側枕部地形結構，這表明存在明顯的視覺皮層活動。當比較視覺條件與基線時(圖2b)，以及比較視覺接觸和無視覺接觸條件下的INS時(無論人際空間接近度如何，圖2c)，就能明顯看到這些團簇。

INS與互動(同步)行為相關在證明了INS會在兩個人僅僅相互注視時自發(fā)產生后，本研究搜索了與自發(fā)INS相關的行為因素。對于此分析，本研究重點關注視覺接觸條件，即兩個參與者可以看到彼此的實驗條件。對多種行為的視頻記錄進行定性評估確定了最常見的三種社交行為，包括：(i)目光接觸，(ii)身體運動(即任何身體部位的運動)，以及(iii)微笑。使用基于深度學習的自動化分析，本研究提取了每個參與者這些行為的時間進程(圖3a)。接下來，計算INS的時間進程，即瞬時INS，這是一種用于捕獲同步中時間分辨變化的指標(參見圖4a)。

然后，本研究測試了瞬時INS是否與以及如何與這些行為相關。為這種互動制定了兩種潛在模型，即IND模型和REC模型。這些模型通過閾值化連續(xù)行為線索，并使用邏輯XOR運算(對于IND模型)或邏輯AND運算(對于REC模型)進行形式化分析。使用帕累托平滑重要性抽樣留一法交叉驗證(PSIS-LOO-CV)比較了這兩個模型的性能。結果表明，REC模型對γenv?INS團簇的預測性能更好，而IND模型對αenv和βenv?INS團簇的預測性能更好。因此，互動性的社交行為(目光接觸、身體運動和微笑)對γenv?INS的預測效果優(yōu)于非互動社交行為(即二元組中僅由一個個體執(zhí)行的行為)。這一結果表明，與大腦活動類似，某些行為可能在二元組中同步。相關性分析證實了這一推測，二元組的兩個參與者之間在身體運動(p＜0.001)、微笑(p＜0.001)，以及目光接觸(p=0.0456)上確實存在顯著相關性(隨著時間的推移)(圖3b)。值得注意的是，就像INS一樣，這些同步行為在沒有指示任務的情況下也會發(fā)生。

映射特定行為上的INS團簇本研究使用貝葉斯分層線性回歸方法估計了INS團簇與同步行為之間的關系，從瞬時行為相關性預測瞬時INS。首先使用一個模型來預測INS，該模型包括了所有三種探索的社交行為：目光接觸、身體運動和微笑。該模型的性能優(yōu)于零模型(二元組之間的隨機變化)(圖4b)。具體來說，使用PSIS-LOO交叉驗證的模型比較結果表明，社交行為模型比各自的零模型都更好地解釋了INS方差(表1)。

然后，進一步考察特定同步行為的貢獻，檢查了回歸參數(shù)估計值的后驗分布。值得注意的是，γenv?INS團簇可由身體運動和微笑顯著預測(后驗分布重疊(PP|D)[微笑＜0]＜0.001，PP|D[身體運動＜0]＜0.001)。此外，βenv?INS團簇可由目光接觸顯著預測(PP|D[目光接觸＜0]=0.042)(圖4c，表2)。最后，任何同步行為均未顯著預測αenv?INS團簇(p＞0.05)。

同步行為預測INS在確定了瞬時INS與同步社會行為之間的緊密關系后，接下來的目標是確定這些變量之間的時間關系。為此，首先對每個特定的社交行為和INS團簇分別進行了INS和行為同步的時間序列交叉相關分析(圖5a)。該分析結果表明，同步的社交行為，特別是身體運動和微笑，與γenv?INS同時發(fā)生(圖5b)。值得注意的是，同步微笑行為略微先于INS發(fā)生(見圖5b中的插圖)，~200ms的時滯。這種精確的時間關系僅在γenv?INS團簇中被確定，而αenv和βenv?INS團簇與同步行為之間沒有明顯的時間關系。

接下來，為了進一步揭示INS與社交行為之間的關系，并識別可能存在可變時間滯后的依賴關系，本研究使用了格蘭杰因果分析，這旨在確定同步社交行為是否會引起格蘭杰因果INS，反之亦然。結果表明，INS和同步社交行為之間存在格蘭杰因果關系，所有成對條件的時域多元格蘭杰因果關系(MVGCs)均顯著高于0(ps＜0.001)。更重要的是，行為同步性對INS影響的MVGCs明顯高于INS對行為同步性的MVGCs(ps＜0.05)，這意味著行為同步性更有可能導致格蘭杰因果INS。這一結果在所有INS團簇和社交行為中都具有普遍意義，這意味著即使我們無法觀察到社交行為與αenv和βenv?INS團簇之間的固定時間關系，但這些INS團簇仍然可能是由同步的社交行為引起的，可能在不同試次和/或二元組中有不同的時間滯后。

結論

本研究通過記錄參與者的自發(fā)行為和大腦活動來考察人際神經同步(INS)的起源。研究結果發(fā)現(xiàn)，盡管不使用結構化任務，但當參與者只是看到彼此時，INS就會自發(fā)出現(xiàn)。這種觀察到的INS具有特定的頻譜和地形特征，包括額葉α(αenv)、右后β(βenv)和枕頂γ(γenv)的EEG活動，不僅反映了個體內神經活動的調節(jié)，而且反映了神經活動的實時和成對特異性耦合。為了探究自發(fā)INS的行為相關性，本研究使用最先進的視頻圖像處理和深度學習，提取了三個顯著的社會行為線索(身體運動、目光接觸和微笑)的時間進程，并證明了這些行為也在二元組中自發(fā)同步。這些結果初步證明了研究自然和無約束條件下的人際神經和行為同步的可能性。

參考文獻：Spontaneous dyadic behaviour predicts the emergence of interpersonal?neural?synchrony.

https://doi.org/10.1016/j.neuroimage.2023.120233

小伙伴們關注茗創(chuàng)科技，將第一時間收到精彩內容推送哦～