對于包括人類在內(nèi)的許多動物來說，社交是具有高度獎賞性的。然而，人們對社交獎勵是如何在大腦中編碼并用于改變社交行為的了解甚少。

強化學(xué)習(xí)（RL）用于理解生物體如何調(diào)整其行為以最大化獎勵。大多數(shù)RL模型的兩個關(guān)鍵特征是反復(fù)和獎勵預(yù)測。在多次試驗中，將收到的獎勵與預(yù)測的獎勵進行比較，其中差異稱為獎勵預(yù)測誤差（RPE），然后用于更新后續(xù)行動和獎勵預(yù)測。

當?shù)谝淮谓佑|后代時，在幾天內(nèi)，初次生產(chǎn)和未交配的雌性小鼠表現(xiàn)出越來越快速和可靠地取回與巢穴分離的幼崽。

近日，美國冷泉港實驗室Stephen D. Shea教授研究團隊在Neuron上發(fā)表研究，測量了與巢穴分離的幼崽取回過程中，未交配的雌性小鼠行為出現(xiàn)時，中腦邊緣多巴胺（DA）神經(jīng)元活性的波動和DA神經(jīng)元信號的變化。

在幼崽取回過程中VTA DA神經(jīng)元信號與表現(xiàn)呈負相關(guān)

研究人員發(fā)現(xiàn)，在幾天的實踐中，未生育的雌性往往會提高其幼崽取回的速度和效率[Fig.1E]。通過比較在經(jīng)歷三種不同類型（動機、運動和PRE）的母性行為經(jīng)驗的小鼠中，幼崽取回行為和每日平均VTA信號幅度。觀察到熒光強度在幼崽接觸時瞬時增加，并在雌鼠舉起幼崽后達到峰值。在幼崽取回實驗（P0-P5）中，VTA活動在P0時信號最大，隨后幾天，振幅急劇下降[Fig.1C,D]。

Figure 1 母體取回過程中VTA DA神經(jīng)元的群體活動與幼崽取回行為呈負相關(guān)

幼崽取回行為受DA神經(jīng)元活動歷史的影響

RPE是預(yù)期和收到的獎勵之間的差異，隨著獎勵變得可預(yù)測，RPE降低。研究人員推測，對幼崽的VTA反應(yīng)降低可能反映了幼崽接觸的RPE。觀察到，隨著未生育小鼠積累了母性經(jīng)驗，幼崽取回時間和DA神經(jīng)元活性穩(wěn)步下降。然而，這兩個數(shù)量都顯示了相當大的試驗間變異性[Fig.2D]。

比較了雌性動物帶著幼崽返回巢穴時的平均速度與同一試驗中的VTA熒光，并僅在1/16只小鼠中觀察到顯著的相關(guān)性[Fig.2E]。這種缺乏關(guān)系的情況表明，VTA DA神經(jīng)元的活動僅僅是激發(fā)或激活幼崽取回運動行為。

Figure 2 根據(jù)VTA DA神經(jīng)元信號，從一次試驗到另一次試驗更新幼崽取回行為

光遺傳抑制VTA DA神經(jīng)元活動損害幼崽取回行為

接下來，研究人員檢測了快速幼崽取回行為的學(xué)習(xí)是否需要VTA DA神經(jīng)元活動。采用了閉環(huán)設(shè)計，在每次試驗中，當雌性動物靠近幼崽時，觸發(fā)光失活VTA神經(jīng)元從而抑制VTA活性的峰值[Fig.3C-E]。結(jié)果發(fā)現(xiàn)表達stGtACR的小鼠在P0–P3階段將幼崽帶回巢所需的時間明顯更長[Fig.3G]。盡管它們在4天的測試中表現(xiàn)出更快的行為趨勢，但仍比表達GFP的小鼠慢[Fig.3I]。這是因為表達stGtACR的小鼠接近幼崽的潛伏期更長[Fig.3H,J]。

Figure 3 VTA DA神經(jīng)元活性的光遺傳學(xué)抑制導(dǎo)致幼崽取回行為較慢

VTA DA神經(jīng)元的活動是增強而不是執(zhí)行幼崽取回行為所必需的

為了進一步闡明VTA DA神經(jīng)元活性在母性行為RL中的作用，研究人員通過光遺傳在交替試驗中觸發(fā)VTA DA神經(jīng)細胞的光抑制[Fig.4A]。結(jié)果發(fā)現(xiàn)，與表達EGFP的對照組相比，表達stGtACR的小鼠最初將幼崽送回巢穴的速度明顯較慢，并進行了更多的試驗以實現(xiàn)相同的行為[Fig.4D]。這種差異主要是由于接近幼崽的延遲[Fig.4E]。說明VTA中多巴胺能神經(jīng)元的輕度抑制削弱了它們在幼崽取回行為中的表現(xiàn)和動機。

比較有光抑制和無光抑制的試驗，表達stGtACR的小鼠表現(xiàn)出相似的整體取回行為的潛伏期、接近潛伏期和觸發(fā)區(qū)時間[Fig.4G-I]。因此，幼崽取回行為的受損反映在VTA失活對獎勵歷史的累積影響，而不是對行為的嚴重干擾。

Figure 4 幼崽接觸時的VTA DA神經(jīng)元活動逐漸增強幼崽取回能力

結(jié) 論

在本文中，觀察和研究了重復(fù)刻板的親代幼崽取回行為的出現(xiàn)，發(fā)現(xiàn)VTA的 DA神經(jīng)元通過強化學(xué)習(xí)（RL）逐步完善它。中腦多巴胺神經(jīng)元發(fā)出了社會獎勵預(yù)測錯誤的信號，通過強化學(xué)習(xí)引導(dǎo)小鼠母性行為的出現(xiàn)。

參考文獻：

Xie, Yunyao et al. “A dopaminergic reward prediction error signal shapes maternal behavior in mice.”Neuron, S0896-6273(22)01073-X. 13 Dec. 2022, doi:10.1016/j.neuron.2022.11.019

編譯作者：Young（brainnews創(chuàng)作團隊）

校審：Simon（brainnews編輯部）

標簽：