撰文丨東華君

責(zé)編丨劉斐雯

排版丨星琪

?

本文是作者對(duì)其剛發(fā)表的論文的解讀。該項(xiàng)研究于2022年1月4日發(fā)表在《細(xì)胞·報(bào)告》（Cell Reports），題目為：Differential coding of goals and actions in ventral and dorsal corticostriatal circuits during goal-directed behavior。

?

眾所周知，我們的視覺信息的處理系統(tǒng)由空間上分布于大腦皮層的腹、背側(cè)的兩條通路組成，分別為處理空間信息的“what”和處理形狀信息的“where”通路。這兩條通路不僅分布于視覺皮層，還對(duì)應(yīng)地投射在腹、背外側(cè)前額葉皮層上。并且，這種拓?fù)浣Y(jié)構(gòu)的組織形式，除了存在于視覺系統(tǒng)，還存在于其他的感覺處理系統(tǒng)，包括聽覺、軀體感覺等等（詳見前文：外側(cè)前額葉皮層的功能組織形式

https://mp.weixin.qq.com/s/m0Mq7F34PD8lmUrtR4v5iQ）。

與我們?nèi)祟愖陨硪粯?，大腦也是由簡單到復(fù)雜逐漸進(jìn)化而來的。大腦中有不少通路、環(huán)路被保留下來，并且隨著進(jìn)化的推進(jìn)而被賦予新的功能。那么在感覺系統(tǒng)中普遍存在的拓?fù)浣M織形式是否也是進(jìn)化的“遺跡”，是否也存在于大腦中的其他信息處理系統(tǒng)呢？基于對(duì)之前研究的梳理，我們提出了一個(gè)假說，認(rèn)為介導(dǎo)強(qiáng)化學(xué)習(xí)的前額葉皮層-紋狀體環(huán)路可能也遵守了一個(gè)類似的規(guī)則[1]：即存在腹側(cè)與背側(cè)兩條系統(tǒng)參與不同的認(rèn)知過程（詳見前文：認(rèn)知功能 = 大腦皮層？）。我們剛發(fā)表的這項(xiàng)工作，便是為了驗(yàn)證該假說而開展的。

一、行為學(xué)任務(wù)

該項(xiàng)研究使用了三臂老虎機(jī)（three-armed bandit）任務(wù)對(duì)獼猴進(jìn)行行為訓(xùn)練和測試。每天實(shí)驗(yàn)開始前會(huì)向猴子展示三張新圖片，這些圖片隨機(jī)對(duì)應(yīng)20%，50% 和80%的獎(jiǎng)勵(lì)（蘋果汁）概率。猴子會(huì)在這些圖片中做出選擇，以獲取盡可能多的獎(jiǎng)勵(lì)（圖?1A）。通常在做出十幾次選擇后，猴子都會(huì)弄明白哪張圖片對(duì)應(yīng)最高的獎(jiǎng)勵(lì)概率。這時(shí)候，三張圖片其中的隨機(jī)一張圖片會(huì)被新的圖片替換掉（圖?1B）。猴子需要重新摸索新形成的圖片組合中哪張對(duì)應(yīng)更高的獎(jiǎng)勵(lì)概率。本實(shí)驗(yàn)使用了5只猴子。我們分別在他們的杏仁核（AMY）、腹側(cè)紋狀體（VS）、眶額皮層（OFC）和外側(cè)前額葉皮層（LPFC）中采集了神經(jīng)元信號(hào)。

二、紋狀體環(huán)路編碼強(qiáng)化學(xué)習(xí)中的目標(biāo)價(jià)值和行動(dòng)的執(zhí)行

我們首先分析了各個(gè)腦區(qū)對(duì)所選擇的圖片的形狀（即不同的圖片）、空間位置（即在屏幕中的位置）和獎(jiǎng)賞信息（即是否獲得獎(jiǎng)勵(lì)）編碼的情況。發(fā)現(xiàn)杏仁核、腹側(cè)紋狀體、眶額皮層對(duì)形狀信息的編碼更強(qiáng)（圖 2A），特別是在注視期（獼猴看到圖片之前）。這表明獼猴提前存儲(chǔ)了將要選擇的圖片的信息。對(duì)圖片所在空間位置的編碼來看，外側(cè)前額葉皮層的響應(yīng)程度更強(qiáng)（圖 2B）。圖片所在的空間位置也是獼猴做出選擇時(shí)眼睛掃視的方向，與行動(dòng)的執(zhí)行相關(guān)。而對(duì)于獎(jiǎng)賞信息，各個(gè)腦區(qū)的編碼強(qiáng)度比較類似（圖 2C）。

?

本實(shí)驗(yàn)中獼猴的學(xué)習(xí)過程，其實(shí)就是探索各個(gè)選項(xiàng)以發(fā)現(xiàn)最大價(jià)值選項(xiàng)的過程。然而，動(dòng)物在執(zhí)行任務(wù)的過程中，各個(gè)選項(xiàng)在他們腦海中代表的價(jià)值是不斷發(fā)生改變的。不同于感覺信息，各種選項(xiàng)在獼猴腦海里面的估值無法被直接測量。因此，我們使用部分可觀察馬爾可夫決策過程（POMDP）模型預(yù)測了獼猴在學(xué)習(xí)過程中對(duì)各個(gè)圖片估值的動(dòng)態(tài)變化情況。該模型基于動(dòng)物的選擇，預(yù)測三個(gè)價(jià)值相關(guān)的變量，分別是：即時(shí)期望值（IEV），即每張圖片當(dāng)前試次（trial）在獼猴腦內(nèi)的估值；未來預(yù)期值（FEV），即獼猴估計(jì)的在接下來的試次能獲得的價(jià)值；以及“新奇紅利?（BONUS）?”，即圖片的新奇程度對(duì)獼猴預(yù)估其價(jià)值時(shí)的加成程度。

我們發(fā)現(xiàn)：1)?在注視期，杏仁核、眶額皮層對(duì)即時(shí)期望值的編碼情況更強(qiáng)（圖 2D），反映學(xué)習(xí)過程中對(duì)目標(biāo)價(jià)值的編碼。2)?各個(gè)腦區(qū)在各個(gè)時(shí)間點(diǎn)對(duì)未來預(yù)期值都有一定強(qiáng)度的編碼（圖 2E），反映了對(duì)在學(xué)習(xí)中所處狀態(tài)（state）的編碼。3)?各腦區(qū)都有不少比例的神經(jīng)元參與了對(duì)“新奇紅利”的編碼（圖 2F），反映了動(dòng)物對(duì)新奇事物偏好的表征。

以上的分析是基于單個(gè)神經(jīng)元對(duì)變量的響應(yīng)，并不能反映群體神經(jīng)元的編碼情況。因此，我們對(duì)記錄到的群體神經(jīng)元也進(jìn)行了解碼（decoding）分析，并得到了類似結(jié)果：獼猴杏仁核在注視期的神經(jīng)活動(dòng)的確能更好地預(yù)測即將選擇的圖片（圖 3A）；外側(cè)前額葉皮層對(duì)空間位置的編碼最強(qiáng)（圖 3B）；各個(gè)腦區(qū)對(duì)獎(jiǎng)賞信息的編碼則比較相似（圖 3C）。

?

為了預(yù)測單位數(shù)量和無限數(shù)目神經(jīng)元理論上可以編碼的信息量，我們使用飽和函數(shù)（saturating function）擬合了解碼結(jié)果（圖 3D）。我們發(fā)現(xiàn)：

1)?杏仁核、腹側(cè)紋狀體、眶額皮層對(duì)目標(biāo)價(jià)值相關(guān)信息（a priori?reward）的編碼強(qiáng)度大于外側(cè)前額葉皮層（圖 3E）。但是，當(dāng)假設(shè)神經(jīng)元數(shù)目足夠多之后，這些腦區(qū)理論上能編碼的信息的最大值基本一致（圖 3F）。

2)?無論是在單位數(shù)量的神經(jīng)元（圖 3E）還是假定無限數(shù)量神經(jīng)元的情況（圖 3F），外側(cè)前額葉皮層對(duì)空間位置信息的編碼強(qiáng)度要遠(yuǎn)高于杏仁核、腹側(cè)紋狀體和眶額皮層。

3)?單位數(shù)量的杏仁核、腹側(cè)紋狀體神經(jīng)元能編碼更多的獎(jiǎng)賞信息。但當(dāng)不限制神經(jīng)元的數(shù)目后，這些腦區(qū)理論上能編碼的獎(jiǎng)賞信息的最大值也基本一致（圖 3F）。這部分結(jié)果與我們的單個(gè)神經(jīng)元的分析結(jié)果，以及之前其他課題組的結(jié)果基本一致。

三、腹側(cè)與背側(cè)前額葉-紋狀體環(huán)路及強(qiáng)化學(xué)習(xí)中的信息流

在之前發(fā)表的另一項(xiàng)研究中[2]，我們發(fā)現(xiàn)在獼猴執(zhí)行另一個(gè)強(qiáng)化學(xué)習(xí)任務(wù)時(shí)，形狀信息和視覺空間信息會(huì)在外側(cè)前額葉皮層內(nèi)進(jìn)行傳遞和轉(zhuǎn)換（圖 4，右上角插圖）。當(dāng)學(xué)習(xí)任務(wù)需要使用形狀信息時(shí)，外側(cè)前額葉皮層的腹側(cè)和尾部（矩形4）的形狀信息會(huì)轉(zhuǎn)換為背側(cè)和頭部（矩形1-3）的空間信息（?詳見前文：Nat Commun｜形狀和空間信息如何在前額葉皮層內(nèi)傳遞？

https://mp.weixin.qq.com/s/uUecq3EJEs623WI0_dtarg）。

?

結(jié)合這兩篇論文的結(jié)果，我們的研究提示了一個(gè)在強(qiáng)化學(xué)習(xí)過程中可能的信息傳遞模式（圖 4）：當(dāng)獼猴看到選項(xiàng)前，腹側(cè)前額葉-紋狀體環(huán)路便已經(jīng)提前編碼了目標(biāo)選項(xiàng)（以及對(duì)應(yīng)的價(jià)值）；而看到選項(xiàng)后，這些信息會(huì)被傳遞到背側(cè)前額葉-紋狀體環(huán)路，指導(dǎo)獼猴做出抉擇；之后這些形狀/價(jià)值相關(guān)的信息會(huì)從腹外側(cè)前額葉皮層向背外側(cè)前額葉皮層傳遞，并轉(zhuǎn)換成空間位置信息，指導(dǎo)運(yùn)動(dòng)相關(guān)腦區(qū)選擇對(duì)應(yīng)位置的圖片。

圖片來源

封面圖片：https://www.cuinsight.com/memberpass-privacy-technology-helps-credit-unions-build-member-trust.html?

其他圖片：論文原文

?

參考文獻(xiàn)

1. Averbeck, B.B. and E.A. Murray, Hypothalamic Interactions with Large-Scale Neural Circuits Underlying Reinforcement Learning and Motivated Behavior.?Trends Neurosci, 2020. 43(9): p. 681-694.

2. Tang, H., R. Bartolo, and B.B. Averbeck, Reward-related choices determine information timing and flow across macaque lateral prefrontal cortex.?Nat Commun, 2021. 12(1): p. 894.

?

往期推薦

認(rèn)知功能 = 大腦皮層？

Nat Commun｜形狀和空間信息如何在前額葉皮層內(nèi)傳遞？

https://mp.weixin.qq.com/s/uUecq3EJEs623WI0_dtarg

PNAS | 行為訓(xùn)練提升工作記憶容量的神經(jīng)基礎(chǔ)

https://mp.weixin.qq.com/s/ObN0o9WmGd00x9JVymVxyA

前額葉漫游指南

https://mp.weixin.qq.com/s/bvqAfHwWFuajR7Wv3hKD1w

外側(cè)前額葉皮層的功能組織形式｜前額葉漫游指南（二）

https://mp.weixin.qq.com/s/m0Mq7F34PD8lmUrtR4v5iQ

?

?