【專業(yè)解讀】腦機(jī)智能融合技術(shù)(三)
本次專業(yè)解讀,我們邀請(qǐng)到了中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院腦研究所,腦機(jī)智能融合技術(shù)實(shí)驗(yàn)室PI,正高級(jí)工程師、博士生導(dǎo)師李驍健老師。
李驍健老師是國(guó)內(nèi)腦機(jī)智能融合技術(shù)的重要人物,長(zhǎng)期身體力行地推廣腦機(jī)接口技術(shù)。本次專家解讀,李老師和和陸王天宇博士就腦機(jī)智能融合的硬件發(fā)展歷史與現(xiàn)狀、算法及軟件的開發(fā)、多模態(tài)研究方式、科技落地和領(lǐng)域宣傳方面,展開了深入又不失趣味的討論。
專家訪談
小麓:您有化工、生物物理、生理學(xué)和電子工程等研究背景,是全面的神經(jīng)工程學(xué)家,之前和現(xiàn)在都主要做哪些方面的研究呢?
李驍健:研究生階段就開始研究神經(jīng)電生理、視覺(jué)信息加工,早期制作的玻璃絕緣鎢絲微電極,應(yīng)用在很多實(shí)驗(yàn)室。
博士后留美期間師從“聰明鼠”之父錢卓教授。錢卓教授在1999年突破性地創(chuàng)造了“聰明鼠”,被《科學(xué)》雜志列為當(dāng)年十大科技成果之一。
■? 聰明鼠
聰明鼠“杜奇”(Doogie)在美國(guó)普林斯頓大學(xué)的分子生物實(shí)驗(yàn)室誕生。他們擁有同類小鼠無(wú)法比擬的智力:They're learning things much better and remembering longer. They're smarter.
李驍健:在錢卓教授實(shí)驗(yàn)室主要做神經(jīng)解碼工作,實(shí)驗(yàn)室有當(dāng)時(shí)世界上唯一一套1024道系統(tǒng):兩個(gè)兩米來(lái)高的大機(jī)柜,一面墻12臺(tái)顯示器,4臺(tái)主機(jī)。
現(xiàn)在我們研發(fā)的1024道的高通量神經(jīng)信息獲取系統(tǒng),具有實(shí)時(shí)并行的板上神經(jīng)信號(hào)處理功能,卻只有手掌那么大了。

李驍健:馬斯克NeuraLink裝置屬于腦機(jī)接口前端技術(shù)。柔性電極陣列、神經(jīng)芯片、電池和通訊線圈集成一體,做到了微型化,體現(xiàn)了微電子和微納加工技術(shù)的發(fā)展。
神經(jīng)界面材料領(lǐng)域在意神經(jīng)植入物的異質(zhì)性和機(jī)械適配性。FDA認(rèn)證的高密度猶他陣列,是需要?dú)忮N錘進(jìn)腦里,微電極是硬針,而腦組織很軟,膠質(zhì)細(xì)胞會(huì)來(lái)保護(hù),就不能保持長(zhǎng)時(shí)間采集。
傳感器部分是最前端的,如果采集信號(hào)不好,信噪比不高,不能長(zhǎng)時(shí)間穩(wěn)定采集的話,數(shù)據(jù)源不好會(huì)導(dǎo)致之后的研究不好進(jìn)行。
而柔性電極植入物和腦組織可能共融共生,實(shí)現(xiàn)穩(wěn)定信號(hào)讀出和寫入,獲得好的數(shù)據(jù)是高效神經(jīng)解碼的前提。
去年NeuraLink展示腦機(jī)接口裝置時(shí)對(duì)比了現(xiàn)有的采用猶他陣列的腦機(jī)接口裝置,有兩大塊硬件暴露在腦外。這可以在實(shí)驗(yàn)室做研究用,但日常應(yīng)用是不方便的。而到了今年,用上了微型化芯片,且實(shí)現(xiàn)了無(wú)線通訊。我們可以看到馬斯克的展示是比較嚴(yán)謹(jǐn)?shù)?,比如展示了植入的小豬,植入又取出裝置的小豬。這些展示都是現(xiàn)在醫(yī)療上對(duì)醫(yī)療器械的要求,就是要以柔性電極加無(wú)線傳輸替代猶他電極陣列加有線采集。
這種設(shè)備帶來(lái)的好處是,會(huì)有更多病患志愿者愿意嘗試,大幅擴(kuò)增用于腦疾病分析的神經(jīng)信息數(shù)據(jù)源,對(duì)人的神經(jīng)解碼、智能理解的研究也會(huì)有很大促進(jìn)。
陸王天宇:這個(gè)倒是讓我想起來(lái),馬斯克做特斯拉的時(shí)候,他直接就把特斯拉的自動(dòng)駕駛的功能投放到那些車上,就相當(dāng)于他的訓(xùn)練樣本瞬間比其他所有公司都多,而且每時(shí)每刻的增量的數(shù)據(jù)也比別人多,在自動(dòng)駕駛領(lǐng)域很快就彎道超車了。數(shù)據(jù)還是很關(guān)鍵的一個(gè)基礎(chǔ)。
我看馬斯克在這次的發(fā)布會(huì)上對(duì)這次數(shù)據(jù)量大了之后,應(yīng)當(dāng)會(huì)有軟件,包括代碼,各種數(shù)據(jù)處理的方法。好多人也在評(píng)論,他對(duì)這些展示的不多,怎么分析的數(shù)據(jù)其實(shí)也沒(méi)發(fā)布。
李驍健:現(xiàn)在這個(gè)問(wèn)題提的有點(diǎn)早了,馬斯克主要展示裝置,申請(qǐng)了創(chuàng)新型醫(yī)療器械,主要實(shí)現(xiàn)高通量采集。
解碼方面,一個(gè)神經(jīng)脈沖源胞外的有效傳播范圍在150微米左右,目前我們做的多通道電生理數(shù)據(jù)分析手段是設(shè)置閾值(根據(jù)噪聲水平動(dòng)態(tài)調(diào)整閾值)做脈沖探測(cè)。
一般通過(guò)擴(kuò)大數(shù)據(jù)信號(hào)源、增多通道的方法,根據(jù)神經(jīng)元群體編碼理論,信息是容易抽提的,可以降低數(shù)據(jù)處理的壓力。
需要獲得更多神經(jīng)信息的話,既要往深挖,也要往廣度拓展。
植入物如果是針狀電極、猶他電極、NeuraLink電極植入的覆蓋范圍都比較小,普遍小于1厘米見(jiàn)方;ECoG的植入范圍能有5到10厘米見(jiàn)方,擴(kuò)大信號(hào)源范圍也是解碼的途徑。相對(duì)于ECoG,micro-ECoG皮層腦電圖有更密更小的電極。
■? ECoG
皮層腦電圖(ECoG)是一種電生理監(jiān)測(cè),它使用直接放置在大腦裸露表面上的電極。ECoG是研究大腦的有前途的技術(shù),ECoG信號(hào)可用于控制腦機(jī)接口。進(jìn)步使得可以同時(shí)記錄越來(lái)越多的更小且更緊密間隔的電極。但是,從大腦外部進(jìn)行電記錄的一個(gè)特性是,普通信號(hào)出現(xiàn)在不同位置的不同電極上,這影響了有關(guān)如何最佳分配有限數(shù)量的電極以最大化可收集信息的決策。
事實(shí)證明,在大腦表面上相距約1厘米的大間距電極可用于臨床和研究,但是從較小區(qū)域中更多位置進(jìn)行錄制有多大好處還有待回答。我們發(fā)現(xiàn),由于存在于多個(gè)電極位置的大腦活動(dòng)的不同模式的組合,我們可以解釋不同位置之間的共性,并且從非常緊密間隔的電極(相距約一毫米或更短的距離)記錄的信號(hào)能夠識(shí)別這種規(guī)模的模式。
李驍健:數(shù)據(jù)豐富度高了以后,數(shù)據(jù)處理要求的精細(xì)度也相對(duì)降低了,整個(gè)流程變得方便了,信息的分析效果相當(dāng)于魯棒性增強(qiáng),就簡(jiǎn)化了算法。
如果從實(shí)用性來(lái)講,比如作為醫(yī)療器械的腦機(jī)接口,最成熟的就是控制類人機(jī)械臂。這時(shí)神經(jīng)信號(hào)需要實(shí)時(shí)處理。因?yàn)殡姌O植入并且記錄的神經(jīng)元未必是和控制手臂高度相關(guān)的神經(jīng)元,這相當(dāng)于要重新訓(xùn)練神經(jīng)網(wǎng)絡(luò),才能逐漸掌握控制機(jī)械手。
任何訓(xùn)練都需要反饋,無(wú)論機(jī)器學(xué)習(xí)還是神經(jīng)學(xué)習(xí)。機(jī)械響應(yīng)慢的話無(wú)法完全認(rèn)為是反饋,不能形成閉環(huán)。運(yùn)動(dòng)腦機(jī)接口交互學(xué)習(xí)必須要形成閉環(huán),所以高性能的腦機(jī)接口需要高速的神經(jīng)信息處理能力,也包括機(jī)械的響應(yīng)。
陸王天宇:像這種學(xué)習(xí),把腦波和對(duì)應(yīng)的機(jī)械臂的控制,本身形成一個(gè)映射關(guān)系,這種映射關(guān)系基本上都是用深入學(xué)習(xí)做的。算法本身是人工神經(jīng)網(wǎng)絡(luò),然后快速學(xué)了這個(gè)關(guān)系,使得數(shù)據(jù)的處理流程盡可能簡(jiǎn)單,那效果就會(huì)越好。
李驍健:不同的神經(jīng)界面形式,比如植入的電極陣列和ECoG的信號(hào)源不一樣,算法處理上有一定差別。
機(jī)器學(xué)習(xí)沒(méi)有人學(xué)習(xí)快,因?yàn)樾盘?hào)源維度的關(guān)系,ECoG學(xué)習(xí)速度會(huì)比刺入式針狀的能記錄到神經(jīng)元水平的要慢。人植入猶他電極,學(xué)習(xí)一個(gè)任務(wù)往往半天就行,人訓(xùn)練自己的神經(jīng)網(wǎng)絡(luò),即生物神經(jīng)網(wǎng)絡(luò)比較快,精度也比較高。植入?yún)^(qū)運(yùn)動(dòng)皮層的神經(jīng)元的基本性質(zhì)比較清楚,神經(jīng)信號(hào)降維,如做主成分分析,用線性解碼器解碼往往夠用了。
ECoG需要更多的神經(jīng)元訓(xùn)練得到明顯群體效果,才能在ECoG上反映出來(lái)。
不同傳感器類型做神經(jīng)解碼的方式會(huì)有較大的差異,涉及到軟硬件的整合優(yōu)化。從腦組織外采集神經(jīng)信息,深刻性有所降低,但是信息收集面比較廣。神經(jīng)信號(hào)源的差異會(huì)使神經(jīng)解碼在算法上各有側(cè)重,在反饋和學(xué)習(xí)過(guò)程中對(duì)神經(jīng)網(wǎng)絡(luò)訓(xùn)練的方式也會(huì)有不同。神經(jīng)信息的處理方法會(huì)呈現(xiàn)百花齊放的局面。
腦機(jī)接口的關(guān)鍵問(wèn)題就是互學(xué)習(xí),一是生物神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),二是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)。
一般不拿小鼠做腦機(jī)接口,因?yàn)樾∈髮W(xué)習(xí)能力較差。而人有高性能的神經(jīng)網(wǎng)絡(luò),重組能力強(qiáng),學(xué)習(xí)效能高。?
陸王天宇:我們因?yàn)樵谧鑫覀冏约涸陂_發(fā)了一個(gè)spike sorting的工具軟件,領(lǐng)域里比較早出現(xiàn)的工具,甚至是為了滿足20年前的科研需求而形成的工具。
最近相關(guān)軟件、工具好像看到的比較少了,您是怎么樣去看待這個(gè)問(wèn)題的?這種工具怎么樣去更好的擴(kuò)展到其他單位?
李驍健:猶他電極能記上百道,每個(gè)尖端一個(gè)觸點(diǎn)間距比較開,不能形成多點(diǎn)共同探測(cè)信號(hào)源;NeuraLink的高密度柔性電極陣列,一根電極有很多串行排列的探測(cè)點(diǎn),多根排列會(huì)有立體的神經(jīng)網(wǎng)絡(luò)信息,電極陣列排布幾何結(jié)構(gòu)不同,采集的神經(jīng)組織的信息也不大相同。
采集神經(jīng)信號(hào)方式和方法的變化、創(chuàng)新,會(huì)伴隨著對(duì)應(yīng)神經(jīng)信息和數(shù)據(jù)處理的個(gè)性化發(fā)展。
陸王天宇:那我們暢想一下,如果NeuraLink硬件基礎(chǔ)賣給各個(gè)實(shí)驗(yàn)室,之后將出現(xiàn)相關(guān)的通用工具。
李驍健:用這種高通量設(shè)備采集到大量數(shù)據(jù),才有新的分析方法、解碼算法的出現(xiàn)。數(shù)據(jù)多的話一定會(huì)找到好的分析方法,這是數(shù)據(jù)驅(qū)動(dòng)型研究。
陸王天宇:所以有了好的前端設(shè)備,數(shù)據(jù)會(huì)更豐富,這樣的設(shè)備也可以用在更多個(gè)體上。
腦機(jī)接口的硬件設(shè)備用獼猴做實(shí)驗(yàn),是不是一個(gè)好的方向。
李驍健:非人靈長(zhǎng)類資源豐富會(huì)是中國(guó)腦計(jì)劃的很大優(yōu)勢(shì)。比如轉(zhuǎn)基因猴子“中中”“華華”等成果。
以前國(guó)內(nèi)主要做eeg腦機(jī)接口,優(yōu)點(diǎn)是低風(fēng)險(xiǎn),基本無(wú)創(chuàng),但是獲得的神經(jīng)信息比較有限,信號(hào)經(jīng)過(guò)了顱骨和頭皮剩的就很少了。神經(jīng)元軸突是有絕緣包被的,電脈沖信號(hào)在普通電解質(zhì)環(huán)境中只能傳遞一兩百微米,這是比較簡(jiǎn)單的生物物理原理。神經(jīng)元主要是靠神經(jīng)脈沖傳遞信息,所以說(shuō)高保真信息肯定要離神經(jīng)元近才能捕捉到,這就是植入式電極的基本原理。
因?yàn)楹锷窠?jīng)功能和人比較類似,用猴做實(shí)驗(yàn),對(duì)植入腦機(jī)接口獲得高質(zhì)量數(shù)據(jù),做神經(jīng)信息的分析解碼,研究神經(jīng)學(xué)習(xí),搞清大腦智能產(chǎn)生的機(jī)制,探索腦疾病的治療,都有很大的幫助。通過(guò)分析非人靈長(zhǎng)類這種比較高智能的動(dòng)物,研究智能表現(xiàn)的神經(jīng)基礎(chǔ),對(duì)類腦人工智能的發(fā)展都會(huì)有重大的促進(jìn)作用。
陸王天宇:主要數(shù)據(jù)源還在猴子上,在人身上應(yīng)用的數(shù)字不可能突然暴漲吧?
李驍健:雖然中國(guó)人口多,但是對(duì)腦植入式治療的接受度不高。這方面需要宣傳科普、更新觀念,闡述腦機(jī)接口的治療效果。
植入式腦機(jī)接口很重要的方面是研究高智能生物的神經(jīng)學(xué)習(xí)——為什么學(xué)的東西快,怎么學(xué)的。這塊用猴子研究比較理想。
植入式腦機(jī)接口應(yīng)用在醫(yī)療是一方面,如果設(shè)備通過(guò)FDA認(rèn)證,如果有更多患者志愿者愿意加入肯定對(duì)大腦的理解,腦智能的涌現(xiàn),以及腦疾病的治療有很大幫助。
陸王天宇:神經(jīng)科學(xué)的數(shù)據(jù)越來(lái)越多元化、涉及到電信號(hào)、各種類型的圖像信號(hào)、外部行為學(xué)的數(shù)據(jù)等,這種多模態(tài)的數(shù)據(jù)目前主要是分開來(lái)分析的,您覺(jué)得把數(shù)據(jù)結(jié)合在一起去做分析,是否有前景?
李驍健:多模態(tài)信息是必然需要的模式,也涉及研究方式的進(jìn)一步優(yōu)化和調(diào)整等。
Allen Institute大規(guī)模、系統(tǒng)化把腦組織的結(jié)構(gòu)功能做圖譜、解析出來(lái),資料豐富,并形成了專門的數(shù)據(jù)格式。這不是作坊式的實(shí)驗(yàn)室能推動(dòng)的。
在任何一個(gè)時(shí)代發(fā)展的節(jié)點(diǎn)上一定需要有幾個(gè)關(guān)鍵投入,整合大家的愿望和思想,推動(dòng)一個(gè)完善的整合系統(tǒng)出來(lái)。
雖然從事這個(gè)領(lǐng)域的人都試圖推動(dòng),但也要找到時(shí)間節(jié)點(diǎn)和機(jī)遇,促進(jìn)整體信息的整合。
也需要重要的、有影響力的人物發(fā)揮關(guān)鍵作用,比如Allen Institute的Paul Allen這樣的大富翁集合了大資本和大科學(xué)家。
同時(shí)每個(gè)科研工作者也需要努力科普和奔走,先形成合作的愿望和意圖。
陸王天宇:國(guó)內(nèi)主要是國(guó)家在推動(dòng),個(gè)人方面,陳天橋?qū)θA山醫(yī)院有支持。
李驍健:所以要加強(qiáng)科普宣傳,讓人們意識(shí)到腦機(jī)接口對(duì)大家的未來(lái)生活會(huì)很有幫助。
陸王天宇:至少讓馬云投一投,(笑)馬云也挺熱衷公益的,但是對(duì)這塊可能認(rèn)知還不太多
李驍健:所以大家要多做公益多科普多宣傳科學(xué)。
小麓:之前有科研人員解讀馬斯克的落地轉(zhuǎn)化,認(rèn)為沒(méi)有新意。但您有不同看法,可以和我們說(shuō)說(shuō)嗎?
李驍健:技術(shù)從專業(yè)領(lǐng)域角度沒(méi)有太多可解讀的,是比較固定的套路。第一階段,首先要證明設(shè)備功能,用老鼠做演示;第二階段的目標(biāo)是要給人使用,就需要拿醫(yī)療注冊(cè)證、做安全測(cè)試,用豬做實(shí)驗(yàn),證明安全有效;第三階段就是希望有患者志愿者愿意做嘗試,并推廣開。
腦機(jī)接口從上世紀(jì)六七十年代開始研究,近十幾二十年加速發(fā)展,尤其近十年成果大增,臨床使用技術(shù)趨于成熟,所以馬斯克可以投入產(chǎn)業(yè)轉(zhuǎn)化。
像SpaceX火箭能實(shí)現(xiàn)商業(yè)化,就是航天技術(shù)已經(jīng)發(fā)展到一個(gè)程度,商業(yè)公司就可以接受比較成熟的技術(shù)。這和Allen 腦研究所是不同概念,腦研究所是純粹科學(xué)公益性的,而NeuraLink 是盈利的科技企業(yè)。
陸王天宇:“一體兩翼”科技落地是否要往臨床深入?
李驍健:植入式腦機(jī)接口需要一定的手術(shù),哪怕是做很小的植入手術(shù),也是三類醫(yī)療器械,必須要走醫(yī)療器械路線。
陸王天宇:哪些疾病適合落地,慢慢做大規(guī)模?
李驍健:精神疾病都是神經(jīng)出現(xiàn)的問(wèn)題,意識(shí)以物質(zhì)為基礎(chǔ)嘛。比如帕金森、老年癡呆是神經(jīng)退行性疾病,是神經(jīng)死了一些;很多精神疾病卻是神經(jīng)連錯(cuò)了。神經(jīng)調(diào)控就是介入式的治療手段了,需要有東西刺激神經(jīng),讓神經(jīng)按想要的方式長(zhǎng)回來(lái)。神經(jīng)相關(guān)的疾病都可以嘗試用這種方式。但具體怎么調(diào)控還有待研究。腦機(jī)接口就是提供了一個(gè)直接的神經(jīng)介入治療的手段。
腦機(jī)接口目前最成熟的就是運(yùn)動(dòng)腦機(jī)接口了。給癱瘓病人把運(yùn)動(dòng)意圖信息讀出來(lái),腦控機(jī)器人完成。
其他比如情緒腦機(jī)接口,比較麻煩,因?yàn)闆](méi)有明顯損傷可找,腦神經(jīng)網(wǎng)絡(luò)又復(fù)雜,可能需要多靶點(diǎn)協(xié)同調(diào)控的治療方案,通過(guò)哪幾個(gè)點(diǎn)可以調(diào)好是不確定的,這是之后需要深入探討的。
意圖運(yùn)動(dòng)方面,因?yàn)檫\(yùn)動(dòng)皮層在大腦皮層,顱骨打開就能看到。開個(gè)洞就能看到的,容易介入到,就先研究,研究的早,研究的就相對(duì)充分;情緒等演化的早,在深處的腦區(qū),因探測(cè)手段受局限、研究方法上曾經(jīng)匱乏,研究就少一些。
嘉賓介紹
李驍健?博士
中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院-深港腦科學(xué)創(chuàng)新研究院正高級(jí)工程師,博士生導(dǎo)師。
本科畢業(yè)于西北大學(xué)化學(xué)工程系,博士畢業(yè)于中科院生物物理所,曾先后在美國(guó)佐治亞醫(yī)學(xué)院和美國(guó)西北大學(xué)芬博格醫(yī)學(xué)院工作。
神經(jīng)科學(xué)方面的研究側(cè)重于神經(jīng)信息解碼和功能神經(jīng)環(huán)路解析。神經(jīng)技術(shù)方面包括研發(fā)高通量采集、檢測(cè)和分析神經(jīng)光電信息的儀器系統(tǒng);發(fā)展基于納米技術(shù)的非遺傳操作神經(jīng)調(diào)控方法,以及研發(fā)柔性微納神經(jīng)界面器件;目前工作著重于神經(jīng)仿真計(jì)算與類腦器件設(shè)計(jì)等。
成果已發(fā)表在 Nature Biomedical Engineering、Nature Protocols、Nature Neuroscience、Nature Nanotechnology等多個(gè)學(xué)科的頂級(jí)期刊中,并受邀審稿。
研究方向
面向?qū)拵X機(jī)接口的神經(jīng)電子和神經(jīng)光子技術(shù)
面向神經(jīng)仿真和類腦計(jì)算的神經(jīng)環(huán)路解析和解碼技術(shù)
面向類人機(jī)器人的神經(jīng)擬態(tài)裝置和系統(tǒng)研發(fā)
麓聯(lián)數(shù)據(jù)助力中國(guó)神經(jīng)科學(xué)事業(yè)的發(fā)展,致力于成為神經(jīng)科學(xué)研究的最佳支持者。
Data Science for Science!
參考
1. https://en.wikipedia.org/wiki/Joe_Z._Tsien
2. https://www.scientificamerican.com/article/making-smart-mice/
3. https://www.wired.com/1999/09/building-a-better-mouse-brain/
4.?Nicholas Rogers ?et al.,PLoS Computational Biology 2019,Correlation Structure in Micro-ECoG Recordings is Described by Spatially Coherent Components
聲明:麓聯(lián)數(shù)據(jù)所刊載內(nèi)容知識(shí)產(chǎn)權(quán)為麓聯(lián)數(shù)據(jù)及相關(guān)權(quán)利人專屬所有或持有。未經(jīng)許可,禁止進(jìn)行轉(zhuǎn)載、摘編、復(fù)制及簡(jiǎn)歷鏡像等任何形式使用。如需轉(zhuǎn)載,請(qǐng)務(wù)必與我們聯(lián)系,獲得許可授權(quán)后方可轉(zhuǎn)載。