CSF和UC Berkeley的研究人員開(kāi)發(fā)了一種可植入的AI驅(qū)動(dòng)設(shè)備，首次將大腦信號(hào)轉(zhuǎn)化為語(yǔ)音和面部表情。 一位由于中風(fēng)失去說(shuō)話能力的女士借助該技術(shù)，能夠通過(guò)一個(gè)數(shù)字化虛擬形象來(lái)說(shuō)話和傳達(dá)情感。 該研究已在《自然》雜志上發(fā)表。 30歲的Ann因腦干中風(fēng)失去了身體所有肌肉的控制能力，甚至無(wú)法呼吸。經(jīng)過(guò)多年的物理治療，她的面部肌肉得到了一定的恢復(fù)，但仍無(wú)法說(shuō)話。

這是首次從大腦信號(hào)合成語(yǔ)音或面部表情。該系統(tǒng)還可以將這些信號(hào)解碼為文本，速度達(dá)到每分鐘近80個(gè)單詞，遠(yuǎn)遠(yuǎn)超過(guò)她目前的通信設(shè)備每分鐘14個(gè)單詞的速度。

研究人員通過(guò)在Ann的大腦表面植入253個(gè)電極，捕獲了原本將發(fā)送到她的嘴唇、舌頭、下顎和喉嚨以及面部的肌肉的大腦信號(hào)。然后，Ann與團(tuán)隊(duì)合作訓(xùn)練人工智能算法識(shí)別她的大腦信號(hào)。 此外，該團(tuán)隊(duì)還使用語(yǔ)言學(xué)習(xí)AI和2005年Ann的婚禮演講錄音，重建了Ann的聲音，并通過(guò)軟件模擬和動(dòng)畫化面部肌肉運(yùn)動(dòng)，為Ann的化身增添了面部和聲音。 這一突破性研究下一步是創(chuàng)建無(wú)線版本，使Ann不需要與腦機(jī)接口物理連接。

研究人員使用了一種稱為CTC損失的機(jī)器學(xué)習(xí)優(yōu)化技術(shù)，將大腦信號(hào)映射到離散單位，然后將這些離散單位合成為語(yǔ)音。他們還擴(kuò)展到更自然的溝通模式，如語(yǔ)音和面部表情。

研究人員的下一步計(jì)劃是減少延遲，使過(guò)程對(duì)參與者感覺(jué)像實(shí)時(shí)，并考慮將設(shè)備微型化，使其成為一個(gè)獨(dú)立設(shè)備，類似于心臟起搏器。