世界衛(wèi)生組織2021年的《世界聽(tīng)力報(bào)告》顯示，全球約20%人口，即15億人有聽(tīng)力損失，到2050年，預(yù)計(jì)近25億人患有聽(tīng)力損失。結(jié)合我國(guó)第七次全國(guó)人口普查數(shù)據(jù)及第二次全國(guó)殘疾人抽樣調(diào)查的數(shù)據(jù)推算，2021年末我國(guó)聽(tīng)力語(yǔ)言障礙殘疾人數(shù)約為3001萬(wàn)人，占?xì)埣踩丝側(cè)藬?shù)的1/3。

不知道看到這組數(shù)據(jù)，大家都作何感想，你又是否考慮過(guò)聽(tīng)障群體的無(wú)障礙交流和信息獲取問(wèn)題呢？?

作為少數(shù)幾個(gè)將手語(yǔ)列為官方語(yǔ)言的國(guó)家之一，新西蘭在認(rèn)可和推廣手語(yǔ)方面走在世界前列。新西蘭手語(yǔ)翻譯員經(jīng)常會(huì)出現(xiàn)在各類媒體和社交場(chǎng)所之中，甚至新西蘭總理都在積極宣傳和學(xué)習(xí)新西蘭手語(yǔ)（New Zealand Sign Language，簡(jiǎn)稱NZSL），每次內(nèi)閣會(huì)議后的新聞發(fā)布會(huì)，她都會(huì)配備手語(yǔ)翻譯。這些舉措不僅增加了聾人群體獲取信息的機(jī)會(huì)，也促進(jìn)人們意識(shí)到手語(yǔ)對(duì)于聾人群體平等參與社會(huì)生活和事務(wù)的重要性。

但手語(yǔ)翻譯員的數(shù)量畢竟是有限的，要想讓聽(tīng)障人士能夠與普通人信息平等，讓更多的聲音信息可視化，就必須依靠科技力量，形成生產(chǎn)級(jí)的手語(yǔ)信息體系。新蘭西的 Kara Technology就是這樣一個(gè)線上平臺(tái)，Kara Technology通過(guò)動(dòng)作捕捉、人工智能和超寫(xiě)實(shí)數(shù)字人技術(shù)，將視頻、音頻或文本等各種媒體內(nèi)容翻譯成手語(yǔ)。旨在消除聽(tīng)障群體和失聽(tīng)兒童在獨(dú)立學(xué)習(xí)和閱讀以及教育的不平等，讓聽(tīng)障人士可以隨時(shí)隨地?zé)o障礙地訪問(wèn)服務(wù)地點(diǎn)和信息，實(shí)現(xiàn)手語(yǔ)服務(wù)的7*24全天候數(shù)字可用性。

眾所周知，手語(yǔ)是一門完整的語(yǔ)言。它有特殊的語(yǔ)法、專業(yè)的詞匯、獨(dú)特的文化和復(fù)雜的手勢(shì)，所以手語(yǔ)翻譯是非常復(fù)雜的。那么Kara Technology是如何將文本/音頻/視頻信息轉(zhuǎn)化為手語(yǔ)的呢？

Kara Technology利用最先進(jìn)的Vicon動(dòng)作捕捉系統(tǒng)來(lái)精準(zhǔn)捕捉真人手語(yǔ)表演者的肢體和手部動(dòng)作，動(dòng)作捕捉數(shù)據(jù)與面捕得到的表情數(shù)據(jù)一起輸入到專用的流程中，通過(guò)Kara Technology開(kāi)發(fā)的處理詞匯數(shù)據(jù)集的高級(jí)算法，將輸入的信息及數(shù)據(jù)整合處理，就可以輸出完整的手語(yǔ)動(dòng)畫(huà)了。Kara Technology的聯(lián)合創(chuàng)始人 Farhour 補(bǔ)充道：“系統(tǒng)生成的手語(yǔ)動(dòng)畫(huà)是基于動(dòng)作捕捉數(shù)據(jù)而來(lái)的，動(dòng)作間的過(guò)渡則是算法自動(dòng)創(chuàng)建的，將數(shù)字角色與它們對(duì)應(yīng)組合在一起就是最終輸出的內(nèi)容?！?/p>

Kara Technology團(tuán)隊(duì)把它們的手語(yǔ)翻譯工作分為三個(gè)等級(jí)。對(duì)于一級(jí)翻譯，他們會(huì)采用真人Vicon動(dòng)作捕捉加數(shù)字形象的方式進(jìn)行。二級(jí)翻譯中，他們?cè)跀?shù)字形象的基礎(chǔ)上會(huì)使用了少量的真人Vicon動(dòng)作捕捉和一些視覺(jué)智能技術(shù)，以生成真實(shí)、自然、準(zhǔn)確的手語(yǔ)動(dòng)畫(huà)。對(duì)于三級(jí)翻譯，只需要輸入基本文本或音頻，應(yīng)用程序即可調(diào)用預(yù)置的動(dòng)捕手語(yǔ)數(shù)據(jù)庫(kù)，在 AI技術(shù)的加持下，即可自動(dòng)生成數(shù)字手語(yǔ)動(dòng)畫(huà)。目前，Kara Technology的工作多數(shù)處于第二級(jí)。由此可見(jiàn)，Kara Technology的手語(yǔ)翻譯過(guò)程并不是實(shí)時(shí)的，但它能夠非?？焖俚厣?。

據(jù)悉，Kara Technology團(tuán)隊(duì)已經(jīng)制作了一系列手語(yǔ)數(shù)字人，發(fā)行了《The Very Hungry Caterpillar（饑餓的毛毛蟲(chóng)）》等數(shù)本手語(yǔ)翻譯的兒童讀物視頻、用數(shù)字人手語(yǔ)翻譯了數(shù)本兒童教育材料。

目前，Kara Technology還在嘗試通過(guò)預(yù)先錄制的Vicon運(yùn)動(dòng)捕獲數(shù)據(jù)來(lái)創(chuàng)建即時(shí)的手語(yǔ)版緊急消息，以應(yīng)對(duì)發(fā)生地震或海嘯等無(wú)法及時(shí)尋找真人手語(yǔ)翻譯員的突發(fā)狀況時(shí)的緊急通知，及時(shí)將預(yù)警信息傳達(dá)給所有人。Kara Technology希望在未來(lái)，世界各地的電視節(jié)目、銀行柜機(jī)、線上網(wǎng)站、在線表格、劇院、公共交通、社交媒體、游戲和虛擬現(xiàn)實(shí)技術(shù)等都可以配備手語(yǔ)數(shù)字人及影像來(lái)進(jìn)行公共服務(wù)信息的傳達(dá)。

結(jié)語(yǔ)

Kara Technology的數(shù)字人手語(yǔ)翻譯技術(shù)，正在用科技改變著聽(tīng)障人士的生活，為這一群體帶來(lái)更多的社會(huì)關(guān)懷和信息平等權(quán)利，更為各國(guó)推動(dòng)手語(yǔ)數(shù)字化，用動(dòng)捕技術(shù)和數(shù)字人技術(shù)助力無(wú)障礙事業(yè)發(fā)展開(kāi)辟了新思路。

迪生數(shù)字，愿用Vicon動(dòng)捕技術(shù)，與全社會(huì)一道，推動(dòng)國(guó)內(nèi)手語(yǔ)數(shù)字化的發(fā)展和其他無(wú)障礙事業(yè)的數(shù)字化創(chuàng)新。關(guān)注迪生，了解更多動(dòng)作捕捉服務(wù)和行業(yè)動(dòng)態(tài)。