?交互一直是VR/AR體驗(yàn)中最為重要也是最難實(shí)現(xiàn)的一塊，手柄、力反饋、能模擬冷熱痛感的裝置、體感、手勢……交互的紛繁復(fù)雜也給內(nèi)容開發(fā)者增添了更多的工作量和開發(fā)難度。

其中手勢被稱為最自然的交互方式，但截止到目前，幾乎所有的手勢都是依靠雙目紅外和深度相機(jī)實(shí)現(xiàn)的三維骨骼識別，成本相對較高，對性能要求也更高。

如何基于單目RGB攝像頭實(shí)現(xiàn)更精準(zhǔn)的手勢識別，成為了諸多企業(yè)努力的方向。

總部位于杭州 的 uSens凌感科技一直致力于手勢識別的研發(fā)和迭代，其提供的手勢識別技術(shù)在AR、VR業(yè)界已經(jīng)有一定知名度。但前幾年凌感的手勢識別主要是使用雙目紅外和深度相機(jī)上實(shí)現(xiàn)的三維骨骼識別，應(yīng)用在頭顯和汽車等一些智能硬件上。

最近凌感公司發(fā)布了可以運(yùn)行在單目彩色攝像頭上的三維骨骼手勢跟蹤識別，可識別手部全部22個關(guān)節(jié)點(diǎn)的26DOF（26自由度）信息，關(guān)節(jié)點(diǎn)包括3D位置信息和3D旋轉(zhuǎn)信息。?

這一技術(shù)的亮點(diǎn)在哪里呢？本文將對此一一介紹。

相機(jī)（攝像頭模組）的種類很多， 雙目紅外相機(jī)(uSens Fingo, Leap Motion)、雙目彩色、TOF相機(jī)（廠家很多）、結(jié)構(gòu)光相機(jī)、單目紅外相機(jī)、普通RGB彩色相機(jī)等。其中，普通彩色相機(jī)是成本最低、使用最廣泛的一種，已經(jīng)內(nèi)置于所有的手機(jī)、絕大部分AR&MR Glass里以及一部分VR HMD中。

可惜彩色相機(jī)的手勢算法最難實(shí)現(xiàn)，因?yàn)閺?fù)雜的背景混淆，各種光照條件，不同的膚色等等，單個彩色RGB相機(jī)只獲取2D圖像，提取3D信息非常困難，無法直接提供深度信息，所以很難做出三維的識別和跟蹤。?

目前有些手機(jī)上不是已經(jīng)有了簡單手勢的自拍功能嗎？是的。目前市場上有的，被部分手機(jī)和AR眼鏡使用的只是基于單目RGB相機(jī)的簡單二維手型，簡單固定手勢識別。?

用戶做一個大概的手型，像一個Yes或握拳等，通過一個簡單形狀來表示某個意思。但不能用手在游戲或其他APP里做任何帶深度的、自然的操作，不能做到和物體交互，因?yàn)槎S的手型識別沒有骨骼跟蹤，更沒有深度信息。

為什么需要手的骨骼跟蹤識別呢？因?yàn)槿梭w最靈活的就是雙手了。我們的手因?yàn)橛惺种负完P(guān)節(jié)，可以做各種自由度的運(yùn)動，所以手上可以做出千變?nèi)f化的動作，讓我們有可能去操作各種儀器，以及用各種手勢來表達(dá)自己。手的動作很多，很復(fù)雜、很快。如果不是跟蹤每一個關(guān)節(jié)，所有自由度的運(yùn)動，就無法真的跟蹤識別出所有手的動作，也很容易丟失。

所以在計算機(jī)視覺領(lǐng)域，最好最有意義的就是手的三維骨骼跟蹤識別。能做到這個層次的只有Leap Motion 和uSens 凌感，但以前只能在雙目和深度相機(jī)上實(shí)現(xiàn)，且成本一直比較高。

最近幾年來，uSens 凌感在不斷研發(fā)的過程中，結(jié)合領(lǐng)先的深度學(xué)習(xí)技術(shù)，取得了突破性的進(jìn)展，實(shí)現(xiàn)了在最簡單的單目RGB相機(jī)的3D手勢骨骼識別技術(shù)。?

這個技術(shù)可以用于各種帶有普通RGB相機(jī)的場景，從所有智能手機(jī)內(nèi)置的相機(jī)，到AR、MR、VR HMD到工業(yè)控制、IOT等多個領(lǐng)域，已經(jīng)達(dá)到了產(chǎn)品級的性能，并應(yīng)用在多個工業(yè)客戶的產(chǎn)品里。

凌感基于RGB相機(jī)的3D手勢骨骼技術(shù)可識別手部全部22個關(guān)節(jié)點(diǎn)的26DOF（26自由度）信息，關(guān)節(jié)點(diǎn)包括3D位置信息和3D旋轉(zhuǎn)信息。??

26個自由度，對手部3D狀態(tài)實(shí)現(xiàn)最全面的解析，對用戶所有自然手部運(yùn)動都有良好識別，對上百萬個連續(xù)交互狀態(tài)進(jìn)行跟蹤。從簡單固定的幾個手勢，到連續(xù)自然狀態(tài)的全面識別跟蹤，該技術(shù)的實(shí)現(xiàn)是一個巨大飛躍。

凌感的手勢算法適應(yīng)日常各種光照、環(huán)境、各類人群和所有的自然手部運(yùn)動，無需初始化，只要有一個攝像頭，任何人立刻上手使用，系統(tǒng)立刻開始識別，可以跟蹤快速運(yùn)動，包括移動、轉(zhuǎn)動、各種快速手指狀態(tài)變化。

另外手勢識別領(lǐng)域的另一個難點(diǎn)，對遮擋部分的跟蹤識別也通過最先進(jìn)的人工智能算法得到突破。

視覺算法會需要很高的芯片計算能力，以前對運(yùn)行平臺要求較高，uSens凌感公司在性能上做了大量優(yōu)化，適配于各種中、高、低端移動平臺，即便在中低端手機(jī)也能運(yùn)行良好。

對于我們今年最關(guān)注的AR Glass來說，用自帶的RGB相機(jī)，加上自然的3D手勢骨骼交互，可以實(shí)現(xiàn)最好的交互體驗(yàn)，隨心所欲得用雙手操作。

當(dāng)然，如果大家都愿意多花成本，用深度相機(jī)或雙目的話，凌感的手勢識別效果會更震撼哦。