學(xué)習(xí)使用MediaPipe 集成人臉識(shí)別,人體姿態(tài)評(píng)估,人手檢測(cè)模型,物體檢測(cè),目標(biāo)跟蹤等
官網(wǎng):https://google.github.io/mediapipe/


? 強(qiáng)大的MediaPipe可以實(shí)現(xiàn)視頻姿勢(shì)估計(jì)可以直接在cpu上運(yùn)行,可以在增強(qiáng)現(xiàn)實(shí)、手語(yǔ)識(shí)別、全身手勢(shì)控制,甚至量化體育鍛煉中將數(shù)字內(nèi)容和信息疊加到物理世界之上,它可以構(gòu)成瑜伽的基礎(chǔ)?、舞蹈和健身應(yīng)用。由于可能的姿勢(shì)多種多樣(例如,數(shù)百個(gè)瑜伽體式)、眾多的自由度、遮擋(例如,從相機(jī)看到的身體或其他物體遮擋了四肢)以及各種外觀或服裝。一種新的人體姿勢(shì)感知方法BlazePose,通過(guò)使用機(jī)器學(xué)習(xí) (ML) 從單個(gè)幀中推斷出身體的 33 個(gè)二維地標(biāo),從而提供人體姿勢(shì)跟蹤。與基于標(biāo)準(zhǔn)COCO 拓?fù)涞漠?dāng)前姿勢(shì)模型相比,BlazePose 可以準(zhǔn)確定位更多關(guān)鍵點(diǎn),使其特別適合健身應(yīng)用。此外,當(dāng)前最先進(jìn)的方法主要依賴強(qiáng)大的桌面環(huán)境進(jìn)行推理,而我們的方法通過(guò) CPU 推理在手機(jī)上實(shí)現(xiàn)實(shí)時(shí)性能。如果利用 GPU 推理,BlazePose 可實(shí)現(xiàn)超實(shí)時(shí)性能,使其能夠運(yùn)行后續(xù) ML 模型,如面部或手部跟蹤。
一. 處理圖片
二. 處理視頻流
三. 處理視頻后輸出