原文：Monocular Human Pose Estimation: A Survey of Deep Learning-based Methods

摘要：

基于視覺的單目人體姿態(tài)估計(jì)是計(jì)算機(jī)視覺中最基本、最具挑戰(zhàn)性的問題之一，其目的是從輸入的圖像或視頻序列中獲取人體的姿態(tài)。近年來，深度學(xué)習(xí)技術(shù)在人體姿態(tài)估計(jì)領(lǐng)域取得了重大進(jìn)展和突破。本調(diào)查廣泛回顧了自2014年以來發(fā)表的基于深度學(xué)習(xí)的2D和3D人體姿勢估計(jì)方法。

注1：文末附【人體姿態(tài)估計(jì)】交流群

注2：計(jì)算機(jī)視覺書籍匯總

注3：整理不易，請點(diǎn)贊支持！

作者：夏初 | 來源：3D視覺工坊微信公眾號

一、Introduction

人體姿態(tài)估計(jì)(HPE)任務(wù)已經(jīng)發(fā)展了幾十年，其目標(biāo)是從給定的傳感器輸入中獲取人體的姿態(tài)?；谝曈X的方法經(jīng)常被用來通過使用攝像機(jī)來提供這樣的解決方案。近年來，隨著深度學(xué)習(xí)在圖像分類、目標(biāo)檢測、語義分割等許多計(jì)算機(jī)版本任務(wù)中表現(xiàn)出良好的性能，人體姿態(tài)估計(jì)也通過采用深度學(xué)習(xí)技術(shù)獲得了快速的發(fā)展。主要發(fā)展包括設(shè)計(jì)良好的網(wǎng)絡(luò)，具有很強(qiáng)的估計(jì)能力，更豐富的數(shù)據(jù)集和更實(shí)際的身體模型探索。雖然已有一些關(guān)于人體姿態(tài)估計(jì)的綜述，但是仍然缺乏一個綜述來總結(jié)基于深度學(xué)習(xí)的最新成果。

本文綜述了基于深度學(xué)習(xí)的2D/三維人體姿態(tài)估計(jì)方法。依賴于其他傳感器的算法，如深度、紅外光源、射頻信號和多視圖輸入不包括在本次調(diào)查中。

作為計(jì)算機(jī)視覺的基礎(chǔ)任務(wù)之一，人體姿態(tài)估計(jì)是一個非常重要的研究領(lǐng)域，可以應(yīng)用于許多應(yīng)用領(lǐng)域，如動作/活動識別、動作檢測、人體跟蹤、電影和動畫、虛擬現(xiàn)實(shí)、人機(jī)交互、視頻監(jiān)控、醫(yī)療救護(hù)、自動駕駛、運(yùn)動分析等。

電影和動畫：各種生動形象的數(shù)字人物的產(chǎn)生離不開對人類動作的捕捉。廉價(jià)準(zhǔn)確的人體運(yùn)動捕捉系統(tǒng)可以更好地促進(jìn)數(shù)字娛樂產(chǎn)業(yè)的發(fā)展。

虛擬現(xiàn)實(shí)：虛擬現(xiàn)實(shí)是一種非常有前途的技術(shù)，可以應(yīng)用于教育和娛樂。通過對人體姿態(tài)的估計(jì)，可以進(jìn)一步明確人與虛擬現(xiàn)實(shí)世界的關(guān)系，增強(qiáng)交互體驗(yàn)。

人機(jī)交互：人體姿態(tài)估計(jì)對于計(jì)算機(jī)和機(jī)器人更好地理解人的身份、位置和行為是非常重要的。以人類的姿勢（例如。手勢），計(jì)算機(jī)和機(jī)器人可以以一種簡單的方式執(zhí)行指令，而且更加智能。

視頻監(jiān)控：視頻監(jiān)控是早期采用人體姿態(tài)估計(jì)技術(shù)對特定范圍內(nèi)的人進(jìn)行跟蹤、動作識別、再識別的應(yīng)用之一。

醫(yī)療救助：在醫(yī)療救助的應(yīng)用中，人體姿態(tài)估計(jì)可以為醫(yī)生提供定量的人體運(yùn)動信息，特別是康復(fù)訓(xùn)練和體能訓(xùn)練治療。

自動駕駛：先進(jìn)的自動駕駛技術(shù)發(fā)展迅速。有了人體姿態(tài)估計(jì)，自動駕駛汽車可以對行人做出更恰當(dāng)?shù)姆磻?yīng)，并與交通協(xié)調(diào)員進(jìn)行更全面的互動。

運(yùn)動分析：通過對運(yùn)動員在運(yùn)動視頻中的姿勢進(jìn)行估計(jì)，可以進(jìn)一步得到運(yùn)動員各項(xiàng)指標(biāo)（如跑步距離、跳躍次數(shù)）的統(tǒng)計(jì)數(shù)據(jù)。在訓(xùn)練過程中，人體姿態(tài)估計(jì)可以提供動作細(xì)節(jié)的定量分析。

單目人體姿態(tài)估計(jì)具有一些獨(dú)特的特點(diǎn)和挑戰(zhàn)。如圖1所示，人體姿態(tài)估計(jì)面臨的挑戰(zhàn)主要有三個方面：1.人類靈活的身體意味著關(guān)鍵點(diǎn)之間有著更復(fù)雜的內(nèi)在關(guān)聯(lián)和更高自由度的肢體動作，這對模型訓(xùn)練提出了更高的挑戰(zhàn)；2.人體的著裝意味著各式各樣的身體外形；3.復(fù)雜的環(huán)境可能會導(dǎo)致前景信息難以提取(隱藏在背景中的人)，或者是進(jìn)行多人檢測時，不同個體間的相互遮擋會導(dǎo)致檢測難度激增；同樣地，相機(jī)的拍攝位置和角度，都會增加單目估計(jì)的難度。

人體姿態(tài)估計(jì)的文獻(xiàn)可以分為不同的類型。根據(jù)是否使用設(shè)計(jì)的人體模型，可以將這些方法分為生成方法（基于模型）和判別方法（無模型）。根據(jù)從哪個級別（高級抽象或低級像素）開始處理，它們可以分為自上而下（top-down）的方法和自下而上（bottom-up）的方法。

二、人體姿態(tài)估計(jì)方法與人體模型的分類

2.1. 人體姿態(tài)估計(jì)方法分類

本節(jié)根據(jù)不同的特點(diǎn)總結(jié)了基于深度學(xué)習(xí)的人體姿態(tài)估計(jì)方法的不同分類：1）生成方法（基于人體模型）和判別方法（無人體模型）；2）自上而下（從高級抽象到低級像素證據(jù)）和自下而上（從低級像素證據(jù)到高級抽象）；3）基于回歸（從輸入圖像直接映射到身體關(guān)節(jié)位置）和基于檢測（生成關(guān)節(jié)位置的中間圖像塊或熱圖）；4)單階段（端到端培訓(xùn)）和多階段（分階段培訓(xùn)）。

(1)生成方法 V.S. 判別方法

生成方法和判別方法之間的主要區(qū)別是方法是否使用人體模型。根據(jù)人體模型的不同表示，可以以不同的方式處理生成方法，例如關(guān)于人體模型結(jié)構(gòu)的先驗(yàn)知識，從不同視圖到2D或3D空間的幾何投影，高維參數(shù)化空間回歸方式的優(yōu)化。

判別方法直接學(xué)習(xí)從輸入源到人體姿勢空間的映射（基于學(xué)習(xí)）或搜索不存在的示例（基于示例），而無需使用人體模型。判別方法通常比生成方法要快，但對于從未受過訓(xùn)練的姿勢而言，判別方法的魯棒性較差。

(2)自頂向下V.S.自底向上

對于多人姿態(tài)估計(jì)，人體姿態(tài)估計(jì)方法通?？梢愿鶕?jù)預(yù)測的出發(fā)點(diǎn)分為自頂向下和自底向上兩種：高層抽象或低層像素。自頂向下的方法從高層抽象開始，首先檢測人并在邊界框中生成人的位置。然后對每個人進(jìn)行姿態(tài)估計(jì)。相反，自底向上的方法首先預(yù)測輸入圖像中每個人的所有身體部位，然后通過人體模型擬合或其他算法對它們進(jìn)行分組。請注意，根據(jù)不同的方法，身體部位可以是關(guān)節(jié)、四肢或小模板貼片。隨著圖像中人數(shù)的增加，自頂向下方法的計(jì)算量顯著增加，而自底向上方法的計(jì)算量保持穩(wěn)定。然而，如果有一些人有一個很大的重疊，自下而上的方法面臨的挑戰(zhàn)，分組相應(yīng)的身體部位。

(3) 基于回歸 V.S. 基于檢測

基于不同問題的表述，基于深度學(xué)習(xí)的人體姿態(tài)估計(jì)方法可以分為基于回歸的方法和基于檢測的方法?；诨貧w的方法直接將輸入圖像映射到人體關(guān)節(jié)坐標(biāo)或人體模型參數(shù)?；跈z測的方法將人體各部位作為檢測目標(biāo)，基于兩種常用的表示方法：圖像塊和關(guān)節(jié)位置熱圖。從圖像到關(guān)節(jié)坐標(biāo)的直接映射是一個非常困難的問題，因?yàn)樗且粋€高度非線性的問題，而小區(qū)域表示提供了具有更強(qiáng)魯棒性的密集像素信息。與原始圖像尺寸相比，小區(qū)域表示的檢測結(jié)果限制了最終關(guān)節(jié)坐標(biāo)的精度。

(4) 單階段 V.S. 多階段

基于深度學(xué)習(xí)的一階段方法旨在通過使用端到端網(wǎng)絡(luò)將輸入圖像映射到人體姿勢，而多階段方法通常在多個階段中預(yù)測人體姿勢，并伴有中間監(jiān)督。例如，一些多人姿勢估計(jì)方法首先檢測人的位置，然后為每個檢測到的人估計(jì)人的姿勢。其他3D人姿勢估計(jì)方法則首先在2D平面中預(yù)測關(guān)節(jié)位置，然后將其擴(kuò)展到3D空間。單階段方法的訓(xùn)練比多階段方法更容易，但中間約束更少。

2.2 人體模型

人體模型是人體姿態(tài)估計(jì)的關(guān)鍵組成部分。人體是一個柔性的、復(fù)雜的非剛性物體，具有運(yùn)動結(jié)構(gòu)、體形、表面紋理、各部位或各關(guān)節(jié)的位置等特性。

一個成熟的人體模型不一定要包含所有的人體屬性，而應(yīng)該滿足特定任務(wù)的要求來建立和描述人體姿勢。基于不同層次的表示和應(yīng)用場景，如圖2所示，人體姿態(tài)估計(jì)中有三種常用的人體模型：基于骨架的模型、基于輪廓的模型和基于體積的模型。

(1) 基于骨架的模型：基于骨架的模型，也稱為棍狀模型或運(yùn)動學(xué)模型，表示一組關(guān)節(jié)（通常在10到30之間）的位置以及人體骨架結(jié)構(gòu)之后相應(yīng)的肢體方向?；诠羌艿哪Ｐ鸵部梢悦枋鰹橐粋€圖，其中頂點(diǎn)指示骨骼結(jié)構(gòu)中關(guān)節(jié)的約束和邊緣編碼約束或關(guān)節(jié)的先驗(yàn)連接。這種人體拓?fù)浣Y(jié)構(gòu)非常簡單和靈活，廣泛用于2D和三維人體姿態(tài)估計(jì)。它具有表示簡單、靈活的優(yōu)點(diǎn)，但也存在著缺乏紋理信息，即沒有人體的寬度和輪廓信息等缺點(diǎn)。

(2) 基于輪廓的模型：基于輪廓的模型廣泛應(yīng)用于早期的人體姿態(tài)估計(jì)方法中，它包含了人體肢體和軀干的大致寬度和輪廓信息。人體各部分用人體輪廓的矩形或邊界近似表示。廣泛使用的基于輪廓的模型包括紙板模型和活動形狀模型。

(3) 基于體積的模型：三維人體形狀和姿勢通常由具有幾何形狀或網(wǎng)格的基于體積的模型來表示。早期用于建模身體部位的幾何形狀包括圓柱、圓錐等?；隗w積的現(xiàn)代模型以網(wǎng)格形式表示，通常通過3D掃描捕獲。廣泛使用的基于體積的模型包括人的形狀完成和動畫，蒙皮多人線性模型和統(tǒng)一的變形模型。

三、三維人體姿態(tài)估計(jì)

三維人體姿態(tài)估計(jì)是從圖像或其他輸入源中預(yù)測人體關(guān)節(jié)在三維空間中的位置。盡管商業(yè)產(chǎn)品，如帶有深度傳感器的Kinect、帶有光學(xué)傳感器的VICON和帶有多個攝像頭的The Captury已被用于3D身體姿勢估計(jì)，所有這些系統(tǒng)都在非常有限的環(huán)境中工作，或者需要人體上的特殊標(biāo)記。單目攝像機(jī)作為應(yīng)用最為廣泛的傳感器，對三維人體姿態(tài)估計(jì)具有重要意義。深度神經(jīng)網(wǎng)絡(luò)具有從單目圖像估計(jì)密集深度和稀疏深度點(diǎn)（關(guān)節(jié)）的能力。此外，基于單目輸入的三維人體姿態(tài)估計(jì)的進(jìn)展可以進(jìn)一步改善約束環(huán)境下的多視點(diǎn)三維人體姿態(tài)估計(jì)。因此，本節(jié)重點(diǎn)介紹基于深度學(xué)習(xí)的方法，這些方法從單目RGB圖像和視頻中估計(jì)3D人體姿勢，包括3D單人姿勢估計(jì)和3D多人姿勢估計(jì)。

3.1. 三維單人姿態(tài)估計(jì)

與二維人體姿態(tài)估計(jì)相比，3D-人體姿態(tài)估計(jì)更具挑戰(zhàn)性，因?yàn)樗枰A(yù)測人體關(guān)節(jié)的深度信息。另外，3D-人體姿態(tài)估計(jì)的訓(xùn)練數(shù)據(jù)也不像2D-人體姿態(tài)估計(jì)那樣容易獲得?，F(xiàn)有的數(shù)據(jù)集大多是在有限的可推廣的受限環(huán)境下獲得的。對于單人姿勢估計(jì)，通常提供圖像中的人的邊界框，因此不需要結(jié)合人檢測過程。在本節(jié)中，我們將三維單人姿勢估計(jì)方法分為無模型和基于模型兩類。

3.1.1. 無模型方法

無模型方法不使用人體模型作為預(yù)測目標(biāo)或中間線索。它們大致可分為兩類：1）直接將圖像映射到三維姿態(tài)；2）根據(jù)二維姿態(tài)估計(jì)方法得到的中間預(yù)測的二維姿態(tài)估計(jì)深度。

直接從圖像特征估計(jì)三維姿態(tài)的方法通常包含很少的約束。Li和Chan采用淺層網(wǎng)絡(luò)直接回歸三維關(guān)節(jié)坐標(biāo)，并使用滑動窗口進(jìn)行身體部位檢測的同步任務(wù)。Pavlakos等人用人體關(guān)節(jié)的額外順序深度作為約束來訓(xùn)練網(wǎng)絡(luò)，通過這些約束，2D人體數(shù)據(jù)集也可以輸入順序深度注釋。Li等人設(shè)計(jì)了一種嵌入子網(wǎng)絡(luò)學(xué)習(xí)潛在姿勢結(jié)構(gòu)信息來指導(dǎo)三維關(guān)節(jié)坐標(biāo)映射。該子網(wǎng)絡(luò)可以為輸入圖像姿勢對分配匹配分?jǐn)?shù)，并具有最大的邊際代價(jià)函數(shù)。Tekin等人預(yù)先訓(xùn)練了一個無監(jiān)督的自動編碼器來學(xué)習(xí)3D姿勢的高維潛在姿勢表示，以添加關(guān)于人體的隱式約束，然后使用淺層網(wǎng)絡(luò)來學(xué)習(xí)高維姿勢表示。Sun等人提出了一種結(jié)構(gòu)感知回歸方法。他們設(shè)計(jì)了一種基于骨骼的表示方法，它包含了身體結(jié)構(gòu)信息，比僅僅使用關(guān)節(jié)位置更穩(wěn)定。

3.1.2. 基于模型的方法

基于模型的方法通常采用一個參數(shù)化的人體模型或模板來從圖像中估計(jì)人體的姿勢和形狀。本文不包括早期的幾何模型。最近的模型是通過對不同人群的多次掃描或不同身體模型的組合來估計(jì)的。這些模型通常由單獨(dú)的身體姿勢和形狀組件進(jìn)行參數(shù)化。一些工作采用了SMPL的身體模型，并試圖從圖像中估計(jì)3D參數(shù)。例如，Bogo等人將SMPL模型擬合到估計(jì)的2D關(guān)節(jié)，并提出了一種基于優(yōu)化的方法從2D關(guān)節(jié)恢復(fù)SMPL參數(shù)。Tan等人通過首先訓(xùn)練解碼器以使用合成數(shù)據(jù)從SMPL參數(shù)預(yù)測輪廓，然后使用訓(xùn)練的解碼器學(xué)習(xí)圖像編碼器來推斷SMPL參數(shù)。訓(xùn)練后的編碼器可以根據(jù)輸入圖像預(yù)測SMPL參數(shù)。

3.2 三維多人姿態(tài)估計(jì)

單目三維多人姿態(tài)估計(jì)是在三維單人姿態(tài)估計(jì)等深度學(xué)習(xí)方法的基礎(chǔ)上發(fā)展起來的。這一研究領(lǐng)域比較新，提出的方法也不多。

Mehta等人提出了一種自下而上的方法，通過使用2D姿勢和部分相似性字段來推斷人物實(shí)例。提出了一種遮擋魯棒姿態(tài)映射(ORPM)算法，該算法可以在不受人數(shù)影響的情況下提供多種類型的遮擋信息。Rogez等人提出了一個局部分類回歸網(wǎng)絡(luò)(LCR-Net)，經(jīng)過三個階段的處理。首先，采用更快的R-CNN來檢測人的位置。第二，每個姿勢候選被分配一個分類器評分的最近的姿勢。最后的姿態(tài)分別用一個回歸器進(jìn)行細(xì)化。Zanfir等人提出了一個具有前饋和反饋階段的框架，用于3D multi 人體姿態(tài)估計(jì)和形狀估計(jì)。前饋過程包括身體部位的語義分割和基于DMHS的3D姿勢估計(jì)。然后，反饋過程細(xì)化SMPL的姿勢和形狀參數(shù)。Mehta等人通過三個階段實(shí)時估計(jì)多個姿勢。首先，SelecSLS網(wǎng)絡(luò)為可見的身體關(guān)節(jié)推斷2D姿勢和中間3D姿勢編碼。然后基于每個檢測到的人，重建完整的三維姿態(tài)，包括遮擋的關(guān)節(jié)。最后，對時間穩(wěn)定性和運(yùn)動骨架擬合作出了改進(jìn)。

備注：作者也是我們「3D視覺從入門到精通」知識星球特邀嘉賓：

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請聯(lián)系刪文。

3D視覺工坊-人體姿態(tài)估計(jì)交流群

已建立3D視覺工坊-人體姿態(tài)估計(jì)微信交流群！想要進(jìn)人體姿態(tài)估計(jì)學(xué)習(xí)交流群的同學(xué)，可以直接加微信號：CV_LAB。加的時候備注一下：人體姿態(tài)估計(jì)+學(xué)校+昵稱，即可。然后就可以拉你進(jìn)群了。

強(qiáng)烈推薦大家關(guān)注3D視覺工坊知乎賬號和3D視覺工坊微信公眾號，可以快速了解到最新優(yōu)質(zhì)的3D視覺與SLAM論文。