來(lái)源：公眾號(hào)3D視覺(jué)工坊

作者：Shelo

「3D視覺(jué)工坊」技術(shù)交流群已經(jīng)成立，目前大約有12000人，方向主要涉及3D視覺(jué)、CV&深度學(xué)習(xí)、SLAM、三維重建、點(diǎn)云后處理、自動(dòng)駕駛、CV入門(mén)、三維測(cè)量、VR/AR、3D人臉識(shí)別、醫(yī)療影像、缺陷檢測(cè)、行人重識(shí)別、目標(biāo)跟蹤、視覺(jué)產(chǎn)品落地、視覺(jué)競(jìng)賽、車(chē)牌識(shí)別、硬件選型、學(xué)術(shù)交流、求職交流、ORB-SLAM系列源碼交流、深度估計(jì)等。工坊致力于干貨輸出，不做搬運(yùn)工，為計(jì)算機(jī)視覺(jué)領(lǐng)域貢獻(xiàn)自己的力量！歡迎大家一起交流成長(zhǎng)~

添加小助手微信：CV_LAB，備注學(xué)校/公司+姓名+研究方向即可加入工坊一起學(xué)習(xí)進(jìn)步。

論文題目：Pyramid Multi-view Stereo Net with Self-adaptive View Aggregation

論文地址：在公眾號(hào)「3D視覺(jué)工坊」，后臺(tái)回復(fù)「PVA-MVSNet」，即可直接下載。

圖1 PVS-MVSNet重建結(jié)果

PVA-MVSNet是ECCV2020的一篇文章，該文章在基于深度學(xué)習(xí)的MVS問(wèn)題上，針對(duì)代價(jià)體和深度圖優(yōu)化方式進(jìn)行了改進(jìn)，減少了代價(jià)體運(yùn)算所消耗的運(yùn)算內(nèi)存，同時(shí)大大提升了重建模型的完整度。效果如圖1所示。

1.概述

PVA-MVSNet是繼MVSNet之后，基于MVSNet提出的一種新的解決多視角立體匹配問(wèn)題的方法。該方法優(yōu)化了代價(jià)體的計(jì)算方法并且引入了新的深度圖聚合結(jié)構(gòu)，從而提高了重建點(diǎn)云的完整度和準(zhǔn)確性。該方法在DTU數(shù)據(jù)集上進(jìn)行訓(xùn)練，在Tanks&Temples數(shù)據(jù)集上進(jìn)行測(cè)試，取得了非?？捎^的結(jié)果。

該方法提出了的PVA-MVSNet結(jié)構(gòu)，該結(jié)構(gòu)提出了使用多度量的金字塔深度圖聚合方法來(lái)解決傳統(tǒng)方法中textureless region部分的精度和完整度不高的問(wèn)題。同時(shí)，該方法提出了VA-MVSNet，其中引入了注意力機(jī)制，加入自適應(yīng)的元素的視圖聚合模塊，來(lái)靈活代替不同視角圖像，選擇出相對(duì)更重要的信息。

2.PVA-MVSNet結(jié)構(gòu)

2.1 VA-MVSNet結(jié)構(gòu)

圖2. VA-MVSNet結(jié)構(gòu)

如圖2所示，VA-Net首先通過(guò)若干2D CNN來(lái)提取輸入圖像的特征，然后使用類似于MVSNet中的可微單應(yīng)性方法來(lái)形成多個(gè)特征的平面掃描特征體。這些特整體通過(guò)本問(wèn)題出的自適應(yīng)元素的聚合模塊形成不同尺度的代價(jià)體，最終，深度圖會(huì)通過(guò)一種從粗到精的方式從不同尺度的代價(jià)體中預(yù)測(cè)和完善。

Loss方程：

使用了類似于MVSNet中的多尺度訓(xùn)練loss結(jié)構(gòu)。采用平均絕對(duì)誤差的方式來(lái)衡量。公式如下，不再贅述。

公式1 Loss方程

2.2 自適應(yīng)元素的聚合模塊

自適應(yīng)元素聚合模塊分為兩種，一種是像素的聚合，一種是體素的聚合。

關(guān)于像素的聚合，文章中提到引用了一種選擇加權(quán)注意圖。在聚合代價(jià)體時(shí)，將通過(guò)對(duì)應(yīng)的權(quán)重圖進(jìn)行加權(quán)平均。具體公式如下：

公式2 像素尺度聚合公式

其中Wh,w就是權(quán)重圖，是通過(guò)weightnet學(xué)習(xí)得到的。weightnet由若干2DCNN和ResNet組成，以擠壓的2D特征作為輸入，公式如下：

公式3 權(quán)重圖的計(jì)算

關(guān)于體素的聚合，則認(rèn)為不同深度層假設(shè)d的每個(gè)像素應(yīng)該被區(qū)別對(duì)待，其中三維特征體中的每個(gè)體素學(xué)習(xí)自己的重要性。類似的也是通過(guò)weightnet-3D來(lái)學(xué)習(xí)權(quán)重，然后加權(quán)平均。公式如下：

公式4 體素尺度聚合公式

2.3 由粗到細(xì)的深度估計(jì)

在上一步中，得到了幾個(gè)不同尺度的代價(jià)體，這一步中，使用類似于DeepMVS中plane-sweep的方法，使用不同的代價(jià)體對(duì)深度圖進(jìn)行不斷優(yōu)化，同時(shí)使用一個(gè)編碼解碼的3DCNN和argmin操作得到預(yù)測(cè)的概率圖，如圖3所示。

圖3 由粗到細(xì)的深度圖優(yōu)化

2.4 PVA-MVSNet結(jié)構(gòu)

圖4 PVA-MVSNet

除了VA-MVS，本文還使用了PVA-MVSNet結(jié)構(gòu)（如圖4所示）來(lái)最終優(yōu)化最終深度圖的質(zhì)量和點(diǎn)云的質(zhì)量。如圖所示，輸入圖片被下采樣后并行送入VA-MVSNet,得到了幾組對(duì)應(yīng)的的不同大小的深度圖和概率圖。這些不同大小的深度圖和概率圖，經(jīng)過(guò)文章中提出的多度量金字塔深度圖聚合方法，得到最終優(yōu)化的深度圖和概率圖，通過(guò)過(guò)濾和融合得到最終的點(diǎn)云。

圖5多尺度金字塔深度圖優(yōu)化方式

其中多度量金字塔深度圖聚合方式(如圖5所示)，是指用低分辨率的深度圖中可信度高的部分來(lái)代替高分辨率深度圖中可信度低的部分，來(lái)代替重建過(guò)程中產(chǎn)生的錯(cuò)誤匹配來(lái)達(dá)到優(yōu)化深度圖的效果。

3.總結(jié)

表1 定量結(jié)果統(tǒng)計(jì)

從結(jié)果上來(lái)看，PVA-MVANet再準(zhǔn)確率上取得了和MVSNet稍好一點(diǎn)點(diǎn)的成績(jī)，但是在模型完整度上有了很大的提升。

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請(qǐng)聯(lián)系刪文。