來源：微信公眾號|3D視覺工坊（系投稿）

作者：Shelo

「3D視覺工坊」技術(shù)交流群已經(jīng)成立，目前大約有12000人，方向主要涉及3D視覺、CV&深度學習、SLAM、三維重建、點云后處理、自動駕駛、CV入門、三維測量、VR/AR、3D人臉識別、醫(yī)療影像、缺陷檢測、行人重識別、目標跟蹤、視覺產(chǎn)品落地、視覺競賽、車牌識別、硬件選型、學術(shù)交流、求職交流、ORB-SLAM系列源碼交流、深度估計等。工坊致力于干貨輸出，不做搬運工，為計算機視覺領域貢獻自己的力量！歡迎大家一起交流成長~

添加小助手微信：CV_LAB，備注學校/公司+姓名+研究方向即可加入工坊一起學習進步。

QQ群「3D視覺工坊」，群號：949193717? ? ? ? ? ??

論文題目：P-MVSNet: Learning Patch-wise Matching Confidence Aggregation for Multi-View Stereo

論文地址：在公眾號「3D視覺工坊」，后臺回復「P-MVSNet」，即可直接下載。

1.文章概述

本篇文章是ICCV 的一篇文章，討論的是從多張RGB圖和攝像機參數(shù)中，預測深度圖并生成點云的問題。該篇文章依然是在繼MVSNet之后，對代價體部分進行了改進，從而在一定程度上提高了點云結(jié)果的完整性和準確性。

本文的主要創(chuàng)新點在于提出了基于區(qū)域匹配置信的代價體，通過學習的方式將每個假想面上的特征匹配置信聚合變?yōu)橐粋€向量而非常量。從而提高立體匹配的準確度。

2.研究方法

該種方法主要分為以下三個模塊：特征提取，學習居于匹配置信，預測深度圖。下文將分別介紹。

圖1. P-MVSNet結(jié)構(gòu)

1）特征提取

不同于以往的特征提取，本文將特征提取分為兩個層級：L1和L2。L1層級只作用于參考圖像，通過一個3D的編碼解碼器，抽象出的L1特征，用于最終指導形成高分辨率的深度圖。L2層級則作用于除參考圖像外的所有其他圖像，通過3D編碼器提取特征。L2層級特征將用于建立匹配置信體。

2）學習局域匹配置信

學習匹配置信分為兩個步驟，首先使用上一步中得到的L2層級特征以及對應的攝像機參數(shù)，建立像素的匹配置信體。然后通過學習的方式建立區(qū)域匹配置信，以此增強匹配的魯棒性和準確性。

像素的匹配置信通過標準的平面掃描立體方法建立，定義為M=M（d，p，c），代表了第C個特征通道在特征圖F0以及臨近的特征圖中像素P的匹配置信。計算公式如公式1所示：

公式1 像素匹配置信計算

計算了像素的匹配置信后，我們通過學習的方式來計算區(qū)域匹配置信。該學習過程可以用兩個公式來表示，該過程中，將像素p在深度區(qū)間d所對應的區(qū)域置信體定義為M*=M*(d,p,c)。計算過程如公式2所示：

公式2 區(qū)域匹配置信計算

其中Ω1(﹒)定義為在假想平面以p為中心的3*3區(qū)域，Ω2(﹒)則定義為相鄰的三個假象平面的集合。ρ1、ρ2、ρ3則是一些可學函數(shù)，具體參數(shù)設置可參考原文。最后，文章使用Tanh來正則化置信體。

3）深度圖預測

在深度圖預測部分，作者使用了3D U-Net來從上一步的結(jié)果中得到潛在的概率體，定義為V2，具體參數(shù)如圖2所示。

圖2 3D U-Net結(jié)構(gòu)

得到潛在概率體V2后，文章采用了類似于MVSNet中計算深度圖的方式，通過softMax操作來從潛在概率體V2中計算最終預測深度圖的概率體P2。最終每個像素的深度是通過將每個深度d通過P2加權(quán)平均取得。計算公式如公式3所示：

公式3 深度圖計算公式

以上計算的深度記為Dl2深度，對應之前的L2特征層級，但因為在實際中，L2層級往往是低分辨率的，所以本文同時計算了Dl1深度，對應前文的L1特征層級，在得到L1層級的特征圖后，將其與上采樣的V2級聯(lián)，之后按照類似于Dl2的計算方法，同樣計算出Vl1、Pl1和DL1。

4）Loss方程

Loss方程使用的是真實值和預測值之間的絕對誤差，同時考慮了Dl1和Dl2兩個方面，公式如下：

公式4 Loss方程

3.實驗結(jié)果

本文依舊是在DTU和Tanks&Temples上進行訓練和測試，本文給出了在DTU數(shù)據(jù)集上的測試定量結(jié)果。

圖3 實驗定量結(jié)果

圖4 重建結(jié)果1

圖5 重建結(jié)果2

可以看出，在完整性上，本文有了一定的提升，但是在平均準確率上，與MVSNet相差不是很多。

備注：作者也是我們「3D視覺從入門到精通」特邀嘉賓：一個超干貨的3D視覺學習社區(qū)

本文僅做學術(shù)分享，如有侵權(quán)，請聯(lián)系刪文。