CVPR2023 I 一種實用的智能眼鏡深度感知系統(tǒng)
論文題目：A Practical Stereo Depth System for Smart Glasses
作者：Jialiang Wang ；Daniel Scharstein; Akash Bapat等人
作者機構：Meta(美國扎克伯格的公司)；adobe(photoshop等軟件開發(fā)公司)
作者：小張it | 來源：微信公眾號「3D視覺工坊」
在公眾號「3D視覺工坊」后臺回復「原論文」，可獲取對應論文pdf文件。
本文提出了一種生產(chǎn)化的端到端立體深度感知系統(tǒng)設計，可以完成預處理、在線立體校正和立體深度估計，并支持糾偏失敗后的單目深度估計備選方案。同時，該深度感知系統(tǒng)的輸出應用于一種基于智能眼鏡拍攝的視角生成管道，創(chuàng)造出具有3D計算攝影效果的視覺效果。此外，該系統(tǒng)設計可以在手機的嚴格計算預算內(nèi)運行，具有通用性，可以適用于各種品牌的智能手機。該論文的設計是為了解決智能眼鏡中的深度感知問題，可以為智能眼鏡提供更好的增強現(xiàn)實體驗。
本文介紹了一種生產(chǎn)化的端到端深度感知系統(tǒng)，包括預處理、在線立體校正、立體深度估計并支持單目深度估計的備用方案。該系統(tǒng)的輸出結果應用于視角生成的渲染管道，創(chuàng)建具有3D計算攝影效果的效果。該系統(tǒng)設計具有通用性和穩(wěn)健性，可以用于不同品牌的主流手機。
我們的技術和系統(tǒng)貢獻包括：
詳細描述了一個端到端的立體系統(tǒng)，并提供了小心的設計選擇和備用方案，這些策略可以成為其他類似深度系統(tǒng)的基線；
引入了一種新的在線校正算法，具有快速和穩(wěn)健的特點，有助于提高立體視覺的準確性；
提出了一種新穎的策略，共同設計立體網(wǎng)絡和單目深度網(wǎng)絡，使兩個網(wǎng)絡的輸出格式相似，從而更好地利用他們的結構信息；
證明了在計算預算有限的情況下，本文的量化網(wǎng)絡實現(xiàn)了競爭性的準確度，可以應用于計算資源有限的場景。
本文關注于構建用于靈活智能眼鏡的完整立體系統(tǒng)，該系統(tǒng)具有魯棒性和輕量化處理，能夠在線校正，具有用于提顯和3D效果等功能?，F(xiàn)有工作多集中在系統(tǒng)的某些組件，很少有文章著眼于整個系統(tǒng)設計。對于在線立體校正，因為幾乎所有實際立體系統(tǒng)都存在校正問題，研究者嘗試了一些方法，其中的一個是在匹配代價中只利用水平梯度或使用包含小的垂直視差樣本進行匹配代價訓練等。對于單目深度估計，有監(jiān)督和無監(jiān)督方法都被用于深度學習中，輸出通常是相對深度/視差。對于立體深度估計，最近的研究中，立體匹配的特征學習通過深度學習進行替代，目前主要關注于端到端學習，有2D CNNs、3D CNNs和RNNs等三種類型的架構。其中RNN方法得到最先進的性能，但無法在設備上運行，近期的工作則嘗試著使立體網(wǎng)絡在設備上運行更快。
本文提出了一種基于智能眼鏡的深度感知計算攝影系統(tǒng)。該系統(tǒng)配備一對硬件同步的魚眼相機，可拍攝場景圖像并將其傳輸至智能手機進行進一步處理。作者使用在線校準和校準算法估計外部和內(nèi)部參數(shù)進行準確的校準，使用相對視差來創(chuàng)建深度計算攝影效果，并通過共享數(shù)據(jù)集訓練兩個網(wǎng)絡以實現(xiàn)相同的下游處理。最終，預測的視差和相應的圖像被傳遞到渲染流水線，以創(chuàng)建最終的三維效果。
根據(jù)輸入的魚眼圖像，通過計算精確的對應特征點，然后在原始圖像和重新校正后的圖像中保持世界坐標系與立體系統(tǒng)相對，來估計兩個攝像機的旋轉(zhuǎn)角度，從而進行在線校正。此方法通過估計相對尺度來補償焦距隨溫度的變化，最終使得雙視圖立體算法更加準確和魯棒。其中，相對俯仰角是相對的，而絕對俯仰角是一個自由參數(shù)。
該部分內(nèi)容介紹了通過投影模型計算兩張圖片中點的相對位置和姿態(tài)。其中，對內(nèi)參矩陣和徑向畸變進行了校正。通過將點投影到不同的相機中并估計其在兩張圖片中的深度，可以計算相機之間的相對方向和絕對的旋轉(zhuǎn)和偏航。通過引入尺度修正，可以進一步約束相機之間的相對高度。
該算法通過使用Harris角點和層次亞像素ZSSD特征匹配器在圖像間匹配特征點，并配合使用魯棒最小二乘法求解方程組來實現(xiàn)對圖像的矯正。該算法能夠可靠地提取到特征點并計算出矯正角度。算法采用四個參數(shù)模型，包括?ωx、?ωy、?ωz和?f ，并且通過內(nèi)點控制實現(xiàn)超約定系統(tǒng)的求解。對于每個匹配，它的表現(xiàn)很穩(wěn)定并產(chǎn)生了很好的結果。
本文提出了一種新的方法來協(xié)同設計立體和單目深度網(wǎng)絡，以使其輸出具有一致性，輕量級并且盡可能精確。該方法通過將單目深度網(wǎng)絡訓練為預測相對深度和相機運動，而不是絕對深度，來保持輸出格式的一致性。接著，作者設計了一個立體網(wǎng)絡，使用相同的特征提取器來預測相對視差。為了保持一致性，作者還使用了可訓練的縮放和偏移參數(shù)，并使用一個損失函數(shù)來同時考慮單目和立體網(wǎng)絡的輸出。該方法在聯(lián)合訓練中表現(xiàn)出很好的穩(wěn)定性和精度。
作者設計了一個立體視網(wǎng)絡，其組件靈感來源于經(jīng)典的和深度的立體視方法:
一個編碼器，從輸入的立體圖像中獨立提取多分辨率特征和特征 ，其中 l = 1 … L，用于 L 層特征金字塔。
利用余弦距離比較左右特征距離的三維代價體
使用許多中間層將代價體和參考圖像的圖像特征作為輸入，并匯總視差信息。因為中間層直接從代價體和參考圖像獲取信息，所以它們可以在立體匹配線索較弱（例如在無紋理區(qū)域）或缺失時（例如在半遮擋區(qū)域）更好地利用單眼深度線索。
粗到細解碼器以預測輸出視差圖。輸出視差圖的分辨率與輸入右圖像相同。每個解碼器模塊結合低分辨率解碼器模塊的輸出和相同分辨率中間層的輸出。
我們設計了一個單目深度估計網(wǎng)絡，其包含三個組件：
用于提取多分辨率圖像特征f_l=1...L的編碼器；
中間層用于聚合深度信息；
粗到細的解碼器用于預測視差圖。
作者研究了單目深度估計和立體視覺之間的聯(lián)合訓練，從而提高了深度估計的質(zhì)量。在共享網(wǎng)絡組件方面，該文使用相同的編碼器、中間層和解碼器，同時使用立體代價體模塊，從而提高網(wǎng)絡的表現(xiàn)。為了提高效率，文章使用反向殘差模塊進行所有層的量化，并將權重和激活量化為8位。同時，輸出層保持為32位來獲得亞像素分辨率。其損失函數(shù)使用平滑L1損失和梯度損失項來訓練網(wǎng)絡。
本文提出了一種通過渲染內(nèi)部單目數(shù)據(jù)集來獲得立體數(shù)據(jù)集以進行聯(lián)合訓練的方法。為了使立體數(shù)據(jù)集具有逼真性和挑戰(zhàn)性，作者對其進行了數(shù)據(jù)增強（亮度、對比度、色相、飽和度、jpeg壓縮等），并在遇到高光反射和無效區(qū)域（由深度流水線中的變形和矯正引起）時進行了訓練，使網(wǎng)絡能夠忽略這些干擾。文章還探討了簡化立體數(shù)據(jù)集生成的方法，使得該數(shù)據(jù)集比任何現(xiàn)有的訓練數(shù)據(jù)集都更具多樣性。
本文采用基于LDI的方法來實現(xiàn)新視角合成。對于立體數(shù)據(jù)集的創(chuàng)建，使用單目真實深度和彩色圖像來創(chuàng)建紋理網(wǎng)格，并渲染第二個視角。對于3D效果，使用來自立體系統(tǒng)的預測和預定義的軌跡來生成平滑的新視角視頻。其中LDI是層深度圖，可以通過LDI修復插值法推測被遮擋的幾何形狀。
在本文中，作者介紹了一種新的立體視覺深度估計方法，即使用共享編碼器、中間層和解碼器的高效單目網(wǎng)絡Tiefenrausch和附加的成本體積模塊來構建立體網(wǎng)絡Argos。對于生產(chǎn)模型，作者使用4M內(nèi)部iPhone數(shù)據(jù)集重新訓練了Tiefenrausch，并使用FBGEMM后端進行量化感知訓練(QAT)，從而實現(xiàn)了高精度。作者還使用Sceneflow數(shù)據(jù)集進行了對比實驗。
作者在三星Galaxy S8 CPU上對流水線進行了基準測試。校正流水線需要300-400ms，立體網(wǎng)絡需要大約965ms。流水線的其他部分總共需要比這兩個步驟更低的延遲。作者的模型經(jīng)過了移動CPU優(yōu)化，但將SotA模型轉(zhuǎn)換為移動友好的格式并不容易，也不是非常有意義，因為它們并不是為移動設備設計的。為了權衡，作者在Intel(R) Xeon(R) Gold 6138 CPU @ 2.00GHz的計算機服務器上比較所有模型的運行時間。
本文在Middlebury 2014數(shù)據(jù)集上對作者的方法與幾種SotA立體方法進行了定量比較。作者的方法在速度上快于其他方法，并且實現(xiàn)了與SotA方法相當?shù)男阅?。通過使用內(nèi)部渲染的立體數(shù)據(jù)集進行訓練，作者的性能進一步提高，并實現(xiàn)了最佳的絕對相對誤差。作者新設計有效地從單目數(shù)據(jù)集呈現(xiàn)了立體數(shù)據(jù)集以訓練模型。雖然作者的設計選擇可能在Middlebury等基準測試上導致精度下降，但作者追求的是設計一個穩(wěn)健的端到端深度系統(tǒng)。作者的量化8位立體模型是首次提出的，比較模型都使用32位權重和激活。盡管存在一些不利因素，但作者還是實現(xiàn)了與SotA方法相當?shù)男阅?，并且運行速度更快。
本文描述了一項針對3D照片質(zhì)量的調(diào)查。通過渲染深度系統(tǒng)的新視角視頻進行調(diào)查，參與者對視頻質(zhì)量進行評分。研究結果表明，立體聲得分的平均分數(shù)為3.44，單目深度得分的平均分數(shù)為2.96。結果顯示，深度圖質(zhì)量有時與渲染的新視角視頻的質(zhì)量并不直接相關。作者強調(diào)了僅使用標準指標來比較方法是不足以評價立體聲方法在實踐中的表現(xiàn)的
本文介紹了一種端到端的立體深度感知系統(tǒng)的設計，可以在智能手機上高效運行。該系統(tǒng)包括了一個在線矯正算法、單目和立體視差網(wǎng)絡的協(xié)同設計，以及從單目數(shù)據(jù)集中提取大型立體數(shù)據(jù)集的新方法。作者還提出了一個8位量化的立體模型，與最先進的方法相比，在標準立體基準測試中具有競爭性能。
加入「立體匹配」https://mp.weixin.qq.com/s?__biz=MzU1MjY4MTA1MQ==&mid=2247645968&idx=3&sn=b00bef394df85a44d9350dbff30d4001&scene=21#wechat_redirect)微信群。
如何高效學習3D視覺技術？（https://mp.weixin.qq.com/s?__biz=MzU1MjY4MTA1MQ==&mid=2247646030&idx=1&sn=7589dc1a1d337fe5df362d7e0b03bc0b&scene=21#wechat_redirect）
推薦學習3D視覺學習課程：3D視覺精品課程，包括相機標定、SLAM、結構光、三維重建、自動駕駛、三維點云、機械臂抓取等（3D視覺工坊 (3dcver.com)）
