基于條紋投影輪廓術(shù)(FPP)的三維測(cè)量方法已廣泛應(yīng)用于工業(yè)制造領(lǐng)域。大多數(shù)FPP方法采用移相技術(shù)，需要多個(gè)條紋圖像，因此在動(dòng)態(tài)場(chǎng)景中的應(yīng)用有限。此外，工業(yè)部件通常有高度反射的區(qū)域，導(dǎo)致過(guò)度曝光。本文提出了一種將FPP與深度學(xué)習(xí)相結(jié)合的單次高動(dòng)態(tài)范圍三維測(cè)量方法。提出的深度學(xué)習(xí)模型包括兩個(gè)卷積神經(jīng)網(wǎng)絡(luò):曝光選擇網(wǎng)絡(luò)(ExSNet)和條紋分析網(wǎng)絡(luò)(FrANet)。ExSNet利用自注意機(jī)制增強(qiáng)導(dǎo)致過(guò)度曝光問(wèn)題的高反射區(qū)域，以實(shí)現(xiàn)單目3D測(cè)量中的高動(dòng)態(tài)范圍。FrANet由三個(gè)模塊組成，分別用于預(yù)測(cè)包裹相位圖和絕對(duì)相位圖。提出了一種直接選擇最佳測(cè)量精度的訓(xùn)練策略。在FPP系統(tǒng)上的實(shí)驗(yàn)表明，該方法能準(zhǔn)確預(yù)測(cè)單次曝光條件下的最佳曝光時(shí)間。測(cè)量一對(duì)移動(dòng)標(biāo)準(zhǔn)球與過(guò)度曝光，以進(jìn)行定量評(píng)價(jià)。該方法在大曝光范圍內(nèi)重建標(biāo)準(zhǔn)球，直徑預(yù)測(cè)誤差分別為73μm(左)和64μm(右)，中心距離預(yù)測(cè)誤差為49μm。同時(shí)進(jìn)行消融研究，并與其他高動(dòng)態(tài)范圍消融方法進(jìn)行比較。

作者：天涯居士? | 來(lái)源：3DCV

在公眾號(hào)「3D視覺(jué)工坊」后臺(tái)，回復(fù)「原論文」即可獲取論文pdf。

添加微信：dddvisiona，備注：結(jié)構(gòu)光，拉你入群。文末附行業(yè)細(xì)分群。

01 引言

近年來(lái)，三維光學(xué)測(cè)量由于其非接觸式和低成本的特點(diǎn)，引起了廣泛的研究和應(yīng)用。在生物醫(yī)學(xué)、計(jì)算機(jī)視覺(jué)和工業(yè)制造領(lǐng)域，對(duì)高速三維測(cè)量的需求日益增長(zhǎng)。條紋投影輪廓法(FPP)是目前最流行的三維光學(xué)測(cè)量方法。通過(guò)將一組條紋圖像投射到物體上，F(xiàn)PP利用條紋分析和三角測(cè)量得到了物體的三維坐標(biāo)。

FPP的第一步是結(jié)構(gòu)光系統(tǒng)的標(biāo)定。標(biāo)定方法可分為相高模型和三角測(cè)量[1]。從條紋圖像中提取包裹相，將提取的包裹相展開(kāi)，得到待測(cè)目標(biāo)的連續(xù)相位信息，是條紋分析的關(guān)鍵步驟。相移[2]和時(shí)間相位展開(kāi)[3]方法是FPP中常用的相位反演和展開(kāi)方法。Zeng等人提出了一種自展開(kāi)相移的三維形狀測(cè)量方法。他們將空間變化相移(SPS)嵌入到正弦圖形中，這種相移能唯一地確定條紋階信息，然后通過(guò)像素計(jì)算提取絕對(duì)相位。在沒(méi)有外部信息或先驗(yàn)信息的情況下檢索絕對(duì)相位。Wang et al.[5]提出了一種基于相移和三頻外差相位展開(kāi)(TPHPU)算法的剛性運(yùn)動(dòng)物體三維測(cè)量方法。該方法對(duì)三維空間中運(yùn)動(dòng)物體的條紋圖像進(jìn)行預(yù)處理，代替了復(fù)雜的相位補(bǔ)償，繼承了相移和TPHPU算法的精度和魯棒性。Hu等人[6]提出了一種基于多頻相移方案的閃亮表面微觀三維測(cè)量方法。他們從相移條紋圖像的子集計(jì)算出高亮區(qū)域的相位，解決了密集條紋的離焦和復(fù)雜表面反射特性降低條紋質(zhì)量的問(wèn)題。Li等人[7]設(shè)計(jì)了一種改進(jìn)的基于超灰度多頻光柵投影的時(shí)間相位展開(kāi)方法。所捕獲的逼真的超灰度圖可以計(jì)算出高分辨率的相位信息，使可靠的單位頻率相位可以更精確地指導(dǎo)低頻和高頻條紋階數(shù)的計(jì)算，提高測(cè)量精度。Li等人[8]提出了一種基于改進(jìn)的三波長(zhǎng)相位展開(kāi)算法和相位誤差補(bǔ)償方法的三維重建框架。三波長(zhǎng)相位展開(kāi)算法可以提高三維幀速度，相位誤差補(bǔ)償方法可以降低三維測(cè)量的誤差。Servin et al.[9]將共相相位輪廓術(shù)和2步時(shí)間相位展開(kāi)技術(shù)相結(jié)合，用于三維條紋和相位展開(kāi)。該輪廓儀允許測(cè)量高度不連續(xù)的物體，最大限度地減少陰影和最大限度地提高相位靈敏度。這里也推薦「3D視覺(jué)工坊」新課程《如何將深度學(xué)習(xí)模型部署到實(shí)際工程中？（分類+檢測(cè)+分割）》。

隨著深度學(xué)習(xí)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)被應(yīng)用到三維測(cè)量中。Lin等人設(shè)計(jì)了一種用于條紋去噪的多級(jí)卷積神經(jīng)網(wǎng)絡(luò)。他們的方法在空間或變換領(lǐng)域與最先進(jìn)的去噪方法競(jìng)爭(zhēng)。Yao et al.[11]提出了一種多用途的神經(jīng)網(wǎng)絡(luò)，可以從少量模式中計(jì)算絕對(duì)相圖。這些模式包括一個(gè)正弦條紋模式和兩個(gè)基于代碼的模式。訓(xùn)練良好的多用途網(wǎng)絡(luò)可以檢索絕對(duì)相位圖，減少了移相技術(shù)所需的模式數(shù)量。Yao et al.[12]介紹了一種用于密集三維重建的超分辨率技術(shù)。利用雙密度塊超分辨率網(wǎng)絡(luò)(DdBSRN)對(duì)條紋分辨率進(jìn)行了擴(kuò)展。

然而，上述方法需要多個(gè)頻率的移相條紋圖像，降低了測(cè)量速度。雖然這些方法通過(guò)獲取多個(gè)條紋圖像為靜態(tài)對(duì)象提供了高精度的測(cè)量數(shù)據(jù)，但是由于圖像拍攝間隙之間的振動(dòng)和運(yùn)動(dòng)的干擾，會(huì)導(dǎo)致性能下降，從而影響了動(dòng)態(tài)場(chǎng)景應(yīng)用中的性能。

單目法從一幅條紋圖像中提取相位圖，具有抗運(yùn)動(dòng)能力強(qiáng)、條紋采集速度快、成本低等優(yōu)點(diǎn)。因此，在三維動(dòng)態(tài)測(cè)量中，需要單點(diǎn)方法。基于空間解調(diào)的方法是單目三維測(cè)量中常用的方法。這些方法包括傅里葉變換輪廓術(shù)(FTP)[13]、加窗傅里葉變換輪廓術(shù)(WFTP)[14]和小波變換輪廓術(shù)(WTP)[15]?？臻g解調(diào)方法雖然適用于動(dòng)態(tài)場(chǎng)景，但存在頻譜混疊和頻譜泄漏的問(wèn)題，對(duì)噪聲敏感，精度低，尤其是在測(cè)量強(qiáng)紋理物體時(shí)?；谏疃葘W(xué)習(xí)的單目方法比傳統(tǒng)方法更精確、更魯棒，在實(shí)際應(yīng)用中更具有可行性。

基于深度學(xué)習(xí)的單次方法是從深度網(wǎng)絡(luò)引入相位檢索開(kāi)始的。首先利用深度網(wǎng)絡(luò)預(yù)測(cè)包裹相位的分子和分母[16-18]。采用傳統(tǒng)相移技術(shù)制備了分子、分母的標(biāo)簽。與傳統(tǒng)解調(diào)方法相比，這些方法具有更好的解調(diào)效果。也設(shè)計(jì)了直接輸出包裹相位圖的網(wǎng)絡(luò)[19-22]。采用U-Net的變化作為網(wǎng)絡(luò)結(jié)構(gòu)，將分子和分母的條紋分析和計(jì)算隱藏在隱層中。一些研究者提出將單個(gè)條紋圖像轉(zhuǎn)換為移相條紋圖像，而不是從單個(gè)條紋圖像中檢索被包裹的相位[23-25]。利用相移技術(shù)對(duì)預(yù)測(cè)的條紋圖像進(jìn)行處理，其目的與單幅三維測(cè)量相同。除了相位檢索方法外，還發(fā)展了基于深度學(xué)習(xí)的相位展開(kāi)方法[26-30]。這些方法利用深度網(wǎng)絡(luò)從相位圖中預(yù)測(cè)條紋階圖，既避免了多頻條紋圖像的要求，又提高了相位展開(kāi)的精度。直接預(yù)測(cè)高度圖的端到端網(wǎng)絡(luò)也被研究[31-33]。這些網(wǎng)絡(luò)采用了大量的模擬或真實(shí)的條紋圖像和高度圖地面真實(shí)度進(jìn)行監(jiān)督訓(xùn)練。FCN、AEN和U-Net被評(píng)價(jià)為端到端網(wǎng)絡(luò)的體系結(jié)構(gòu)，其中U-Net得到的結(jié)果最為準(zhǔn)確。然而，端到端網(wǎng)絡(luò)不能利用一些重要的中間信息。

在工業(yè)制造中，被測(cè)物體往往會(huì)產(chǎn)生高反射區(qū)，被測(cè)物體邊緣的獲取會(huì)導(dǎo)致過(guò)度曝光和信息丟失。因此，需要高動(dòng)態(tài)范圍(HDR)測(cè)量來(lái)處理?xiàng)l紋圖像中的大范圍曝光水平。

多次曝光和單次曝光的HDR方法已經(jīng)被提出用于三維測(cè)量和其他應(yīng)用。Jiang等人提出了一種基于相移條紋投影法的高反射面三維掃描技術(shù)。將不同曝光時(shí)間下得到的原始條紋圖像與投影機(jī)的光照條紋強(qiáng)度進(jìn)行融合，得到一幅避免飽和和欠照度的合成條紋圖像。Yonesaka等人[35]介紹了一種利用HDR成像的數(shù)字全息方法來(lái)提高重建圖像的質(zhì)量。HDR成像過(guò)程包括估計(jì)相機(jī)響應(yīng)函數(shù)和合成多個(gè)全息圖。Song et al.[36]開(kāi)發(fā)了一種利用二值模式投影進(jìn)行三維測(cè)量的HDR方法。他們提議從估算的輻射圖中計(jì)算HDR條紋圖像，使用多次曝光來(lái)緩解飽和度。多曝光方法使用不同的曝光時(shí)間或光線強(qiáng)度來(lái)捕捉條紋，并將它們?nèi)诤?，以恢?fù)在高反射區(qū)域丟失的細(xì)節(jié)。這些方法耗時(shí)長(zhǎng)，不能滿足實(shí)時(shí)三維測(cè)量的需要。Cogalan等人[37]提出了一種使用相機(jī)傳感器進(jìn)行逐像素曝光調(diào)制的單曝光HDR方法。他們利用深度神經(jīng)網(wǎng)絡(luò)開(kāi)發(fā)了一種關(guān)節(jié)幀去交錯(cuò)和去噪算法。Jiang等人提出了一種簡(jiǎn)單的HDR方法，在不使用多次曝光的情況下，通過(guò)投射倒置的條紋圖像來(lái)補(bǔ)充規(guī)則圖案。反轉(zhuǎn)條紋圖像被用來(lái)代替或與規(guī)則圖案結(jié)合，這取決于規(guī)則圖案的飽和度。Wu et al.[39]利用運(yùn)動(dòng)跟蹤和移相輪廓術(shù)重建HDR對(duì)象。他們利用運(yùn)動(dòng)來(lái)改變物體上飽和點(diǎn)的位置，進(jìn)行單次曝光HDR測(cè)量。單一曝光法主要是為了增加高反射法中不飽和條紋圖像的數(shù)目。這些方法有額外的或先進(jìn)的設(shè)備，增加了FPP系統(tǒng)的成本或由于額外的條紋或跟蹤在相位計(jì)算中有精度損失。大多數(shù)HDR方法都不能對(duì)動(dòng)態(tài)場(chǎng)景中的運(yùn)動(dòng)目標(biāo)進(jìn)行測(cè)量。

目前很少有基于深度學(xué)習(xí)的單目三維光學(xué)測(cè)量方法試圖解決高動(dòng)態(tài)范圍問(wèn)題。Zhang等人[40]利用深度學(xué)習(xí)進(jìn)行相位計(jì)算，增加了三維測(cè)量的動(dòng)態(tài)范圍，將三步移相的動(dòng)態(tài)范圍擴(kuò)大了4.8倍。Yang等人設(shè)計(jì)了一個(gè)深度網(wǎng)絡(luò)來(lái)檢測(cè)低調(diào)制區(qū)域并增強(qiáng)這些區(qū)域的條紋細(xì)節(jié)。測(cè)量高度為5 mm的標(biāo)準(zhǔn)金屬量塊，均方根誤差由0.55 mm提高到0.06 mm。他們的方法完全基于算法，不能完全避免過(guò)度曝光區(qū)域的信息丟失。Liu等人開(kāi)發(fā)了一種手工制作的曝光選擇指標(biāo)，并使用深度學(xué)習(xí)網(wǎng)絡(luò)來(lái)增強(qiáng)條紋圖像，其覆蓋率(97.6%對(duì)98.0%)與10次曝光的HDR方法相似。盡管不是單次曝光的方法，他們的方法在一次曝光中提高了高反射區(qū)域的準(zhǔn)確性。

本文提出了一種基于深度學(xué)習(xí)的單目高動(dòng)態(tài)范圍三維測(cè)量方法——曝光選擇和條紋分析。該方法采用了兩個(gè)在訓(xùn)練和測(cè)量方面相互協(xié)作的卷積神經(jīng)網(wǎng)絡(luò):曝光選擇網(wǎng)絡(luò)(ExSNet)和條紋分析網(wǎng)絡(luò)(FrANet)。ExSNet利用自注意機(jī)制來(lái)增強(qiáng)過(guò)度曝光和曝光不足的區(qū)域，并解決了單次三維測(cè)量中高動(dòng)態(tài)范圍的問(wèn)題。為了解決傳統(tǒng)方法中相位圖誤差隨條紋圖像數(shù)目的減少而增加的問(wèn)題，構(gòu)造了FrANet來(lái)預(yù)測(cè)被包裹的相位圖和絕對(duì)相位圖，以提高相位檢索和相位展開(kāi)的精度。一種新的訓(xùn)練策略，使ExSNet學(xué)習(xí)最佳的曝光時(shí)間將被介紹。在測(cè)量過(guò)程中，ExSNet預(yù)測(cè)最佳曝光時(shí)間，并通過(guò)FrANet處理曝光調(diào)整后的條紋圖像。該方法將通過(guò)實(shí)際的FPP系統(tǒng)進(jìn)行評(píng)估，以驗(yàn)證基于深度學(xué)習(xí)的曝光選擇和條紋的有效性。結(jié)果和討論也將被介紹。

02 高度反射物體的單目三維測(cè)量

圖1 提出的方法概述。

該方法利用ExSNet和FrANet兩種深度神經(jīng)網(wǎng)絡(luò)選擇最佳曝光時(shí)間并進(jìn)行條紋。FrANet首先使用不同曝光時(shí)間下的條紋進(jìn)行訓(xùn)練。然后用最佳網(wǎng)絡(luò)性能對(duì)應(yīng)的曝光時(shí)間作為標(biāo)簽對(duì)ExSNet進(jìn)行訓(xùn)練。將最佳曝光時(shí)間的標(biāo)簽加入條紋進(jìn)行訓(xùn)練的過(guò)程稱為最佳曝光時(shí)間標(biāo)注。在單幅測(cè)量中，將曝光時(shí)間不合適的條紋圖像輸入ExSNet。曝光時(shí)間根據(jù)結(jié)果進(jìn)行調(diào)整，并使用FrANet處理重新捕獲的圖像。所提出方法的概述如圖1所示。與傳統(tǒng)的過(guò)曝或欠曝條紋圖像增強(qiáng)方法相比，本方法通過(guò)調(diào)整曝光時(shí)間，避免了這些基于算法的方法無(wú)法完全恢復(fù)的信息丟失。根據(jù)FrANet結(jié)果直接選擇地面真實(shí)最佳曝光時(shí)間，保證使用曝光選擇的圖像進(jìn)行精確的三維測(cè)量。下面將詳細(xì)介紹FrANet和ExSNet的網(wǎng)絡(luò)架構(gòu)和訓(xùn)練策略。

2.1 條紋分析網(wǎng)絡(luò)的結(jié)構(gòu)

條紋分析網(wǎng)絡(luò)FrANet解決了傳統(tǒng)方法中隨著條紋圖像數(shù)目的減少，相位圖誤差增大的問(wèn)題，滿足了相位檢索和相位展開(kāi)的任務(wù)。該網(wǎng)絡(luò)的架構(gòu)如圖2所示。該網(wǎng)絡(luò)由三個(gè)改進(jìn)的U-Net模塊組成，用于相位檢索、相位展開(kāi)和細(xì)化。這些模塊共享類似的U-Net變化架構(gòu)，并進(jìn)行了一些改進(jìn)，包括在所有模塊中以最低分辨率堆疊卷積層，在相位展開(kāi)模塊中額外的下采樣和上采樣，以提高接收域，并在細(xì)化模塊中去除批量歸一化。U-Net作為一種最初用于分割的廣泛應(yīng)用的網(wǎng)絡(luò)體系結(jié)構(gòu)，在特征提取和圖像分辨率恢復(fù)方面具有訓(xùn)練樣本少、效率高的特點(diǎn)。這對(duì)于條紋的處理是有益的，因此U-Net在許多基于深度學(xué)習(xí)的單目方法中得到了應(yīng)用。然而，單目方法通常采用一個(gè)U-Net進(jìn)行相位反演、相位展開(kāi)或高度圖預(yù)測(cè)。相位展開(kāi)和高度圖預(yù)測(cè)本質(zhì)上包含相位展開(kāi)，它們是不適定任務(wù)，需要長(zhǎng)期信息來(lái)消除相位模糊。單U-Net不能保證遠(yuǎn)范圍信息的獲取，因此本工作采用了兩個(gè)額外改進(jìn)的U-Net模塊進(jìn)行相位展開(kāi)處理，并在提取完相位圖后對(duì)絕對(duì)相位圖進(jìn)行細(xì)化。帶大接收域的相位展開(kāi)模塊收集遠(yuǎn)范圍信息，帶小接收域的細(xì)化模塊細(xì)化細(xì)節(jié)。相位檢索模塊使用單目條紋圖像作為輸入來(lái)預(yù)測(cè)包裹的相位圖。相位展開(kāi)模塊采用預(yù)測(cè)的相位圖和條紋生成絕對(duì)相位圖。細(xì)分模塊以條紋和所有預(yù)測(cè)相圖為輸入，以細(xì)分絕對(duì)相圖為輸出。盡管使用了三個(gè)模塊，但FrANet被認(rèn)為是一個(gè)輕量級(jí)網(wǎng)絡(luò)，每一層的最大濾波器數(shù)量為48個(gè)。與一層有512個(gè)或更多個(gè)濾波器的大型網(wǎng)絡(luò)相比，F(xiàn)rANet耗時(shí)更少，在3D測(cè)量中更可行。

圖2：FrANet的體系結(jié)構(gòu)圖3：本文采用改進(jìn)后的U-Net模塊體系結(jié)構(gòu)。

本文所采用的改進(jìn)U-Net模塊體系結(jié)構(gòu)如圖3所示，包括卷積層、下采樣層、上采樣層、級(jí)聯(lián)層和輸出層。卷積層使用與內(nèi)核大小3×3和stride s = 1的卷積、批處理歸一化(BN)和leaky ReLU作為激活函數(shù)。下采樣層包括與核大小2×2和stride 2的卷積、批處理歸一化和漏泄的ReLU。每個(gè)模塊的分辨率相同時(shí)，濾波器的個(gè)數(shù)相同，分別為16、24、24、32、32、48，對(duì)應(yīng)輸入分辨率的1、1/2、1/4、1/8、1/16、1/32。剩余塊使用帶有跳過(guò)連接的四個(gè)卷積層以最低分辨率操作。這些層的過(guò)濾器數(shù)量是48個(gè)。上采樣層利用與核大小2×2和stride 2的轉(zhuǎn)置卷積來(lái)恢復(fù)高分辨率的特征，然后是批量歸一化和泄漏的ReLU。每個(gè)分辨率的過(guò)濾器數(shù)量從左到右分別為16、24、24、16和8。上采樣特征在下采樣部分以相同分辨率連接到卷積層輸出。然后設(shè)計(jì)兩個(gè)卷積層，核大小分別為1×1和3×3，減少通道數(shù)量，進(jìn)一步進(jìn)行特征提取。它們都包括帶stride 1的卷積、批處理歸一化和漏泄ReLU。輸出層使用卷積和sigmoid函數(shù)將feature轉(zhuǎn)換為各模塊的輸出尺寸和取值范圍。在使用sigmoid激活后，值范圍從0到1，然后通過(guò)乘標(biāo)量進(jìn)行調(diào)整。預(yù)測(cè)的包裹相位范圍為0 ~ 2π，而預(yù)測(cè)的和精細(xì)的絕對(duì)相位范圍為0 ~ 128π。

2.2 曝光選擇網(wǎng)絡(luò)的架構(gòu)

圖4：ExSNet的架構(gòu)。

圖5：ExSNet中注意力模塊的體系結(jié)構(gòu)。

曝光選擇網(wǎng)絡(luò)ExSNet完成了預(yù)測(cè)最佳曝光時(shí)間的任務(wù)，解決了單目三維測(cè)量中高動(dòng)態(tài)范圍的問(wèn)題。ExSNet如圖4所示。該網(wǎng)絡(luò)采用類似于分類器的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。該網(wǎng)絡(luò)在多個(gè)分辨率下提取特征，過(guò)濾器的數(shù)量隨著分辨率的降低而增加。該網(wǎng)絡(luò)由下采樣層、卷積層、一個(gè)注意模塊和一個(gè)池化層組成。每個(gè)下采樣層由核大小為2×2的卷積和stride 2、批處理歸一化和leaky ReLU作為激活函數(shù)組成，其次是卷積層，卷積核大小為3×3、stride=1、批處理歸一化和leaky ReLU。在相同的分辨率下，過(guò)濾器的數(shù)量保持不變，分別為16、32、64、128、256、512和1024，對(duì)應(yīng)于輸入分辨率的1/2、1/4、1/8、1/16、1/32、1/64和1/128。最佳曝光時(shí)間是由被測(cè)物體的高度反射區(qū)域決定的，這些反射區(qū)域可能是條紋圖像的一小部分。因此，使用全卷積層會(huì)導(dǎo)致這些區(qū)域很容易被淹沒(méi)，無(wú)法準(zhǔn)確預(yù)測(cè)最佳曝光時(shí)間。ExSNet網(wǎng)絡(luò)采用了自注意機(jī)制來(lái)解決這一問(wèn)題。注意力模塊探索長(zhǎng)期空間關(guān)系，并強(qiáng)調(diào)關(guān)鍵區(qū)域。ExSNet中注意力模塊的架構(gòu)如圖5所示。

一種被稱為比例點(diǎn)積注意的流行的自我注意機(jī)制可以表示為:

其中：其中A為注意操作的結(jié)果，Q為查詢，K為鍵，V為值，為K的維數(shù)。在圖像處理中，通過(guò)特征的卷積得到查詢、鍵和值。在計(jì)算點(diǎn)積時(shí)，將圖像特征拉伸為一維，使注意力機(jī)制可以在空間域上執(zhí)行。

注意模塊使用多向縮放點(diǎn)積注意，然后與核大小為1× 1的卷積。頭出現(xiàn)的次數(shù)設(shè)置為8次。池化層在空間維度上使用全局平均池化來(lái)將圖像濾波器轉(zhuǎn)換為一位數(shù)。在曝光時(shí)間范圍內(nèi)，通過(guò)卷積和sigmoid函數(shù)將數(shù)字進(jìn)一步轉(zhuǎn)換為一個(gè)標(biāo)量。

2.3 訓(xùn)練策略

在訓(xùn)練過(guò)程中，首先對(duì)FrANet進(jìn)行訓(xùn)練，然后根據(jù)ExSNet的性能對(duì)其進(jìn)行訓(xùn)練。用于條紋的網(wǎng)絡(luò)通常需要大量數(shù)據(jù)進(jìn)行訓(xùn)練，而數(shù)據(jù)采集非常耗時(shí)，因?yàn)間round truth是使用相移技術(shù)編寫的。在本研究中，采用無(wú)監(jiān)督學(xué)習(xí)[43]進(jìn)行法聯(lián)網(wǎng)的預(yù)訓(xùn)練。無(wú)監(jiān)督學(xué)習(xí)不需要真實(shí)標(biāo)簽圖，因此在數(shù)據(jù)獲取方面更有效。兩個(gè)頻率的條紋圖案被投影到被測(cè)量的物體上，條紋圖像被使用真實(shí)世界的FPP系統(tǒng)捕獲。收集大量圖像形成無(wú)監(jiān)督數(shù)據(jù)集，滿足深度學(xué)習(xí)算法的數(shù)據(jù)需求，避免了訓(xùn)練中的過(guò)擬合。由于無(wú)監(jiān)督學(xué)習(xí)不依賴于真實(shí)的相位圖或高度圖作為真實(shí)標(biāo)簽，每個(gè)訓(xùn)練樣本只需要兩幅條紋，這兩幅條紋都是在每個(gè)頻率上沒(méi)有相移的單幅條紋。從而避免了數(shù)據(jù)采集過(guò)程中耗時(shí)的移相投影，減少了數(shù)據(jù)存儲(chǔ)的內(nèi)存。經(jīng)過(guò)重投影處理后，計(jì)算真實(shí)圖像和重投影條紋圖像之間的無(wú)監(jiān)督損失:

式中：

• L：L1損失函數(shù)

• ：重投影條紋

• ：高頻條紋

• ：低頻

• ：預(yù)測(cè)的包裹條紋

• ：預(yù)測(cè)的原始相圖和精細(xì)的絕對(duì)相圖

由于五個(gè)損失項(xiàng)的梯度尺度相似，因此對(duì)每個(gè)損失項(xiàng)應(yīng)用相同的權(quán)重。在收斂之前，網(wǎng)絡(luò)使用無(wú)監(jiān)督損耗進(jìn)行訓(xùn)練。在預(yù)訓(xùn)練之后，使用監(jiān)督學(xué)習(xí)對(duì)FrANet進(jìn)行訓(xùn)練。監(jiān)督學(xué)習(xí)使網(wǎng)絡(luò)能夠直接學(xué)習(xí)使用移相輪廓術(shù)繪制的地面真相圖。利用真實(shí)的FPP系統(tǒng)，將四種頻率下的十二步相移條紋圖像投影到被測(cè)物體上。這48幅條紋圖像是在不同曝光時(shí)間下拍攝的，采用耗時(shí)的多曝光HDR方法進(jìn)行圖像融合。然后利用48幅融合條紋圖像得到一組訓(xùn)練樣本在不同曝光時(shí)間下的真實(shí)標(biāo)簽圖。移相條紋圖像的強(qiáng)度可以描述為:

其中：

• ：第??副相移條紋圖像

• ：條紋圖像

• ：像素的水平、垂直坐標(biāo)

• ：背景強(qiáng)度

• ：條紋調(diào)制度

• ：包裹相位

• ：相移步數(shù)

包裹相位可以被恢復(fù)，通過(guò)下列公式：

使用時(shí)間相位展開(kāi)計(jì)算絕對(duì)相位圖。利用下式計(jì)算高頻圖像的條紋階數(shù)?:

其中，圓整函數(shù)將結(jié)果轉(zhuǎn)化為圓形數(shù)，為高頻，為低頻，為低頻圖像的絕對(duì)相位，為高頻圖像的包裹相位。在頻率為1時(shí)，絕對(duì)相位等于包裹相位，因此可以計(jì)算出高頻圖像的絕對(duì)相位。與完全監(jiān)督方法相比，利用先驗(yàn)知識(shí)對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)所需的訓(xùn)練樣本更少，且降低了過(guò)擬合的影響。因此，為計(jì)算真實(shí)標(biāo)簽圖而收集額外的條紋圖像所需的時(shí)間更少。監(jiān)督損失的計(jì)算方式為:

ExSNet的目標(biāo)是預(yù)測(cè)3D測(cè)量的最佳曝光時(shí)間。因此，理想的預(yù)測(cè)對(duì)應(yīng)于使用FrANet的3D測(cè)量的最高精度。比較了FrANet和ground-truth的三維重建結(jié)果，并對(duì)每組條紋圖像的精度進(jìn)行了評(píng)價(jià)。得到了精度最高的最佳曝光時(shí)間真實(shí)標(biāo)簽。在不同曝光時(shí)間拍攝的圖像作為ExSNet的輸入。L1損失是在預(yù)計(jì)的曝光時(shí)間和真實(shí)標(biāo)簽之間計(jì)算出來(lái)的。ExSNet使用監(jiān)督學(xué)習(xí)進(jìn)行訓(xùn)練。由于預(yù)測(cè)最佳曝光時(shí)間的任務(wù)比密集相位預(yù)測(cè)容易得多，因此ExSNet不存在過(guò)擬合問(wèn)題，在得到真實(shí)標(biāo)簽最佳曝光時(shí)間后，不需要專門設(shè)計(jì)的訓(xùn)練策略。

在三維測(cè)量中，一個(gè)頻率的單目條紋圖像被投影到被測(cè)量的物體上，條紋圖像被使用真實(shí)世界的FPP系統(tǒng)捕獲。然后將采集到的曝光時(shí)間不合適的條紋圖像作為測(cè)試樣本，輸入訓(xùn)練后的ExSNet，得到預(yù)測(cè)的最佳曝光時(shí)間。利用預(yù)測(cè)曝光時(shí)間重新捕獲條紋圖像，并將其作為訓(xùn)練后的FrANet的輸入，獲得被測(cè)物體的精確絕對(duì)相位圖。測(cè)試樣本尚未用于訓(xùn)練法聯(lián)網(wǎng)。最后，利用三角法將被測(cè)物體的精細(xì)絕對(duì)相位圖轉(zhuǎn)換成三維坐標(biāo)，實(shí)現(xiàn)了單次三維測(cè)量。

03 實(shí)驗(yàn)

為了驗(yàn)證所提方法的有效性，我們搭建了一個(gè)由藍(lán)光投影儀(tenju technology, China)和兩臺(tái)數(shù)碼相機(jī)(Daheng Imaging, China)組成的FPP系統(tǒng)。搭建的FPP系統(tǒng)如圖6(a)所示，實(shí)驗(yàn)中只采用左側(cè)攝像機(jī)。圖6(b)顯示了測(cè)試集中用于三維測(cè)量的工業(yè)部件，用于對(duì)所提方法進(jìn)行評(píng)價(jià)。攝像機(jī)通過(guò)3個(gè)頻道捕捉分辨率為1296×964像素的圖像，投影儀的分辨率為1280×720像素。在數(shù)據(jù)采集過(guò)程中，投影儀將藍(lán)色的垂直條紋圖像投射到被測(cè)物體上。FrANet的預(yù)訓(xùn)練在每個(gè)epoch中取2000組條紋圖像。每組包含兩個(gè)頻率相同的場(chǎng)景的條紋。高頻設(shè)置為64，低頻設(shè)置為9。在有監(jiān)督學(xué)習(xí)的數(shù)據(jù)采集過(guò)程中，在3000μs ~ 45000μs范圍內(nèi)均勻選擇15次暴露時(shí)間。采用64、16、4、1四種頻率，拍攝20組12步移相條紋圖像，每組包括15次曝光時(shí)間。在接下來(lái)的章節(jié)中，首先提供了ExSNet和FrANet的實(shí)施細(xì)節(jié)，然后通過(guò)網(wǎng)絡(luò)預(yù)測(cè)最佳曝光時(shí)間，評(píng)估三維測(cè)量精度，進(jìn)行曝光選擇、注意機(jī)制和條紋分析的燒蝕研究，最后將該方法與其他HDR方法進(jìn)行了比較。

3.1 部署細(xì)節(jié)

該方法使用PyTorch實(shí)現(xiàn)，訓(xùn)練設(shè)備為一臺(tái)RTX 2070 SUPER GPU。使用Adam優(yōu)化器，參數(shù)β1 = 0.9， β2 = 0.999。在FrANet的預(yù)訓(xùn)練過(guò)程中，初始學(xué)習(xí)速率被設(shè)定為，經(jīng)過(guò)30個(gè)epoch后降低為。整個(gè)訓(xùn)練前的過(guò)程需要40個(gè)階段。圖片被裁剪成1280 × 768的大小。在對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)時(shí)，初始學(xué)習(xí)速率為?(100 epoch)，之后的100 epoch學(xué)習(xí)速率為?(100 epoch)。在ExSNet的訓(xùn)練過(guò)程中，200個(gè)epoch的學(xué)習(xí)速率設(shè)置為。采用批量大小為2和包含色調(diào)調(diào)整和隨機(jī)噪聲的多個(gè)數(shù)據(jù)增強(qiáng)。在一次迭代中，網(wǎng)絡(luò)對(duì)一批條紋進(jìn)行處理。輸入張量的大小為[批量大小，通道數(shù)，高度，寬度]。訓(xùn)練后，該網(wǎng)絡(luò)在同一設(shè)置下用于運(yùn)行時(shí)間為1.23 s的單次高動(dòng)態(tài)范圍測(cè)量。運(yùn)行時(shí)計(jì)算中包含的過(guò)程包括:捕獲條紋圖像、使用ExSNet預(yù)測(cè)最佳曝光時(shí)間、再現(xiàn)條紋圖像以及使用FrANet生成三維坐標(biāo)。

3.2 曝光選擇

圖7 曝光選擇結(jié)果采用不同的方法。左邊一列是曝光選定的條紋圖像，右邊一列是絕對(duì)相位誤差圖。

為了評(píng)價(jià)ExSNet能否準(zhǔn)確地預(yù)測(cè)最佳曝光時(shí)間，首先對(duì)訓(xùn)練集以外的工業(yè)部分進(jìn)行條紋采集，然后利用多曝光HDR方法和十二步移相技術(shù)得到絕對(duì)相位圖的真實(shí)標(biāo)簽。由于曝光選擇的目標(biāo)是實(shí)現(xiàn)精確的三維測(cè)量，因此將使用精度最高的FrANet進(jìn)行三維測(cè)量的條紋圖像確定為最佳曝光時(shí)間真實(shí)標(biāo)簽。通過(guò)使用FrANet對(duì)一組曝光時(shí)間為3000 ~ 45000us的條紋圖像進(jìn)行處理，得到最佳網(wǎng)絡(luò)性能所對(duì)應(yīng)的最佳曝光時(shí)間為18000us。利用ExSNet對(duì)單個(gè)條紋圖像進(jìn)行處理，預(yù)測(cè)最佳曝光時(shí)間，曝光選擇的條紋圖像利用FrANet生成預(yù)測(cè)的絕對(duì)相位圖。作為輸入的是Eq.(3)中n = 0時(shí)相移為零的單條紋圖像。為了將ExSNet方法與其他曝光選擇方法進(jìn)行比較，還對(duì)其他方法得到的曝光選擇條紋圖像進(jìn)行了FrANet處理，并計(jì)算了絕對(duì)相位誤差圖。結(jié)果如圖7所示，包括曝光選定的條紋圖像和絕對(duì)相位誤差圖。計(jì)算機(jī)視覺(jué)中的曝光選擇方法旨在提高圖像質(zhì)量，以便更好地進(jìn)行檢測(cè)、跟蹤或其他計(jì)算機(jī)視覺(jué)任務(wù)。這些方法包括基于梯度的方法和基于熵的方法。Liu等人設(shè)計(jì)了一種用于三維測(cè)量[42]的曝光選擇方法。這種方法的結(jié)果取決于是否對(duì)條紋圖像進(jìn)行裁剪，這是由于調(diào)制背景的影響。因此，使用該方法的結(jié)果，有裁剪和不裁剪的圖像都給出了。

圖8 最佳曝光時(shí)間，選擇曝光時(shí)間和誤差，以及使用不同方法對(duì)應(yīng)的平均絕對(duì)相位誤差。

采用基于梯度法、熵值法、非分切曝光選擇法[42]、分切曝光選擇法[42]和本文提出的ExSNet方法的曝光時(shí)間分別為36207μs、25841μs、34155μs、14565μs和17593μs。對(duì)應(yīng)的平均絕對(duì)相位誤差分別為23.36 mrad、12.74 mrad、15.55 mrad、8.39 mrad和5.22 mrad。不同方法的最佳曝光時(shí)間、所選曝光時(shí)間和誤差以及對(duì)應(yīng)的平均絕對(duì)相位誤差如圖8所示。

由于基于梯度和基于熵的方法關(guān)注的是圖像的一般質(zhì)量，所以它們對(duì)過(guò)曝光不敏感，對(duì)曝光時(shí)間的選擇也比最優(yōu)方法長(zhǎng)。使用未裁剪圖像的曝光選擇方法[42]由于調(diào)制背景的面積較大而不準(zhǔn)確，而使用裁剪圖像的曝光選擇方法精度更高，但產(chǎn)生的圖像略顯不足。結(jié)果表明，與其他曝光選擇方法相比，ExSNet預(yù)測(cè)了最準(zhǔn)確的最佳曝光時(shí)間，當(dāng)FrANet幾乎達(dá)到峰值性能時(shí)，并產(chǎn)生最準(zhǔn)確的絕對(duì)相位圖。

3.3 三維測(cè)量評(píng)價(jià)

圖9 使用ExSNet評(píng)估曝光選擇和使用FrANet預(yù)測(cè)相位圖。

為了驗(yàn)證所提方法對(duì)單目高動(dòng)態(tài)范圍三維測(cè)量的有效性，對(duì)一幅具有過(guò)曝區(qū)域的條紋圖像進(jìn)行了捕獲和處理。為了詳細(xì)評(píng)估ExSNet和FrANet預(yù)測(cè)的最佳曝光時(shí)間和相位圖，還計(jì)算了最佳曝光時(shí)間和相位圖的基本事實(shí)。與曝光選擇評(píng)價(jià)類似，在曝光時(shí)間3000 ~ 45000us范圍內(nèi)的條紋圖像被用來(lái)生成相位圖的真實(shí)標(biāo)簽。通過(guò)FrANet對(duì)不同曝光時(shí)間的單拍圖像進(jìn)行處理，確定最佳曝光時(shí)間的真實(shí)標(biāo)簽為12000s。使用ExSNet的曝光選擇評(píng)估和使用FrANet的相位圖預(yù)測(cè)如圖9所示。ExSNet選擇的曝光時(shí)間為13559μs，最接近于設(shè)定的最佳曝光時(shí)間和相鄰曝光時(shí)間。預(yù)測(cè)的包裹相圖、預(yù)測(cè)的絕對(duì)相圖和精化的絕對(duì)相圖的平均誤差分別為362.3 mrad、19.1 mrad和5.5 mrad。由于深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)原理，預(yù)測(cè)的相位圖在沒(méi)有調(diào)制的區(qū)域有價(jià)值。由于FrANet中三個(gè)模塊的輸入均為單目條紋圖像，因此相位反演模塊預(yù)測(cè)的包裹相位圖在相位展開(kāi)過(guò)程中仍可進(jìn)行細(xì)化。預(yù)測(cè)的絕對(duì)相位圖在不同條紋的邊界處有一定的誤差，具有較高的精度。經(jīng)精化的絕對(duì)相位圖作為FrANet的最終輸出，修正了不同條紋階的邊緣誤差，具有較高的精度。工業(yè)部分的右側(cè)在原始條紋圖像中過(guò)度曝光，但該區(qū)域的網(wǎng)絡(luò)預(yù)測(cè)同樣準(zhǔn)確，沒(méi)有模糊。結(jié)果表明，該方法能夠?qū)崿F(xiàn)高精度的單次高動(dòng)態(tài)范圍三維測(cè)量。

圖10 移動(dòng)標(biāo)準(zhǔn)球的三維測(cè)量結(jié)果。

為了定量評(píng)價(jià)該方法在運(yùn)動(dòng)物體三維測(cè)量中的應(yīng)用效果，我們還對(duì)直徑為30mm±2μm、中心距離為100mm±2μm的運(yùn)動(dòng)標(biāo)準(zhǔn)球進(jìn)行了測(cè)量。結(jié)果如圖10所示。移動(dòng)標(biāo)準(zhǔn)球的動(dòng)態(tài)場(chǎng)景如圖10(a)所示，標(biāo)準(zhǔn)球被固定在不可伸縮的繩子上形成一個(gè)鐘擺。條紋圖像是在標(biāo)準(zhǔn)球體達(dá)到最低高度和最高速度時(shí)拍攝的。擺長(zhǎng)為695 mm，水平偏差為150 mm時(shí)釋放標(biāo)準(zhǔn)球，最高速度為0.567 m/s。采用原始條紋圖像進(jìn)行曝光選擇，預(yù)測(cè)最佳曝光時(shí)間為9012us。將圖10(b)中曝光調(diào)整后的圖像輸入FrANet完成三維測(cè)量。網(wǎng)絡(luò)預(yù)測(cè)包裹相圖和絕對(duì)相圖，如圖10(c)和(d)所示。利用之前的標(biāo)定參數(shù)將預(yù)測(cè)的絕對(duì)相位圖轉(zhuǎn)換為三維坐標(biāo)。預(yù)測(cè)左球直徑為30.073 mm，右球直徑為29.936 mm，誤差分別為73±2 μ m和64±2 μ m。預(yù)測(cè)中心距為100.049 mm，誤差為49±2μm。請(qǐng)注意，白色標(biāo)準(zhǔn)球和黑色棒在曝光水平上有很大的不同，這使得在一次曝光中重建它們具有挑戰(zhàn)性。該方法可以利用一幅條紋圖像恢復(fù)出欠曝光區(qū)域的信息，并重建出標(biāo)準(zhǔn)的球和棒。

3.4 消融實(shí)驗(yàn)

表格1：消融研究結(jié)果:曝光選擇、注意機(jī)制和條紋技術(shù)。

為了清楚地了解本研究中提出的各種技術(shù)所作的貢獻(xiàn)，我們對(duì)曝光選擇、注意機(jī)制和條紋技術(shù)進(jìn)行了消融研究。消融研究結(jié)果如表1所示。選擇預(yù)測(cè)值與測(cè)試集上的真實(shí)標(biāo)簽三維坐標(biāo)之間的相對(duì)均方根誤差(relative root-mean-square error，簡(jiǎn)稱RMSE)作為度量。相對(duì)RMSE可以表示為:

其中為像素位置，?為使用當(dāng)前技術(shù)預(yù)測(cè)的三維坐標(biāo)，為真實(shí)標(biāo)簽三維坐標(biāo)，?為使用所有技術(shù)預(yù)測(cè)的三維坐標(biāo)。測(cè)試集主要是帶有過(guò)度曝光區(qū)域的條紋圖像。采用十二步相移和時(shí)間相展開(kāi)法計(jì)算真實(shí)標(biāo)簽三維坐標(biāo)。無(wú)曝光選擇是指未經(jīng)曝光調(diào)整的原始條紋作為FrANet的輸入。有曝光選擇但沒(méi)有注意機(jī)制意味著ExSNet中的注意模塊被卷積層取代。FTP條紋分析是指在曝光選擇后，用FTP而不是FrANet來(lái)處理?xiàng)l紋圖像。結(jié)果表明，每種技術(shù)對(duì)三維測(cè)量精度的貢獻(xiàn)。

3.5 與其他方法的比較

圖11 三次曝光的多次曝光HDR法的結(jié)果。

圖12 Liu et al.[42].單次曝光法結(jié)果。

圖13 給出了該方法的計(jì)算結(jié)果。

將該方法與其他高動(dòng)態(tài)范圍的三維測(cè)量方法進(jìn)行了比較。這些方法包括三次曝光的多次曝光HDR法和Liu et al.[42]的單次曝光法。由于多次曝光HDR方法耗時(shí)較長(zhǎng)，條紋圖像融合僅使用三次曝光，分別為12000us、18000 s和24000s。利用四步相移技術(shù)和時(shí)間相位展開(kāi)技術(shù)計(jì)算相位圖。Liu等人[42]的單次曝光方法包括使用手工度量的曝光選擇和使用深度神經(jīng)網(wǎng)絡(luò)的圖像增強(qiáng)。增強(qiáng)條紋生成相圖也使用四步相移技術(shù)和時(shí)間相位展開(kāi)。該方法與本文提出的方法關(guān)系最為密切。該方法采用基于深度學(xué)習(xí)的曝光選擇，以獲得最佳的測(cè)量精度，而不是使用手工制作的度量。此外，圖像增強(qiáng)被集成到FrANet的單目測(cè)量，而不是使用一個(gè)單獨(dú)的網(wǎng)絡(luò)。

不同高動(dòng)態(tài)范圍三維測(cè)量方法的結(jié)果如圖11-13所示。對(duì)于多次曝光的HDR方法，僅三次曝光不能完全恢復(fù)曝光不足和曝光過(guò)的區(qū)域。在融合條紋圖像中，工業(yè)部分的左側(cè)曝光不足，大部分曝光過(guò)度。因此，用該方法計(jì)算出的絕對(duì)相圖誤差最大。Liu等人的單次曝光方法。[42]使用他們的度量進(jìn)行曝光選擇，并增強(qiáng)所選的條紋圖像。這種增強(qiáng)通過(guò)使調(diào)制分布更均勻來(lái)減輕過(guò)曝光和曝光不足的問(wèn)題。然而，使用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像增強(qiáng)時(shí)，由于信息丟失，不能準(zhǔn)確預(yù)測(cè)過(guò)曝光區(qū)域的調(diào)制，并帶來(lái)了額外的絕對(duì)相位圖誤差。該方法直接根據(jù)FrANet的性能選擇最佳曝光時(shí)間。FrANet可以整合圖像增強(qiáng)的過(guò)程，因此不需要額外的增強(qiáng)。在這些方法中，用該方法預(yù)測(cè)的絕對(duì)相圖精度最高。

圖14 采用不同的高動(dòng)態(tài)范圍方法進(jìn)行三維重建。

圖15 不同高動(dòng)態(tài)范圍方法的絕對(duì)相位圖誤差和重構(gòu)誤差。

利用三角剖分法將不同方法的絕對(duì)相位圖轉(zhuǎn)換成三維坐標(biāo)。三維重建結(jié)果如圖14所示。三次曝光的多次曝光法在這一區(qū)域由于相位誤差較大而導(dǎo)致工業(yè)部分左側(cè)漏光。Liu等人[42]的單次曝光方法不能完全恢復(fù)圖像增強(qiáng)過(guò)程中的信息損失，導(dǎo)致重建結(jié)果中的點(diǎn)分散。該方法利用單目條紋圖像對(duì)工業(yè)零件進(jìn)行精確重構(gòu)。大多數(shù)重建錯(cuò)誤來(lái)自挑戰(zhàn)性的暴露不足的區(qū)域在左側(cè)。不同高動(dòng)態(tài)范圍方法的絕對(duì)相位圖誤差和重構(gòu)誤差如圖15所示。對(duì)于絕對(duì)相位圖誤差，計(jì)算了三維測(cè)量中提取的絕對(duì)相位圖與真實(shí)標(biāo)簽絕對(duì)相位圖之間的平均絕對(duì)誤差。重建誤差的評(píng)估使用根均方誤差之間的測(cè)量三維坐標(biāo)和真實(shí)標(biāo)簽。該方法在相圖預(yù)測(cè)和重構(gòu)方面均優(yōu)于其他HDR方法。這里也推薦「3D視覺(jué)工坊」新課程《如何將深度學(xué)習(xí)模型部署到實(shí)際工程中？（分類+檢測(cè)+分割）》。

04 討論

單目測(cè)量具有高度反射區(qū)域的物體一直是一個(gè)挑戰(zhàn)。傳統(tǒng)的HDR方法在單次曝光中獲取條紋圖像，通常使用額外的或先進(jìn)的設(shè)備，這增加了FPP系統(tǒng)的成本。使用多次曝光的HDR方法很難實(shí)現(xiàn)實(shí)時(shí)測(cè)量，也不適合動(dòng)態(tài)場(chǎng)景中的單目測(cè)量。之前的單次HDR三維測(cè)量方法的嘗試非常有限。提出了利用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像增強(qiáng)和條紋分析的方法。這些方法通常依賴于深度學(xué)習(xí)算法的圖像增強(qiáng)能力來(lái)提高在高反射區(qū)域或曝光不足區(qū)域的精度?；谒惴ǖ姆椒ǖ膯?wèn)題是，由于只處理一幅條紋圖像，在過(guò)曝光和欠曝光區(qū)域的信息丟失無(wú)法完全恢復(fù)。

本文提出了一種將深度學(xué)習(xí)與曝光選擇相結(jié)合，并利用深度學(xué)習(xí)處理?xiàng)l紋的方法來(lái)實(shí)現(xiàn)單目HDR三維測(cè)量。與其他三維測(cè)量方法相比，該方法具有多個(gè)優(yōu)點(diǎn)。與采用移相技術(shù)和時(shí)間相位展開(kāi)技術(shù)的多鏡頭測(cè)量方法相比，該方法具有更高的測(cè)量速度，能夠?qū)\(yùn)動(dòng)目標(biāo)進(jìn)行測(cè)量。與本文方法相比，多曝光HDR方法耗時(shí)較長(zhǎng)，且不能實(shí)現(xiàn)實(shí)時(shí)測(cè)量。單次曝光HDR方法要么使用額外的或先進(jìn)的設(shè)備成本更高，要么僅用算法補(bǔ)償信息損失的準(zhǔn)確性較低。該方法在FPP系統(tǒng)中只需要一臺(tái)投影機(jī)和一臺(tái)攝像機(jī)。曝光時(shí)間由ExSNet選擇，直接選擇最佳的FrANet性能。這避免了在過(guò)度曝光區(qū)域的信息損失，并使HDR測(cè)量的單目測(cè)量成為可能。使用深度網(wǎng)絡(luò)預(yù)測(cè)最佳曝光時(shí)間和再現(xiàn)條紋圖像提高了完全基于算法的方法的準(zhǔn)確性。相位圖計(jì)算只需要一個(gè)條紋圖像，這使得我們的方法能夠測(cè)量在圖像拍攝之間運(yùn)動(dòng)的物體。進(jìn)一步的研究可能包括優(yōu)化ExSNet和FrANet的結(jié)構(gòu)，修改曝光時(shí)間集以減小曝光選擇間隔，以及將該方法應(yīng)用于有時(shí)間噪聲的三維測(cè)量。

05 總結(jié)

針對(duì)單幅三維測(cè)量中動(dòng)態(tài)范圍大的問(wèn)題，提出了一種基于曝光選擇的ExSNet方法，并結(jié)合FrANet進(jìn)行條紋分析，對(duì)調(diào)整后的條紋圖像進(jìn)行處理。ExSNet采用自注意機(jī)制，增強(qiáng)高反射區(qū)和曝光不足區(qū)，以實(shí)現(xiàn)高動(dòng)態(tài)范圍單拍3D測(cè)量。為了提高相位反演和相位展開(kāi)的精度，該算法由三個(gè)模塊組成，分別對(duì)包裹相位圖和絕對(duì)相位圖進(jìn)行預(yù)測(cè)。在FPP系統(tǒng)上的實(shí)驗(yàn)表明，該方法能準(zhǔn)確預(yù)測(cè)最佳曝光時(shí)間，并能預(yù)測(cè)出相應(yīng)的絕對(duì)相圖。此外，還可以對(duì)工業(yè)零件進(jìn)行高精度的高動(dòng)態(tài)范圍三維測(cè)量，并對(duì)過(guò)曝光的移動(dòng)標(biāo)準(zhǔn)球進(jìn)行了測(cè)量。直徑預(yù)測(cè)誤差分別為73μm(左)和64μm(右)。中心距預(yù)測(cè)誤差為49μm。消融研究表明，曝光選擇、注意機(jī)制和條紋分析技術(shù)都有助于提高三維測(cè)量的精度。采用三次曝光的多次曝光HDR法和其他研究者的單次曝光法與本文方法進(jìn)行了比較。該方法在絕對(duì)相圖預(yù)測(cè)和三維重建中得到了最精確的結(jié)果。

—END—

第一步 加入行業(yè)交流群，保持技術(shù)的先進(jìn)性

目前工坊已經(jīng)建立了3D視覺(jué)方向多個(gè)社群，包括SLAM、工業(yè)3D視覺(jué)、自動(dòng)駕駛方向，細(xì)分群包括：[工業(yè)方向]三維點(diǎn)云、結(jié)構(gòu)光、機(jī)械臂、缺陷檢測(cè)、三維測(cè)量、TOF、相機(jī)標(biāo)定、綜合群；[SLAM方向]多傳感器融合、ORB-SLAM、激光SLAM、機(jī)器人導(dǎo)航、RTK|GPS|UWB等傳感器交流群、SLAM綜合討論群；[自動(dòng)駕駛方向]深度估計(jì)、Transformer、毫米波|激光雷達(dá)|視覺(jué)攝像頭傳感器討論群、多傳感器標(biāo)定、自動(dòng)駕駛綜合群等。[三維重建方向]NeRF、colmap、OpenMVS等。除了這些，還有求職、硬件選型、視覺(jué)產(chǎn)品落地等交流群。大家可以添加小助理微信: dddvisiona，備注：加群+方向+學(xué)校|公司, 小助理會(huì)拉你入群。

第二步 加入知識(shí)星球，問(wèn)題及時(shí)得到解答

3.1 「3D視覺(jué)從入門到精通」技術(shù)星球

針對(duì)3D視覺(jué)領(lǐng)域的視頻課程（三維重建、三維點(diǎn)云、結(jié)構(gòu)光、手眼標(biāo)定、相機(jī)標(biāo)定、激光/視覺(jué)SLAM、自動(dòng)駕駛等）、源碼分享、知識(shí)點(diǎn)匯總、入門進(jìn)階學(xué)習(xí)路線、最新paper分享、疑問(wèn)解答等進(jìn)行深耕，更有各類大廠的算法工程人員進(jìn)行技術(shù)指導(dǎo)。與此同時(shí)，星球?qū)⒙?lián)合知名企業(yè)發(fā)布3D視覺(jué)相關(guān)算法開(kāi)發(fā)崗位以及項(xiàng)目對(duì)接信息，打造成集技術(shù)與就業(yè)、項(xiàng)目對(duì)接為一體的鐵桿粉絲聚集區(qū)，6000+星球成員為創(chuàng)造更好的AI世界共同進(jìn)步，知識(shí)星球入口：「3D視覺(jué)從入門到精通」

學(xué)習(xí)3D視覺(jué)核心技術(shù)，掃描查看，3天內(nèi)無(wú)條件退款

3.2 3D視覺(jué)崗求職星球

本星球：3D視覺(jué)崗求職星球?依托于公眾號(hào)「3D視覺(jué)工坊」和「計(jì)算機(jī)視覺(jué)工坊」、「3DCV」，旨在發(fā)布3D視覺(jué)項(xiàng)目、3D視覺(jué)產(chǎn)品、3D視覺(jué)算法招聘信息，具體內(nèi)容主要包括：

• 
  

  收集匯總并發(fā)布3D視覺(jué)領(lǐng)域優(yōu)秀企業(yè)的最新招聘信息。

• 
  

  發(fā)布項(xiàng)目需求，包括2D、3D視覺(jué)、深度學(xué)習(xí)、VSLAM，自動(dòng)駕駛、三維重建、結(jié)構(gòu)光、機(jī)械臂位姿估計(jì)與抓取、光場(chǎng)重建、無(wú)人機(jī)、AR/VR等。

• 
  

  分享3D視覺(jué)算法崗的秋招、春招準(zhǔn)備攻略，心得體會(huì)，內(nèi)推機(jī)會(huì)、實(shí)習(xí)機(jī)會(huì)等，涉及計(jì)算機(jī)視覺(jué)、SLAM、深度學(xué)習(xí)、自動(dòng)駕駛、大數(shù)據(jù)等方向。

• 
  

  星球內(nèi)含有多家企業(yè)HR及獵頭提供就業(yè)機(jī)會(huì)。群主和嘉賓既有21屆/22屆/23屆參與招聘拿到算法offer（含有?？低暋⒗?、美團(tuán)、華為等大廠offer）。

• 
  

  發(fā)布3D視覺(jué)行業(yè)新科技產(chǎn)品，觸及行業(yè)新動(dòng)向。

第三步 系統(tǒng)學(xué)習(xí)3D視覺(jué)，對(duì)模塊知識(shí)體系，深刻理解并運(yùn)行

如果大家對(duì)3D視覺(jué)某一個(gè)細(xì)分方向想系統(tǒng)學(xué)習(xí)[從理論、代碼到實(shí)戰(zhàn)],推薦3D視覺(jué)精品課程學(xué)習(xí)網(wǎng)址：www.3dcver.com

科研論文寫作：

[1]國(guó)內(nèi)首個(gè)面向三維視覺(jué)的科研方法與學(xué)術(shù)論文寫作教程

基礎(chǔ)課程：

[1]面向三維視覺(jué)算法的C++重要模塊精講：從零基礎(chǔ)入門到進(jìn)階

[2]面向三維視覺(jué)的Linux嵌入式系統(tǒng)教程[理論+代碼+實(shí)戰(zhàn)]

[3]如何學(xué)習(xí)相機(jī)模型與標(biāo)定？（代碼+實(shí)戰(zhàn)）

[4]ROS2從入門到精通：理論與實(shí)戰(zhàn)

[5]徹底理解dToF雷達(dá)系統(tǒng)設(shè)計(jì)[理論+代碼+實(shí)戰(zhàn)]

工業(yè)3D視覺(jué)方向課程：

[1]（第二期）從零搭建一套結(jié)構(gòu)光3D重建系統(tǒng)[理論+源碼+實(shí)踐]

[2]保姆級(jí)線結(jié)構(gòu)光（單目&雙目）三維重建系統(tǒng)教程

[3]機(jī)械臂抓取從入門到實(shí)戰(zhàn)課程（理論+源碼）

[4]三維點(diǎn)云處理：算法與實(shí)戰(zhàn)匯總

[5]徹底搞懂基于Open3D的點(diǎn)云處理教程！

[6]3D視覺(jué)缺陷檢測(cè)教程：理論與實(shí)戰(zhàn)！

SLAM方向課程:

[1]深度剖析面向機(jī)器人領(lǐng)域的3D激光SLAM技術(shù)原理、代碼與實(shí)戰(zhàn)

[1]徹底剖析激光-視覺(jué)-IMU-GPS融合SLAM算法：理論推導(dǎo)、代碼講解和實(shí)戰(zhàn)

[2]（第二期）徹底搞懂基于LOAM框架的3D激光SLAM：源碼剖析到算法優(yōu)化

[3]徹底搞懂視覺(jué)-慣性SLAM：VINS-Fusion原理精講與源碼剖析

[4]徹底剖析室內(nèi)、室外激光SLAM關(guān)鍵算法和實(shí)戰(zhàn)(cartographer+LOAM+LIO-SAM)

[5]（第二期）ORB-SLAM3理論講解與代碼精析

視覺(jué)三維重建：

[1]徹底搞透視覺(jué)三維重建：原理剖析、代碼講解、及優(yōu)化改進(jìn))

自動(dòng)駕駛方向課程：

[1]?深度剖析面向自動(dòng)駕駛領(lǐng)域的車載傳感器空間同步（標(biāo)定）

[2]?國(guó)內(nèi)首個(gè)面向自動(dòng)駕駛目標(biāo)檢測(cè)領(lǐng)域的Transformer原理與實(shí)戰(zhàn)課程

[3]單目深度估計(jì)方法：算法梳理與代碼實(shí)現(xiàn)

[4]面向自動(dòng)駕駛領(lǐng)域的3D點(diǎn)云目標(biāo)檢測(cè)全棧學(xué)習(xí)路線！(單模態(tài)+多模態(tài)/數(shù)據(jù)+代碼)

[5]如何將深度學(xué)習(xí)模型部署到實(shí)際工程中？（分類+檢測(cè)+分割）

無(wú)人機(jī)：

[1]?零基礎(chǔ)入門四旋翼建模與控制(MATLAB仿真)[理論+實(shí)戰(zhàn)]

最后

1、3D視覺(jué)文章投稿作者招募

2、3D視覺(jué)課程（自動(dòng)駕駛、SLAM和工業(yè)3D視覺(jué)）主講老師招募

3、頂會(huì)論文分享與3D視覺(jué)傳感器行業(yè)直播邀請(qǐng)