AR/VR的興起，讓我們喜歡上了3D電影和視頻，前提是你需要戴上一副3D眼鏡才能感受到3D效果。那么，它是如何工作的？當(dāng)屏幕只是平面時(shí)，我們?nèi)绾误w驗(yàn)3D效果？其實(shí)，這些是通過一個(gè)叫立體相機(jī)的玩意兒來捕獲的。

本文，我們將學(xué)習(xí)如何DIY一個(gè)低成本的立體相機(jī)（使用一對網(wǎng)絡(luò)攝像頭）以及如何使用OpenCV捕獲3D視頻。

注1：文末附【雙目立體視覺】交流群

注2：整理不易，請點(diǎn)贊支持！

作者：天啦擼 | 來源：3D視覺工坊微信公眾號
原文：如何用OpenCV制作一個(gè)低成本的立體相機(jī)

一、制作立體相機(jī)的步驟

立體相機(jī)安裝通常包含兩個(gè)相同的攝像頭，它們以固定的距離隔開。工業(yè)級標(biāo)準(zhǔn)立體相機(jī)使用一對相同的攝像頭。如果是在家里面制作，你需要如下這些東西：1.2個(gè)USB網(wǎng)絡(luò)攝像頭（相同型號的優(yōu)先）2.固定相機(jī)的剛性底座（木材，紙板，PVC泡沫板）3.夾鉗或膠帶當(dāng)然，你也可以自由發(fā)揮，使用其它不同的組件制作立體相機(jī)。但基本要求是保持?jǐn)z像機(jī)嚴(yán)格固定和平行。固定好相機(jī)并確保正確對齊后，我們完成了嗎？我們準(zhǔn)備好生成視差圖和3D視頻了嗎？No, no, no!

二、立體相機(jī)標(biāo)定和校正的重要性

為了理解標(biāo)定和校正的重要性，我們試著用剛DIY好的立體相機(jī)捕獲到的圖像生成一個(gè)沒有標(biāo)定和校正過的視差圖。

左圖是立體相機(jī)捕獲到的左右圖像；右圖是用沒有標(biāo)定過的左右圖像生成的視差圖。

我們觀察到，使用未校準(zhǔn)的立體相機(jī)生成的視差圖非常嘈雜且不準(zhǔn)確。為什么會(huì)這樣？相應(yīng)的關(guān)鍵點(diǎn)應(yīng)具有相等的Y坐標(biāo)，以簡化點(diǎn)對應(yīng)搜索。在下圖中，當(dāng)我們在幾個(gè)對應(yīng)點(diǎn)之間繪制匹配線時(shí)，我們觀察到這些線不是完全水平的，還觀察到對應(yīng)點(diǎn)的Y坐標(biāo)也不相等。

下圖顯示了一對具有點(diǎn)對應(yīng)關(guān)系的立體圖像，以及使用這些圖像生成的視差圖。我們觀察到，與前一張相比，現(xiàn)在的視差圖噪聲更低。在這種情況下，相應(yīng)的關(guān)鍵點(diǎn)具有相等的Y坐標(biāo)。僅當(dāng)相機(jī)平行時(shí)才可能出現(xiàn)這種情況。這是雙視圖幾何的特例，其中圖像是平行的，并且僅通過水平平移而相關(guān)。這是必不可少的，因?yàn)橛糜谏梢暡顖D的方法僅搜索水平方向的點(diǎn)對關(guān)系。

太棒了！我們需要做的就是對齊攝像機(jī)并使它們完全平行。那么，我們是否會(huì)根據(jù)反復(fù)試驗(yàn)手動(dòng)調(diào)整攝像機(jī)？好吧，作為一項(xiàng)有趣的活動(dòng)，您可以嘗試一下！劇透警報(bào)！手動(dòng)調(diào)整相機(jī)需要很長時(shí)間才能獲得清晰的視差圖。此外，每當(dāng)設(shè)置受到干擾且攝像機(jī)移位時(shí)，我們都必須重復(fù)此過程。這很耗時(shí)，也不是理想的解決方案。為了代替手動(dòng)調(diào)整相機(jī)，我們考慮用軟件的方法。使用一種稱為“立體圖像校正”的方法。[1] 下圖說明了立體校正的過程。這個(gè)想法是在平行于透過光學(xué)中心的線的公共平面上重新投影兩個(gè)圖像。這樣可以確保相應(yīng)的點(diǎn)具有相同的Y坐標(biāo)，并且僅通過水平平移進(jìn)行關(guān)聯(lián)。

三、立體相機(jī)標(biāo)定和校正的步驟

1.使用相機(jī)校準(zhǔn)手冊中介紹的標(biāo)準(zhǔn)OpenCV校準(zhǔn)方法校準(zhǔn)單個(gè)攝像機(jī)；2.確定在立體相機(jī)中使用的兩個(gè)相機(jī)之間的轉(zhuǎn)換關(guān)系。3.使用前面步驟中獲得的參數(shù)和stereoCalibrate方法，我們確定應(yīng)用于兩個(gè)圖像的變換以進(jìn)行立體校正。4.最后，使用initUndistortRectifyMap方法獲得查找未失真和校正后的立體圖像對所需的映射。5.將此映射應(yīng)用于原始圖像以獲得校正的未失真的立體圖像對。

1）左右相機(jī)的獨(dú)立標(biāo)定在執(zhí)行立體標(biāo)定之前，我們會(huì)分別對兩個(gè)相機(jī)進(jìn)行標(biāo)定。但是，如果stereoCalibrate()方法可以對兩個(gè)相機(jī)中的每一個(gè)進(jìn)行校準(zhǔn)，為什么還要分別標(biāo)定相機(jī)呢？由于要計(jì)算的參數(shù)很多（較大的參數(shù)空間），并且在諸如角點(diǎn)檢測和將點(diǎn)近似為整數(shù)之類的步驟中累積了誤差。這增加了迭代方法偏離正確解的風(fēng)險(xiǎn)。因此，我們分別計(jì)算攝像機(jī)參數(shù)，然后使用stereoCalibrate()方法僅用于獲取立體相機(jī)對間的位置關(guān)系，本質(zhì)矩陣和基礎(chǔ)矩陣。但是該算法如何知道要跳過單相機(jī)的標(biāo)定？為此，我們設(shè)置標(biāo)志CALIBFIXINTRINSIC并將其傳遞給該方法。

2）用固定內(nèi)參執(zhí)行立體標(biāo)定校準(zhǔn)相機(jī)后，我們將它們傳遞給stereoCalibrate()方法并設(shè)置CALIBFIXINTRINSIC標(biāo)志。我們還傳遞兩個(gè)圖像中捕獲的3D點(diǎn)和相應(yīng)的2D像素坐標(biāo)。該方法計(jì)算相機(jī)間的平移旋轉(zhuǎn)矩陣以及基礎(chǔ)矩陣和本質(zhì)矩陣。

3）立體校正

使用相機(jī)的內(nèi)外參，我們現(xiàn)在可以運(yùn)用立體校正了。立體校正運(yùn)用旋轉(zhuǎn)使兩個(gè)相機(jī)圖像面都在同一平面上，同時(shí)stereoRectify方法還能返回新坐標(biāo)空間中的投影矩陣。

4）計(jì)算所需的映射

由于我們假設(shè)相機(jī)是固定的，無需再次計(jì)算變換。因此，我們計(jì)算的通過映射將立體圖像對轉(zhuǎn)換為未失真的校正的立體圖像對，并將其保存以備將進(jìn)一步使用。好了，這樣我們就制作好了立體相機(jī)，下期再會(huì)~

參考文獻(xiàn)[1] C. Loop and Z. Zhang. Computing Rectifying Homographies for Stereo Vision. IEEE Conf. Computer Vision and Pattern Recognition, 1999.

備注：作者也是我們「3D視覺從入門到精通」特邀嘉賓：一個(gè)超干貨的3D視覺學(xué)習(xí)社區(qū)

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請聯(lián)系刪文。

3D視覺工坊-雙目立體視覺交流群

已建立3D視覺工坊-雙目立體視覺微信交流群！想要進(jìn)雙目立體視覺學(xué)習(xí)交流群的同學(xué)，可以直接加微信號：CV_LAB。加的時(shí)候備注一下：雙目立體視覺+學(xué)校+昵稱，即可。然后就可以拉你進(jìn)群了。

強(qiáng)烈推薦大家關(guān)注3D視覺工坊知乎賬號和3D視覺工坊微信公眾號，可以快速了解到最新優(yōu)質(zhì)的3D視覺與SLAM論文。