立體視覺入門指南-坐標系與相機參數(shù)
親愛的同學(xué)們，我們的世界是3D世界，我們的雙眼能夠觀測三維信息，幫助我們感知距離，導(dǎo)航避障，從而翱翔于天地之間。而當今世界是智能化的世界，我們的科學(xué)家們探索各種機器智能技術(shù)，讓機器能夠擁有人類的三維感知能力，并希望在速度和精度上超越人類，比如自動駕駛導(dǎo)航中的定位導(dǎo)航，無人機的自動避障，測量儀中的三維掃描等，都是高智機器智能技術(shù)在3D視覺上的具體實現(xiàn)。
立體視覺是三維重建領(lǐng)域的重要方向，它模擬人眼結(jié)構(gòu)用雙相機模擬雙目，以透視投影、三角測量為基礎(chǔ)，通過邏輯復(fù)雜的同名點搜索算法，恢復(fù)場景中的三維信息。它的應(yīng)用十分之廣泛，自動駕駛、導(dǎo)航避障、文物重建、人臉識別等諸多高科技應(yīng)用都有它關(guān)鍵的身影。
本課程將帶大家由淺入深的了解立體視覺的理論與實踐知識。我們會從坐標系講到相機標定，從被動式立體講到主動式立體，甚至可能從深度恢復(fù)講到網(wǎng)格構(gòu)建與處理，感興趣的同學(xué)們，來和我一起探索立體視覺的魅力吧！
本課程是電子資源，所以行文并不會有太多條條框框的約束，但會以邏輯清晰、淺顯易懂為目標，水平有限，若有不足之處，還請不吝賜教！
隨課代碼地址：立體視覺入門指南-坐標系與相機參數(shù)
注1：文末附【立體視覺】交流群
注2：計算機視覺書籍匯總
注3：整理不易，請點贊支持！
作者：Ethan Li | 來源：3D視覺工坊微信公眾號
原文：立體視覺入門指南-坐標系與相機參數(shù)：https://mp.weixin.qq.com/s/DynoW8L1UUreciM55BiO9w
文章目錄
針孔模型Pinhole mode坐標系簡介
影像坐標系
相機坐標系
內(nèi)參矩陣
世界坐標系
外參矩陣 投影矩陣
總結(jié)
練習(xí)作業(yè)
針孔模型Pinhole mode
在科學(xué)研究中，一個現(xiàn)象內(nèi)部的過程總是復(fù)雜而難以清晰看透，而聰明的學(xué)者們總會用最簡單的模型去做初始描述，提出一個相對簡單的模型。成像過程亦不例外，他們將三維世界中的坐標點映射到二維圖像平面的過程用一個幾何模型進行描述，這個模型有很多種，其中最簡單的稱為針孔模型。針孔成像的原理大家都學(xué)過，現(xiàn)實世界中源于某個物體的光線穿過針孔，會在底板上投影成一幅倒立的圖像。如圖1所示：
圖1 針孔模型1將針孔模型對應(yīng)到成像過程中，現(xiàn)實世界的物體即為三維空間的成像目標，針孔為攝像機中心，倒影成像平面則為二維影像平面。如圖二（左）所示，我們用簡單的線條來繪制這樣的關(guān)系，攝像機中心到成像平面之間的距離我們稱之為焦距ff。但是倒立的成像總感覺別扭，因此轉(zhuǎn)換一下，將成像平面拿到相機前方來，保持焦距為ff，由成像過程可知，圖像此時不再是倒立的了，解放了大家的脖子，見圖2（右）所示。
圖2 針孔模型2從針孔模型中，我們可以找到一個特征，那就是現(xiàn)實世界的任一點、其在成像平面上的投影點、相機中心在一條直線上，這種特征稱為中心投影或者透視投影，也是做成像分析的基礎(chǔ)。透視投影將三維空間投影到二維平面上，是一種降秩空間透射變換（三維空間降成了二維空間）。
坐標系簡介
通過針孔模型，我們了解了成像過程，似乎非常簡單，但它此時只是一張圖片，給你感官上的理解，要基于它完成復(fù)雜的3D測量，必須借用那一連串噼里啪啦讓人又愛又恨的數(shù)學(xué)公式，而公式建立的基礎(chǔ)，就是一個個坐標系，具體來說，是一個個笛卡爾坐標系。如果你不知道什么是笛卡爾坐標系，我想你也不會點開我的博客看到這里，所以介紹就此略過。我認為你們已經(jīng)掌握了一個前提知識：立體視覺的三個關(guān)鍵坐標系是影像坐標系、相機坐標系、世界坐標系。如果沒有，那我就強塞給你這個概念。
影像坐標系
圖3 影像坐標系上面提到像主點，特別說明一下，它是攝影中心到成像平面的垂點，它是一個非常重要的點位。
為了便于矩陣運算，我們會寫成矩陣形式：
公式兩邊的三維矢量是一種齊次表達方式，即把第三維設(shè)置為1來用三維矢量表示二維矢量，這樣做的好處是可以用矩陣運算的方式完成三維到二維的變換。為什么要做這個轉(zhuǎn)換呢？是因為xy坐標系和相機坐標系的緊密聯(lián)系，同學(xué)們往后看。
相機坐標系
相機坐標系是一個三維空間坐標系，是非常關(guān)鍵的一個坐標系，它承擔著建立影像坐標系和世界坐標系之間聯(lián)系的重任。所以前人們在建立相機坐標系時，有一個很關(guān)鍵的考量是如何能更好的把影像坐標系和世界坐標系之間聯(lián)系起來。兩個三維坐標系（相機和世界）之間的轉(zhuǎn)換用旋轉(zhuǎn)和平移就可以方便表達，重點是三維的相機坐標系和二維的影像坐標系之間如何更好轉(zhuǎn)換。方案是這樣的：相機坐標系的原點在相機中心，XY軸和影像xy坐標系的xy軸平行，Z軸垂直于像平面且朝向像平面，Z軸和像平面的交點正是影像xy坐標系的原點（像主點）。如圖4所示。
圖4 相機坐標系在此方案下，像平面上的所有像素點在相機坐標系下的ZZ坐標等于焦距f，XY坐標和影像xy坐標系下的值相等，即若像素點p在影像xy坐標系下的坐標為(x,y)，則其在相機坐標系下的坐標為(x,y,f)。根據(jù)中心投影的特征，假設(shè)像素點p是空間點P的投影點，那么如何建立兩兄弟之間的坐標關(guān)系呢？
圖5 相機坐標系2
為了便于矩陣運算，我們會寫成矩陣形式：
還記得上一節(jié)，我們把xy坐標系轉(zhuǎn)換成uv坐標系，結(jié)合上式，便可以把相機坐標系轉(zhuǎn)換成uv坐標系，即
內(nèi)參矩陣
額外需要了解的一點是，由于制造工藝的偏差，像素不是絕對的矩形（圖6左），而是一個平行四邊形（圖6右）。
圖6 傾斜像素
世界坐標系
世界坐標系是一個固定的三維坐標系，是一個絕對坐標系，它旨在將空間中的所有點都統(tǒng)一到同一個坐標系下表達，在不同的應(yīng)用場景中，世界坐標系的定義并不一樣，比如大地測量中，將水準原點當做世界坐標系的原點；在相機標定中，將標定板的某個角點作為世界坐標系。
圖7 世界坐標系世界坐標系和相機坐標系都是三維坐標系，它們之間可以用旋轉(zhuǎn)平移來做轉(zhuǎn)換
圖8 坐標系之間的旋轉(zhuǎn)平移
或者寫成另一種形式：
我們把旋轉(zhuǎn)矩陣 R和平移矢量 t稱為相機的外參矩陣。
外參矩陣
外參矩陣也是相機的關(guān)鍵參數(shù)之一，由一個3x3的單位正交旋轉(zhuǎn)矩陣 R 和3x1的平移矢量 t 組成，它們描述的是世界坐標系到相機坐標系之間的轉(zhuǎn)換關(guān)系。需要提一點的是，在不同學(xué)科中外參矩陣會有一些定義區(qū)別，比如在攝影測量學(xué)科中，將相機坐標系轉(zhuǎn)換到世界坐標系的旋轉(zhuǎn)矩陣 R 以及攝影中心在世界坐標系中的位置 C 作為外參。它們目的一致，都是為了描述相機和世界坐標系之間的轉(zhuǎn)換關(guān)系。同樣用一個簡單表達式來描述世界坐標系到相機坐標系的變換：
投影矩陣
雖然我們花很多篇幅介紹了相機坐標系，但是在實踐過程中，最直接接觸的卻是影像uv坐標系和世界坐標系，在影像三維重建中，通常前者是輸入，后者是輸出，所以將世界坐標系轉(zhuǎn)換成uv坐標系是很關(guān)鍵的轉(zhuǎn)換。上文已經(jīng)得到了世界到相機，相機到uv的轉(zhuǎn)換公式，因此世界到uv并沒有什么難度：
世界坐標系到影像坐標系的轉(zhuǎn)換實際上表達的是透視投影中空間點到像點的投影關(guān)系，所以把該轉(zhuǎn)換矩陣叫做投影矩陣M，通過矩陣運算可知投影矩陣是一個3x4的矩陣，它是內(nèi)參矩陣和外參矩陣的乘積。同樣用一個簡單表達式來表達這種轉(zhuǎn)換：
總結(jié)
本節(jié)我們通過針孔模型引入以透視投影為基本原理的相機成像模型，并對一切公式推導(dǎo)的源頭：三大坐標系（影像/相機/世界） 做了詳細的介紹，在深入了解坐標系的過程中，幾類關(guān)鍵的相機參數(shù)（內(nèi)參/外參）也緩緩而出。用圖示加公式推導(dǎo)，讓大家直觀且有邏輯性的掌握這方面的知識，希望能夠給入門的同學(xué)一些幫助，下一節(jié)我們再見。
練習(xí)作業(yè)
這里為大家準備了一些練習(xí)題，可以通過實踐加深理解：
練習(xí)：寫一個Camera類（基于Eigen庫 ），用內(nèi)參矩陣K、旋轉(zhuǎn)矩陣R、平移矩陣t（或相機中心C）來構(gòu)造
實現(xiàn)接口：
世界坐標系到相機坐標系的轉(zhuǎn)換 W2C
相機坐標系到世界坐標系的轉(zhuǎn)換 C2W
相機坐標系到圖像坐標系的轉(zhuǎn)換 C2I
世界坐標系到圖像坐標系的轉(zhuǎn)換 W2I
有深度作為參數(shù)，圖像坐標系到相機坐標系的轉(zhuǎn)換I2C
有深度作為參數(shù)，圖像坐標系到世界坐標系的轉(zhuǎn)換I2W
參考答案地址：立體視覺入門指南-坐標系與相機參數(shù)：https://mp.weixin.qq.com/s/DynoW8L1UUreciM55BiO9w
備注：作者也是我們「3D視覺從入門到精通」知識星球特邀嘉賓：
3D視覺工坊-立體視覺交流群
已建立3D視覺工坊-立體視覺微信交流群！想要進立體視覺學(xué)習(xí)交流群的同學(xué)，可以直接加微信號：CV_LAB。加的時候備注一下：立體視覺+學(xué)校+昵稱，即可。然后就可以拉你進群了。
強烈推薦大家關(guān)注3D視覺工坊知乎賬號和3D視覺工坊微信公眾號，可以快速了解到最新優(yōu)質(zhì)的3D視覺與SLAM論文。
