畢業(yè)設(shè)計(jì) 機(jī)器視覺圖像拼接算法研究與實(shí)現(xiàn)
0 前言
為了大家能夠順利以及最少的精力通過畢設(shè)，學(xué)長(zhǎng)分享優(yōu)質(zhì)畢業(yè)設(shè)計(jì)項(xiàng)目，今天要分享的是
?? ?python opencv 機(jī)器視覺圖像拼接算法
??學(xué)長(zhǎng)這里給一個(gè)題目綜合評(píng)分(每項(xiàng)滿分5分)
難度系數(shù)：3分
工作量：3分
創(chuàng)新點(diǎn)：3分
畢設(shè)幫助，選題指導(dǎo)，技術(shù)解答，歡迎打擾，見B站個(gè)人主頁(yè)
https://space.bilibili.com/33886978
圖像拼接在實(shí)際的應(yīng)用場(chǎng)景很廣，比如無人機(jī)航拍，遙感圖像等等，圖像拼接是進(jìn)一步做圖像理解基礎(chǔ)步驟，拼接效果的好壞直接影響接下來的工作，所以一個(gè)好的圖像拼接算法非常重要。
再舉一個(gè)身邊的例子吧，你用你的手機(jī)對(duì)某一場(chǎng)景拍照，但是你沒有辦法一次將所有你要拍的景物全部拍下來，所以你對(duì)該場(chǎng)景從左往右依次拍了好幾張圖，來把你要拍的所有景物記錄下來。那么我們能不能把這些圖像拼接成一個(gè)大圖呢？
這是一個(gè)非常好的畢業(yè)設(shè)計(jì)研究課題，學(xué)長(zhǎng)非常推薦！
一、拼接效果
依照慣例， 廢話不多說，先上拼接效果
拼接左圖：
拼接右圖：
拼接效果：
拼接前：
拼接后：
二、算法介紹
1.拼接算法簡(jiǎn)介
圖像拼接技術(shù)就是將數(shù)張有重疊部分的圖像（可能是不同時(shí)間、不同視角或者不同傳感器獲得的）拼成一幅無縫的全景圖或高分辨率圖像的技術(shù)。在醫(yī)學(xué)成像、計(jì)算機(jī)視覺、衛(wèi)星數(shù)據(jù)、軍事目標(biāo)自動(dòng)識(shí)別等領(lǐng)域具有重要意義。
圖像拼接目前有很多算法，圖像拼接的質(zhì)量，主要依賴于圖像的配準(zhǔn)程度，因此通過不同的圖像匹配方式將算法分為以下兩種：
1.1 基于區(qū)域相關(guān)拼接算法
該算法比較傳統(tǒng)和普遍，從待拼接圖像的灰度值出發(fā)，對(duì)待配準(zhǔn)圖像中一塊區(qū)域與參考圖像中的相同尺寸的區(qū)域使用最小二乘法或者其它數(shù)學(xué)方法計(jì)算其灰度值的差異（1.通過累加各點(diǎn)灰度的差值，2.計(jì)算兩塊區(qū)域的對(duì)應(yīng)像素點(diǎn)灰度值的相關(guān)系數(shù)，相關(guān)系數(shù)越大，則兩塊圖像的匹配程度越高，3.兩者中計(jì)算相關(guān)系數(shù)的效果更好）。對(duì)此差異比較后來判斷待拼接圖像重疊區(qū)域的相似程度，由此得到待拼接圖像重疊區(qū)域的范圍和位置，從而實(shí)現(xiàn)圖像拼接。也可以通過FFT 變換將圖像由時(shí)域變換到頻域，然后再進(jìn)行配準(zhǔn)。對(duì)位移量比較大的圖像，可以先校正圖像的旋轉(zhuǎn)，然后建立兩幅圖像之間的映射關(guān)系。
1.2 基于特征相關(guān)拼接算法
于特征的配準(zhǔn)方法不是直接利用圖像的像素值，而是通過像素導(dǎo)出圖像的特征，然后以圖像特征為標(biāo)準(zhǔn)，對(duì)圖像重疊部分的對(duì)應(yīng)特征區(qū)域進(jìn)行搜索匹配，該類拼接算法有比較高的健壯性和魯棒性。
在兩幅圖像對(duì)應(yīng)的特征集中利用特征匹配算法盡可能地將存在對(duì)應(yīng)關(guān)系的特征對(duì)選擇出來。一系列的圖像分割技術(shù)都被用到特征的抽取和邊界檢測(cè)上。
1.3 拼接算法的基本流程
根據(jù)給定圖像/集，實(shí)現(xiàn)特征匹配
通過匹配特征計(jì)算圖像之間的變換結(jié)構(gòu)
利用圖像變換結(jié)構(gòu)，實(shí)現(xiàn)圖像映射
針對(duì)疊加后的圖像，采用APAP之類的算法， 對(duì)齊特征點(diǎn)
通過圖割方法，自動(dòng)選取拼接縫
根據(jù)multi-band bleing策略實(shí)現(xiàn)融合
2. 拼接算法原理
2.1 第一種：特征匹配
特征是要匹配的兩個(gè)輸入圖像中的元素，為了給圖像提供更好的特征匹配，采用角點(diǎn)匹配，進(jìn)行定量測(cè)量。在視點(diǎn)變化時(shí)，角點(diǎn)特征是穩(wěn)定的。角點(diǎn)檢測(cè)算法有Harris角點(diǎn)檢測(cè)算法、SIFT特征點(diǎn)檢測(cè)算法、FAST角點(diǎn)檢測(cè)算法、SURF特征點(diǎn)檢測(cè)算法。本次實(shí)驗(yàn)使用的Opencv stitch源碼中默認(rèn)第一選擇是SURF特征點(diǎn)檢測(cè)，第二是ORB特征點(diǎn)檢測(cè)。SURF（Speeded Up Robust Features）改進(jìn)了特征的提取和描述方式，用一種更為高效的方式完成特征的提取和描述。它是SIFT的高效變種，也是提取尺度不變特征，算法步驟與SIFT算法大致相同，但采用的方法不一樣，SURF算法要比SIFT算法更高效。
2. 2 第二種：計(jì)算圖像之間的變換結(jié)構(gòu)
2.1.SURF使用Hessian矩陣來檢測(cè)特征點(diǎn)，該矩陣是x,y方向的二階導(dǎo)數(shù)矩陣，可測(cè)量一個(gè)函數(shù)的局部曲率，其行列式值代表像素點(diǎn)周圍的變化量，特征點(diǎn)需取行列式值的極值點(diǎn)。
2.2特征點(diǎn)定位：通過特征點(diǎn)鄰近信息插補(bǔ)來定位特征點(diǎn)。
2.3方向定位：通過計(jì)算特征點(diǎn)周圍像素點(diǎn)x,y方向的哈爾小波變換，并將x,y方向的變換值在xy平面某一角度區(qū)間內(nèi)相加組成一個(gè)向量，在所有的向量當(dāng)中最長(zhǎng)的(即x、y分量最大的)即為此特征點(diǎn)的方向。
2.4特征描述子：選定了特征點(diǎn)的方向后，其周圍相素點(diǎn)需要以此方向?yàn)榛鶞?zhǔn)來建立描述子。此時(shí)以5 ? 5 555?5個(gè)像素點(diǎn)為一個(gè)子區(qū)域，取特征點(diǎn)周圍 20 ? 20 202020?20個(gè)像素點(diǎn)的范圍共16個(gè)子區(qū)域，計(jì)算子區(qū)域內(nèi)的x、y方向(此時(shí)以平行特征點(diǎn)方向?yàn)閤、垂直特征點(diǎn)方向?yàn)閥的哈爾小波轉(zhuǎn)換總和Σdx、ΣdyΣdx、Σdy與其向量長(zhǎng)度總和Σ|dx|、Σ|dy|Σ|dx|、Σ|dy|共四個(gè)量值，共可產(chǎn)生一個(gè)64維的描述子。
2.5如果兩個(gè)特征點(diǎn)的矩陣跡正負(fù)號(hào)相同，代表這兩個(gè)特征具有相同方向上的對(duì)比度變化，如果不同，說明這兩個(gè)特征點(diǎn)的對(duì)比度變化方向是相反的，即使歐氏距離為0，也直接予以排除。
2.6用方型濾波器取代SIFT中的高斯濾波器，利用積分圖（計(jì)算位于濾波器方型的四個(gè)角落值）大幅提高運(yùn)算速度。
2. 3 第三種：通過graph cut尋找拼接縫
上圖中，我們把兩個(gè)Patch拼合到一起，它們首先被放置為有一定重合區(qū)域。為了讓兩者之間的縫隙盡可能的不明顯，我們需要知道一個(gè)分割線（cut)，在這個(gè)分割線的左邊，圖像像素由A貢獻(xiàn)，相反在其右邊，圖像像素則由B貢獻(xiàn)。這里我們將輸出的圖像看做是由”圖(Graph)“所表示，并且給這個(gè)Graph兩個(gè)端點(diǎn)，一個(gè)是A，一個(gè)是B：
上圖中，標(biāo)有數(shù)字的節(jié)點(diǎn)實(shí)際上是重合區(qū)域的像素，節(jié)點(diǎn)之間的連接都是有代價(jià)的。我們需要拿起剪刀從某個(gè)連接上剪掉某些連接，并且要使得被剪掉的連接的代價(jià)之和最小化，這就是最典型的圖算法中的最小割問題（min cut），它也對(duì)應(yīng)著所謂的最大流問題(max flow)。那么，如何定義連接之間的代價(jià)呢？這里假設(shè)在重合區(qū)域兩個(gè)相鄰的輸出像素分別是s和t。我們知道輸出的像素既可能來自于A，也可能來自于B，于是我們用A(s)，B(s)來表示s點(diǎn)在A圖和B圖的顏色, 用A(t)，B(t)來表示t點(diǎn)在A圖和B圖的顏色。于是，s點(diǎn)和t點(diǎn)的連接的代價(jià)被定義為：
我們要做的就是尋找一個(gè)切割縫，最小化M ( s , t , A , B ) M(s,t,A,B)M(s,t,A,B)當(dāng)找到這條縫之后，左邊的像素從A中拷貝而來，而右邊的像素則從B中拷貝而來即可。接下來就可以不斷的拼合更多的Patch，目標(biāo)是用越來越多次的覆蓋輸出圖片中的縫隙，使得圖像重合部分越來越多，直到代價(jià)值收斂。
畢設(shè)幫助，選題指導(dǎo)，技術(shù)解答，歡迎打擾，見B站個(gè)人主頁(yè)
https://space.bilibili.com/33886978
