什么？你還不會看三維立體畫嗎？沒關系，咱們來做一個_三維立體畫查看器
引言
事情是這樣的：
前幾天刷到介紹劉慈欣的文章，看到了小時候最喜歡的《科幻世界》，思緒一下回到90年代，也想起自己為數(shù)不多的超能力：秒看三維立體畫，當年那可是賺足了存在感。但很多小朋友不會看，這個技巧呢就還有點難學，所以，咱就是說，能不能做一個自動識別的程序，讓不會看的同學也能知道圖里面到底藏了啥玩意兒呢？
說干就干，來吧，動手，順便聊聊三維立體畫的前世今生。
先放結論，目前做的是一個簡單算法的python版，可以自動識別90%左右的立體畫，一些特別的圖無法識別，原因后面會說明。
看一下成品效果：
三維立體畫的原理
在動手寫代碼之前，還是先簡要介紹下什么是三維畫，為什么平面圖能有三維效果，這樣才能找到解題思路。
三維立體畫利用了人的雙目立體視覺原理。人有兩只眼睛，左右眼看到的圖案會有一定視差，大腦就會自動計算出圖像的深度。
三維立體畫是最廣為人知的視錯覺之一，是圖片中隱藏信息的一個方法（特別是SIRDS，雖然很容易被破解），是研究人類視覺的一個案例，當然也是將人群分類的方法之一，那么問題來了，你是屬于“會看”還是“不會看”的一方呢？
雙目視覺示意圖：
這其實也是光柵立體畫、紅藍3D/偏振3D等電影、時分3D、VR眼鏡共同的基本原理。因為說到底，人類立體視覺的基本原理就是這樣，所有的方案都是用不同方法在crack而已。
紅綠眼鏡和紅綠眼鏡3D畫：
順便說下，甚至在天文觀測上人們也用到了同樣的視差思路，“秒差距”這個概念就是用地球公轉軌道寬度的2個眼睛，在觀察遠處同一個恒星時形成的夾角來定義的：
回到正題，實際上三維視覺的原理遠比看上去的要復雜，主要是因為大腦在視覺識別方面做了大量的加工處理，你看到的并不只是原原本本的視覺信息。人們對大腦的處理過程還沒有徹底了解，還在通過細胞學、神經科學和fMRI、PNAS等設備，以及視錯覺圖像、AI圖像識別等從各方面去探索研究，還是蠻有趣的。感興趣的同學可以關注相關的研究，包括視覺與眼科研究大會（ARVO/EVER），以及一些圖形圖像、VR相關的研究。
比如，很多經典視覺算法都是先尋找輪廓再做處理的，效果很好；但假設人類都是先抽取輪廓再去識別，主要關注結構化的信息，那么為什么人能夠從一對隨機點中識別立體圖(SIRDS)呢？SIRDS圖里全都是無意義的噪點。 [參見?The Human Visual System；注：由于B站不能貼站外鏈接，這里以及下面所有的站外鏈接都省掉了。]
當然這不是我的專業(yè)方向，歡迎有懂行的同學發(fā)表見解。我在知乎殷尚墨羽大佬（因傷摸魚？）的《視覺系統(tǒng)：人類最重要的感覺》專欄里看到了一些有趣的介紹，覺得很不錯，順便推薦一下。
三維立體畫的歷史
知道了立體視覺的原理，咱們還要再看看這個說實話有點奇葩的三維立體畫是怎么一路發(fā)展出來的，知道怎么做的就更容易知道怎么破解了。
神奇的是，三維立體畫的原理其實19世紀人們就已經知道，并且可以說，19世紀的人們已經經歷了一波VR浪潮。
19世紀的立體畫：
華盛頓紀念拱門1899：
19世紀英國著名的物理學家查爾斯·惠斯通爵士（Charles Wheatstone），對，就是那個電報機的發(fā)明人之一，于1838年首次發(fā)現(xiàn)并確定立體圖原理（Principle of stereo graph），并因此被授予皇家學會皇家獎章。
他的研究表明，把同一個物體從不同角度拍攝的兩張略有不同的圖片擺放在一起觀看，人腦會感覺到物體的3D立體感。
他闡明了立體視覺的實現(xiàn)機制，在此理論基礎上還發(fā)明了一種由棱鏡和鏡子組成的器材——立體鏡，從而使人可以從兩張略有不同的二維照片中觀察到立體的三維效果。
立體鏡：
1851年英國首次舉辦的萬國工業(yè)博覽會上，由荷蘭物理學家大衛(wèi)布魯斯特(Sir David Brewster)改進的裝置首次展出，贏得維多利亞女王的支持，女王認為這也是工業(yè)革命改變世界的證明，代表了科技的力量。女王大人甚至有了自己的三維照片：
改進的立體鏡：
所以，當時的人們看待這個東西就像現(xiàn)在我們看待VR一樣，是突破性的體驗手段，商機無限，人們甚至當時就做出了立體照相機，一下就可以拍出2張照片。
1854年成立的倫敦立體攝影公司是主要的內容出版商之一，他們出版了超過10萬張立體圖，在那個照片只能靠現(xiàn)場買，沒有機器還看不了的年代，不難想象人們是多么狂熱。這也許就是當年押注VR的另一家Meta吧。這家公司甚至穿越了近200年，現(xiàn)在都還存在，也依然在做他們的立體畫立體聲生意：倫敦立體攝影公司。只是時隔兩百年的現(xiàn)在，VR命運的車輪再次轉動，他們還在用200年前的思路，個人覺得不太可能成功。
類似現(xiàn)在的VR，當時的很多人都覺得有無限可能，但所有人也都沒能找到實在的落地場景，于是毫無意外的，這個設備逐漸淪為了娛樂專屬，并最終在電影、收音機的沖擊下銷聲匿跡了。
20世紀90年代，隨著計算機圖形學和神經科學的發(fā)展，三維立體畫又再次快速傳播起來，《Magic Eye》和《科幻世界》一類的雜志起到了很大的推動作用，從《Magic Eye》的副標題“A New Way of Looking at the World”就可以看出，當時人們對三維畫的認知是多么高大上。
magiceye雜志（這家公司現(xiàn)在也依然還在，可以查到）：
在這個時期，借助于計算機輔助，還發(fā)展出了新的立體畫模式，“Random dot stereograms隨機點立體畫”、“Autostereograms自動立體畫”、“SIRDS(Single Image Random Dot Stereogram)”，圖像直觀上與內容已經沒有任何關聯(lián)，真正的信息完全通過深度信息隱藏于圖像內部。
什么是隨機點立體圖：視覺神經學家Christopher Tyler在計算機工程師Maureen Clarke的幫助下，在Apple II上用BASIC語言創(chuàng)造了一種被稱為Random-dot Autostereogram(隨機點自動立體圖)。Random-dot將水平重復的圖案縮小成了點，能呈現(xiàn)更加豐富的層次，并且從圖像本身完全看不到內容信息。
計算機工程師Tom Baccei和藝術家Cheri Smith改進了上面的圖案，加入一些隨機顏色發(fā)明了彩色隨機點立體圖。
黑白隨機點立體圖：
彩色隨機點立體圖：
還有一些極簡的三維畫，比如：
一些看起來隨便稀疏分布的點，沒錯，這也有三維效果：
ASCII碼三維畫_碼農版：
如何看三維立體畫
現(xiàn)在我們已經知道了原理，也知道了三維立體畫的種類，離學會看就只差一步了。
裸眼看的方法有兩種：
平行觀察法：
方法：將視覺焦點放到很遠，也就是類似用平行視線來看圖案，以達到左右眼分別看左右圖的效果
優(yōu)點：容易學會，眼睛更舒適，大部分三維立體畫是用該方式制作的
缺點：能交錯的距離較小，不適合看視差極大的圖像
交叉觀察法：
方法：將視覺焦點放到很近，俗稱斗雞眼的樣子，左眼看右邊，右眼看左邊，同樣可以達到左右眼看不同的圖
優(yōu)點：可以看視差極大的圖像
缺點：眼睛很累，且樣子有點傻，大部分對應平行觀察法的圖像深度信息是反著的，也就是凸起變凹陷
觀察方法示意圖：
形象的講，就是用發(fā)呆時空洞的眼神（平行觀察法），或者用斗雞眼（交叉觀察法）的樣子，盯住畫面，直到畫面開始重疊起來，并且兩組相似的圖案重疊起來（實拍圖或者有大塊圖案的圖可以看出來）或者眼前浮現(xiàn)出穩(wěn)定的三維圖像（隨機點三維圖只能這樣看）為止。
將2個點看到一起就o了：
而正因為有兩種觀察方法，立體圖又多了一種分類方法。
本文中所有的圖片都是適合“平行觀察法”的，除了下面這個，它更適合用交叉觀察法：
特別需要說明的是，由于電腦生成的三維圖通常都是多個豎條圖形拼接的，所以會有多個重疊位置，如果看到的圖形不太正常，那可能是你交叉過頭了，放松眼睛再試試。
正常觀察的結果：
交叉過頭_多一次的結果，有點看不清楚內容了：
如果還沒學會，也可以試試這個，自己做一個簡單的能擋住左右視線的板子就可以了：
或者，你也可以等咱們的自動識別程序
如何制作三維立體畫
那么，三維立體畫是如何制作出來的呢？這一章務必不要跳過，一方面，了解制作方法可以讓你更好的觀察三維立體畫，另一方面，這也是我們自動識別程序的基礎。
一種制作方式就是和19世紀相同的，用雙目照相機同時拍攝一個物體，自動的就擁有了立體視覺。這也是現(xiàn)代立體攝像機的原理：
But。。。這太沒技術含量了不是？（并不，主要是設備太貴了）在這個各種AIGC的時代，我們要的是自動生成！
現(xiàn)在讓我們思考一下，一個物體距離越近，左右眼睛看它的聚焦平面就越近，所以左右眼看到的這個物體的左右距離就越近。
是時候再回顧一下這個圖了
所以這個比較近的物體，它們在圖片上的左右距離就要比其他圖形要短。
下面我們會用兩個文本塊來示意，看的更明白一些。是的沒錯，文本也可以形成三維立體畫，也就是所謂的“ASCII Stereogram”
1 這里是一個文本塊（注意需要用等寬字體顯示）
2 讓我們復制一份出來備用
3 假設我們想讓橙色帶下劃線的部分變成立體的，從其他字中浮現(xiàn)上來：
4 只需要把他們向左移動一位，是不是就會顯得比較突出了呢？
5 同樣的道理，如果想要陷進去，只需要向右移動一位即可：
6 如果想做有更豐富深度的立體文本，沒問題，不同圖形移動距離不一樣就行了！
同理，其他的三維立體圖也是這樣生成的，往????左邊右邊????挪一挪，立體感就出來了！
隨機點圖生成示意圖_不同深度：
最終生成的隨機點3層立體圖：
接下來，就是怎么把想要隱藏的深度圖案放到圖片中了
上面ASCII立體圖相當于放了一個3*3的方塊進去，我們只要把方塊換成自己想要的形狀是不是就可以了？
Yes，就是這樣，所以下面的圖隱藏圖案就是一個C：
以此類推，我們只需要精細的控制每一行像素的偏移，就可以一點一點的把深度圖像編織進一個圖片里隱藏起來了！
也正是因為要移動像素，而且深度越深偏移的越多，所以三維立體圖特別是Autostereogram，都會有明顯的扭曲痕跡（與雙目相機實拍圖不同，這種圖是用重復排列的圖案來模擬另一個圖案的，因此每行像素都會被深度信息扭曲，類似衣服脫線了一樣）
比如下圖，仔細看看，你會發(fā)現(xiàn)圖像右邊有些部分像是被橫向拉脫線了：
現(xiàn)在我們已經學會了制作靜態(tài)三維立體畫，有同學就會想，那三維圖能動起來嗎？
當然可以，用同樣的方式做出連貫的幀，一邊播放一邊用我們的magic eyes來看，就可以裸眼看3D電影了！
比如Gif動態(tài)三維圖：
比如漂亮的吸引子曲線視頻：
Nosé-Hoover Attractor
如何用程序復原三維立體畫
終于到了最關鍵的部分，讓我們來思考如何用程序識別復原三維立體畫。
理論上是需要“三維重建”的方式來復原的，但是，我們可以發(fā)現(xiàn)，前面的三維立體畫有一些很特別的地方，可以大幅簡化復原算法：
網(wǎng)上的立體畫以電子圖為主，像素清晰，無變形無折疊無變形，不需要考慮圖像的清晰度、圖片對齊、仿射變換等處理，大幅降低了圖像預處理難度
大部分的三維圖都有大面積的背景平面，凸起的部分占比較??；而穩(wěn)定的背景在同一平面，說明在觀察時背景在同一個時刻都是完全重合的，這在圖形學上是可以通過識別圖像重合度的最大值來找到的，因此可以避免使用復雜的算法，進一步大幅降低識別難度。
基于以上兩點，我們可以大膽的假設，把一張圖片與自身重疊起來，左右移動來觀察重合度，只要找到重合最大的平面，然后就可以看到凸起部分的樣子了！
先拿ps做一個測試，看是否真的能有效果：
好像真的可以！
事實上，目前網(wǎng)上能找到的立體畫復原程序基本也都是以此為基礎的。
雖然，在動手之前已經知道了有別人寫好的程序，但程序員的習慣不就是重復造輪子嗎？（并不是。。。
在學習理論時自己動手做點有趣的東西，會非常有助于深刻理解知識，實踐才能讓知識真正變成自己的。況且我們還可以給自己定個小目標：自己動手做，效果當然要比他們好才行。
接下來是語言選型，由于python有PIL、opencv、numpy、scipy、matplotlib等強大的庫支持，很適合驗證原型，也很方便分析數(shù)據(jù)，就拿python來先做一版吧
現(xiàn)在我們有幾個主要的問題要解決：
計算圖片重疊度，簡單的辦法就是把兩種圖片對應像素相減，或者計算差值；然后計算總的完全重合的像素數(shù)量
從第一個像素開始，每移動一個像素就計算一次圖片重合度，直到找到最大的重合度，就是最佳的對齊位置
看起來很簡單，開工！
代碼很簡單，核心代碼只有二三十行，關鍵計算步驟都是現(xiàn)成的：
像素重疊度計算，OpenCV和PIL都有對應的函數(shù)，OpenCV要更快更強大，但顯示圖片時總會卡住，所以這里用PIL來做
圖片裁剪就也用PIL吧
計算重疊像素數(shù)量，用numpy的count_nonzero函數(shù)要遠比自己寫循環(huán)getpixel()快得多
用matplot畫個曲線來看看重合度的變化
寫好了試驗一下，有點不對啊，看這個重合度數(shù)據(jù)曲線：
明顯最左邊的重疊度非常高，遠大于后續(xù)的值，找全局最大值肯定不對，怎么回事？
其實，我們要找的是峰值，而不是全局最大值。 如果要看重疊度，那顯然2張圖全貼合的時候重疊度最高，隨著逐漸錯開重疊度逐漸降低，有一個連續(xù)的過程（主要是因為除了RDS外的圖像都有色塊，正常移動的時候不會突變）。
從視頻中也可以看出，圖像突然顯現(xiàn)的時候才是真實的結果，也就意味著我們需要一個peak detection算法來找到突變的峰值。
scipy.signal.find_peaks剛好提供了我們需要的，直接調用就行了
參數(shù)有點多，我們關注的主要是prominence，即峰值的高度，我們只關注比較高的峰值即可，但為了我們能盡量找到結果，所以可以設置一個相對比較保守的小值，比如總數(shù)據(jù)振幅的2%，這樣就能找到大部分肉眼可見的峰值了
其實之前也嘗試了threshold（左右鄰居的落差閾值），發(fā)現(xiàn)效果不好，我們關注的還是相對偏中長程一些的峰值發(fā)現(xiàn)，這么短程的限制作用不大。
至此，我們的算法就基本完成了，剩下的主要就是調優(yōu)了，比如剛才說的峰值篩選，以及還有其他一些細節(jié)問題：
圖片重疊是用相減subtract還是difference？ 【我選difference】
subtract的定義: out = (image1 - image2) / scale + offset
difference的定義: out = abs(image1 - image2)
由此可見，abs更接近于我們想要的效果，計算兩者的差值，并且本身就已經是絕對值，方便后續(xù)處理
重疊像素計算時，是只嚴格判定完全重合（也就是diff=0）還是可以容忍誤差？ 【增加了15/255的容忍度】
人眼對小亮度/色彩差異感知不強，增加容忍度會提高算法穩(wěn)定性
圖中原來就是0的像素，算不算差值都是0，會不會影響計算結果？ 【理論上結合了上面的優(yōu)化后，有概率會影響；但目前并未處理，效果也不錯】
理論上會，人眼對這類背景信息其實是忽略了的，似乎可以改進算法，移除這類像素，比如將所有0都設置為255，這樣就可以避免這個問題了？ TODO：待驗證
簡單背景的圖片可能隨機性的重疊度很高，但實際上并不是最佳對齊位置，也可以考慮先提取輪廓再計算重疊度
移動圖片時，遍歷整個圖片寬度速度很慢，如何提升速度？ 【完全解決比較難，先把接口參數(shù)化了；TODO：可嘗試找到大致的圖像pattern重復次數(shù)】
遍歷時需要向右移動最多需要達到1/2，比如開始的那些ASCII圖，但這樣會非常慢，并且會有更多干擾解，比如遠距離重疊（第2次/3次重疊也會看到圖案）
這里默認采用1/4，極端情況允許用戶自行選擇
其他速度優(yōu)化 【單純的代碼優(yōu)化空間很多，有興趣的可以深入聊聊，目前主要是減少了不必要的轉換、盡量使用c基礎的numpy等】
轉換為灰度圖，可以提升計算速度【11張圖的處理時間可以從17s降到10s左右；絕大部分結果一致，極小部分圖片結果不一致，差別不大】
判定重疊數(shù)值時，是用絕對像素數(shù)量還是比例？ 【目前使用第二種，小范圍測試顯示結果沒有明顯差異】
使用重疊像素的絕對數(shù)量
使用重疊像素在原圖中的占比，特點是會隨著越向右拉，由于損失了左右兩邊的重疊數(shù)據(jù)而導致比例趨小
使用重疊像素在重疊的矩形中占比，特點是會隨著向右拉動圖片，重疊矩形減小而比例趨高
最終峰值的篩選方法： 【這里采用最高值，并通過上面其他方法綜合降低錯誤率】
自左/向右尋找第一個滿足閾值的解？會漏過后面的解
全局搜索找到最高峰值？會引入更多干擾解
【同時也實驗了多個備選項，特別是700px-Stereogram_Tut_Simple，本來就有3個位置，需要整合起來才完整】
優(yōu)化之后，最終的程序運行效果見下圖。其中有些圖片有規(guī)律分布的多個峰值，代表了之前說的“過度交叉”的多重解，但第一個圖不是：
效果對比
我在網(wǎng)上找了2個solver程序，對比剛寫的代碼，發(fā)現(xiàn)大部分圖片樣本的能力一致，畢竟基本算法都一樣。
在部分圖片上我們表現(xiàn)的更穩(wěn)定，相信主要是上面的一些細節(jié)優(yōu)化帶來的效果。下面是一些相對比較難且有區(qū)分度的識別結果：
拼接圖：
|???參照1： ?????|???參照2： ????|???ours： ????|
所有程序均有結果
第一個網(wǎng)站識別出了占比較小的圖，算是及格吧；第二個網(wǎng)站和我們的程序都識別出了占比較大的圖
拼接圖的識別結果對比：
科幻世界封底實拍圖：
|???參照1： ????|???參照2： ????|???ours： ????|
所有程序均無法識別
但人眼可以清晰看出內容是“YOU”，人類視覺的強大可見一斑。
我們的程序會說明無法識別，參照程序都會強行給出錯誤結果
科幻世界封底_原圖：
然而人眼可以輕松識別，也就是說人眼至少是自動做了仿射變換修正
科幻世界封底校正圖：
|???參照1： ????|???參照2： ????|???ours： ????|
上面的封底圖在手動校正后，所有程序均成功識別；
網(wǎng)上2個算法識別均是偏移78/79px，我們的算法是偏移77px，直觀看上去，我們效果略好
修正后的科幻世界封底實拍圖識別結果對比：
復雜深度的背景圖：
|???參照1： ????|???參照2： ????|???ours： ????|
所有算法均不能很好識別；
直觀看第一個網(wǎng)站識別效果略好，我們的第二個備選效果較好，但實際上由于是大面積不同深度的圖像，每個算法都只識別了一小部分
復雜的深度圖原圖是這樣的：
復雜深度圖的結果對比：
可能的改進項
正如本文之初的思路，當前程序的原理本質上就是識別最大背景，而不是真正的三維深度部分。所以有不少待改進的地方：
程序對實拍圖識別不好，對模糊不清、雜色干擾、變形折疊的圖，識別能力不夠好
有時可能會尋找到交叉過度的結果，比如“intel”的例子，算法未優(yōu)化之前找到的其實是第二個結果。由于測試規(guī)模不大，現(xiàn)在也不排除還有類似情況。更好的辦法可能有兩種：
* 識別原圖的重復pattern，限定大致的搜索范圍
* 分析不同峰值時產生的深度圖，找一個連通度最大的作為最優(yōu)解：
某些特殊的背景圖會導致重疊度計算錯誤，可以考慮先移除背景，但RDS圖本來就沒有背景，所以不是一個完美的方案
某些有明顯分層的圖像，本算法只能找到其中最顯著的一層，無法同時識別多層
Tut_Simple的多層識別結果：
目前還不支持自動旋轉識別，需要確保給出的圖是正確的方向；這個相對好做，不同角度識別，找出最大值即可
目前只能恢復大致輪廓，缺少深度信息的復原，無法顯示出立體圖形。當前的方法限定了該問題無解，需要的話就要用更復雜的三維重建算法了。
后記
這個有趣的東西背后，原來還有著工業(yè)革命時代科技先驅的狂熱開拓，有著深刻到現(xiàn)在人類還沒有完全理解的視覺原理，也有著改變人類體驗交互方式的無限可能，還是當前計算機研究熱點之一VR的前身。
今天的問題解決了，我們一起用計算機視覺知識做了個讀圖小玩具，如果有同學想要的話，我也可以考慮把這個程序轉成js，放到網(wǎng)頁上，讓大家可以自己上傳圖片識別，需要的話可以在評論區(qū)留言。
本文的各類資料都經過多來源的驗證確認，許多配圖經過修正整合，但計算機以外的知識仍可能存在偏差，歡迎指出問題。搜
索驗證資料不易，寫代碼調優(yōu)更不易，請多多點贊轉發(fā)，謝謝大家。
最后再送大家一個抄來的ASCII stereogram，發(fā)現(xiàn)還是最簡單的ASCII形式最有趣。
參考資料：
Stereogram Tutorial?https://www.ime.usp.br/~otuyama/stereogram/basic/index.html
Autostereogram介紹?http://scholarpedia.org/article/Autostereogram
Stereogram介紹?http://www.mathematische-basteleien.de/stereogram.htm
3D圖片制作網(wǎng)站，有一些深度圖資源?https://www.easystereogrambuilder.com
一款自動識別網(wǎng)站 Stereogram-solver?https://piellardj.github.io/stereogram-solver/
另一款自動識別網(wǎng)站 Magic Eye Solver?http://magiceye.ecksdee.co.uk
立體畫動畫?https://codingbobby.xyz/blog/stereographic-animations/
人類視覺系統(tǒng)?https://www.sciencedirect.com/topics/engineering/stereogram
視覺幻象（一）19世紀的VR眼鏡Stereoscope?https://zhuanlan.zhihu.com/p/333862706
視覺幻象（二）魔眼和Autostereogram?https://www.zhihu.com/tardis/bd/art/340533511
解密視錯覺 | 人人都能看懂3D立體圖 立體圖發(fā)展史?https://zhuanlan.zhihu.com/p/24992977
立體鏡?https://www.163.com/dy/article/HQ5V98310552RM4O.html
攝影史-立體照片?https://www.xiaohongshu.com/explore/637898d2000000001003f898
10 Cool Optical Illusions and How They Work?https://www.verywellmind.com/cool-optical-illusions-2795841
