畫面分割是計算機視覺技術(shù)中的一個重要概念，它可以將圖像中的每個像素都分配給其對應的語義類別，從而實現(xiàn)對圖像內(nèi)容的理解和分析。畫面分割在很多領(lǐng)域都有廣泛的應用和作用，比如人臉識別、虛擬化妝、自動駕駛等。

月初，Meta推出的SAM（Segment Anything model）分割一切帶來的效果引爆AI社區(qū)。國內(nèi)開發(fā)者很快就推出Grounded-SAM對這個進行了一次升級。

但是，你知道畫面分割技術(shù)對于AR（增強現(xiàn)實）產(chǎn)品有什么作用和價值嗎？在本文中，我將作為一個AR產(chǎn)品經(jīng)理，和大家聊聊畫面分割技術(shù)是如何實現(xiàn)AR空間的構(gòu)建和增強、提高AR產(chǎn)品的視覺效果和真實感、優(yōu)化AR產(chǎn)品的性能和穩(wěn)定性等方面的。同時，我們還將探討畫面分割技術(shù)和SLAM（同時定位與地圖構(gòu)建）技術(shù)的混合應用，以及它們對于構(gòu)建一個“泛在元宇宙空間”的體驗場景的可能性。

大家好，我是一個AR產(chǎn)品經(jīng)理，今天我想和大家聊聊計算機視覺技術(shù)中的一個重要概念——畫面分割，以及它對AR行業(yè)技術(shù)產(chǎn)品帶來的影響。

什么是畫面分割呢

簡單來說，就是將圖像中的每個像素都分配給其對應的語義類別的任務。比如，我們看到一張照片，里面有人、車、樹、房子等不同的物體，畫面分割就是要把這些物體從背景中分離出來，并且標注出它們是什么。這樣，我們就能更好地理解圖像中的信息和含義。

畫面分割有很多種方法

常見的有語義分割、實例分割、全景分割等。
語義分割是指將圖像中屬于同一類別的像素都歸為一組，不區(qū)分具體的物體實例。比如，一張圖像中有兩輛車，語義分割只會把它們都標記為車，而不會區(qū)分它們是哪一輛車。
實例分割則是在語義分割的基礎(chǔ)上，進一步區(qū)分出不同的物體實例。比如，一張圖像中有兩輛車，實例分割會把它們分別標記為車1和車2。
全景分割則是在實例分割的基礎(chǔ)上，進一步細化出每個物體實例的輪廓和邊界。比如，一張圖像中有兩輛車，全景分割會把它們的輪胎、車窗、車門等細節(jié)都標記出來。

畫面分割技術(shù)對于AR產(chǎn)品作用和價值

作為錨定技術(shù)
畫面分割技術(shù)可以實現(xiàn)AR空間的構(gòu)建和增強。通過畫面分割技術(shù)，我們可以將真實場景中的物體、人物、背景等進行分割和識別，從而獲取場景的三維結(jié)構(gòu)和語義信息。這樣，我們就可以在真實場景中創(chuàng)建和定位虛擬物體，并且讓它們與真實物體產(chǎn)生交互和融合效果，從而構(gòu)建一個混合現(xiàn)實的空間。?比如，在AR眼鏡上，我們可以通過畫面分割技術(shù)將真實環(huán)境中的建筑、道路、植物等進行分割和標注，并且在它們上面疊加虛擬信息或?qū)Ш教崾?，從而提升用戶的導航和認知能力。

沉浸感增強
畫面分割技術(shù)可以提高AR產(chǎn)品的視覺效果和真實感。通過畫面分割技術(shù)，我們可以將真實場景中的光照、陰影、反射等進行分析和模擬，從而使虛擬物體能夠適應真實場景的光照條件，并且產(chǎn)生相應的陰影和反射效果。這樣，我們就可以增強虛擬物體和真實場景之間的視覺一致性和協(xié)調(diào)性，從而增強用戶的真實感和沉浸感。

減少渲染計算負荷
畫面分割技術(shù)可以優(yōu)化AR產(chǎn)品的性能和穩(wěn)定性。通過畫面分割技術(shù)，我們可以將真實場景中的不必要或干擾的信息進行過濾和抑制，從而減少對AR產(chǎn)品運行所需的計算資源和內(nèi)存消耗。這樣，我們就可以提高AR產(chǎn)品的運行速度和流暢度，并且降低出錯或崩潰的風險。

畫面分割技術(shù)和大空間定位技術(shù)的混合應用

SLAM技術(shù)和它的局限性

是指在沒有任何先驗知識的情況下，根據(jù)相機和IMU等數(shù)據(jù)實時構(gòu)建周圍環(huán)境地圖，同時根據(jù)這個地圖推測自身的定位。SLAM技術(shù)可以分為間接法和直接法，前者通過稀疏或稠密的特征點提取和匹配來實現(xiàn)，后者直接使用實際傳感器測量值來實現(xiàn)。
SLAM技術(shù)可以實現(xiàn)對場景的三維重建和定位，從而為AR消費者提供一個相對空間中的6DOF體驗。

但是SLAM技術(shù)只解決“在哪里”的問題，空間特征估算受環(huán)境變更的影響。如果環(huán)境布置光照等有很大的變化，那么地圖的有效期和定位有效率都會受到極大的影響。

SLAM不解決“是什么”的問題，也就是系統(tǒng)是不知道空間中的內(nèi)容是什么。要通過AR產(chǎn)品對人的智力增強，單一SLAM技術(shù)只能提前進行虛景標注，然后讓標注信息作為虛景，錨定到空間坐標系中。

（通過VPS和本地SLAM組合，獲得全場景AR空間體驗，參見我的這個視頻大空間AR技術(shù)-可以逛的“虛實混合”大世界，這種辦法缺點是需要提前對空間進行標注）

VPS技術(shù)和畫面分割的結(jié)合應用

目前SLAM是比較主流的追蹤錨定方式，SLAM和VPS的結(jié)合形成的大空間AR技術(shù)是最近兩年比較推崇的方式。

現(xiàn)在我們有了更重要的一個技術(shù)引爆點機會。

如果我們將VPS采集的全景畫面圖像進行畫面語意分割，讓基于SLAM構(gòu)建的空間沉浸體驗感，和“萬能分割”構(gòu)建的環(huán)境認知能力，組合工作，將可以構(gòu)建出一個“泛在AR空間”體驗的可能。

比如：讓一個不做飯的人戴上AR眼鏡，走在菜場里，眼鏡本地SLAM可以為他構(gòu)建出一個基本的6DOF空間體驗，同時每一個蔬菜瓜果都可以從環(huán)境中被分割，寫上對應的菜肴烹飪方法；就算菜場空間每天在進行布局調(diào)整，提前構(gòu)建的點云失效，語意理解依然可以持續(xù)工作，為人們提供“買菜解決方案”?

總結(jié)

總之畫面分割和語意理解，將有可能建立起一類滿足“認知環(huán)境是剛需“的應用，構(gòu)建起一個“泛在元宇宙空間”的體驗場景，讓業(yè)務通過牙刷測試，為AR的普適性消費和面向C端人群的滲透提供巨大的推進力。