來源：投稿 作者：卷舒
編輯：學(xué)姐

前言

人類對計算機視覺感興趣的最重要的問題是圖像分類 (Image Classification)、目標(biāo)檢測 (Object Detection) 和圖像分割 (Image Segmentation)，同時它們的難度也是依次遞增。

在分類任務(wù) (Image Classification) 中，我們只關(guān)注圖片中物體的類別。

目標(biāo)檢測 (Object Detection)任務(wù)中，我們不僅要識別出圖片中物體的類別，同時還要知道這些物體各自在什么地方，我們使用bounding box將這些目標(biāo)框出

而圖像分割 (Image Segmentation)任務(wù)跟目標(biāo)檢測任務(wù)其實有一定的相似，都是識別圖片中的物體并在圖片中標(biāo)注出物體的位置。

只不過不再是用bbox來框出物體，而是精確到像素級，需要我們準(zhǔn)確的知道物體的邊緣在什么地方。通過下方的左右兩張圖片我們可以很明顯地看出目標(biāo)檢測與圖像分割的區(qū)別。

什么是圖像分割

我們知道一張圖片是由一堆像素構(gòu)成的，那么圖像分割(Image Segmentation)可以理解成對每一個像素進行分類的任務(wù)。

有兩種最常見的圖像分割技術(shù)：語義分割 (Semantic Segmentation) 和實例分割 (Instance Segmentation)。

語義分割時，在一張圖片中有多個同一類物體的時候，這兩個物體不用被明確的區(qū)分開，他們的像‘’素標(biāo)簽都會是同一類別。

而實例分割時，當(dāng)一張圖片中有多個同一類物體時，不僅需要識別出物體的類別，還需要把兩個同類物體給區(qū)分開。

如上圖所示，在進行語義分割的時候，左邊的兩只狗會被分為同一類，用同一種顏色表示；而在實例分割的時候，左邊的兩只狗會被用不同顏色區(qū)分開，即這兩只狗的上的像素的標(biāo)簽為不同類。

在看下面這張圖。圖(b)就是語義分割，途中的多輛汽車被分為了同一類，用同一種顏色表示；而圖(c)是實例分割，雖然有多輛車，但是他們的標(biāo)簽類別卻是不一樣的，被用不同的顏色標(biāo)記出來。

這里再簡單提一句圖(d)的全景分割(panoptic segmentation)。

我們可以看到對于給定圖片(a)各任務(wù)的groundtruth分別是：

• 圖(b)的語義分割是逐像素的class labels；

• 圖(c)的實例分割是逐object的mask和class label；?

• 圖(d)的全景分割是逐像素的class labels和instance labels。全景分割同時完成語義分割和實例分割任務(wù)，需要對圖片中的每一個可見object和region進行辨別與描述。?

全景分割與實例分割，語義分割的不同：?

• 對比語義分割，全景分割需要區(qū)分不同的 object instances；?

• 對比實例分割，全景分割不僅分割things（即實力分割中的object），同時分割stuff（指具有相似紋理或材料的無定形區(qū)域，例如草、天空、道路。）；?

• 全景分割需要同時識別stuff和things。?

本教程主要將以語義分割為主。

圖像分割的應(yīng)用

圖像分割的應(yīng)用有很多，下面舉了幾個圖像分割在現(xiàn)實生活中的應(yīng)用

醫(yī)學(xué)影像診斷

通過對MRI，CT，X光等醫(yī)學(xué)影片進行圖像分割，可以輔助醫(yī)生診斷，甚至可以定位到病灶給出診斷結(jié)果。如下圖，左邊第一張圖是大腦的MR原圖，右邊兩張是進行圖像分割后的圖片。

再比如這張胸片，通過圖像分割后，我們可以很清晰的分辨出肺、鎖骨和心臟的位置。

自動駕駛

圖像分割最著名的應(yīng)用應(yīng)該非自動駕駛莫屬了。圖像分割可以幫助汽車通過攝像頭分辨路面、路牌、行人與車輛。可以想象，如果是較為粗略的目標(biāo)檢測的話，很難勝任安全要求如此之高的自動駕駛?cè)蝿?wù)。

自動扣圖

既然圖像分割可以把每個物體所在位置的像素給分別標(biāo)注出來，那么這是不是跟我們的摳圖任務(wù)有類似呢。比如把一張商品的圖片送進模型，通過圖像分割我們是不是可以分辨出哪些像素屬于背景，哪些像素屬于前景（商品）呢？

虛擬試穿

再說最后一個我們生活中有遇到過的運用。不知道大家有沒有在某些購物APP上，使用過3D試穿功能呢。就是選擇好我們想是穿的衣物，通過手機攝像頭對準(zhǔn)我們要試穿的身體部位，那么手機上就會呈現(xiàn)出我們穿上這一衣物的樣子。

這其實也是需要通過圖像分割來分割出我們身體上應(yīng)該穿上衣服的部位的。

同時，還有一種虛擬化妝的任務(wù)，其實原理也跟虛擬試穿類似。

Reference

• Anil Chandra Naidu Matcha. “A 2021 guide to Semantic Segmentation.” https://nanonets.com/blog/semantic-image-segmentation-2020/

• Jeremy Jordan. “An overview of semantic image segmentation.” https://www.jeremyjordan.me/semantic-segmentation/

• Fei-Fei Li & Justin Johnson & Serena Yeung. “CS231n: Deep Learning for Computer Vision.” (2017). Lecture11. http://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture11.pdf

• Pham, Dzung L. et al. “A Survey of Current Methods in Medical Image Segmentation.” (1999).

• Novikov, Alexey A., et al. "Fully convolutional architectures for multiclass segmentation in chest radiographs." IEEE transactions on medical imaging, 37.8 (2018): 1865-1876.

• Dhanoop Karunakaran. “Semantic segmentation — Udaity’s self-driving car engineer nanodegree.” https://medium.com/intro-to-artificial-intelligence/semantic-segmentation-udaitys-self-driving-car-engineer-nanodegree-c01eb6eaf9d

• Wang, Bochao, et al. "Toward characteristic-preserving image-based virtual try-on network." Proceedings of the European Conference on Computer Vision (ECCV). 2018.

關(guān)注【學(xué)姐帶你玩AI】公眾號

回復(fù)“500”獲取圖像分割論文資源

CVPR圖像分割方向論文回復(fù)“CVPR”獲取