12023年3月31日12:15:36

survey of semantic segmentation

1.parit 1origin, history and rule

first principle part 1: origin, history, evolution, rule, orientation

1a

評估標(biāo)準(zhǔn)：準(zhǔn)確性、速度、穩(wěn)定性[1]

PASCAL VOC多類別，20個物體類別和1個背景類別[1]

MSRCV2，21個物體類別和1個void類別[1]

3個醫(yī)學(xué)數(shù)據(jù)庫：胰腺、視網(wǎng)膜、內(nèi)窺鏡手術(shù)[1]

滑動窗口：傳統(tǒng)（SVM、隨機(jī)森林）、神經(jīng)網(wǎng)絡(luò)[1]

全局：MRF（概率模型）、CRF（條件概率模型）[1]

1b 傳統(tǒng)

自動編碼器可以用于學(xué)習(xí)特征[1]

特征提?。合袼仡伾?、梯度直方圖、SIFT、BOV、Poselets、Textons、維度約簡[1]

傳統(tǒng)圖像分割：無監(jiān)督：聚類、隨機(jī)游走、主動輪廓模型、分水嶺[1]

傳統(tǒng)圖像分割：監(jiān)督：隨機(jī)決策森林、馬爾科夫隨機(jī)場、支持向量機(jī)[1]

后處理[1]

1c

問題：鏡頭耀斑、暗角效應(yīng)、模糊圖像、部分遮擋、偽裝效應(yīng)、半透明遮擋、視角[1]

方向：不同分類器的組合[1]

方向：將分類器（如神經(jīng)網(wǎng)絡(luò)）與CRF結(jié)合[1]

1d神經(jīng)網(wǎng)絡(luò)支線歷史

LeNet和AlexNet基于神經(jīng)網(wǎng)絡(luò)這一支的開端[2]

----基于特征編碼器（feature encoder）包括：VGG、ResNet[2]

VGG使用多個3x3卷積提取特征，更大的感受野帶來更多的參數(shù)和算力[2]

ResNet遵循跳躍連接的殘差學(xué)習(xí)框架，梯度通過跳躍連接以避免消失[2]

優(yōu)勢：跳躍連接，避免梯度消失[2]

----基于區(qū)域建議（Regional Proposal）：R-CNN、Fast-RCNN、Faster-RCNN[2]

通過顏色空間和相似性度量等方法檢測區(qū)域，然后進(jìn)行區(qū)域分類預(yù)測[2]

RCNN（區(qū)域卷積神經(jīng)網(wǎng)絡(luò)）包括：區(qū)域建議生成器、卷積神經(jīng)網(wǎng)絡(luò)、線性支持向量機(jī)分類器[2]

優(yōu)勢：同時生成目標(biāo)的檢測和分割[2]

----基于循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）：RCNN、FCN with LSTM decoder、ReSeg[2]

優(yōu)勢：RNN強(qiáng)于處理序列數(shù)據(jù)，學(xué)習(xí)長期依賴關(guān)系并保持記憶，上下文信息[2]

----基于上采樣/反卷積（Upsampling/Deconvolution）[2]

優(yōu)勢：解決卷積神經(jīng)網(wǎng)絡(luò)因下采樣而失去空間信息的問題[2]

----基于特征分辨率提升（increase resolution of feature）

空洞卷積（atrous convolution）和膨脹卷積（dilated convolution）

2.attention mechanism

way of research

3.transformer

way of research

4.autonomous driving

need of research

5.innovation point

supply to ways

6.reference

not all

[1]. A Survey of Semantic Segmentation. 16.5. arxiv. Martin Thoma

[2]. Survey on semantic segmentation using deep learning techniques. 19.2. Neurocomputing. Fahad Lateef*, Yassine Ruichek

/

semi run and gun