語(yǔ)義分割和實(shí)例分割區(qū)別

1. 實(shí)例分割不關(guān)注背景，統(tǒng)一涂成黑色
2. 不僅不同種類用不同顏色標(biāo)注，同一種類也分甲乙丙丁，而不像語(yǔ)義分割歸為一個(gè)類別

全景分割是語(yǔ)義分割和實(shí)例分割的合集，不僅要看背景，還要把各種目標(biāo)進(jìn)行細(xì)分

應(yīng)用

摘要

FCN是圖片到圖片，可以容納不同尺寸的輸入，得到相同尺寸的輸出

摘要的寫法

1. 卷積網(wǎng)絡(luò)是一個(gè)什么東西，大背景的概述
2. 我們的核心觀點(diǎn)是什么
3. 我們?cè)O(shè)置的網(wǎng)絡(luò)可以達(dá)到什么樣的效果、作用和功能
4. 為了實(shí)現(xiàn)這些功能，我們做了哪些步驟，比如有哪些創(chuàng)新點(diǎn)
5. 我們這個(gè)東西在哪些數(shù)據(jù)集上得到了好結(jié)果

端到端end-end

將尺寸較小的特征圖逐漸恢復(fù)與原圖尺寸相同的預(yù)測(cè)圖的過(guò)程，稱為上采樣。

上采樣的方法有：線性插值、雙線性插值、三線性插值、還有從FCN開始使用的反卷積、反池化

深度學(xué)習(xí)，實(shí)際上是指，多層次的特征提取器與識(shí)別器統(tǒng)一訓(xùn)練和預(yù)測(cè)的網(wǎng)絡(luò)。

先驗(yàn)知識(shí)

感受域：

不管結(jié)點(diǎn)多深，感受域的大小始終是指輸入原圖的區(qū)域大小，而不是上一層的區(qū)域大小

在分割任務(wù)當(dāng)中，大感受域的效果比小感受域的好，希望得到大的感受野。通過(guò)公式，可以增加步長(zhǎng)。但是stride增大會(huì)使得feature map特征圖 保留的信息越來(lái)越少，對(duì)分割結(jié)果不利

RF1默認(rèn)為1

根據(jù)公式，L2層的感受野=1+(3-1)=3

L3層的感受野=3+(3-1)=5

平移不變性

sampling上采樣

反卷積：上圖

input=3, kernel_size=3, padding=1,

stride=2 因?yàn)樵诿總€(gè)像素點(diǎn)之間插入了一個(gè)0像素

公式：

output = (input - 1) * stride +k -2p

相當(dāng)于卷積公式的反操作

下采樣的過(guò)程也就是特征提取