實(shí)例分割（Instance Segmentation）是視覺經(jīng)典四個任務(wù)中相對最難的一個，它既具備語義分割（Semantic Segmentation）的特點(diǎn)，需要做到像素層面上的分類，也具備目標(biāo)檢測（Object Detection）的一部分特點(diǎn)，即需要定位出不同實(shí)例，即使它們是同一種類。

但是通過Coovally，即可輕松完成實(shí)例分割任務(wù)，讓我們一起來看看吧~

說明：當(dāng)前實(shí)例分割任務(wù)僅支持COCO格式數(shù)據(jù)集,請?zhí)崆鞍匆鬁?zhǔn)備好數(shù)據(jù)集，具體數(shù)據(jù)集要求可參考COCO格式數(shù)據(jù)集說明。

COCO格式數(shù)據(jù)集說明

COCO數(shù)據(jù)集簡介

COCO數(shù)據(jù)集是一個可用于圖像檢測（image detection），語義分割（semantic segmentation）和圖像標(biāo)題生成（image captioning）的大規(guī)模數(shù)據(jù)集。它有超過330K張圖像（其中220K張是有標(biāo)注的圖像），包含150萬個目標(biāo)，80個目標(biāo)類別（object categories：行人、汽車、大象等），91種材料類別（stuff categoris：草、墻、天空等），每張圖像包含五句圖像的語句描述，且有250,000個帶關(guān)鍵點(diǎn)標(biāo)注的行人。

同樣地，COCO數(shù)據(jù)也有其同名的數(shù)據(jù)格式標(biāo)注規(guī)范。在Coovally平臺中，COCO格式主要適用于目標(biāo)檢測、語義分割和實(shí)例分割任務(wù)。

COCO格式數(shù)據(jù)集準(zhǔn)備

Coovally平臺會自動切分訓(xùn)練集和測試集，將COCO數(shù)據(jù)集格式數(shù)據(jù)按照一下數(shù)據(jù)目錄層級結(jié)構(gòu)放置即可：

以instances_train2017.json為例，標(biāo)簽?zāi)夸沘nnotations文件夾下應(yīng)包含一個名為instances_train2017.json的json格式標(biāo)簽文件，images文件下放置需要處理的圖像數(shù)據(jù)。

下面對json格式標(biāo)簽文件進(jìn)行介紹：

說明：

• images保存圖片部分信息；

file_name圖片名；

Height圖片高度；

Width圖片寬度；

Id圖片id；

• annotations保存標(biāo)注信息，包括bbox和segmentation；

area多邊形所圍成的面積；

iscrowd，0：單個物體，1：多個物體的集合體；

iscrowd=0時，segmentation將使用polygons格式;

iscrowd=1時，segmentation將使用RLE格式;

image_id圖片id；

bbox標(biāo)注框[x, y, width, height]；

segmentation會標(biāo)注多邊形所有點(diǎn)的x坐標(biāo)，y坐標(biāo)；

category_id類別id；

id標(biāo)簽id；

ignore，是否忽略，默認(rèn)為0；

• categories包含樣本標(biāo)簽和ID的對應(yīng)關(guān)系。

1.?數(shù)據(jù)上傳

1.1圖片上傳

圖片數(shù)據(jù)準(zhǔn)備

目前Coovally支持兩種數(shù)據(jù)上傳方式：

·圖片文件和標(biāo)簽文件都打包壓縮成一個zip文件上傳，待數(shù)據(jù)集創(chuàng)建成功之后，Coovally系統(tǒng)會自動識別并生成標(biāo)簽；

·先單獨(dú)上傳zip格式圖片文件，待數(shù)據(jù)集創(chuàng)建成功之后，在數(shù)據(jù)集詳情頁再單獨(dú)上傳zip格式標(biāo)簽文件。

圖片數(shù)據(jù)上傳

登錄Coovally點(diǎn)擊側(cè)邊導(dǎo)航欄并下拉菜單點(diǎn)擊【創(chuàng)建數(shù)據(jù)集】。

點(diǎn)擊【創(chuàng)建數(shù)據(jù)集】，按要求填寫參數(shù)，并將此前準(zhǔn)備好的圖片壓縮包拖至文件上傳區(qū)域，點(diǎn)擊【確定】，等待圖片數(shù)據(jù)上傳并解析完成即可；

注意：需記住所填寫的數(shù)據(jù)集名稱，在創(chuàng)建標(biāo)簽時，需根據(jù)數(shù)據(jù)集名稱找到對應(yīng)的數(shù)據(jù)集。

1.2 標(biāo)簽上傳

標(biāo)簽數(shù)據(jù)準(zhǔn)備

將數(shù)據(jù)中的標(biāo)簽文件所在文件夾壓縮為zip格式的壓縮包；

標(biāo)簽數(shù)據(jù)上傳

在【我的數(shù)據(jù)】標(biāo)簽頁，找到剛剛上傳的圖片數(shù)據(jù)；點(diǎn)擊【圖標(biāo)】進(jìn)入數(shù)據(jù)集信息頁，點(diǎn)擊【創(chuàng)建標(biāo)簽】，再按要求填寫參數(shù)，將標(biāo)簽壓縮包拖到【文件上傳】區(qū)域，最后點(diǎn)擊【確定】，等待完成解析即可；

數(shù)據(jù)檢查（非必須步驟）

待圖片及標(biāo)簽全部完成上傳及解析，即可點(diǎn)擊【標(biāo)簽預(yù)覽】，進(jìn)行標(biāo)簽預(yù)覽，可檢測標(biāo)注是否存在錯標(biāo)、漏標(biāo)等問題。

2. 模型訓(xùn)練

2.1 數(shù)據(jù)建模

基于此前已完成上傳的數(shù)據(jù)集，進(jìn)行數(shù)據(jù)建模，點(diǎn)擊數(shù)據(jù)建模圖標(biāo)，進(jìn)入數(shù)據(jù)建模詳情頁面。

2.2 模型選擇&參數(shù)設(shè)置

按要求選擇模型填寫模型參數(shù)；并設(shè)置訓(xùn)練運(yùn)行參數(shù)。

點(diǎn)擊【增強(qiáng)算法】進(jìn)入算法增強(qiáng)頁面，篩選所需要增強(qiáng)的標(biāo)簽類型及數(shù)據(jù)增強(qiáng)方法，進(jìn)行數(shù)據(jù)數(shù)據(jù)增強(qiáng)，此操作非選操作，但當(dāng)數(shù)據(jù)量較少，或數(shù)據(jù)不均衡的情況下可嘗試進(jìn)行數(shù)據(jù)增強(qiáng)，以提高模型精度。

2.3 模型訓(xùn)練

點(diǎn)擊開始訓(xùn)練，即可開始模型訓(xùn)練，待模型訓(xùn)練結(jié)束即可開始此后的模型轉(zhuǎn)化、部署、推理等操作。

3.模型轉(zhuǎn)換

注意：此處僅為模型轉(zhuǎn)化步驟示例，詳細(xì)信息可參考Coovally官網(wǎng)文檔。

點(diǎn)擊【模型轉(zhuǎn)換】，進(jìn)入模型轉(zhuǎn)換頁面，按要求選擇及填寫參數(shù)，點(diǎn)擊【開始轉(zhuǎn)換】即可開始進(jìn)行模型轉(zhuǎn)化，等待模型轉(zhuǎn)化完成即可。

注意：等待模型轉(zhuǎn)換期間，切勿刷新頁面！

4.模型部署

在模型轉(zhuǎn)化完成后轉(zhuǎn)跳的界面點(diǎn)擊點(diǎn)擊【模型部署】，開始模型部署。按要求選擇服務(wù)地址，再點(diǎn)擊【部署】，等待部署完成。

5.模型預(yù)測

在模型部署完成后轉(zhuǎn)跳的界面，點(diǎn)擊【上傳圖片】按要求上傳圖片，系統(tǒng)即可對此圖片進(jìn)行模型推理，且實(shí)例分割結(jié)果會直觀的顯示出來。

實(shí)例分割與語義分割都屬于圖像分割的范疇，圖像分割技術(shù)有助于理解圖像中的內(nèi)容，并確定物體之間的關(guān)系，因此常被應(yīng)用于人臉識別、物體檢測、醫(yī)學(xué)影像、衛(wèi)星圖像分析、自動駕駛感知等領(lǐng)域。

在我們生活中，圖像分割技術(shù)的應(yīng)用實(shí)例也很常見，如智能手機(jī)上的摳圖相機(jī)、在線試衣間、虛擬化妝、以及零售圖像識別等，這些應(yīng)用往往都需要使用智能分割后的圖片作為操作對象。