一、前言

摳圖是個體力活。

摳圖最難的，就是處理毛發(fā)。

想沒想過，有一天，算法直接幫你自動摳圖？細(xì)致到毛發(fā)的那種！

毛發(fā)的分割都不是問題！

新鮮熱乎剛出爐的?Image Matting?算法，你值得擁有。

老規(guī)矩，今天，繼續(xù)手把手教學(xué)。

算法原理、環(huán)境搭建、效果實現(xiàn)，一條龍服務(wù)，盡在下文！

二、Animal Matting

摳圖問題的核心是精確地將圖像或視頻中的前景估計出來，對圖像編輯，影片剪輯等都有很深的意義。

最新發(fā)表的論文 End-to-end Animal?Image Matting?，只需要一張圖，無需任何先驗知識，即可實現(xiàn)端到端的摳圖，效果非常驚艷。

論文提出了一個名為 GFM 的摳圖模型，該模型可同時生成全局語義分割和局部 alpha mask。

同時，論文也開源了第一個自然動物圖像摳像數(shù)據(jù)集 AM-2k，并設(shè)計了基于高分辨率背景數(shù)據(jù)集 BG-20k 的 RSSN 合成數(shù)據(jù)方法。

GFM 網(wǎng)絡(luò)結(jié)構(gòu)如下：

網(wǎng)絡(luò)結(jié)構(gòu)：是一個編碼解碼器的結(jié)構(gòu)，編碼器由兩個平行的解碼器共享。

被共享的編碼器：以在 ImageNet 上預(yù)訓(xùn)練的 ResNet-34 或 DenseNet-121 作為編碼器。

Glance Decoder（GD）： 用于學(xué)習(xí)高層語義信息。在編碼器的第四個模塊之后，加入金字塔池化模塊（PPM）輸出全局上下文，用于GD中。

Focus Decoder (FD)：用于在低結(jié)構(gòu)特征中提取細(xì)節(jié)。在編碼器的第四個模塊之后，加入橋聯(lián)模塊（BB）收斂不同域中的局部上下文。并結(jié)合U-net，將 FD 與編碼器的對應(yīng)模塊進(jìn)行跳躍連接，訓(xùn)練 FD。

最后，以不同的表征域，連接 GD 和 FD 的輸出結(jié)果。

GFM-TT：以真實 alpha 掩摸膨脹和腐蝕的 3 類 trimap T 作為 GD 監(jiān)督信號、以未知過渡域的 alpha 掩摸作為 FD 監(jiān)督信號。

GFM-FT：以 2 類前景分割 mask 作為 GD 的監(jiān)督信號、以未知過渡域的 alpha 掩膜作為 FD 監(jiān)督信號。

GFM-BT：以 2 類背景分割 mask 作為 GD 的監(jiān)督信號、以未知過渡域的 alpha 掩膜作為 FD 監(jiān)督信號。

最后，通過協(xié)同合作摳圖（CM），將上述三個不同的表征域的結(jié)果，進(jìn)行合并，獲得最終的 alpha 預(yù)測。

更詳細(xì)的內(nèi)容，可以直接看 paper：

論文地址：https://arxiv.org/pdf/2010.16188.pdf

三、效果測試

Github 項目地址：https://github.com/JizhiziLi/animal-matting

第一步：搭建測試環(huán)境。

根據(jù) Requirements.txt 安裝依賴庫即可，很簡單。

第二步：下載訓(xùn)練好的模型權(quán)重文件。

下載地址（需翻墻）：點擊查看

第三步：在工程目錄，運行程序。

python ./core/test_samples.py --cuda --arch="e2e_resnet34_2b_gfm_tt" --model_path="models/model_r34_2b_gfm_tt.pth" --pred_choice=3 --hybrid

samples 目錄下的 original 目錄保存原始圖片；

samples 目錄下的 result_alpha 目錄保存分割 mask ；

samples 目錄下的 result_color 目錄保存提取結(jié)果。

我將程序和權(quán)重文件都進(jìn)行了打包，嫌麻煩，可以下載直接使用。

下載地址（提取碼：s6uh ）：

https://pan.baidu.com/s/1xjBbj3iptZuPV8nlg9Dthw

運行效果：

運行速度很快，運行效果展示：

四、最后

算法只針對動物，想對人進(jìn)行摳圖，需要自己制作數(shù)據(jù)集以及訓(xùn)練模型。

本期內(nèi)容就是這樣啦～我是Jack，下期見！

文章持續(xù)更新，可以微信公眾號搜索【JackCui-AI】第一時間閱讀，本文 GitHub?https://github.com/Jack-Cherish/PythonPark?已經(jīng)收錄，有大廠面試完整考點，歡迎Star。