導(dǎo)讀

圖像分割是計(jì)算機(jī)視覺的一項(xiàng)基礎(chǔ)技術(shù)，其目標(biāo)是將圖像中的像素按內(nèi)容分成不同的類別。它在許多領(lǐng)域有重要應(yīng)用，比如自動(dòng)駕駛、工業(yè)質(zhì)檢、醫(yī)療圖像分析、遙感圖像解譯等。PaddleSeg 是飛槳高性能圖像分割開發(fā)套件，在圖像分割領(lǐng)域做了大量的開源工作，致力于幫助企業(yè)在實(shí)際場(chǎng)景中落地 AI 應(yīng)用，也幫助初學(xué)者快速入門直到精通。

在廣大開發(fā)者的使用、反饋和貢獻(xiàn)之下，PaddleSeg 持續(xù)迭代升級(jí)，整體架構(gòu)設(shè)計(jì)更加合理優(yōu)雅，集成的模型日益豐富，在語義分割、交互式分割、深度摳圖、人像分割、醫(yī)學(xué)圖像分割等重點(diǎn)場(chǎng)景也逐步形成了獨(dú)具特色的功能?，F(xiàn)在，我們非常高興地宣布，PaddleSeg 2.8 版本正式發(fā)布啦！希望新版本的特性能給廣大開發(fā)者帶來實(shí)打?qū)嵉谋憷?，更好地讓圖像分割技術(shù)應(yīng)用到實(shí)際場(chǎng)景中去，創(chuàng)造更大的價(jià)值！

接下來，就讓我們來看看 PaddleSeg 2.8 版本都帶來了哪些新功能與特性吧~

??開源飛槳版本視覺大模型 Segment Anything Model (SAM) 和演示Demo。由 META AI 發(fā)表的 SAM 具有強(qiáng)大的 zero-shot 能力，可以分割任意物體和圖像，也可以使用提示輸入分割特定目標(biāo)。

?? 發(fā)布超輕量級(jí)語義分割模型 PP-MobileSeg ：在 ADE20K 數(shù)據(jù)集上對(duì)比 SOTA 模型，PP-MobileSeg 的速度提升 42.3%、精度提升 1.5%、參數(shù)量減少 34.9%。

?? 發(fā)布工業(yè)質(zhì)檢工具全流程解決方案 QualityInspector v0.5 ：提供統(tǒng)一可配置的算法 Pipeline，集成檢測(cè)和分割模型庫(kù)，支持 3 種無監(jiān)督異常檢測(cè)算法，支持工業(yè)級(jí)指標(biāo)評(píng)測(cè)、分析、調(diào)優(yōu)等功能。

?? 發(fā)布全景分割解決方案 PanopticSeg v0.5 ：提供全景分割的全流程開發(fā)功能，集成 2 個(gè)前沿高精模型，具備靈活的二次開發(fā)能力。

?? 新增了七個(gè)前沿語義分割模型：MaskFormer、HRFormer、ViT-Adapter、CAE、SegNeXt、K-Net和LPSNet。

??此外還有很多新功能和特性，比如 FastDeploy 全場(chǎng)景部署能力的集成、EISeg V1.1 版本、視頻摳圖模型 RVM、人像摳圖.NET部署教程等。

想要了解更多詳情，可至文末加入 PaddleSeg 技術(shù)交流群，同時(shí)歡迎大家點(diǎn)擊 star 關(guān)注。

https://github.com/PaddlePaddle/PaddleSeg

PaddleSeg 2.8 版本詳細(xì)解析

01 “分割一切”大模型 SAM

Segment Anything Model（SAM）是 META AI 最近發(fā)表的研究成果，提出了圖像分割的新任務(wù)、模型和數(shù)據(jù)集。它效仿了生成式 LLM（Large Language Model, 大語言模型）的 prompt 范式，可以從不同類型的提示中產(chǎn)生高質(zhì)量的對(duì)象掩碼，提示類型包括點(diǎn)、框、掩碼和文本。SAM 在各種圖像分割任務(wù)上表現(xiàn)出了極強(qiáng)的泛化能力，并且精度上不輸針對(duì)各領(lǐng)域數(shù)據(jù)集專門訓(xùn)練的傳統(tǒng)模型。

在飛槳版本 SAM 中，我們提供了 ViT-B、ViT-L、ViT-H 三種 Backbone 的 SAM 模型，大家可以靈活選擇、進(jìn)行推理測(cè)試。SAM 模型可以和其它模型配合，做一些有意思的應(yīng)用，比如任意一個(gè)目標(biāo)檢測(cè)模型+ SAM =實(shí)例分割模型。我們已經(jīng)將 SAM 與 CLIP 算法進(jìn)行了結(jié)合，提供了基于飛槳 CLIP 算法的 ViT-B 模型權(quán)重文件，通過 CLIP 計(jì)算文本提示與 SAM 分割結(jié)果的匹配得分，從而具有通過本文提示對(duì)特定目標(biāo)進(jìn)行分割的能力。在接下來的工作中，我們將逐步補(bǔ)全 SAM 模型的微調(diào)能力，并進(jìn)行部署側(cè)的優(yōu)化，方便大家落地應(yīng)用！另外，為了方便大家測(cè)試效果，我們還提供了基于 gradio 的 WebUI 應(yīng)用，以及多種 prompt 方式下的預(yù)測(cè)腳本。WebUI 應(yīng)用可以部署在自己的機(jī)器上使用，同時(shí)，我們也在 AI Studio 中部署了在線版本，方便大家體驗(yàn)。

• 項(xiàng)目體驗(yàn)傳送門

https://aistudio.baidu.com/aistudio/projectdetail/5983800

• 飛槳版 SAM 傳送門

https://github.com/PaddlePaddle/PaddleSeg/tree/release/2.8/contrib/SegmentAnything

02 超輕量級(jí)語義分割模型 PP-MobileSeg

相較于 CNN 模型架構(gòu)，Transformer 模型架構(gòu)有更好的精度優(yōu)勢(shì)。但是 Transformer 結(jié)構(gòu)對(duì)算力要求高，限制了它在移動(dòng)端的廣泛應(yīng)用。針對(duì)這個(gè)問題，我們提出了一個(gè)針對(duì)移動(dòng)端設(shè)備的語義分割模型 PP-MobileSeg。在 ADE20K 數(shù)據(jù)集上，PP-MobileSeg 和此前最佳方法相比，速度提升 42.3%、精度提升 1.5%、參數(shù)量減少 34.9%，實(shí)現(xiàn)了速度-精度-參數(shù)量之間的 SOTA 平衡。

PP-MobileSeg 與其它模型的對(duì)比情況以更好地平衡精度、速度和參數(shù)量為目標(biāo)，我們?yōu)?PP-MobileSeg 模型提出了三個(gè)創(chuàng)新組件：StrideFormer 骨干網(wǎng)絡(luò)、Aggregated Attention Module (AAM) 聚合注意力模塊，和 Valid Interpolate Module (VIM) 有效插值模塊。

1. StrideFormer 骨干網(wǎng)絡(luò)

   ?我們使用 MobileNetV3 block 設(shè)計(jì)了一個(gè)四階段的骨干網(wǎng)絡(luò)，可以在減少了參數(shù)冗余的情況下，高效提取不同感受野的特征。在骨干網(wǎng)絡(luò)的后兩個(gè)階段，我們還使用了 Strided Attention Module 為特征賦予全局視野。

2. AAM 聚合注意力模塊

   為了有效融合特征，我們使用集成投票的形式過濾細(xì)節(jié)特征。實(shí)驗(yàn)證明語義信息的提升至關(guān)重要，因此我們?cè)谌诤咸卣髯詈蟓h(huán)節(jié)添加語義特征，以最大程度保留語義信息。

3. VIM 有效插值模塊

   我們使用 VIM 替換原有的上采用模塊，從而顯著減少模型推理階段的延遲。在類別數(shù)很多的數(shù)據(jù)集中，單張圖片中存在的語義類別數(shù)占數(shù)據(jù)集類別總數(shù)的比例是很小的，例如在 ADE20K 數(shù)據(jù)集中這個(gè)比例大約只有 10%。因此通常做法會(huì)導(dǎo)致大量算力用于無用類別的上采樣，而 VIM 通過只插值最終預(yù)測(cè)中存在的類別，顯著降低了上采樣的延時(shí)。

   基于三個(gè)創(chuàng)新組件，PP-MobileSeg 的網(wǎng)絡(luò)架構(gòu)圖如下所示：首先通過骨干網(wǎng)絡(luò)提取并增強(qiáng)語義特征和細(xì)節(jié)特征，然后通過 AAM 特征融合模塊產(chǎn)出最適合語義分割的特征，最后以一個(gè)簡(jiǎn)單的分割頭和專注性能優(yōu)化的 VIM 上采樣模塊得到分割結(jié)果。其中 AAM 和 VIM 的細(xì)節(jié)展示分別在下圖的左上角和右下角，詳細(xì)說明可以參考 PP-MobileSeg 論文。

• PP-MobileSeg 論文

https://arxiv.org/abs/2304.05152

• PP-MobileSeg 傳送門

https://github.com/PaddlePaddle/PaddleSeg/tree/release/2.8/configs/pp_mobileseg

03 工業(yè)質(zhì)檢工具全流程解決方案 QualityInspector

在 3在 3C 電子、汽車、紡織化纖、金屬、建筑、食品、日用消費(fèi)品等生產(chǎn)制造行業(yè)，質(zhì)量檢測(cè)是保障產(chǎn)品質(zhì)量的重要一環(huán)，是企業(yè)確保產(chǎn)品符合標(biāo)準(zhǔn)，滿足客戶需求，提高競(jìng)爭(zhēng)力的關(guān)鍵步驟。在深度學(xué)習(xí)時(shí)代，使用視覺技術(shù)對(duì)零件圖像進(jìn)行質(zhì)檢檢測(cè)，相比人工或傳統(tǒng)的質(zhì)檢方法，能夠顯著提升精度和效率。因此，我們開發(fā)了工業(yè)質(zhì)檢工具 QualityInspector，希望幫助開發(fā)者快速完成算法的研發(fā)、驗(yàn)證和調(diào)優(yōu)，助力從數(shù)據(jù)標(biāo)注到模型部署的全流程工業(yè)質(zhì)檢應(yīng)用實(shí)踐。目前，我們發(fā)布了 QualityInspector V0.5 預(yù)覽版本，主要特性如下：

1. 統(tǒng)一可配置的解決方案：支持檢測(cè)、分割單模型、檢測(cè) +RoI 分割串聯(lián)結(jié)合后處理的解決方案，簡(jiǎn)單修改配置即可輕松組合視覺套件的模型。

2. 工業(yè)級(jí)指標(biāo)評(píng)估和調(diào)優(yōu)：評(píng)估工業(yè)質(zhì)檢項(xiàng)目實(shí)際落地指標(biāo)，并可直接調(diào)節(jié)后處理規(guī)則參數(shù)進(jìn)行指標(biāo)一鍵調(diào)優(yōu)，方便易用。

3. 豐富的視覺算法庫(kù)：新增支持無監(jiān)督異常檢測(cè)算法，同時(shí)集成飛槳視覺套件的成熟算法庫(kù)，覆蓋圖像分割、目標(biāo)檢測(cè)等任務(wù)。

4. 可快速上手的工具：支持?jǐn)?shù)據(jù)格式轉(zhuǎn)化工具，快速完成檢測(cè)，分割?/RoI?分割任務(wù)數(shù)據(jù)格式轉(zhuǎn)化，同時(shí)支持?jǐn)?shù)據(jù)分析工具和?EISeg?數(shù)據(jù)標(biāo)注工具。

歡迎廣大開發(fā)者試用并反饋寶貴意見！

• QualityInspector 傳送門

https://github.com/PaddlePaddle/PaddleSeg/tree/release/2.8/contrib/QualityInspector

04 全景分割解決方案PanopticSeg

全景分割是一項(xiàng)圖像解析任務(wù)，該任務(wù)結(jié)合了語義分割（為圖像中每個(gè)像素賦予一個(gè)標(biāo)簽）和實(shí)例分割（檢測(cè)并分割出圖像中每一個(gè)對(duì)象實(shí)例）。PaddleSeg 2.8 版本全新推出全景分割解決方案 PanopticSeg ，旨在提供全景分割模型訓(xùn)練、驗(yàn)證與部署的全流程開發(fā)解決方案。

1. 高精度

   提供高質(zhì)量的前沿全景分割模型，開箱即用，目前已經(jīng)支持的模型包括 Mask2Former、Panoptic-DeepLab ；

2. 全流程

   提供全流程開發(fā)能力，打通數(shù)據(jù)集準(zhǔn)備、模型訓(xùn)練、模型推理、可視化分析等功能，助力用戶完成一站式開發(fā)工作；

3. 高性能

   使用多進(jìn)程異步 I/O 、多卡并行訓(xùn)練等加速策略，結(jié)合飛槳核心框架的顯存優(yōu)化功能，讓開發(fā)者以更低成本、更高效地完成全景分割模型訓(xùn)練。

• PanopticSeg 傳送門

?https://github.com/PaddlePaddle/PaddleSeg/blob/release/2.8/contrib/PanopticSeg

05 集成 FastDeploy 部署能力

大家訓(xùn)練完成分割模型后，經(jīng)常需要花費(fèi)大量的時(shí)間精力，為不同硬件開發(fā)部署程序。為了解決這個(gè)痛點(diǎn)，PaddleSeg 2.8 版本深入對(duì)接了飛槳全場(chǎng)景 AI 推理部署工具 FastDeploy 。大家使用 FastDeploy，可以快速在 X86 CPU、NVIDIA GPU、飛騰 CPU、ARM CPU、Intel GPU、昆侖、昇騰、瑞芯微、晶晨、算能等 10+ 款硬件上部署 PaddleSeg 模型，并且支持靈活選擇 Paddle Inference、Paddle Lite、TensorRT、OpenVINO、ONNXRuntime、RKNPU2、SOPHGO ?等多種推理后端！此外，F(xiàn)astDeploy 針對(duì)分割模型進(jìn)行了深度優(yōu)化，開發(fā)了高效的圖像前處理、結(jié)果后處理等功能模塊，支持 FlyCV 和 CVCUDA 圖像加速庫(kù)，提供簡(jiǎn)易的上手體驗(yàn)、極致的端到端推理性能。

語義分割模型地硬件支持列表如下：

Matting 模型硬件支持列表如下：

• FastDeploy 部署教程傳送門

https://github.com/PaddlePaddle/PaddleSeg/tree/release/2.8/deploy/fastdeploy

06 其它新功能與特性

深受開發(fā)者歡迎的智能交互式分割標(biāo)注工具 EISeg 迎來了 V1.1 版本的升級(jí)：

• 新增對(duì)檢測(cè)目標(biāo)的手工標(biāo)注功能；

• 新增對(duì)檢測(cè)目標(biāo)的預(yù)標(biāo)注功能，支持修改預(yù)標(biāo)注的標(biāo)簽對(duì)應(yīng)關(guān)系；

• 支持 3 種常用的檢測(cè)標(biāo)注保存格式：COCO、VOC 和 YOLO。

Matting 人像摳圖解決方案的升級(jí)：

• 新增視頻摳圖模型 RVM，支持視頻預(yù)測(cè)和背景替換；

• 新增人像摳圖.NET 部署教程（由外部開發(fā)者 @raoyutian 貢獻(xiàn)）。

PaddleSeg 2.8 版本也完成了一些代碼重構(gòu)與升級(jí)的工作，例如支持自定義 Optimizer 組件，可靈活配置訓(xùn)練超參；解耦 Config 和 Builder ，嚴(yán)格校驗(yàn)配置信息；新增支持指數(shù)滑動(dòng)平均 EMA ，助力訓(xùn)練過程穩(wěn)定收斂。此外，在廣大開發(fā)者的積極反饋之下，發(fā)現(xiàn)并修復(fù)了若干漏洞，在此對(duì)參與 PaddleSeg 項(xiàng)目貢獻(xiàn)的開發(fā)者們表示衷心的感謝！??

歡迎小伙伴們關(guān)注【飛槳PaddlePaddle】公眾號(hào)了解詳情，還可以獲取 PaddleSeg 團(tuán)隊(duì)整理的重磅學(xué)習(xí)大禮包哦！