SAM被以為是里程碑式的視覺根底模型

導讀

SAM曾經(jīng)成為許多高級任務（如圖像分割、圖像描繪和圖像編輯）的根底步驟。但是，其宏大的計算開支限制了其在工業(yè)場景中的普遍應用。這種計算開支主要來自于處置高分辨率輸入的Transformer架構。因而，本文提出了一種具有可比性能的加速替代辦法。經(jīng)過將該任務重新定義為分割生成和提示，作者發(fā)現(xiàn)一個常規(guī)的CNN檢測器分離實例分割分支也能夠很好地完成這個任務。詳細而言，本文將該任務轉換為經(jīng)過普遍研討的實例分割任務，并僅運用SAM作者發(fā)布的SA-1B數(shù)據(jù)集的1/50停止鍛煉現(xiàn)有的實例分割辦法。運用這種辦法，作者在50倍更快的運轉時間速度下完成了與SAM辦法相當?shù)男阅?。本文提供了充沛的實驗結果來證明其有效性。

引言

SAM被以為是里程碑式的視覺根底模型，它能夠經(jīng)過各種用戶交互提示來引導圖像中的任何對象的分割。SAM應用在普遍的SA-1B數(shù)據(jù)集上鍛煉的Transformer模型，使其可以純熟處置各種場景和對象。SAM創(chuàng)始了一個令人興奮的新任務，即Segment Anything。由于其通用性和潛力，這個任務具備成為將來普遍視覺任務基石的一切要素。但是，雖然SAM及其后續(xù)模型在處置segment anything任務方面展現(xiàn)了令人等待的結果，但其實踐應用依然具有應戰(zhàn)性。顯而易見的問題是與SAM架構的主要局部Transformer（ViT）模型相關的大量計算資源需求。與卷積模型相比，ViT以其龐大的計算資源需求脫穎而出，這關于其實踐部署，特別是在實時應用中構成了障礙。這個限制因而障礙了segment anything任務的停頓和潛力。

鑒于工業(yè)應用對segment anything模型的高需求，本文設計了一個實時處理計劃，稱為FastSAM，用于segment anything任務。本文將segment anything任務合成為兩個連續(xù)的階段，即全實例分割和提示引導選擇。第一階段依賴于基于卷積神經(jīng)網(wǎng)絡（CNN）的檢測器的完成。它生成圖像中一切實例的分割掩碼。然后在第二階段，它輸出與提示相對應的感興味區(qū)域。經(jīng)過應用CNN的計算效率，本文證明了在不太損失性能質量的狀況下，能夠完成實時的segment anything模型。?本文希望所提出的辦法可以促進對segment anything根底任務的工業(yè)應用。

(a) FastSAM和SAM在單個NVIDIA GeForce RTX 3090上的速度比擬。(b) 在BSDS500數(shù)據(jù)集[1, 28]上停止邊緣檢測的比擬。(c) COCO數(shù)據(jù)集[25]上對象提議的Box AR@1000評價中FastSAM和SAM的比擬。SAM和FastSAM都運用PyTorch停止推理，只要FastSAM(TRT)運用TensorRT停止推理。

本文提出的FastSAM基于YOLACT辦法的實例分割分支的目的檢測器YOLOv8-seg。此外，還采用了由SAM發(fā)布的普遍SA-1B數(shù)據(jù)集，經(jīng)過僅在SA-1B數(shù)據(jù)集的2%（1/50）上直接鍛煉該CNN檢測器，它完成了與SAM相當?shù)男阅?，但大大降低了計算和資源需求，從而完成了實時應用。本文還將其應用于多個下游分割任務，展現(xiàn)了其泛化性能。在MS COCO 上的對象提議任務中，該辦法在AR1000上到達了63.7，比運用32×32點提示輸入的SAM高1.2點，但在單個NVIDIA RTX 3090上運轉速度進步了50倍。

實時的segment anything模型關于工業(yè)應用十分有價值。它能夠應用于許多場景。所提出的辦法不只為大量視覺任務提供了新的適用處理計劃，而且速度十分快，比當前辦法快幾十倍或幾百倍。此外，它還為通用視覺任務的大型模型架構提供了新的視角。關于特定任務來說，特定的模型依然能夠應用優(yōu)勢來取得更好的效率-精確性均衡。

在模型緊縮的角度上，本文辦法經(jīng)過引入人工先驗構造，展現(xiàn)了顯著減少計算量的可行途徑。本文奉獻可總結如下：

• 引入了一種新穎的實時基于CNN的Segment Anything任務處理計劃，顯著降低了計算需求同時堅持競爭性能。

• 本研討初次提出了將CNN檢測器應用于segment anything任務，并提供了在復雜視覺任務中輕量級CNN模型潛力的見解。

• 經(jīng)過在多個基準測試上對所提出的辦法和SAM停止比擬評價，提醒了該辦法在segment anything范疇的優(yōu)勢和優(yōu)勢。

辦法

下圖2展現(xiàn)了FastSAM網(wǎng)絡架構圖。該辦法包括兩個階段，即全實例分割和提示引導選擇。前一個階段是根底階段，第二個階段實質上是面向任務的后處置。與端到端的Transformer辦法不同，整體辦法引入了許多與視覺分割任務相匹配的人類先驗學問，例如卷積的部分銜接和感受野相關的對象分配戰(zhàn)略。這使得它針對視覺分割任務停止了定制，并且能夠在較少的參數(shù)數(shù)量下更快地收斂。

FastSAM包含兩個階段：全實例分割（AIS）和提示引導選擇（PGS）。先運用YOLOv8-seg 對圖像中的一切對象或區(qū)域停止分割。然后運用各種提示來辨認感興味的特定對象。主要觸及點提示、框提示和文本提示的應用。

實例分割

YOLOv8 的架構是基于其前身YOLOv5 開展而來的，交融了最近算法（如YOLOX 、YOLOv6 和YOLOv7 ）的關鍵設計。YOLOv8的主干網(wǎng)絡和特征交融模塊（neck module）將YOLOv5的C3模塊交換為C2f模塊。更新后的頭部模塊采用解耦構造，將分類和檢測分開，并從基于Anchor的辦法轉向了基于Anchor-Free的辦法。

YOLOv8-seg應用了YOLACT的實例分割原理。它經(jīng)過主干網(wǎng)絡和特征金字塔網(wǎng)絡（Feature Pyramid Network, FPN）從圖像中提取特征，集成了不同尺度的特征。輸出包括檢測分支和分割分支。檢測分支輸出目的的類別和邊境框，而分割分支輸出k個原型（在FastSAM中默許為32個）以及k個掩碼系數(shù)。分割和檢測任務并行計算。分割分支輸入高分辨率特征圖，保存空間細節(jié)，并包含語義信息。該特征圖經(jīng)過卷積層處置，上采樣，然后經(jīng)過另外兩個卷積層輸出掩碼。與檢測頭部的分類分支相似，掩碼系數(shù)的范圍在-1到1之間。經(jīng)過將掩碼系數(shù)與原型相乘并求和，得到實例分割結果。

YOLOv8能夠用于各種目的檢測任務。而經(jīng)過實例分割分支，YOLOv8-Seg十分適用于segment anything任務，該任務旨在精確檢測和分割圖像中的每個對象或區(qū)域，而不思索對象的類別。原型和掩碼系數(shù)為提示引導提供了很多可擴展性。例如，能夠額外鍛煉一個簡單的提示編碼器和解碼器構造，以各種提示和圖像特征嵌入作為輸入，掩碼系數(shù)作為輸出。在FastSAM中，本文直接運用YOLOv8-seg辦法停止全實例分割階段。

提示引導選擇

在運用YOLOv8勝利地對圖像中的一切對象或區(qū)域停止分割后，segment anything 任務的第二階段是應用各種提示來辨認感興味的特定對象。這主要觸及到點提示、框提示和文本提示的應用。

點提示

點提示的目的是將所選點與第一階段取得的各種掩碼停止匹配，以肯定點所在的掩碼。相似于SAM在辦法中采用前景/背景點作為提示。在前景點位于多個掩碼中的狀況下，能夠應用背景點來挑選出與當前任務無關的掩碼。經(jīng)過運用一組前景/背景點，我們可以選擇感興味區(qū)域內的多個掩碼。這些掩碼將被兼并為一個單獨的掩碼，完好標志出感興味的對象。此外，還能夠應用形態(tài)學操作來進步掩碼兼并的性能。

框提示

框提示觸及將所選框與第一階段中對應的邊境框停止IoU（交并比）匹配。目的是辨認與所選框具有最高IoU得分的掩碼，從而選擇感興味的對象。

文本提示

在文本提示的狀況下，我們運用CLIP模型提取文本的相應嵌入。然后，肯定與每個掩碼的固有特征停止匹配的圖像嵌入，并運用類似度度量辦法停止匹配。選擇與文本提示的圖像嵌入具有最高類似度得分的掩碼。

經(jīng)過精心施行這些基于提示的選擇技術，F(xiàn)astSAM能夠牢靠地從分割圖像當選擇特定的感興味對象。上述辦法為在實時狀況下完成segment anything任務提供了高效的方式，從而極大地加強了YOLOv8模型在復雜圖像分割任務中的適用性。關于更有效的基于提示的選擇技術，將留待將來探究。