SurgicalSAM: 高效的分類提示手術(shù)器械分割

SurgicalSAM: 一種新穎的 SAM 端到端高效微調(diào)方法，可以有效地將手術(shù)特定信息與 SAM 預(yù)訓(xùn)練知識(shí)相結(jié)合，從而提高泛化能力，實(shí)現(xiàn)了最先進(jìn)的性能，同時(shí)只需要少量的可調(diào)參數(shù)

Segment Anything Model (SAM) 是一個(gè)強(qiáng)大的基礎(chǔ)模型，徹底改變了圖像分割。 將 SAM 應(yīng)用于手術(shù)器械分割，常見的方法是定位精確的器械點(diǎn)或框然后以零樣本的方式將其用作 SAM 的提示。然而，我們觀察到這個(gè)簡(jiǎn)單的流程存在兩個(gè)問題: (1) 自然物體和手術(shù)器械之間的域差距導(dǎo)致 SAM 的泛化能力較差; (2)SAM 依靠精確的點(diǎn)或框位置來進(jìn)行精確分割，需要大量的手動(dòng)指導(dǎo)或性能良好的專業(yè)檢測(cè)器來進(jìn)行及時(shí)準(zhǔn)備，這導(dǎo)致了復(fù)雜的多階段pipeline。為了解決這些問題，本文引入了 SurgicalSAM，這是一種新穎的SAM 端到端高效微調(diào)方法，可以有效地將手術(shù)特定信息與 SAM 的預(yù)訓(xùn)練知識(shí)相結(jié)合，從而提高泛化能力。 具體來說，我們提出了一種用于調(diào)整的輕量級(jí)基于原型的類提示編碼器，它直接從類原型生成提示嵌入，并消除了顯式提示的使用，以提高魯棒性和簡(jiǎn)化pipeline。 此外，為了解決手術(shù)器械類別之間的低類間差異，我們提出了對(duì)比原型學(xué)習(xí)，進(jìn)一步增強(qiáng)了類原型的辨別力，以實(shí)現(xiàn)更準(zhǔn)確的類提示。對(duì) EndoVis2018 和 EndoVis2017 數(shù)據(jù)集進(jìn)行的大量實(shí)驗(yàn)結(jié)果表明，SurgicalSAM 實(shí)現(xiàn)了最先進(jìn)的性能，同時(shí)只需要少量的可調(diào)參數(shù)。

代碼：https://github.com/wenxi-yue/SurgicalSAM

論文：https://arxiv.org/abs/2308.08746

AIGC生成技術(shù)交流：本星球主要分享AIGC最新技術(shù)，包括數(shù)字人實(shí)戰(zhàn)技術(shù)、AI作畫技術(shù)、聲音克隆技術(shù)、大語言模型技術(shù)、三維重建技術(shù)等。我們還提供校招信息、面試題等內(nèi)容，幫助各個(gè)層次的人實(shí)現(xiàn)自己的理想。不論是校招還是社招，還是你想快速融入AIGC創(chuàng)業(yè)潮流，迅速掌握AIGC論文方法的更新迭代，這個(gè)星球都適合你。??