Cutie:視頻摳圖蒙版一鍵安裝中文整合包

Cutie用于自動識別和追蹤視頻里的特定物體，比如一個人或一輛車。假設(shè)你有一段視頻，里面有很多人和物體在移動，Cutie可以自動找出其中一個特定的人并一直追蹤他。

它還能夠非常精確地把目標(biāo)物體從其他背景物體中分離出來，使用效果如下：https://xueshu.fun/3240/

主要特點：

1、自動識別和追蹤特定物體：在視頻中自動找出并跟蹤你指定的物體，比如一個人、一輛車或任何其他物體。

2、高級對象理解：不僅僅是看每個小點（像素），而是能“記住”并理解整個物體的大概樣子和特性。

3、精確分割：能夠非常精確地把目標(biāo)物體從其他背景物體中分離出來。

4、適應(yīng)復(fù)雜場景：即使在有很多物體和復(fù)雜背景的視頻中，也能準(zhǔn)確地進行對象分割。

5、高效運行：雖然功能強大，但運行速度也相當(dāng)快，適用于需要實時處理的應(yīng)用場景。

這些功能使得 Cutie 非常適用于各種需要對象識別和追蹤的場合，包括但不限于自動駕駛、視頻編輯、安全監(jiān)控等。

學(xué)術(shù)Fun將上述工具制作成一鍵啟動包，點擊即可使用，避免大家配置Python環(huán)境出現(xiàn)各種問題，下載地址：?https://xueshu.fun/3240/，在此頁面右側(cè)區(qū)域點擊下載！

注意電腦配置如下：

• windows 10/11

• 8G顯存以上英偉達顯卡

下載使用教程

• 下載壓縮包 下載地址：?https://xueshu.fun/3240/，在此頁面右側(cè)區(qū)域點擊下載！

• 解壓，最好不要有中文路徑，解壓后，如下圖所示，雙擊啟動.exe文件運行

• 點擊瀏覽選擇視頻文件，然后點擊開始程序

• 軟件打開后如下所示

使用教程

1、核心機制：在一個或多個幀上注釋對象并使用自動提取完成視頻。使用永久存儲器存儲準(zhǔn)確的分割（將好的幀提交給它）以獲得最佳結(jié)果。進入內(nèi)存庫的第一幀始終提交到永久存儲器。如果需要，可以重置內(nèi)存。

2、使用左鍵進行前景注釋，右鍵進行背景注釋。

3、使用中鍵切換可視化目標(biāo)（用于分層、彈出和黑白mask導(dǎo)出）。

4、使用數(shù)字鍵或旋鈕更改要操作的對象。如果沒有響應(yīng)，很可能在程序啟動時未指定正確數(shù)量的對象。

5、“導(dǎo)出為視頻”僅匯總保存在磁盤上的可視化效果。需要勾選“保存疊加”才能實現(xiàn)此目的。

6、導(dǎo)出的黑白/軟mask可以在其他應(yīng)用程序中使用，如ProPainter。請注意，修復(fù)更喜歡過分分割而不是不足分割 - 如果需要，請使用較大的膨脹半徑。

7、內(nèi)存可能會因錯誤的分割而受損。請善用“重置內(nèi)存”，不要提交錯誤的分割。

8、“分層”可視化模式在前景和背景之間插入一個RGBA層。使用“導(dǎo)入層”選擇新層。

工作原理總結(jié)

1、初識目標(biāo)：在視頻的第一幀（就是視頻的第一張圖片）里，Cutie 首先找到你想跟蹤的物體，并記住它的位置和形狀。

2、記憶特點：找到物體后，Cutie 不僅記住了物體的大致輪廓，還會存儲物體的詳細像素信息。這就像是給物體拍了一張身份證照。

3、新幀識別：當(dāng)視頻繼續(xù)播放，出現(xiàn)新的畫面（或稱為“幀”）時，Cutie 會用之前記住的“粗略特征”來快速找到物體。

4、精確定位：找到大致位置后，Cutie 再用之前存儲的“詳細信息”來精確確認(rèn)物體的位置和形狀。

5、快速準(zhǔn)確：因為Cutie 同時使用了粗略特征和詳細信息，所以它能在視頻中非常快速而準(zhǔn)確地找到并跟蹤物體。

這樣，無論視頻里的物體如何移動或變化，Cutie 都能準(zhǔn)確地“鎖定”它。這在很多場合都非常有用，比如在安全監(jiān)控、自動駕駛車輛或者醫(yī)學(xué)研究中。

主要技術(shù)手段

Cutie主要特點是具有對象級別的內(nèi)存讀取能力。與傳統(tǒng)的像素級內(nèi)存讀取方法不同，Cutie 采用了一種自上而下的對象級內(nèi)存讀取方式，這有助于提高在復(fù)雜數(shù)據(jù)集上的性能。

1、對象變換器（Object Transformer） Cutie 的核心組件是一個對象變換器，它使用一組端到端訓(xùn)練的對象查詢來與底層像素特征進行交互。這些對象查詢作為目標(biāo)對象的高級摘要，而高分辨率的特征圖則用于精確的分割。

2、前景-背景掩碼注意力（Foreground-Background Masked Attention） Cutie 還引入了一種前景-背景掩碼注意力機制。這允許一部分對象查詢僅關(guān)注前景，而其余的僅關(guān)注背景。這樣做可以更清晰地分離前景對象和背景的語義。

3、對象內(nèi)存（Object Memory） 除了像素內(nèi)存外，Cutie 還引入了一個緊湊的對象內(nèi)存，用于總結(jié)目標(biāo)對象的特征。這增強了端到端對象查詢與目標(biāo)特定特征的交互，從而實現(xiàn)了目標(biāo)對象的有效長期表示。

在實際評估中，使用 MOSE 標(biāo)準(zhǔn)測試時，Cutie 的表現(xiàn)比 XMem 方法高出 8.7 分。此外，與DeAOT方法相比，Cutie獲得了4.2分的高分，其處理速度比DeAOT快三倍。