繼火爆出圈的Grounded SAM之后，IDEA研究院團隊攜重磅新作歸來：視覺提示（Visual Prompt）模型T-Rex，以圖識圖，開箱即用，開啟開集檢測新天地！

“拉框、檢測、完成！”
在剛剛結(jié)束的2023 IDEA大會上，IDEA研究院創(chuàng)院理事長、美國國家工程院外籍院士沈向洋展示了基于視覺提示的目標檢測新體驗，并發(fā)布了全新視覺提示模型T-Rex的模型實驗室（playground）, Interactive Visual Prompt（iVP），掀起現(xiàn)場一波試玩小高潮。（前往 https://deepdataspace.com/playground/ivp 親自試玩）

在iVP上，用戶可以親自解鎖“一圖勝千言”的 Prompting：在圖片上標記感興趣的對象，向模型提供視覺示例，模型隨即檢測出目標圖片中與之相似的所有實例。整套流程交互便捷，只需幾步操作就可輕松完成。

IDEA研究院4月份發(fā)布的Grounded SAM (Grounding DINO + SAM) 曾在Github上火爆出圈，至今已狂攬11K星。有別于只支持文字提示的Grounded SAM，此次發(fā)布的T-Rex模型提供著重打造強交互的視覺提示功能。

?T-Rex具備極強的開箱即用特性，無需重新訓(xùn)練或微調(diào)，即可檢測模型在訓(xùn)練階段從未見過的物體。該模型不僅可應(yīng)用于包括計數(shù)在內(nèi)的所有檢測類任務(wù)，還為智能交互標注領(lǐng)域提供新的解決方案。

團隊透露，研發(fā)視覺提示技術(shù)是源自對真實場景中痛點的觀察。有合作方希望利用視覺模型對卡車上的貨物數(shù)量進行統(tǒng)計。然而，僅通過文字提示，模型無法單獨識別出每一個貨物。其原因是工業(yè)場景中的物體在日常生活中較為罕見，難以用語言描述。在此情況下，視覺提示顯然是更高效的方法。與此同時，直觀的視覺反饋與強交互性，也有助于提升檢測的效率與精準度。?

基于對實際使用需求的洞察，團隊將T-Rex設(shè)計成可以接受多個視覺提示的模型，且具備跨圖提示能力。除了最基本的單輪提示模式，目前還支持以下三種進階模式。

·?多輪正例模式：適用于視覺提示不夠精準造成漏檢的場景

·?正例+負例模式：?適用于視覺提示帶有二義性造成誤檢的場景

·?跨圖模式：適用于通過單張參考圖提示檢測他圖的場景

在同期發(fā)布的技術(shù)報告中，團隊總結(jié)了T-Rex模型的四大特性：

開放集：不受預(yù)定義類別限制，具有檢測一切物體的能力

視覺提示：利用視覺示例指定檢測目標，克服罕見、復(fù)雜物體難以用文字充分表達的問題，提高提示效率

直觀的視覺反饋：提供邊界框等直觀視覺反饋，幫助用戶高效評估檢測結(jié)果

交互性：用戶可通過便捷交互，積極參與檢測過程，對模型結(jié)果進行糾錯

研究團隊指出，在目標檢測場景中，視覺提示的加入能夠補足文本提示的部分缺陷。未來，兩者的結(jié)合將進一步釋放CV技術(shù)在更多垂直領(lǐng)域的落地潛能。

iVP 模型實驗室：https://deepdataspace.com/playground/ivp（可點擊閱讀原文跳轉(zhuǎn)）

報告鏈接：?https://arxiv.org/abs/2311.13596?

Github鏈接：trex-counting.github.io

本項工作來自IDEA研究院計算機視覺與機器人研究中心（CVR）。該團隊此前開源的目標檢測模型DINO是首個在COCO目標檢測上取得榜單第一的DETR類模型。在Github上大火的零樣本檢測器Grounding DINO與能夠檢測、分割一切的Grounded SAM，同樣為該團隊作品。

T-Rex，來自于“Tyrannosaurus Rex”的縮寫，中文名為霸王龍，也是CVR團隊DINO恐龍系列工作的延伸。一個關(guān)于霸王龍的冷知識：經(jīng)過科學(xué)家的研究，霸王龍是各種恐龍中視力最好的，是人的視力的13倍，甚至比鷹的視力還好（鷹的視力只是人的3.6倍）。

T-Rex模型的Logo是一只剛破殼而出的可愛小霸王龍，寓意著T-Rex模型剛剛誕生，但有著巨大的發(fā)展?jié)摿?，有朝一日將進化得更加強大。