QUILT-1M：迄今為止最大的組織病理學(xué)數(shù)據(jù)集，由一百萬個圖像和文本對組成，在其上進行預(yù)訓(xùn)練是非常有價值的，在各種子病理類型和任務(wù)（包括零樣本、小樣本、跨模態(tài)檢索等）上建立了新的最先進技術(shù)！代碼和數(shù)據(jù)集已開源！單位：華盛頓大學(xué) 最近，由于在線提供了大量的圖像和文本數(shù)據(jù)，多模態(tài)應(yīng)用的加速成為可能。 然而，醫(yī)學(xué)領(lǐng)域，特別是組織病理學(xué)領(lǐng)域類似數(shù)據(jù)的缺乏，阻礙了類似的進展。 為了對組織病理學(xué)進行類似的表示學(xué)習(xí)，我們求助于 YouTube，這是一種尚未開發(fā)的視頻資源，提供了 1,087 小時來自專家臨床醫(yī)生的寶貴教育組織病理學(xué)視頻。 我們在 YouTube 上策劃了 Quilt：一個由 768,826 個圖像和文本對組成的大規(guī)模視覺語言數(shù)據(jù)集。 Quilt 是使用多種模型自動策劃的，包括大型語言模型、手工算法、人類知識數(shù)據(jù)庫和自動語音識別。 相比之下，最全面的組織病理學(xué)數(shù)據(jù)集僅收集了大約 20 萬個樣本。 我們將 Quilt 與來自其他來源（包括 Twitter、研究論文和互聯(lián)網(wǎng)）的數(shù)據(jù)集相結(jié)合，以創(chuàng)建一個更大的數(shù)據(jù)集：Quilt-1M，具有 1M 對圖像文本樣本，將其標(biāo)記為最大的視覺語言組織病理學(xué)數(shù)據(jù)集 迄今為止。 我們通過微調(diào)預(yù)訓(xùn)練的 CLIP 模型來展示 Quilt-1M 的價值。 我們的模型在零樣本和線性探測任務(wù)上優(yōu)于最先進的模型，用于在 8 種不同的子病理和跨模態(tài)檢索任務(wù)的 13 個不同的patch級數(shù)據(jù)集中對新的組織病理學(xué)圖像進行分類。 數(shù)據(jù)集和代碼：https://github.com/wisdomikezogwo/quilt1m 論文下載鏈接：https://arxiv.org/abs/2306.11207

更多論文創(chuàng)新點加微信群：Lh1141755859 公眾號：CV算法小屋