Taken by Surprise: Contrast effect for Similarity Scores
論文簡要 :
本研究提出了一種新的相似度度量方法，稱為“surprise score”，該方法考慮了人類感知中的對比效應，通過對零樣本和少樣本文檔分類任務的評估，發(fā)現相比于原始的余弦相似度，該方法在分類性能上有10-15%的提升。
背景信息:
論文背景: 在自然語言處理、信息檢索和分類任務中，準確評估對象向量嵌入的相似度非常重要。
過去方案: 傳統的相似度度量方法（如余弦相似度）基于嵌入向量對，忽略了對象抽樣分布的影響。而人類對對象相似度的感知很大程度上取決于對象出現的上下文。
論文的Motivation: 本研究旨在解決傳統相似度度量方法無法考慮上下文影響的問題，通過引入“surprise score”這一新的相似度度量方法，可以更好地模擬人類感知中的對比效應，從而提高零樣本和少樣本文檔分類任務的性能。
方法:
a. 理論背景:
本文討論了在自然語言處理任務中準確評估對象向量嵌入的相似性的重要性。它提到，流行的相似性評分（如余弦相似度）沒有考慮到從中抽取對象的集合的分布。人類對對象相似性的感知受到對象出現的上下文的影響。本文提出了一種新的相似度度量方法，稱為“驚喜分數”，它捕捉到人類感知的對比效應，并提高了分類性能。驚喜分數量化了在對成對的集合相似性進行比較時，發(fā)現給定相似性在兩個元素之間的驚喜程度。作者在零/少樣本分類和聚類任務上評估了這個度量方法，并發(fā)現與原始余弦相似度相比，性能更好。
b. 技術路線:
本文討論了在文本分類任務中使用驚喜分數的方法。驚喜分數基于用于估計文檔集合中相似性分布的統計模型。作者提出了一種重新縮放的相似性分數，它在純相似性分數和驚喜分數之間進行插值。他們還建議使用基于集合大小的插值函數來確定是使用純相似性還是驚喜分數進行排名。驚喜分數與純余弦相似度分數和SetFit模型在使用不同數據集和嵌入模型的分類實驗中進行了比較。還描述了少樣本分類的訓練過程，其中涉及形成鍵和查詢對，并為正負對分配權重。
驚訝分數是基于一種簡單的相似度度量（例如余弦相似度）和一個集合（例如訓練數據）來計算的，它表示給定的兩個對象之間的相似度比隨機從集合中選擇的一個對象和查詢對象之間的相似度更高的概率。
驚訝分數可以模擬心理學中的對比效應（contrast effect），即人們會根據周圍的對象來調整對目標對象的評價，而不僅僅是根據目標對象本身的特征。
結果:
a. 詳細的實驗設置:
本文在表3中報告了不同數據集的F1分數。這些分數在不同數據集之間有所變化，在大多數情況下，驚喜分數取得了最高分。在某些情況下，驚喜分數在某些情況下比余弦相似度得分高出很多。
b. 詳細的實驗結果:
本文引入了一種稱為驚喜分數的新的相似度評分方法，它考慮了對象出現的上下文。該分數旨在通過模擬心理學中的對比效應準確表示主觀人類相似性的概念。驚喜分數基于純相似度分數進行計算，并測量了鍵和查詢之間的相似性高于查詢和從上下文中隨機選擇的元素之間相似性的概率。作者使用驚喜分數進行了各種實驗，并將其性能與純余弦相似度進行了比較。他們還將驚喜分數與SetFit模型在零樣本和少樣本文本分類任務中進行了比較。結果一致表明，驚喜分數在某些文本分類任務中優(yōu)于其他方法。少樣本實驗使用的訓練過程也是新穎的。
