訪問【W(wǎng)RITE-BUG數(shù)字空間】_[內(nèi)附完整源碼和文檔]

本次實驗實現(xiàn)了基于用戶和基于項的協(xié)同濾波算法，并在 Movielens 兩個較小的數(shù)據(jù)集上進行了測試，測試采用 RMSE 進行評估

一、問題簡述

1.1 推薦系統(tǒng)問題

推薦系統(tǒng)問題旨在用戶推薦相關項，項可以是用戶未觀看過的電影、書籍，未訪問過的網(wǎng)站，可以是任何可以購買的產(chǎn)品，實現(xiàn)一種個性化的推薦。

推薦系統(tǒng)可以總結為以下模型： $$ \text{Utility Function: } u: X \times S \to R $$ 其中，$X$ 是用戶的集合，$S$ 是項的集合，$R$ 是用戶對項評分的集合，并且是關于項的有序集。

推薦系統(tǒng)問題主要的問題為：如何為矩陣收集已知的評級，如何從已知的評級中推斷未知的評級，如何評估推斷的好壞。收集評分可以通過顯式收集用戶的評分，也可以通過學習用戶的行為預測評分；推斷未知評分可以使用基于內(nèi)容、協(xié)同相關、基于隱因子（矩陣分解）、基于深度模型的模型甚至混合模型等；評估推斷的好壞時可以選擇在評分表中劃分一塊區(qū)域用于測試，計算平方根誤差（RMSE），Top K 的精確度等。

1.2 協(xié)同濾波算法

• 基于用戶的協(xié)同濾波算法
  

• 第一步：讀取用戶-項的評分矩陣 $R$。

• 第二步：跟據(jù)評分矩陣計算用戶相似度矩陣 $S_U$，在計算相似度時我們選擇皮爾森相關系數(shù)。我們可以將計算出的評分矩陣保存在文件中，以免下次重復計算。

• 第三步：假定我們要預測用戶 $u$ 給項 $i$ 的評分。首先找到于目標用戶最相似的 K 個用戶 $U_{sim}$，并且這些用戶對項 $i$ 有評分記錄，根據(jù)以下公式計算預測評分： $$ r_{u,i} = \frac{\sum_{v \in U_{sim}} s_{u,v}r_{v,i}}{\sum_{v \in U_{sim}} s_{u,v}} $$ 其中，$r_{u,i}$ 指用戶 $u$ 對項 $i$ 的預測評分，$s_{u,v}$ 指用戶 $u$ 和用戶 $v$ 的相似度。

• 基于項的協(xié)同濾波算法
  

• 第一步：讀取用戶-項的評分矩陣 $R$。

• 第二步：跟據(jù)評分矩陣計算用戶相似度矩陣 $S_I$，在計算相似度時我們選擇皮爾森相關系數(shù)。我們可以將計算出的評分矩陣保存在文件中，以免下次重復計算。

• 第三步：假定我們要預測用戶 $u$ 給項 $i$ 的評分。首先找到于目標項最相似的 K 個項 $I_{sim}$，并且用戶 $u$ 對這些項有評分記錄，根據(jù)以下公式計算預測評分： $$ r_{u,i} = \frac{\sum_{j \in I_{sim}} s_{i,j}r_{v,i}}{\sum_{j \in I_{sim}} s_{i,j}} $$ 其中，$r_{u,i}$ 指用戶 $u$ 對項 $i$ 的預測評分，$s_{i,j}$ 指項 $i$ 和項 $j$ 的相似度。

• 協(xié)同濾波算法的評價
  

• 適用場景：
  

• 基于用戶的協(xié)同濾波算法：具備更強的社交特性，適用于用戶少物品多，時效性較強的場景。比如新聞、博客、微內(nèi)容推薦場景。此外基于用戶的協(xié)同濾波算法能夠為用戶發(fā)現(xiàn)新的興趣愛好。

• 基于項的協(xié)同濾波算法：更適用于興趣變化較為穩(wěn)定的應用，更接近于個性化的推薦，適合物品少用戶多，用戶興趣固定持久，物品更新速度不是太快的場合，比如電影推薦。

• 協(xié)同濾波算法的優(yōu)點：適用于任何類型的項，不需要特征選擇

• 協(xié)同濾波算法的缺點：
  

• 冷啟動問題：對于基于用戶的協(xié)同濾波算法，需要積累足夠多的用戶，并且用戶有一定評分時才能找到一個用戶的相似用戶，而基于項的協(xié)同濾波算法沒有此問題。

• 稀疏性問題：項的數(shù)目一般很多，一個用戶對項的評分往往不會很多，評分矩陣是稀疏的，難以找到對相同的項評分過的用戶。

• 新的項、評分較少的項因為評分較少，難以被推薦。