文檔

由于文章涉及到了很多公式，排版不太方便，可以通過gitee上的鏈接下載pdf和md版本的文檔進(jìn)行查看。

https://gitee.com/youryouth/mc/tree/63c879c1b2aa0e942e3c00820744e79553c6e501/pmf

矩陣分解的困難

1. 由于系統(tǒng)噪音的存在，不可能做出完美的分解

2. 評(píng)分矩陣R中包含很多未知元素（稀疏矩陣）

3. 傳統(tǒng)的協(xié)同過濾方法既不能處理大數(shù)據(jù)量的推薦，也不能處理只有很少評(píng)分的用戶。這篇論文提出了著名的概率矩陣分解的方法來解決這個(gè)問題。概率矩陣分解的思想是以中線性因子模型，它使用與用戶相關(guān)的系數(shù)，將用戶的偏好建模成一個(gè)一系列向量的線性組合。

貝葉斯觀點(diǎn)

1. 評(píng)分矩陣R是系統(tǒng)觀測(cè)值

2. 用戶和項(xiàng)目隱特征矩陣U和V可看作系統(tǒng)內(nèi)部特征，是需要估計(jì)的參數(shù)

p(X)是一個(gè)常數(shù)。

PMF

U是一個(gè)N×D矩陣，其中N是用戶數(shù)，D是rank的維度。V是D×M矩陣，其中M是要的項(xiàng)目數(shù)。因此，N×M的評(píng)級(jí)矩陣R可以通過以下方式近似補(bǔ)全

我們的目標(biāo)是找到合適的U和V。因?yàn)?/span>U和V是原始矩陣的低秩矩陣，所以PMF也被稱為低秩矩陣分解問題。此外，U和V矩陣的這一特殊特征使得PMF甚至對(duì)于包含數(shù)百萬條記錄的數(shù)據(jù)集也可擴(kuò)展。

PMF從貝葉斯學(xué)習(xí)中得出的直覺用于參數(shù)估計(jì)。一般而言，我們是想借助貝葉斯規(guī)則來找到模型參數(shù)的后驗(yàn)分布，假設(shè)有如下參數(shù)。

在這里，X是我們的數(shù)據(jù)集，等于原始的評(píng)分矩陣R，θ是分布的參數(shù)或參數(shù)集，是優(yōu)化求解的目標(biāo)U和V，α是分布的超參數(shù)，σ是零均值球形高斯分布的標(biāo)準(zhǔn)偏差。

訓(xùn)練過程的整體思路是，隨著我們獲得有關(guān)數(shù)據(jù)分布的更多信息，我們將調(diào)整模型參數(shù)θ以適合數(shù)據(jù)。從技術(shù)上講，后驗(yàn)分布的參數(shù)將插入到先前的分布中，以進(jìn)行訓(xùn)練過程的下一次迭代。也就是說，給定訓(xùn)練步驟的后驗(yàn)分布最終將成為下一步驟的先驗(yàn)。重復(fù)該過程，直到步驟之間的后驗(yàn)分布幾乎沒有變化為止。

在這里，是后驗(yàn)分布，和是先驗(yàn)分布，是似然分布。

如前所述，我們的模型參數(shù)是U和V，R或者X是我們的數(shù)據(jù)集。經(jīng)過訓(xùn)練后，我們將得到一個(gè)補(bǔ)全后的R矩陣，該矩陣還將包含對(duì)原始矩陣空缺的評(píng)分。等等

結(jié)論

本文給出了概率矩陣分解(PMF)及其兩個(gè)導(dǎo)數(shù)：先驗(yàn)可學(xué)習(xí)的PMF和約束PMF。 我們還證明了這些模型可以有效地訓(xùn)練，并成功地應(yīng)用于包含超過1億個(gè)電影評(píng)分的大型數(shù)據(jù)集。

但初步結(jié)果強(qiáng)烈表明，對(duì)所提出的PMF模型進(jìn)行全面的貝葉斯處理將導(dǎo)致預(yù)測(cè)精度的顯著提高。

參考

1. https://www.bilibili.com/video/BV1Ti4y1S7Vh?p=11&;vd_source=2168ec090b7e16082ad7fc7264c30fe5

2. https://www.cnblogs.com/Matrix420/p/5140820.html

3. https://datalearner.com/blog/1051507818535686

4. https://zhuanlan.zhihu.com/p/34422451