因子協(xié)方差矩陣（factor covariance matrix）在計算風險的時候很重要。如果一個模型有個因子，那么協(xié)方差矩陣的大小就是。對角線元素是每個因子的方差，非對角線元素是協(xié)方差，這些協(xié)方差有可能不為零。

協(xié)方差矩陣是對稱的。

協(xié)方差矩陣是正定的。正定的意思是，對于協(xié)方差矩陣,存在矩陣,使得。

現(xiàn)在考慮一個情況，我們需要估計兩個股票A和B回報的協(xié)方差。用和分別表示兩個股票的因子暴露系數(shù)(factor exposure)向量。那么它們的協(xié)方差表示為：

如果有5000個股票，那么協(xié)方差矩陣就是一個50005000的矩陣了。計算每一個股票的方差以及每一對股票的協(xié)方差計算量會很大。對于所有股票的回報的協(xié)方差矩陣表示為：

X是因子暴露系數(shù)矩陣，V是因子協(xié)方差矩陣。

協(xié)方差矩陣也是從歷史數(shù)據(jù)中計算出來的，所以存在一些問題，比如過擬合。還有一個問題，對于計算的方差假定它們是符合高斯分布的，而這個假設可能不符合現(xiàn)實中金融時間序列的回報的方差肥尾現(xiàn)象的廣泛存在。（肥尾指這樣一類事件：它們在突然變本加厲襲來之前看似發(fā)生幾率極低、通常不被人們重視）。

看一個計算兩個股票回報的協(xié)方差的例子：