1. 理解降維問(wèn)題

每天、每時(shí)、每刻，在人類生活的各個(gè)領(lǐng)域都會(huì)提供大量信息。 隨著當(dāng)今世界信息技術(shù)的不斷普及，人們?cè)噲D保存和處理盡可能多的信息。 然而，對(duì)大量信息進(jìn)行整理需要海量數(shù)據(jù)存儲(chǔ)。 甚至，需要大量的計(jì)算資源來(lái)處理這些信息。 解決這個(gè)問(wèn)題的可能方案之一是以更簡(jiǎn)潔的形式記錄所提供的信息。 更有甚者，如果壓縮表單保留了完整的數(shù)據(jù)上下文，則處理其的所需資源會(huì)更少。

例如，當(dāng)我們處理 200*200 像素圖像的形態(tài)識(shí)別時(shí)，每個(gè)像素都以顏色格式寫入，占用 4 個(gè)字節(jié)內(nèi)存。 每個(gè)像素均可用 1650 萬(wàn)種顏色之一來(lái)表示，這種能力對(duì)于這個(gè)問(wèn)題來(lái)說(shuō)有點(diǎn)過(guò)分。 在大多數(shù)情況下，如果我們把顏色層次降低到 16 或 32 色，模型性能不會(huì)受到影響。 在這種情況下，我們僅用 1 個(gè)字節(jié)來(lái)寫入每個(gè)像素的顏色碼。 當(dāng)然，我們編寫顏色矩陣會(huì)需要一次性開(kāi)銷，64 字節(jié)供 16 種顏色，而 128 字節(jié)供 32 種顏色。 將我們所有圖像的大小縮小 4 倍，所要付出的代價(jià)并不太大。 實(shí)際上，這樣的問(wèn)題可用我們已知的數(shù)據(jù)聚類方法來(lái)解決。 不過(guò)，這也許并非最有效的方式。

降維技術(shù)的另一個(gè)應(yīng)用領(lǐng)域是數(shù)據(jù)可視化。 例如，您有描述某些系統(tǒng)狀態(tài)的數(shù)據(jù)，由 10 個(gè)參數(shù)表示。 您需要找到一種方式來(lái)把這些數(shù)據(jù)可視化。 2D 和 3D 圖像對(duì)于人類感知是最優(yōu)選。 那好，您可以創(chuàng)建若干個(gè)含有 2-3 個(gè)參數(shù)不同變化的截面。 但這不能提供系統(tǒng)狀態(tài)的完整畫面。 在大多數(shù)情況下，不同截面中的不同狀態(tài)將融合到一個(gè)點(diǎn)。 但這些也許就是不同的狀態(tài)。

因此，我們需要找到這樣一種算法，幫助我們將所有系統(tǒng)狀態(tài)從 10 個(gè)參數(shù)轉(zhuǎn)換為二維或三維空間。 此外，算法應(yīng)在劃分系統(tǒng)狀態(tài)的同時(shí)，保持系統(tǒng)狀態(tài)的相對(duì)位置。 當(dāng)然，它丟失的信息應(yīng)該盡可能地少。

您也許會(huì)想：“這一切都很有趣，但交易的實(shí)際作用是什么？”，我們從終端中看看。 它提供了多少種指標(biāo)？ 好吧，其中許多可能都具有一定的數(shù)據(jù)相關(guān)性。 但它們當(dāng)中的每一個(gè)都提供了至少一個(gè)從不同角度描述市場(chǎng)狀況的參考值。 并且，如果我們將其乘以正在交易的金融產(chǎn)品數(shù)量會(huì)怎樣？ 甚至，指標(biāo)和所分析時(shí)間幀的不同變化可以無(wú)限提升描述當(dāng)前市場(chǎng)狀態(tài)的參數(shù)量級(jí)。

當(dāng)然，我們不會(huì)糾纏于把所有金融產(chǎn)品和所有可能的指標(biāo)套用一個(gè)模型。 但無(wú)論如何，在搜索最合適的組合時(shí)，我們可以用到其中的許多組合。 這將令模型復(fù)雜化，并增加其訓(xùn)練時(shí)間。 因此，在維持最大信息的同時(shí)，降低初始數(shù)據(jù)的維度，我們既降低了模型訓(xùn)練成本，又縮減了制定決策的時(shí)間。 因此，對(duì)市場(chǎng)行為的反應(yīng)可如閃電般的迅捷。 因此，交易將以最佳價(jià)格執(zhí)行。

請(qǐng)注意，降維算法始終僅用于數(shù)據(jù)預(yù)處理。 這是因?yàn)樗鼈冎环祷卦磾?shù)據(jù)的壓縮形式。 隨后數(shù)據(jù)被保存，或用于進(jìn)一步處理。 這可以包括數(shù)據(jù)可視化，或由某些其它模型進(jìn)行處理。

因此，為了構(gòu)建一個(gè)交易系統(tǒng)，我們可用最小所需信息來(lái)描述當(dāng)前市場(chǎng)狀態(tài)，并采用一種降維算法對(duì)其進(jìn)行壓縮。 我們所應(yīng)期望的是，減少處理流程，如此來(lái)消除一些噪聲和相關(guān)數(shù)據(jù)。 然后，我們把降低的數(shù)據(jù)輸入到我們的交易決策模型當(dāng)中。

我希望這個(gè)思路是清晰的。 為了實(shí)現(xiàn)降維算法，我建議采用最流行之一的主成分分析法。 該算法已在解決各種問(wèn)題方面證明了自己，并且可以在新數(shù)據(jù)上復(fù)現(xiàn)。 這能夠減少傳入數(shù)據(jù)，并將其傳輸?shù)經(jīng)Q策模型當(dāng)中，從而生成實(shí)時(shí)交易決策。