?赫茲量化軟件繼續(xù)研究優(yōu)化模型的非梯度方法。 這些優(yōu)化方法的主要優(yōu)勢是能夠優(yōu)化梯度方法無法應(yīng)對的模型。 這些都是無法判定模型函數(shù)的導(dǎo)數(shù)，或其計(jì)算因某些因素而變得復(fù)雜的任務(wù)。 在上一篇文章中，我們領(lǐng)略了遺傳優(yōu)化算法。 這種算法的思路是從自然科學(xué)中借鑒來的。 每個模型權(quán)重由模型基因組中的一個單獨(dú)基因表示。 優(yōu)化過程評估隨機(jī)初始化的特定模型種群。 種群的“壽命”是有限的。 在世代結(jié)束時，該算法選擇種群的“最佳”代表，它將為下一個世代繁衍“后代”。 為每一個體隨機(jī)選擇一對“親本”（新種群中的模型）。 “親本的基因”也是隨機(jī)遺傳的。

1. 基本算法構(gòu)造原理

如您所見，之前研究的遺傳優(yōu)化算法中存在很多隨機(jī)性。 赫茲量化軟件有目的地從每個種群里選出最佳的代表，而種群的大多數(shù)被淘汰。 故此，在每個世代對整個種群進(jìn)行完全迭代的過程中，我們執(zhí)行了許多“無用”的工作。 此外，模型群體從一個世代發(fā)展到另一個世代，其方向，我們需要在很大程度上取決于機(jī)會因素。 沒有什么能保證朝著目標(biāo)的方向前進(jìn)。

如果我們回到梯度下降方法，那一次我們在每次迭代時都有目的地朝向抗梯度。 以這種方式，我們最大限度地減少了模型誤差。 模型正朝著所需的方向發(fā)展。 當(dāng)然，為了應(yīng)用梯度下降法，我們需要分析判定函數(shù)在每次迭代時的導(dǎo)數(shù)。

如果我們沒有這樣的機(jī)會怎么辦？ 赫茲量化軟件能否以某種方式將這兩種方法結(jié)合起來？

我們首先回顧一下函數(shù)導(dǎo)數(shù)的幾何含義。 函數(shù)的導(dǎo)數(shù)表征函數(shù)值在給定點(diǎn)的變化率。 它被定義為當(dāng)參數(shù)的變化趨于 0 時，函數(shù)值變化與其參數(shù)變化之比的極限。 前提是存在這樣的極限。

這意味著除了解析導(dǎo)數(shù)之外，赫茲量化軟件還可以通過實(shí)驗(yàn)找到它的近似值。 為了通過實(shí)驗(yàn)判定函數(shù)相對于參數(shù) x 的導(dǎo)數(shù)，我們需要在其它條件相等的情況下稍微改變 x 參數(shù)的值，并計(jì)算函數(shù)的值。 函數(shù)值的變化與參數(shù)的變化之比，將為我們提供導(dǎo)數(shù)的近似值。

由于我們的模型是非線性的，為了在實(shí)驗(yàn)上獲得導(dǎo)數(shù)的更好定義，建議針對每個參數(shù)執(zhí)行以下 2 個操作。 在第一種情況下，我們將添加一些值；在第二種情況下，我們將減去相同的值。 兩個運(yùn)算的平均值，相對于給定點(diǎn)的所分析參數(shù)，生成函數(shù)導(dǎo)數(shù)值的更準(zhǔn)確的近似值。

這種方式常用于評估導(dǎo)數(shù)模型輸出的正確性。 進(jìn)化算法也正是利用了這一屬性。 進(jìn)化優(yōu)化策略的主要思路就是利用實(shí)驗(yàn)獲得的梯度來判定模型參數(shù)優(yōu)化的方向。

但采用實(shí)驗(yàn)梯度的主要問題是需要執(zhí)行大量操作。 例如，要判定一個參數(shù)對模型結(jié)果的影響，我們需要針對擁有相同源數(shù)據(jù)的模型進(jìn)行 3 次前饋驗(yàn)算。 相應(yīng)地，所有模型參數(shù)都伴隨著迭代次數(shù)增加 3 倍。

這不太好，故我們需要做點(diǎn)什么。

例如，我們能變化的參數(shù)不只一個，而是兩個。 但在這種情況下，如何判定它們中每一個的影響如何更改所選參數(shù) — 同步與否？ 如果所選參數(shù)對結(jié)果的影響不同，且應(yīng)以不同的強(qiáng)度變化，該怎么辦？

好吧，我們可以說模型內(nèi)部發(fā)生的過程對我們來說并不重要。 我們需要一個滿足我們要求的模型。 它也許不是最優(yōu)的。 無論如何，最優(yōu)化的概念是針對所提出的所有需求的最大可能滿足。

在這種情況下，我們可將模型及其參數(shù)集視為一個整體。 我們可用一些算法，并一次性更改模型的所有參數(shù)。 更改參數(shù)的算法可以是任意的，例如隨機(jī)分布。

我們將以唯一可用的方式評估變化的影響 — 通過在訓(xùn)練樣本上測試模型。 如果新的參數(shù)集提升了之前的結(jié)果，那么我們接受它。 如果結(jié)果變得更糟，則拒絕它，并返回到前一組參數(shù)。 一次又一次地取新參數(shù)重復(fù)循環(huán)。

看起來不像遺傳算法？ 但上面提到的實(shí)驗(yàn)梯度的估算在哪里？

我們來更深入遺傳算法。 赫茲量化軟件將再次使用整個模型種群，并基于某個有限訓(xùn)練集上測試其有效性。 但在這種情況下，我們所用的參數(shù)值都較接近，與遺傳算法相比較，其每個模型都是隨機(jī)創(chuàng)建的一種個體。 實(shí)際上，我們將采用一個模型，并在其參數(shù)中添加一些隨機(jī)噪音。 使用隨機(jī)噪音將產(chǎn)生一個沒有單一雷同模型的種群。 少量的噪音將令我們能夠以很小的偏差獲得同一子空間中所有模型的結(jié)果。 這意味著模型的結(jié)果將是可比較的。

其中 w' 是種群里的模型參數(shù) w 是源模型參數(shù) ? 是一個隨機(jī)噪音。

為了估算來自種群中每個模型的效率，我們可用損失函數(shù)或獎勵系統(tǒng)。 選擇在很大程度上取決于您要解決的問題。 此外，我們還考慮到優(yōu)化政策。 我們最小化損失函數(shù)，并最大化總獎勵。 在本文的實(shí)施部分，我們將最大化總獎勵，類似于我們在解決強(qiáng)化學(xué)習(xí)問題時實(shí)現(xiàn)的過程。

基于訓(xùn)練樣本測試新種群的性能之后，我們需要判定如何優(yōu)化原始模型的參數(shù)。 如果我們應(yīng)用數(shù)學(xué)，我們可以嘗試以某種方式判定每個參數(shù)對結(jié)果的影響。 在此，我們將采用一些假設(shè)。 但我們早些時候同意將模型視為一個整體來考慮。 這意味著在每個單獨(dú)的種群模型中加進(jìn)的整個噪因集，能夠依據(jù)在訓(xùn)練集上測試模型有效性時獲得的總獎勵來估算。 因此，我們將在原始模型的參數(shù)中加入來自種群所有模型相應(yīng)參數(shù)噪音的加權(quán)平均值。 噪音將按總獎勵加權(quán)。 當(dāng)然，得到的加權(quán)平均值將乘以模型的學(xué)習(xí)系數(shù)。 參數(shù)更新公式如下所示。 如您所見，此公式與使用梯度下降更新權(quán)重的公式非常相似。

這種進(jìn)化優(yōu)化算法是由 OpenAI 團(tuán)隊(duì)在 2017 年 3 月的文章“進(jìn)化策略作為強(qiáng)化學(xué)習(xí)的可擴(kuò)展替代方案"中提出的。 在文章中，所提出的算法被認(rèn)為是先前研究的 Q-學(xué)習(xí) 和 策略梯度 方法的替代方案。 所提出的算法具有良好的可行性和生產(chǎn)力。 它還表現(xiàn)出對行動頻率和延遲獎勵的容忍度。 此外，作者提出的算法縮放方法，通過利用額外的計(jì)算資源，能夠以幾乎線性的依賴性提高問題解決速度。 例如，他們使用一千多臺并行計(jì)算機(jī)，在短短 10 分鐘內(nèi)解決了三維人形行走問題。 但在我們的文章中我們不會研究縮放問題。