今天介紹的是近期發(fā)表在Journal of Cheminformatics的一篇論文：《Double-head transformer neural network for molecular property prediction》。這篇文章提出了一種新的深度學(xué)習(xí)模型-DHTNN，用于分子屬性預(yù)測(cè)。在DHTNN中設(shè)計(jì)了一種新的激活函數(shù)beaf，可以顯著提高分子特征的非線性表示的泛化能力。為了解決梯度爆炸問題并確保模型能夠快速收斂，論文還引入了殘差網(wǎng)絡(luò)?；陔p頭注意力機(jī)制的Transformer被用于提取分子固有的詳細(xì)特征，并合理分配權(quán)重以實(shí)現(xiàn)高精度的分子屬性預(yù)測(cè)。該模型在MoleculeNet基準(zhǔn)數(shù)據(jù)集上的表現(xiàn)顯示出明顯的性能提升。

研究背景

分子性質(zhì)預(yù)測(cè)指的是對(duì)分子的親脂性、結(jié)合親和力、生物活性和毒性等性質(zhì)進(jìn)行有效的鑒定。對(duì)于藥物設(shè)計(jì)、材料科學(xué)和基因工程等領(lǐng)域，準(zhǔn)確可靠的分子性質(zhì)預(yù)測(cè)可以加速開發(fā)過程并降低開發(fā)成本。當(dāng)前人工智能預(yù)測(cè)分子性質(zhì)的研究主要分為兩類：機(jī)器學(xué)習(xí)方法和深度學(xué)習(xí)方法。機(jī)器學(xué)習(xí)方法需要依賴領(lǐng)域?qū)＜沂謩?dòng)提取特征，由此制作的分子描述符很容易受到專家主觀經(jīng)驗(yàn)和知識(shí)的限制。與機(jī)器學(xué)習(xí)方法不同，深度學(xué)習(xí)能夠自動(dòng)提取特征，因此深度學(xué)習(xí)方法特別適用于分子性質(zhì)預(yù)測(cè)。然而目前現(xiàn)有的基于深度學(xué)習(xí)的分子性質(zhì)預(yù)測(cè)模型存在預(yù)測(cè)精度低的問題，其主要原因是由于在分子特征的非線性表示中使用傳統(tǒng)的激活函數(shù)，如ReLU、PReLU和Tanh，導(dǎo)致泛化能力差。網(wǎng)絡(luò)可能存在梯度消失或爆炸的問題。提取分子詳細(xì)特征時(shí)不能考慮全局信息?；谝陨蠁栴}，作者提出了一個(gè)新的神經(jīng)網(wǎng)絡(luò)框架DHTNN;它使用新的激活函數(shù)（Beaf）、殘差網(wǎng)絡(luò)和基于雙頭注意力機(jī)制的Transformer來處理和提取分子特征，以進(jìn)行高精度的分子性質(zhì)預(yù)測(cè)。

模型架構(gòu)

神經(jīng)網(wǎng)絡(luò)框架分為三個(gè)部分，如圖1所示，分別是分子特征的高精度非線性泛化表示、分子殘差網(wǎng)絡(luò)編碼和基于雙頭塊的Transformer的分子特征提取。將分子化學(xué)式轉(zhuǎn)化為分子圖后，采用新的激活函數(shù)Beaf來提高算法模型的準(zhǔn)確性和泛化性。分子殘差網(wǎng)絡(luò)編碼部分包括有向MPNN、批歸一化層、分子前饋神經(jīng)網(wǎng)絡(luò)和殘差網(wǎng)絡(luò)，其功能是將前一部分的分子圖編碼為矩陣并調(diào)整數(shù)據(jù)分布，然后將數(shù)據(jù)傳遞到下一層。為防止神經(jīng)網(wǎng)絡(luò)梯度消失或爆炸，增加了殘差網(wǎng)絡(luò)?；陔p頭塊的Transformer的分子特征提取能夠快速準(zhǔn)確地提取分子的內(nèi)在細(xì)節(jié)特征，并并行獲取分子的全局信息，從而進(jìn)一步提高模型的預(yù)測(cè)性能。

圖1 模型架構(gòu)Beaf由主函數(shù)x、Tanh、SoftPlus和常數(shù)c組成，可實(shí)現(xiàn)非線性轉(zhuǎn)換（如圖2公式）。作者對(duì)比了Beaf和其他常見的激活函數(shù)（如Tanh、ReLU、ELU和GeLU），并說明了Beaf的優(yōu)點(diǎn)。與Tanh相比，Beaf不會(huì)飽和且可以在任何位置求導(dǎo)；與ReLU相比，Beaf可以處理負(fù)數(shù)；與ELU相比，Beaf的非線性映射更加明顯，映射后的值之間的差異更大，映射更準(zhǔn)確；與GeLU相比，Beaf可以更好地處理負(fù)數(shù)，不會(huì)過早地趨向零。Beaf的函數(shù)圖像如圖2右所示。

數(shù)據(jù)來源

本文使用的數(shù)據(jù)集來源于MoleculeNet基準(zhǔn)數(shù)據(jù)集。該任務(wù)類型選擇了六個(gè)數(shù)據(jù)集（Lipophilicity、PDBbind、PCBA、BACE、Tox21和SIDER），包括回歸和分類，涵蓋了生理學(xué)、物理化學(xué)和生物物理學(xué)三個(gè)領(lǐng)域。這些數(shù)據(jù)集按照8:1:1的比例進(jìn)行隨機(jī)和骨架分割，分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。訓(xùn)練集用于訓(xùn)練模型，驗(yàn)證集用于調(diào)整超參數(shù)和優(yōu)化模型，測(cè)試集用于評(píng)估模型性能。數(shù)據(jù)集最小包含168個(gè)分子，最大包含437,928個(gè)分子，以確保該算法適用于各種規(guī)模的數(shù)據(jù)集。

實(shí)驗(yàn)結(jié)果

4.1 激活函數(shù)選擇的驗(yàn)證

為了驗(yàn)證激活函數(shù)Beaf在模型上的優(yōu)勢(shì)，作者對(duì)激活函數(shù)選擇進(jìn)行了實(shí)驗(yàn)驗(yàn)證。在六個(gè)數(shù)據(jù)集上評(píng)估分別帶有激活函數(shù)Beaf、ELU 和 GeLU模型的性能，如表1和2所示。在回歸任務(wù)上，Lipophilicity 和 PDBbind數(shù)據(jù)集上使用Beaf具有顯著優(yōu)勢(shì)。在分類任務(wù)上，PCBA、Tox21和SIDER數(shù)據(jù)集上使用Beaf具有顯著優(yōu)勢(shì)。因此作者選用Beaf作為模型的激活函數(shù)，并進(jìn)行與其他模型性能的評(píng)估。

4.2 與現(xiàn)有模型性能評(píng)估

作者將DHTNN算法與其他先進(jìn)的方法進(jìn)行了比較，無論是回歸任務(wù)還是分類任務(wù)，DHTNN均取得了最優(yōu)的結(jié)果。作者還發(fā)現(xiàn)，數(shù)據(jù)樣本數(shù)量越多，DHTNN學(xué)習(xí)到的內(nèi)在特征越豐富，分子特性預(yù)測(cè)越好。PCBA數(shù)據(jù)集包含430,000個(gè)數(shù)據(jù)樣本，是四個(gè)分類數(shù)據(jù)集中最大的數(shù)據(jù)集。因此，DHTNN性能提升也是最大的。此外作者表明，無論是在回歸還是分類數(shù)據(jù)集上，DHTNN模型都沒有表現(xiàn)出梯度消失或爆炸。模型中的分子殘差網(wǎng)絡(luò)對(duì)模型收斂起到了重要作用。

結(jié)論

在這項(xiàng)工作中，作者提出了一種用于分子性質(zhì)預(yù)測(cè)的新框架DHTNN。該框架在分子非線性表示部分中添加了一種新的激活函數(shù)Beaf，提高了模型的非線性表示精度和泛化能力。在分子編碼部分，添加殘差網(wǎng)絡(luò)防止梯度消失或爆炸，并確保模型能夠收斂。在分子特征提取方面，基于雙頭注意力的Transformer的加入可以聚焦于與預(yù)測(cè)結(jié)果相關(guān)性高的特征，并合理地分配權(quán)重。在六個(gè)數(shù)據(jù)集上的評(píng)估表明，DHTNN在所有指標(biāo)上均優(yōu)于當(dāng)前最先進(jìn)的方法。

參考文獻(xiàn)

Song, Y., Chen, J., Wang, W., Chen, G., & Ma, Z. (2023). Double-head transformer neural network for molecular property prediction. Journal of cheminformatics, 15(1), 27. https://doi.org/10.1186/s13321-023-00700-4

版權(quán)信息

本文系A(chǔ)IDD Pro接受的外部投稿，文中所述觀點(diǎn)僅代表作者本人觀點(diǎn)，不代表AIDD Pro平臺(tái)，如您發(fā)現(xiàn)發(fā)布內(nèi)容有任何版權(quán)侵?jǐn)_或者其他信息錯(cuò)誤解讀，請(qǐng)及時(shí)聯(lián)系A(chǔ)IDD Pro (請(qǐng)?zhí)砑游⑿盘?hào)sixiali_fox59)進(jìn)行刪改處理。

原創(chuàng)內(nèi)容未經(jīng)授權(quán)，禁止轉(zhuǎn)載至其他平臺(tái)。有問題可發(fā)郵件至sixiali@stonewise.cn