? ? ??AI技術(shù)在跨學(xué)科融合創(chuàng)新方面扮演著日益重要的角色，特別是在Al for Science領(lǐng)域，AI技術(shù)的發(fā)展為跨學(xué)科、跨領(lǐng)域的融合創(chuàng)新帶來了巨大的機(jī)會。AI已成為一個關(guān)鍵的研究工具，改變了基礎(chǔ)科學(xué)的研究范式。依托AI技術(shù)開發(fā)的科學(xué)計算工具，如DeepXDE、SciML等，正在解決傳統(tǒng)科學(xué)計算過于復(fù)雜且難以理解的問題。未來將會有更多功能強(qiáng)大的科學(xué)計算工具出現(xiàn)，從而推動AI技術(shù)成為重要的科研輔助工具，在數(shù)學(xué)、物理、化學(xué)、生物、地理等基礎(chǔ)科學(xué)以及材料、電子、醫(yī)療、制藥等應(yīng)用領(lǐng)域發(fā)揮獨(dú)特價值[1]。

? ? ? 飛槳PaddlePaddle目前是國內(nèi)市場綜合份額第一的深度學(xué)習(xí)平臺，且一直在為科學(xué)研究者提供優(yōu)秀的AI技術(shù)支持。在AI for Science方面，飛槳已經(jīng)發(fā)布了針對流體、結(jié)構(gòu)、電磁等學(xué)科的工具組件——賽槳PaddleScience V1.0 Beta。同時，為了更好地支持AI for Science在科研領(lǐng)域的深入探索，飛槳也在同步拓展和支持一系列業(yè)內(nèi)主流科學(xué)計算工具。本期我們將重點介紹飛槳全量支持的深度學(xué)習(xí)科學(xué)計算工具DeepXDE，從全量算例及模型支持、高性能的訓(xùn)推環(huán)境以及典型工程實踐等方面進(jìn)行說明。

01 科學(xué)計算工具-DeepXDE

? ? ??DeepXDE是一款開源且高度模塊化的科學(xué)計算工具，以深度學(xué)習(xí)為核心，提供多種數(shù)據(jù)、物理機(jī)理及數(shù)理融合的模型，如PINN、DeepONet、MFNN等，同時支持多種類型微分方程，如常微分方程、偏微分方程的定義及求解，可有效解決復(fù)雜科學(xué)計算問題。
基于所提供的深度學(xué)習(xí)求解模型，DeepXDE具備以下典型的功能特點：

• 高度模塊化：DeepXDE提供多種支持調(diào)用、組合的模塊，如計算域、邊界條件、微分方程、神經(jīng)網(wǎng)絡(luò)、訓(xùn)練及預(yù)測等，方便用戶組合構(gòu)建物理系統(tǒng)；
  

• 多類微分方程：支持自定義常微分方程、偏微分方程、積分微分方程等來描述具體問題；
  

• 可擴(kuò)展性：支持用戶結(jié)合自身需求添加自定義的數(shù)值算法、模型或其他功能；
  

• 可視化：提供一系列豐富的可視化工具，可以幫助用戶直觀地理解計算結(jié)果。
  

? ? ??在科學(xué)計算領(lǐng)域，DeepXDE的強(qiáng)大功能與高精度求解能力，使其成為國內(nèi)外知名的科學(xué)計算工具之一。截止目前，DeepXDE的下載量已超過40萬次，并被全球70多所知名大學(xué)、科研機(jī)構(gòu)和企業(yè)采用，比如MIT、Stanford、美國西北太平洋國家實驗室、通用汽車等。在實際應(yīng)用中，DeepXDE正在幫助用戶快速解決復(fù)雜的科學(xué)計算問題，為各領(lǐng)域科學(xué)研究的進(jìn)展作出了重要貢獻(xiàn)。

02 飛槳全量支持DeepXDE

? ? ? PART.1全量支持DeepXDE方法與算例

? ? ??飛槳完全支持DeepXDE工具中提供的PINN、DeepONet等方法，并對工具中提供的各類算例進(jìn)行了全面的精度對齊。采用PINN方法運(yùn)行的42個算例涵蓋多種方程和初值/邊界條件，飛槳支撐情況如下表所示，相比PyTorch目前支持的算例（31個）多了11個。

PART.2 飛槳科學(xué)計算支持能力

? ? ??在支持科學(xué)計算方面，飛槳從神經(jīng)網(wǎng)絡(luò)、高階微分、動轉(zhuǎn)靜技術(shù)等進(jìn)行了全面改進(jìn)，不僅能夠全面支持DeepXDE提供的算例，也能夠支持用戶自定義的科學(xué)計算問題分析。

完備的訓(xùn)練網(wǎng)絡(luò)

? ? ??飛槳目前提供可覆蓋PINN方法以及數(shù)據(jù)驅(qū)動方法的常用網(wǎng)絡(luò)，如全連接網(wǎng)絡(luò)、多尺度傅里葉特征網(wǎng)絡(luò)及DeepONet、DeepONetCartesianProd等網(wǎng)絡(luò)。

完整的微分方程體系

? ? ??飛槳目前可支持多種類型微分方程的定義，如常微分方程、偏微分方程、積分微分方程、分?jǐn)?shù)階偏微分方程等。

動態(tài)圖模式及“一鍵動轉(zhuǎn)靜”方案

? ? ??飛槳支持用戶基于動態(tài)圖編碼，同時支持一鍵動轉(zhuǎn)靜，可以使用戶使用簡單的轉(zhuǎn)換語句同時享有動態(tài)圖和靜態(tài)圖優(yōu)勢。

完善的科學(xué)計算常用高階算子

? ? ??為了實現(xiàn)科學(xué)計算問題中控制方程的高階表達(dá)，飛槳框架完善了如下算子及功能：

• 提供部分算子的三階計算，如全連接網(wǎng)絡(luò)算子（matmul、add），激活函數(shù)（tanh, sin, cos等）；
  

• 提供標(biāo)量與tensor的加減乘除冪運(yùn)算；
  

• 常用算子如assign、concat、cumsum、expand_v2、reverse、squeeze、unsqueeze、scale、tile、transpose、sign、sum、mean、flip、cast、slice等無限階計算。
  

多優(yōu)化器選擇

? ? ??飛槳提供如ADAM、L-BFGS等優(yōu)化器，可覆蓋廣泛的科學(xué)計算應(yīng)用，且針對DeepXDE中提供的科學(xué)計算算例，飛槳提供的L-BFGS 優(yōu)化器可以達(dá)到更高精度的收斂效果。
? ? ??此外，飛槳對DeepXDE部分算例已經(jīng)實現(xiàn)了分布式并行，擴(kuò)展數(shù)據(jù)集大小后可獲得更高的性能提升。

PART.3飛槳性能優(yōu)勢

? ? ??基于DeepXDE所提供算例的默認(rèn)配置，在表2所示的測試環(huán)境中對其中20個算例進(jìn)行了端到端的性能測試，結(jié)果如圖3所示。左圖表示飛槳（藍(lán)色）與PyTorch（橙色）的算例對齊情況，其中橫坐標(biāo)為工具中的不同算例，縱坐標(biāo)為算例達(dá)到收斂目標(biāo)所需的訓(xùn)練時間，右圖則直觀的表示飛槳相比于PyTorch在不同算例對齊過程中的加速情況。可以看出，在所測試的75%個算例中，飛槳的性能均領(lǐng)先PyTorch，最高提速達(dá)25%，這說明飛槳可以作為DeepXDE全量算例的Backend，支持開發(fā)者進(jìn)行科學(xué)計算分析。

PART.4 飛槳DeepXDE開發(fā)驗證學(xué)習(xí)文檔

? ? ??針對DeepXDE中提供的算例及相關(guān)模型，飛槳完成了大量精度對齊、驗證工作，積累并形成了豐富的開發(fā)和驗證經(jīng)驗，可以為用戶提供應(yīng)用指導(dǎo)，幫助用戶正確使用DeepXDE工具進(jìn)行新算例的開發(fā)和驗證。
用戶可以訪問DeepXDE官方代碼倉庫體驗飛槳對DeepXDE中全量算例及模型的支持，在完成DeepXDE的安裝后，用戶僅需設(shè)置DDE_BACKEND環(huán)境變量，即可執(zhí)行相應(yīng)的算例代碼（$ DDE_BACKEND=paddle; python pde.py）。

• DeepXDE官方代碼倉庫網(wǎng)址

https://github.com/lululxvi/deepxde另外，在飛槳AI Studio-人工智能學(xué)習(xí)與實訓(xùn)社區(qū)提供的NoteBook環(huán)境下，用戶僅需定義環(huán)境變量DDE_BACKEND=paddle，即可實現(xiàn)代碼塊的獨(dú)立測試、執(zhí)行。
圍繞飛槳+DeepXDE算例的開發(fā)驗證過程，主要包含如下算例驗證標(biāo)準(zhǔn)、算例驗證流程、模型對齊問題排查流程等工作：

算例驗證標(biāo)準(zhǔn)

? ? ??結(jié)合科學(xué)計算的正問題與逆問題，可以從單框架測試、多框架測試等途徑進(jìn)行網(wǎng)絡(luò)參數(shù)、目標(biāo)解、Loss的計算比對，且驗證的優(yōu)先級為：網(wǎng)絡(luò)參數(shù)>目標(biāo)解>Loss。

算例驗證流程

? ? ??算例驗證流程主要分為算例實現(xiàn)和驗證兩個階段。下圖給出了PINN方法的完整訓(xùn)練過程，其中藍(lán)色部分為每個階段需要對齊的數(shù)據(jù)，黃色部分為算例實現(xiàn)的邏輯。對于算例的驗證，主要從飛槳框架自測、多框架對比驗證進(jìn)行分階段實現(xiàn)。

模型對齊問題排查流程

? ? ??圍繞算例及模型對齊過程中出現(xiàn)的問題，我們也形成了一些可供用戶參考的經(jīng)驗，如可以對比其他框架，進(jìn)行前向和反向的逐步對齊驗證，并逐次打印對齊流程中的中間結(jié)果。此外，也需要進(jìn)行如“隨機(jī)種子”、“數(shù)據(jù)類型”、“初始化參數(shù)”、“控制合理誤差”等設(shè)置，從而降低對齊難度。
? ? ??此部分內(nèi)容會在下一期的AI for Science專題“飛槳DeepXDE算例及模型精度對齊學(xué)習(xí)”中進(jìn)行詳細(xì)展開說明，期待廣大用戶閱讀、指正。

03 案例實踐

PART.1 問題定義

? ? ??隨著通過縮小電路線寬提高集成度的“微細(xì)化”速度放緩，三維（3D）堆疊技術(shù)將承擔(dān)半導(dǎo)體持續(xù)提高性能的作用。在芯片國產(chǎn)自主的背景下，3D堆疊技術(shù)也成為緩解國外技術(shù)制裁的重要方式。熱挑戰(zhàn)是3D堆疊技術(shù)的主要障礙之一，復(fù)雜的架構(gòu)和高度集成的器件增加了芯片功耗和熱密度?；贏I的傳熱模型不僅可以評估3D堆疊芯片的散熱性能，而且為芯片散熱結(jié)構(gòu)設(shè)計的自動優(yōu)化提供了廣泛的潛力。本節(jié)主要介紹采用飛槳+DeepXDE進(jìn)行芯片散熱分析的相關(guān)案例實踐，如圖5所示。

• 質(zhì)量守恒

• 動量守恒

• 能量守恒
  

式中，??、??、??分別為??、??、??方向的速度分量（m?s-1），??為壓力（????），??為溫度（℃），??為時間（s）；??為動力粘度（???????），??為密度（?????m-3），??p為比熱容（???????-1?℃-1），??為導(dǎo)熱系數(shù)（?????-1?℃-1)），??為重力加速度（通常取9.8m?s-1），??為熱膨脹系數(shù)（1?℃-1），Tref為參考溫度（℃）；??為體積熱源項（???m-3），與芯片的熱功耗有關(guān)。
? ? ??針對實際芯片散熱問題，通常假定溫度為常溫、周圍空氣靜止，只要給定特定的邊界條件就可以采用AI模型進(jìn)行求解。其中，速度場通常采用無滑移邊界條件，而溫度場的邊界條件則可描述如下：

• Dirichlet條件

• Neumann條件

• Robin條件

PART.2 案例建設(shè)及分析

? ? ??基于DeepXDE的PINN方法，構(gòu)建相應(yīng)的芯片散熱案例，如圖6所示。其原理簡要介紹如下，首先，針對待求解的時間（t）和實際的空間（x, y, z），采用合適的采樣方法獲得模型訓(xùn)練所需的時空離散點，這些點數(shù)據(jù)將作為AI網(wǎng)絡(luò)模型的輸入，并輸出相應(yīng)的流場和溫度信息（u, v, w, p, T）；然后，計算約束方程所需的流場和溫度結(jié)果的時空導(dǎo)數(shù)，并獲得對應(yīng)于約束方程和初邊值條件的Loss。

? ? ??針對5層芯片結(jié)構(gòu)的散熱案例，構(gòu)建相應(yīng)熱自然對流控制方程的無量綱化形式，以提高模型訓(xùn)練的穩(wěn)定性和精度。結(jié)合給定的計算域，采用NVIDIA V100-16G單卡訓(xùn)練約4小時，預(yù)測的無量綱時間為1s時的結(jié)果如圖7所示。3D整體和2D中間截面的溫度分布均表明，芯片內(nèi)部的溫度遠(yuǎn)高于周圍空氣的溫度。這說明單純靠空氣熱自然對流來將存在明顯的熱限制，從材料和散熱結(jié)構(gòu)等方面提升散熱性能非常必要，此部分工作成果會在之后的專題中向大家呈現(xiàn)。

? ? ? ?總結(jié)飛槳PaddlePaddle目前已經(jīng)全面支持科學(xué)計算工具DeepXDE，對DeepXDE中提供的模型、算例等進(jìn)行了多框架精度對齊以及性能調(diào)優(yōu)。目前飛槳提供了完備的科學(xué)計算算子以及相關(guān)的網(wǎng)絡(luò)模型、優(yōu)化器、分布式并行等能力，可為廣大用戶使用飛槳+DeepXDE解決科學(xué)問題提供更多的可能。下一期我們會對飛槳+DeepXDE算例及模型精度對齊的詳細(xì)實現(xiàn)過程進(jìn)行經(jīng)驗介紹，敬請期待。

引用

[1] 百度研究院2023科技趨勢發(fā)布：AI向?qū)嵍?，智能技術(shù)構(gòu)筑科技變革主線
https://baijiahao.baidu.com/s?id=1754188096379901355&wfr=spider&for=pc[2] DeepXDE介紹文檔
https://deepxde.readthedocs.io/en/latest/[3] 飛槳動態(tài)圖轉(zhuǎn)靜態(tài)圖實現(xiàn)流程
https://www.paddlepaddle.org.cn/documentation/docs/zh/guides/jit/basic_usage_cn.html[4] 飛槳L-BFGS優(yōu)化器定義
https://www.paddlepaddle.org.cn/documentation/docs/zh/develop/api/paddle/incubate/optimizer/LBFGS_cn.html

拓展閱讀

[1] 【PaddlePaddle Hackathon 第四期】—飛槳科學(xué)計算 PaddleScience
https://github.com/PaddlePaddle/Paddle/issues/50629
[2] 飛槳AI for Science流體力學(xué)公開課第一期
https://aistudio.baidu.com/aistudio/course/introduce/27926[3]?AI+Science系列（三）：賽槳PaddleScience底層核心框架技術(shù)創(chuàng)新詳解
[4] 飛槳科學(xué)計算實訓(xùn)示例
https://aistudio.baidu.com/aistudio/projectoverview/public?topic=15

相關(guān)地址

[1] 飛槳AI for Science共創(chuàng)計劃
https://www.paddlepaddle.org.cn/science[2] 飛槳PPISG-Science小組https://www.paddlepaddle.org.cn/specialgroupdetail?id=9