01 研究背景

近些年來高端計(jì)算資源的性能增長迅速，特別是千兆級(jí)計(jì)算系統(tǒng)的出現(xiàn)，使得用戶代碼可普遍調(diào)用數(shù)以萬計(jì)的CPU內(nèi)核。計(jì)算性能的高速發(fā)展為計(jì)算流體力學(xué)(CFD)并行計(jì)算的應(yīng)用帶來了一系列重大挑戰(zhàn)。為此，CFD通用仿真軟件開發(fā)了新的并行計(jì)算技術(shù)和優(yōu)化功能，被歐洲高級(jí)計(jì)算合作計(jì)劃(PRACE)用于驗(yàn)證大規(guī)模計(jì)算的基準(zhǔn)案例，并驗(yàn)證了其優(yōu)異的并行計(jì)算表現(xiàn)、高擴(kuò)展性和可靠性。

02 計(jì)算模型

PRACE項(xiàng)目中，CFD通用仿真軟件應(yīng)用的大規(guī)模計(jì)算案例為DARPA2潛艇的繞流，計(jì)算流體沿潛艇首部至末端的摩擦系數(shù)。流動(dòng)基于潛艇全長，雷諾數(shù)為3.89*107,自由流體的流速為9m/s，出口壓強(qiáng)為2.01*105Pa。由于案例中湍流強(qiáng)度較高，選擇了高雷諾數(shù)k-e模型進(jìn)行計(jì)算。

如圖1所示，流場的網(wǎng)格為四面體與金字塔體網(wǎng)格組成的非結(jié)構(gòu)化網(wǎng)格。為了計(jì)算潛艇周圍的邊界層流動(dòng)現(xiàn)象，y+=30，邊界層由五層金字塔網(wǎng)格組成。

網(wǎng)格無關(guān)性驗(yàn)證結(jié)果表明，網(wǎng)格大小為20萬時(shí)計(jì)算結(jié)果已足夠準(zhǔn)確。仿真計(jì)算一直進(jìn)行到流場達(dá)到穩(wěn)態(tài)，得到阻力系數(shù)隨流體至潛艇首部距離的變化曲線，并與實(shí)驗(yàn)結(jié)果進(jìn)行比較，如圖所示：

可以看出計(jì)算得到的阻力系數(shù)在潛艇首部附近相較實(shí)驗(yàn)結(jié)果較小，但在潛艇末端位置較為吻合。整體而言，CFD通用仿真軟件的計(jì)算結(jié)果具有較高的準(zhǔn)確性，可進(jìn)一步進(jìn)行其計(jì)算性能的分析。

在PRACE計(jì)劃初期，CFD通用仿真軟件將其線性求解器——共軛梯度求解器(CG)替換為更為優(yōu)化的代數(shù)多重網(wǎng)格共軛梯度求解器(CG_MG)。優(yōu)化過后的求解器通過減小迭代過程中的浮點(diǎn)數(shù)運(yùn)算和運(yùn)算時(shí)間，從而加快迭代求解器的收斂速度。對(duì)于優(yōu)化后的求解器而言，其計(jì)算復(fù)雜度與計(jì)算規(guī)模幾乎呈線性關(guān)系，并且在求解收斂過程的穩(wěn)定性也獲得改善。

為了評(píng)估CFD通用仿真軟件在線性求解和前處理階段上的計(jì)算性能，對(duì)于上述計(jì)算案例，將計(jì)算案例的網(wǎng)格量增加至5.7百萬和1.07億個(gè)，并對(duì)比了兩種線性求解器，在IBM的Blue Gene/P和Cray XT4兩個(gè)超算上運(yùn)行。

03 仿真結(jié)果

不同網(wǎng)格量上，CFD通用仿真軟件使用CG、CG_MG兩種求解器，并在不同核心上進(jìn)行的計(jì)算性能如圖3所示：

結(jié)果表明，對(duì)于1.07億網(wǎng)格的大規(guī)模計(jì)算，CG_MG求解器的求解速度明顯更快。然而，對(duì)于網(wǎng)格規(guī)模為5.7百萬的計(jì)算案例，在使用4096個(gè)核計(jì)算時(shí)，CG求解器的計(jì)算速度要比CG_MG快30%左右，這主要是因?yàn)镃G_MG求解器中，網(wǎng)格粗化受到網(wǎng)格分區(qū)邊界的限制。這樣雖然能避免為每一層網(wǎng)格使用耗費(fèi)計(jì)算資源設(shè)計(jì)重新分區(qū)方案，但當(dāng)網(wǎng)格數(shù)目較小，網(wǎng)格面積與體積之比較高時(shí)，會(huì)限制網(wǎng)格的粗化程度，降低計(jì)算速度。

此外，在不同超算上，求解器的計(jì)算速度也不相同，例如對(duì)于網(wǎng)格規(guī)模為5.7百萬的算例，CG_MG求解器在Blue Gene/P上的計(jì)算速度要比在Cray XT4上快4.6倍。這是因?yàn)锽lue Gene/P的算力稍小于Cray XT4，但互聯(lián)速度更快，在計(jì)算負(fù)荷與內(nèi)部信息交換負(fù)荷之間達(dá)到了平衡。

當(dāng)今，儲(chǔ)存資源的增長已經(jīng)難以適應(yīng)CPU資源的增長，因此更少的核心內(nèi)存為如今高性能計(jì)算(HPC)的結(jié)構(gòu)趨勢(shì)。對(duì)于CFD計(jì)算而言，該趨勢(shì)意味著并行計(jì)算性能和分區(qū)效率的提高已經(jīng)越來越重要。在Blue Gene/P超算上，計(jì)算1.07億網(wǎng)格規(guī)模的算例，比較不同分區(qū)軟件(ParMETIS、SFC、PT-SCOTCH和METIS)的并行分區(qū)結(jié)果下的計(jì)算效率，結(jié)果如圖4所示：

結(jié)果表明，METIS的分區(qū)結(jié)果在CFD通用仿真軟件下并行計(jì)算性能最優(yōu)，而性能其次的PT-SCOTCH也可作為METIS的替代軟件。

04 研究結(jié)論

具備可擴(kuò)展性、同時(shí)功能強(qiáng)大的CFD通用仿真軟件，由于在前處理、求解過程和輸入/輸出(I/O)功能上的優(yōu)化表現(xiàn)，被PRACE項(xiàng)目認(rèn)證并入選為用于檢驗(yàn)超算能力的CFD軟件。

格物云CAE

一款國產(chǎn)可控云端仿真平臺(tái)，結(jié)構(gòu)、流體、水動(dòng)力仿真軟件場景化模塊化，支持多格式網(wǎng)格導(dǎo)入(.med、.inp、.cdb、.cgns等)和高性能并行計(jì)算，降低CAE使用門檻，拓展CAE應(yīng)用范圍，加速工業(yè)企業(yè)研發(fā)制造數(shù)字化轉(zhuǎn)型。平臺(tái)支持云端CAE仿真生成工業(yè)APP，構(gòu)建完全交互式仿真社區(qū)，快速實(shí)現(xiàn)行業(yè)通用經(jīng)驗(yàn)軟件化。

一鍵登錄，開啟仿真！

https://cae365.yuansuan.com

視頻測(cè)流水利感知系統(tǒng)

遠(yuǎn)算自主研發(fā)了短視頻水流測(cè)速APP，采用先進(jìn)大尺度粒子圖像測(cè)速技術(shù)，實(shí)現(xiàn)快速便捷流速測(cè)量的零門檻水利工具，帶來“視頻一點(diǎn)，流速在手”的超強(qiáng)體驗(yàn)，輕松、便捷地實(shí)現(xiàn)河流測(cè)速。目前遠(yuǎn)算還上新了小程序版本，歡迎大家掃碼使用！

#福利時(shí)間#

遠(yuǎn)算為你提供手把手水流測(cè)速教學(xué)培訓(xùn)！

全程免費(fèi)，每周一節(jié)課，多種類案例教學(xué)水文、水動(dòng)力行業(yè)專家在線答疑，每周僅需45min，解決你的水流測(cè)速相關(guān)難題！

更多資訊可登錄格物CAE官方網(wǎng)站

https://cae.yuansuan.cn/

或關(guān)注微信公眾號(hào)【遠(yuǎn)算云學(xué)院】

遠(yuǎn)算在bilibili、頭條、知乎、技術(shù)鄰定期發(fā)布課程視頻等內(nèi)容

敬請(qǐng)關(guān)注