用戶將TensorFlow訓(xùn)練網(wǎng)絡(luò)遷移到昇騰平臺(tái)后，如果存在性能不達(dá)標(biāo)的問題，就需要進(jìn)行調(diào)優(yōu)。本文就帶大家了解在昇騰平臺(tái)上對(duì)TensorFlow訓(xùn)練網(wǎng)絡(luò)進(jìn)行性能調(diào)優(yōu)的常用手段。

首先了解下性能調(diào)優(yōu)的全流程：

當(dāng)TensorFlow訓(xùn)練網(wǎng)絡(luò)性能不達(dá)標(biāo)時(shí)，首先可嘗試昇騰平臺(tái)提供的“三板斧”操作，即上圖中的“基本提升手段”：使能自動(dòng)混合精度?>?進(jìn)行親和接口的替換?>?使能訓(xùn)練迭代循環(huán)下沉?>?使用AOE工具進(jìn)行調(diào)優(yōu)。

基本調(diào)優(yōu)操作完成后，需要再次執(zhí)行模型訓(xùn)練并評(píng)估性能，如果性能達(dá)標(biāo)了，調(diào)優(yōu)即可結(jié)束；如果未達(dá)標(biāo)，需要使用Profling工具采集詳細(xì)的性能數(shù)據(jù)進(jìn)一步分析，從而找到性能瓶頸點(diǎn)，并進(jìn)一步針對(duì)性的解決，這部分調(diào)優(yōu)操作需要用戶有一定的經(jīng)驗(yàn)，難度相對(duì)較大，我們將這部分調(diào)優(yōu)操作稱為進(jìn)階調(diào)優(yōu)。

本文主要帶大家詳細(xì)了解基本調(diào)優(yōu)操作，即上圖中的灰色底紋部分。

使能自動(dòng)混合精度

混合精度是業(yè)內(nèi)通用的性能提升方式，通過降低部分計(jì)算精度提升數(shù)據(jù)計(jì)算的并行度。混合計(jì)算訓(xùn)練方法通過混合使用float16和float32數(shù)據(jù)類型來加速深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程，并減少內(nèi)存使用和存取，從而可以提升訓(xùn)練網(wǎng)絡(luò)性能，同時(shí)又能基本保證使用float32訓(xùn)練所能達(dá)到的網(wǎng)絡(luò)精度。

Ascend平臺(tái)提供了“precision_mode”參數(shù)用于配置網(wǎng)絡(luò)的精度模式，用戶可以在訓(xùn)練腳本的運(yùn)行配置中添加此參數(shù)，并將取值配置為“allow_mix_precision”，從而使能自動(dòng)混合精度，下面以手工遷移的訓(xùn)練腳本為例，介紹配置方法。

• Estimator模式下，在NPURunConfig中添加precision_mode參數(shù)設(shè)置精度模式：??

• sess.run模式下，通過session配置項(xiàng)precision_mode設(shè)置精度模式：

親和接口替換

針對(duì)TensorFlow訓(xùn)練網(wǎng)絡(luò)中的dropout、gelu接口，Ascend平臺(tái)提供了硬件親和的替換接口，從而使網(wǎng)絡(luò)獲得更優(yōu)性能。

• 對(duì)于訓(xùn)練腳本中的nn.dropout，建議替換為Ascend對(duì)應(yīng)的API實(shí)現(xiàn)，以獲得更優(yōu)性能：

• 若訓(xùn)練腳本中存在layers.dropout、tf.layers.Dropout、tf.keras.layers.Dropout、tf.keras.layers.SpatialDropout1D、tf.keras.layers.SpatialDropout2D、tf.keras.layers.SpatialDropout3D接口，建議增加頭文件引用：

• 對(duì)于訓(xùn)練腳本中的gelu接口，建議替換為Ascend提供的gelu接口，以獲得更優(yōu)性能。

  例如，TensorFlow原始代碼：?

? ? ? ?遷移后的代碼：

訓(xùn)練迭代循環(huán)下沉

訓(xùn)練迭代循環(huán)下沉是指在Host調(diào)用一次，在Device執(zhí)行多次迭代，從而減少Host與Device間的交互次數(shù)，縮短訓(xùn)練時(shí)長。用戶可通過iterations_per_loop參數(shù)指定訓(xùn)練迭代的次數(shù)，該參數(shù)取值大于1即可使能訓(xùn)練迭代循環(huán)下沉的特性。

使用該特性時(shí)，要求訓(xùn)練腳本使用TF Dataset方式讀數(shù)據(jù)，并開啟數(shù)據(jù)預(yù)處理下沉，即enable_data_pre_proc開關(guān)配置為True，例如sess.run配置示例如下：

其他使用約束，用戶可參見昇騰文檔中心[1]的《TensorFlow模型遷移和訓(xùn)練指南》。

Estimator模式下，通過NPURunConfig中的iterations_per_loop參數(shù)配置訓(xùn)練迭代循環(huán)下沉的示例如下：

AOE自動(dòng)調(diào)優(yōu)

昇騰平臺(tái)提供了AOE自動(dòng)調(diào)優(yōu)工具，可對(duì)網(wǎng)絡(luò)進(jìn)行子圖調(diào)優(yōu)、算子調(diào)優(yōu)與梯度調(diào)優(yōu)，生成最優(yōu)調(diào)度策略，并將最優(yōu)調(diào)度策略固化到知識(shí)庫。模型再次訓(xùn)練時(shí)，無需開啟調(diào)優(yōu)，即可享受知識(shí)庫帶來的收益。

建議按照如下順序使用AOE工具進(jìn)行調(diào)優(yōu)：

訓(xùn)練場景下使能AOE調(diào)優(yōu)有兩種方式：

• 通過設(shè)置環(huán)境變量啟動(dòng)AOE調(diào)優(yōu)。

• 修改訓(xùn)練腳本，通過“aoe_mode”參數(shù)指定調(diào)優(yōu)模式，例如：

? ? ? ? ? sess.run模式，訓(xùn)練腳本修改方法如下：

? ? ? ? estimator模式下，訓(xùn)練腳本修改方法如下：

?以上就是TensorFlow網(wǎng)絡(luò)在昇騰平臺(tái)上進(jìn)行性能調(diào)優(yōu)的常見手段。關(guān)于更多文檔介紹，可以在昇騰文檔中心[1]查看，您也可在昇騰社區(qū)在線課程[2]板塊學(xué)習(xí)視頻課程，學(xué)習(xí)過程中的任何疑問，都可以在昇騰論壇[3]互動(dòng)交流！

相關(guān)參考：

[1]昇騰文檔中心：https://www.hiascend.com/zh/document

[2]昇騰社區(qū)在線課程：https://www.hiascend.com/zh/edu/courses

[3]昇騰論壇：https://www.hiascend.com/forum?