前言：

? ? ? ? 做一個推理應(yīng)用，首先從模型轉(zhuǎn)換開始（當(dāng)然先得選好一個合適的模型）。在昇騰平臺做模型推理，需要將Caffe，TensorFlow等開源框架網(wǎng)絡(luò)模型轉(zhuǎn)換成Davinci架構(gòu)專用模型（OM格式）。昇騰張量編譯器（Ascend Tensor Compiler，簡稱ATC）是異構(gòu)計算架構(gòu)CANN體系下的模型轉(zhuǎn)換工具，模型轉(zhuǎn)換過程中，ATC會進(jìn)行算子調(diào)度優(yōu)化、權(quán)重數(shù)據(jù)重排、內(nèi)存使用優(yōu)化等具體操作，對原始的深度學(xué)習(xí)模型進(jìn)行進(jìn)一步的調(diào)優(yōu)，從而滿足部署場景下的高性能需求，使其能夠高效執(zhí)行在昇騰AI處理器上。

一、基礎(chǔ)知識

文檔：https://www.hiascend.com/document/detail/zh/canncommercial/601/inferapplicationdev/atctool/atctool_0001.html

視頻：https://www.bilibili.com/video/BV1ZL411X77S

1、ATC工具簡介

????????ATC工具功能架構(gòu)如下圖所示：

????????從上圖中，可以看出ATC工具可以轉(zhuǎn)換“開源框架網(wǎng)絡(luò)模型”和“單算子描述文件”。

????????1、開源框架網(wǎng)絡(luò)模型場景：

????????1）開源框架網(wǎng)絡(luò)模型經(jīng)過Parser解析后，轉(zhuǎn)換為中間態(tài)IR Graph。

????????2）中間態(tài)IR經(jīng)過圖準(zhǔn)備，圖拆分，圖優(yōu)化，圖編譯等一系列操作后，轉(zhuǎn)成適配昇騰AI處理器的離線模型。

????????3）轉(zhuǎn)換后的離線模型上傳到板端環(huán)境，通過AscendCL接口加載模型文件實現(xiàn)推理過程。

????????2、單算子描述文件場景下：Ascend IR定義的單算子描述文件（json格式）通過ATC工具進(jìn)行單算子編譯后，轉(zhuǎn)成適配昇騰AI處理器的單算子離線模型，然后上傳到板端環(huán)境，通過AscendCL接口加載單算子模型文件用于驗證單算子功能。

????????ATC工具還可以將開源框架網(wǎng)絡(luò)模型轉(zhuǎn)換后的離線模型、開源框架網(wǎng)絡(luò)模型通轉(zhuǎn)成json文件，方便查看。

????????使用ATC工具進(jìn)行模型轉(zhuǎn)換的運行流程下圖所示：

????????1、使用ATC工具之前，需要現(xiàn)在開發(fā)環(huán)境安裝CANN軟件包，獲取相關(guān)路徑下的ATC工具。訓(xùn)練營提供的鏡像已經(jīng)安裝好了CANN，并且已經(jīng)配置好環(huán)境變量，可以直接使用ATC工具。ATC工具的安裝路徑為：

/home/HwHiAiUser/Ascend/ascend-toolkit/6.0.RC1.alpha001/x86_64-linux/bin

????????2、準(zhǔn)備要進(jìn)行轉(zhuǎn)換的模型或單算子描述文件，并上傳到開發(fā)環(huán)境。也可以通過wget命令將模型直接下載到ECS服務(wù)器上。

????????3、使用ATC工具進(jìn)行模型轉(zhuǎn)換，在配置相關(guān)參數(shù)時，根據(jù)實際情況選擇是否進(jìn)行AIPP配置。

二、ATC工具參數(shù)介紹及實際操作

? ? ? ? 下圖列出了所有芯片共用的ATC參數(shù)（參數(shù)只在某些芯片下使用的未列出），其中黃色色塊表示參數(shù)互斥，不能同時使用；關(guān)聯(lián)參數(shù)表示需要相互配合或者某些場景下需要配合使用。

????????常用的參數(shù)：

1、--model：原始網(wǎng)絡(luò)模型文件路徑與文件名

????????當(dāng)原始模型為Caffe框架時，需要和--weight參數(shù)配合使用。

2、--framework?原始網(wǎng)絡(luò)模型框架類型

3、--input_format?輸入數(shù)據(jù)格式

4、--input_shape?指定模型輸入數(shù)據(jù)的shape

5、--output?

????????1）如果是開源框架的網(wǎng)絡(luò)模型：

????????存放轉(zhuǎn)換后的離線模型的路徑以及文件名，例如：$HOME/module/out/caffe_resnet50，轉(zhuǎn)換后的模型文件名以指定的為準(zhǔn)，自動以.om后綴結(jié)尾，例如：caffe_resnet50.om。

????????2）如果是單算子描述文件（json格式）：

????????存放轉(zhuǎn)換后的單算子模型的路徑，例如：$HOME/singleop/out/op_model。轉(zhuǎn)換后的模型文件命名規(guī)則為：序號_opType_輸入的描述(dataType_format_shape)_輸出的描述(dataType_format_shape)。

6、--insert_op_conf??插入算子的配置文件路徑與文件名，例如aipp預(yù)處理算子。

????????若使用該參數(shù)后，則輸入數(shù)據(jù)類型為UINT8。

7、--soc_version：指定模型轉(zhuǎn)換時昇騰AI處理器的版本

????????昇騰310 AI處理器參數(shù)值：Ascend310

????????昇騰310P AI處理器參數(shù)值：Ascend310P*

????????昇騰910 AI處理器參數(shù)值：Ascend910*

????????其中：*可能根據(jù)芯片性能提升等級、芯片核數(shù)使用等級等因素會有不同的取值。

可以通過“npu-smi info”指令查看芯片類型，如下圖所示

8、--singleop?單算子模型轉(zhuǎn)換

????????單算子描述文件是基于Ascend IR定義的單個算子的定義文件，包括算子的輸入、輸出及屬性信息；將單個算子描述文件（json格式）轉(zhuǎn)換成適配昇騰AI處理器的離線模型，以便進(jìn)行后續(xù)的單算子功能驗證。

????????按照https://www.hiascend.com/document/detail/zh/canncommercial/601/inferapplicationdev/atctool/atctool_0036.html 編一個gemm.json

??

9、--mode=1?離線模型或原始模型文件轉(zhuǎn)json，方便查看模型中的參數(shù)信息。

10、--mode=6 針對已有的離線模型，顯示模型信息，包括模型占用的關(guān)鍵資源信息、編譯與運行環(huán)境等信息。

11、--log 設(shè)置ATC模型轉(zhuǎn)換過程中日志的級別

取值范圍：1）debug：輸出debug/info/warning/error/event級別的運行信息。

???????????????????2）info：輸出info/warning/error/event級別的運行信息。

????????????????? ?3）warning：輸出warning/error/event級別的運行信息。

????????????????? ?4）error：輸出/error/event級別的運行信息。

???????????????????5）null：不輸出日志。默認(rèn)為null，不輸出日志信息。

????? ? ATC支持下述三種方式。

????????1）日志落盤存儲——加入--log參數(shù)，并且不設(shè)置為null時?

????執(zhí)行后會在$HOME/ascend/log目錄下留下日志信息

????????2）日志打屏——提前設(shè)置環(huán)境變量

????????除了加--log參數(shù)外，還需要提前設(shè)置環(huán)境變量：export ASCEND_SLOG_PRINT_TO_STDOUT=1

為了減少日志打屏的數(shù)量，將log設(shè)置成error，僅打印error和event信息，方便展示。

????????3）日志重定向到文件——設(shè)置環(huán)境，并將--log參數(shù)加上“>”，重定向到指定文件