海思hi3516dv300芯片AI圖像模塊學(xué)習(xí)(九)海思SDK學(xué)習(xí)—IVE部分源碼
IVE(Intelligent Video Engine)是上海海思媒體處理芯片智能分析系統(tǒng)中的硬件加速 模塊。用戶基于 IVE 開發(fā)智能分析方案可以加速智能分析,降低 CPU 占用。當(dāng)前 IVE 提供的算子可以支撐開發(fā)視頻診斷、周界防范等智能分析方案。IVE相當(dāng)于協(xié)處理器。


海思IVE模塊將圖像處理中常見的算子硬件化,形成一個(gè)圖像協(xié)處理器。CPU和IVE之間是不斷調(diào)用的關(guān)系。

案例:SAMPLE_IVE_Kcf?,調(diào)用ive實(shí)現(xiàn):
KCF目標(biāo)跟蹤算法:
總體流程:vi采集,vpss預(yù)處理,送到NNIE和IVE算法計(jì)算,再到vo輸出顯示
1.配參數(shù)

2.配置vio,但是最后不將vo與vpss綁定






3.初始化kcf,調(diào)用NNIE標(biāo)注初始圖片

加載RCFN模型

加載模型參數(shù)

1.從vpss模塊取幀,vi采集在vpss縮放等前處理后再下一步算法網(wǎng)絡(luò)
2.調(diào)用NNIE的rcfn模型,forward拿到了一個(gè)初始的目標(biāo)檢測框
3.拿到初始化帶框的第一幀后開始KCF流程

1.從vpss模塊取幀,vi采集在vpss縮放等前處理后再下一步算法網(wǎng)絡(luò)



2.調(diào)用NNIE的rcfn模型,forward拿到了一個(gè)初始的目標(biāo)檢測框


3.拿到初始化帶框的第一幀后開始KCF流程



ive的比較復(fù)雜,講得很簡單
標(biāo)簽: