直播時間：

?2022年03月31日 19:45

直播主題：

?【大咖直播】《從硬件走向人工智能-機(jī)器視覺基礎(chǔ)》

直播平臺：電巢視頻號

直播簡介：

1、直播內(nèi)容

????機(jī)器視覺是AI技術(shù)的主要研究和應(yīng)用領(lǐng)域，不僅廣泛應(yīng)用于自動駕駛、智能制造和航空航天等高大尚領(lǐng)域，同樣應(yīng)用于你身邊的身份確認(rèn)、安全監(jiān)控和物品識別，其影響已經(jīng)滲透到我們生活的各個角落。如果您是一位傳統(tǒng)的硬件工程師，又覺得AI技術(shù)離你太遠(yuǎn)，不知如何入手，似乎遙不可及，這門課就是為您準(zhǔn)備的。我本人也是硬件工程師出身，以我的親身經(jīng)歷，從零基礎(chǔ)開始學(xué)起，第一步先學(xué)習(xí)FPGA機(jī)器視覺所需要的圖像入門知識和工具。我們這里學(xué)習(xí)的目的不是為了在圖像領(lǐng)域內(nèi)進(jìn)行理論創(chuàng)新，只是為了應(yīng)用技術(shù)，所以我盡量講求實(shí)用，不追求理論深度。如果我講的一遍聽不懂，可以多聽幾遍，或者用的時候知道在哪里找就行了，也歡迎入群交流（QQ群號：435717099），力求給大家一個全面的視頻圖像背景知識，為機(jī)器視覺的學(xué)習(xí)和應(yīng)用打下基礎(chǔ)。

????所有例程除開頭一段引用的視頻外，其余全部為本人在PC和賽靈思開發(fā)板上親手所做，直播內(nèi)容涉及環(huán)境搭建、理論介紹和實(shí)操講解。

2、講師介紹

王偉博士

華為光通信資深研發(fā)工程師、中興光通信SDH大項(xiàng)目研發(fā)經(jīng)理

國家深圳軌道交通實(shí)驗(yàn)室技術(shù)總監(jiān)、美資Oplink通訊公司研發(fā)總監(jiān)、特發(fā)信息公司研發(fā)總工、美資Lumentum公司（原JDSU）高級研發(fā)經(jīng)理、

中國高科技產(chǎn)業(yè)化研究會智能信息處理產(chǎn)業(yè)化分會理事

二十余年一流大企業(yè)一線研發(fā)和管理經(jīng)驗(yàn)

近三年所帶學(xué)生競賽隊(duì)伍均晉級國家級決賽

3、直播要點(diǎn)

???1、 機(jī)器視覺的廣泛應(yīng)用

????農(nóng)作物成熟度檢測

????行為異常檢測

2、我們在FPGA上實(shí)現(xiàn)的類似項(xiàng)目

????競賽項(xiàng)目車輛人物語義分割

????左下角為FPGA Ultra96開發(fā)板，開發(fā)板直連顯示器，不需要連PC機(jī)，此系統(tǒng)為獨(dú)立系統(tǒng)，使用的是enet模型。

????競賽項(xiàng)目車輛識別與跟蹤

????同樣在Ultra96上實(shí)現(xiàn)的車輛跟蹤，使用的是yolov2模型。

????FPGA用硬件實(shí)現(xiàn)AI算法，處理速度更快，在戰(zhàn)場上更容易實(shí)現(xiàn)快人一步，在自動駕駛和飛行上反應(yīng)更為及時，實(shí)現(xiàn)農(nóng)業(yè)的科學(xué)化種植和人們的行為合規(guī)檢測等等。

????3、多種FPGA VITIS和AI軟件安裝方式，包括最新的Window子系統(tǒng)Ubuntu安裝方式

兩種方式：傳統(tǒng)虛擬機(jī)和新式Window子系統(tǒng)Ubuntu方式安裝FPGA軟件VITIS、Vivado、Petalinux、? ? ? ? Docker、VITIS AI

格式轉(zhuǎn)換和播放工具ffmpeg、ffplay安裝

虛擬機(jī)Ubuntu和GStreamer安裝

Ultra96和KV260開發(fā)板環(huán)境安裝

????4、圖像基礎(chǔ)知識入門

什么是原始圖像的RGB、YUV編碼？

圖像是如何組成的？什么是MB、SLICE和NAL？

什么是V4l2攝像頭視頻采集框架？有什么用？

視頻為什么要編碼？圖像是怎么壓縮的？

什么是幀內(nèi)預(yù)測和幀間預(yù)測？

常用的IDR、I、P、B幀是什么？

主流H264、H265視頻壓縮技術(shù)是如何實(shí)現(xiàn)的？

視頻是怎么傳輸?shù)?？怎么?shí)現(xiàn)超低延遲傳輸？

????視頻播放選nv12參數(shù)時??

?視頻播放選nv21參數(shù)時

5、媒體框架GStreamer管道介紹與演示

GStreamer管道與插件介紹

PC上的GStreamer應(yīng)用與演示，如格式轉(zhuǎn)換、屏幕錄制、文件存貯

FPGA GStreamer參數(shù)與作用

FPGA GStreamer管道實(shí)現(xiàn)的多種功能，如AI識別、碼流和識別區(qū)控制。

視頻編碼的重要概念和PC、FPGA管道的區(qū)別。

????藍(lán)框ROI識別區(qū)QP值高??

????藍(lán)框ROI識別區(qū)QP值低

4、適合對象

電子專業(yè)、信息專業(yè)、自動化專業(yè)、計(jì)算機(jī)專業(yè)大學(xué)生和研究生

電子類工程師、嵌入式軟硬件工程師與FPGA從業(yè)者