在解決嵌入式Spatial AI問題時，你會發(fā)現(xiàn)盡管擁有完美的芯片，但是沒有良好的平臺來解決此類嵌入式空間AI問題。DepthAI因此而生。

什么是DepthAI？

DepthAI 是嵌入式空間 AI 平臺， 由開源硬件、固件、軟件生態(tài)系統(tǒng)組成， 提供完整并可立即使用的嵌入式 Spatial AI 和硬件加速的計算機視覺解決方案。

它為嵌入式系統(tǒng)提供了實時的信息：物體是什么以及它在物理空間中的位置。除了現(xiàn)成的 AI 模型，它也可以與自定義模型一起使用。

DepthAI是一個完整的自定義硬件平臺。固件，軟件和AI培訓(xùn)生態(tài)系統(tǒng)將神經(jīng)推理、深度視覺和功能跟蹤結(jié)合在一起，30秒一鍵解決。對于需要在單個設(shè)備中實現(xiàn)AI、深度和跟蹤功能的用戶來說，這是目前較優(yōu)的一體化解決方案。它也是開源的，包括硬件，軟件和AI培訓(xùn)。因此DepthAI的所有設(shè)計都可作為參考設(shè)計，將DepthAI的功能集成到用戶自己的產(chǎn)品中，可以輕松快速地進行產(chǎn)品生產(chǎn)。

什么是OAK？

OAK全稱OpenCV?AI?Kit,是DepthAI團體為OpenCV特別定制的版本。

OAK和OpenCV

OpenCV的首席執(zhí)行官看到DepthAI的價值，并和DepthAI的開發(fā)團隊進行深度的合作。OpenCV也是大力宣傳推薦DepthAI。

為此，OpenCV官方在2020年舉辦的OpenCV?Spatial?AI競賽（OpenCV成立20周年慶典的一部分）中的主要任務(wù)便是開發(fā)利用OpenCV?AI套件（OAK-D）的應(yīng)用程序。英特爾也大力贊助了這次競賽。

為慶祝OpenCV成立20周年的國際AI競賽已于2021年1月12日開始。此次競賽也是使用DepthAI開發(fā)。

因此OAK已經(jīng)成為OpenCV官方指定的人工智能開發(fā)套件，能夠幫助初學(xué)者快速上手和掌握人工智能相關(guān)的開發(fā)和研究。

DepthAI的硬件設(shè)備

DepthAI搭載了一顆4K/60fps的彩色攝像頭，兩顆黑白攝像頭用于雙目測距。

設(shè)計細節(jié)

DepthAI設(shè)計成直接將MIPI連接到主芯片， 這使得圖像不需要經(jīng)過主機從而直接用于后續(xù)處理，以此節(jié)省圖像傳輸?shù)南摹?br>

為了使這種功能可以集成到實際產(chǎn)品中，并使硬件集成更加容易，DepthAI設(shè)計者制作了一個系統(tǒng)模塊（SoM）來容納Myriad X。

部分功能

• 神經(jīng)推理，例如:目標(biāo)檢測，圖像分類。

• 雙目測距，利用左右兩顆攝像頭探測距離。

• 3D對象定位，可以將2D的物體檢測擴充到3D(利用雙目測距)。

• H.264和H.265編碼，HEVC，1080p和4K視頻。

• 對象跟蹤。

• JPEG編碼。

• MJPEG編碼。

我們能用DepthAI做些什么？

人臉識別，比如日常生活中的刷臉，DepthAI通過攝像頭獲取的人臉圖像與人臉庫中獲取的圖像，運行模型進行比對判斷。

車輛車牌識別，DepthAI運行模型能夠?qū)崟r檢測車輛類型，顏色和汽車的牌照。

社交距離，因為新冠疫情的影響，人們之間不能靠的太近。在這個示例中DepthAI通過雙目攝像頭探測人與人之間實時的距離，防止距離過近。

更多實際應(yīng)用可以關(guān)注我們的B站賬號：OAK中國

以上僅僅只是使用DepthAI實現(xiàn)的三個示例，這三個示例提供完整的源代碼，開箱即用，但DepthAI的能力并不僅限于此，利用DepthAI的實時AI和空間感知能力，它可以幫助機器人完成很多事情，甚至人類能做但不想做的事情。例如：

1. DepthAI的實時性和完全在設(shè)備上的特性使它適合用于檢測危險的發(fā)生。想象一下工地上工人戴著智能頭盔，當(dāng)叉車要駛過工人時會警告工人。又或是這是一輛智能叉車，它可以分辨出什么物體，它在哪里，并防止操作員在有人的地方行駛或是撞到關(guān)鍵設(shè)備。深度+AI的結(jié)合使這種系統(tǒng)可以在人員，設(shè)備等周圍建立實時的“虛擬墻”。

2. 無人機的感知與回避，在GPS無響應(yīng)的情況下進行自我導(dǎo)航識別周圍環(huán)境，尋找合適的地點迫降。

3. DepthAI可以告訴機器人采摘者草莓的成熟度，這樣機器人就只會采摘成熟度高的草莓了，而不會采摘成熟度低的草莓。并且可以在采摘/包裝過程中按成熟度進行排序。
   以上僅僅只是我們簡單的設(shè)想，事實上大部分需要AI、深度信息的應(yīng)用都可以使用DepthAI來完成。

DepthAI好在哪里？

除非購買高級的雙目相機，否則主機需要運行立體匹配算法，這將會占用大量的CPU資源。在使用AI加速設(shè)備時主機必須對推理過程進行調(diào)度，它必須通過USB設(shè)備將攝像頭、CPU之間的數(shù)據(jù)發(fā)送到神經(jīng)推理設(shè)備（例如NCS）。因此，CPU使用率變高，并且傳輸過程非常低效……因此運行的非常緩慢。你可以在下面看到在帶有NCS2的Raspberry Pi上只運行AI的情況，最大速度為8FPS（主機CPU已滿），而DepthAI在AI，深度和編碼方面可以達到25FPS以上（完全不使用主機CPU）。

在DepthAI中，這不是問題。DepthAI固件可以執(zhí)行所有操作：深度，對象檢測，將對象重新投影到以米為單位的x，y，z位置（以及其他一些功能，例如h.264 / h.265編碼，對象跟蹤等）。所有這些都直接在DepthAI上的圖像傳感器中進行，而沒有對主機造成負擔(dān)。因此，當(dāng)使用0％的主機CPU時，你可以獲得對象的XYZ位置，1080p或4K視頻編碼的JSON流。讓你100％地為你的應(yīng)用程序運行業(yè)務(wù)邏輯。

DepthAI能夠與很多東西兼容。這是由DepthAI生態(tài)系統(tǒng)的開源特性提供的，用戶可以簡單地為其宿主編譯DepthAI API。因此，任何運行OpenCV的主機都可以與DepthAI一起使用，包括Linux（Ubuntu，Raspbian等），Mac和Windows。即將推出的SPI變體版本可以使任何具有SPI的微控制器與DepthAI一起使用。甚至有一個新的DepthAI變體，正在開發(fā)板載ESP32，以及一個Power-Over-Ethernet變體，這兩個當(dāng)然都是開源的。

國內(nèi)在哪里能買到DepthAI?

目前國內(nèi)唯一的購買渠道是派馳的淘寶店:

OAK-D購買鏈接：https://sourl.cn/9YEFE5

OAK-1購買鏈接：https://sourl.cn/4CpZUZ

參考鏈接:
https://sourl.cn/6wt8sm

https://sourl.cn/rawPZD

https://luxonis.com/depthai