概述

基于事件的視覺傳感器（EVS）是一種檢測各像素亮度變化，結(jié)合“坐標”與“時間信息”，僅輸出變化像素對應(yīng)的數(shù)據(jù)，從而實現(xiàn)高效率、高速低延遲數(shù)據(jù)輸出的視覺傳感器。可以將EVS善于動態(tài)捕捉的特點應(yīng)用于多種不同領(lǐng)域。

什么是EVS

EVS能夠捕捉動態(tài)（=亮度變化）

EVS是模仿眼睛的感光機制而建立的傳感器技術(shù)。人眼感受到光線后，視網(wǎng)膜上的受體細胞就會將光信號轉(zhuǎn)換成神經(jīng)信息，后段的神經(jīng)細胞再分別挑選出亮部和暗部，經(jīng)由神經(jīng)節(jié)細胞，將信息傳遞到大腦的視覺皮層。

另一方面，在EVS中，入射光在傳感器的光接收電路中會轉(zhuǎn)換成電氣信號。電氣信號通過放大器，由比較器根據(jù)亮度變化進行分離，形成變亮信號（正極性事件）和變暗信號（負極性事件），然后再通過后段的信號處理，以EVS圖像數(shù)據(jù)的形式輸出。

EVS的動作原理

對于按像素分別捕捉到的光的亮度變化，當超過設(shè)定的閾值時，基于事件的視覺傳感器就會將其檢測為事件，然后輸出發(fā)生事件的像素的坐標、時間和極性。此動作各像素是獨立、非同步進行的。
這個圖是表現(xiàn)傳感器面如何捕捉球體動態(tài)的模式圖。

各像素由受光部、亮度變化檢測部構(gòu)成。入射光在受光部被轉(zhuǎn)換成電壓。亮度檢測部的差分檢測電路將檢測基準電壓與從入射光轉(zhuǎn)換而來的電壓之間的差分，在比較器中，當這個差分超過正負兩側(cè)設(shè)定的閾值時，就會輸出事件。

為了把事件發(fā)生時的亮度水平作為基準，會將電路復(fù)位，然后根據(jù)這一基準電壓設(shè)定正側(cè)（亮側(cè)的變化）和負側(cè)（暗側(cè)的變化）的閾值。超出正側(cè)閾值的輸出電壓的變化，即入射光的亮度變化超過一定比率時，將輸出正極性事件，而發(fā)生超出負側(cè)閾值的電壓變化時，將輸出負極性事件。

①設(shè)定基準電壓、正側(cè)和負側(cè)閾值。
?入射光亮度下降，超出負側(cè)閾值時，輸出負極性事件。
③以事件輸出的時間點為基準，設(shè)定基準電壓、正側(cè)和負側(cè)閾值。
④入射光亮度進一步下降，超出負側(cè)閾值時，輸出第二個負極性事件。
?以第二個事件輸出的時間點為基準，設(shè)定基準電壓、正側(cè)和負側(cè)閾值。
⑥之后，當亮度上升、超出正側(cè)閾值時，輸出正極性事件。

如下圖所示，入射光被像素以對數(shù)關(guān)系由亮度轉(zhuǎn)換成電壓。因此，EVS既可以在低亮度下檢測出微弱的亮度差，又可以在高亮度下抑制因較大亮度差所導(dǎo)致的事件信號飽和，從而實現(xiàn)了傳感器的寬動態(tài)性能。

根據(jù)上述動作原理，可輸出如下（右圖）所示的EVS視頻。

由于像素的亮度變化是在被攝體移動時發(fā)生的，因此，該圖像看起來就像是提取了移動被攝體的輪廓（照片是將搭載EVS的相機設(shè)置在汽車儀表板上拍攝到的圖像）。

技術(shù)說明

實現(xiàn)業(yè)界最小像素尺寸的堆棧式小型、高分辨率傳感器

傳統(tǒng)技術(shù)中將受光部與亮度檢測部配置在同一個平面上，而本產(chǎn)品劃分出像素芯片（上部）與嵌入了信號處理電路的邏輯芯片（下部）兩個部分。兩個芯片堆棧在一起，利用Cu-Cu（銅-銅）連接實現(xiàn)各像素的導(dǎo)通。除了業(yè)界最小的像素尺寸4.86μm，還對邏輯芯片采用了40nm的微細工藝，實現(xiàn)高度集成，這樣，僅需1/2.5英寸就能實現(xiàn)1,280×720的HD分辨率。

*1) 在堆棧式基于事件的視覺傳感器中，基于索尼研究，截至2021年9月9日發(fā)稿時間。

實現(xiàn)高速、低延遲

各像素獨立檢測到亮度變化后，會立即將數(shù)據(jù)作為事件輸出。當多個像素發(fā)生事件時將憑借仲裁電路，按照事件的先后順序依次輸出。基于這樣的邏輯電路，能夠以低電力消耗、微秒級的高速度，僅輸出有效的動態(tài)信息。

H/W內(nèi)置事件過濾功能

為應(yīng)對各種用途，搭載了針對事件數(shù)據(jù)的多重過濾功能。
利用這一過濾功能，能夠過濾LED閃爍等特定周期發(fā)生的無需識別的事件、很可能不屬于動態(tài)被攝體輪廓的事件，以及調(diào)整后段系統(tǒng)可處理的事件發(fā)生率以下的數(shù)據(jù)量等。

相當于30fps的“幀化事件數(shù)據(jù)”的累積圖（左圖、右圖）

過濾功能ON（右圖）以后，有望達到在保留特定用途中有用信息的同時削減數(shù)據(jù)量的效果。
例如右側(cè)（ON的圖）中的“道路白線信息”就是有用的信息。

事件信號處理例

①液體監(jiān)測

基于幀的傳感器的圖像

③金屬過程監(jiān)控

④3D測量

⑤振動監(jiān)測

*)Metavision是Prophesee公司的SW開發(fā)環(huán)境與算法庫群。
Metavision?是、PROPHESEE S.A.的注冊商標。

外觀檢查、異物檢查

EVS是通過拍攝產(chǎn)品的相對動態(tài)變化，從而對劃痕及污垢的亮度差進行檢測。例如，在劃痕/灰塵的檢查或者在大型卷筒薄膜的破損檢查等場景下，EVS有望得到廣泛應(yīng)用。

其顯著特長是數(shù)據(jù)量較小以及與機器學(xué)習(xí)的兼容性高。在RGB相機的情況下，由于顯色方式的影響，會導(dǎo)致劃痕等的外觀存在差異，而且數(shù)據(jù)量也很大。而EVS則能夠檢測出各個像素的亮度變化，并將“坐標”和“時間信息”進行組合輸出，因此數(shù)據(jù)量較小，速度很快。通過與機器學(xué)習(xí)相結(jié)合，還能夠有助于檢查的自動化。

相關(guān)領(lǐng)域

電子設(shè)備制造
食品?醫(yī)藥品?化妝品制造

機械異常的檢測

由于EVS可以檢測高速物體的動態(tài)并進行追蹤，因此，即使是輕微的動作異常，也能夠輸出輕量且無延遲的數(shù)據(jù)。通過與機器學(xué)習(xí)相結(jié)合，還可以應(yīng)用于異常檢測系統(tǒng)。

相關(guān)領(lǐng)域

電子設(shè)備制造
重工業(yè)?成套設(shè)備制造

機器人領(lǐng)域

目前，在物流行業(yè)，對自走式機器人的需求正在日益增加。EVS可根據(jù)物體輪廓的變化，對物體的外觀特征進行“動態(tài)檢測”。而且，還能夠?qū)φ系K物的檢測進行高速處理，因此，在自動搬運機器人及快遞機器人等自走式機器人領(lǐng)域有望獲得廣泛應(yīng)用。另外，在護理支援的現(xiàn)場，還正在研討將其應(yīng)用于護理機器人。

相關(guān)領(lǐng)域

物流

保護個人隱私的監(jiān)控

可以將人物的動作狀態(tài)作為亮度的變化進行捕捉。而且不會對人臉的顏色和形狀進行具體拍攝，因此，非常適合在醫(yī)療及護理現(xiàn)場中的安全監(jiān)控，可以保護個人隱私。

另外，依靠其動態(tài)范圍較寬的特性，可以在不受照明環(huán)境影響的情況下對“動態(tài)”進行檢測，并輸出輕量且無延遲的數(shù)據(jù)。例如，即使在安防用圖像傳感器難以拍攝的昏暗場所，也可對人的移動路線進行監(jiān)控。通過將EVS與其他圖像傳感器進行組合，還能夠構(gòu)建性能更高的監(jiān)控系統(tǒng)。

相關(guān)領(lǐng)域

安全監(jiān)控

科學(xué)測量、調(diào)查

由于EVS能夠識別快速變化的物體，因此非常適用于科學(xué)測量領(lǐng)域。在客戶行為調(diào)查領(lǐng)域，由于只是對人的動態(tài)進行反應(yīng)獲取數(shù)據(jù)，因此可以實現(xiàn)保護個人隱私的客戶行為調(diào)查。

相關(guān)領(lǐng)域

研究?調(diào)查

UI/UX開發(fā)

基于事件的視覺傳感器可將各像素的動態(tài)作為亮度變化加以捕捉，并能夠以低延遲只輸出發(fā)生變化的數(shù)據(jù)，因此最為適用于手部動作等的手勢追蹤設(shè)計。通過與ToF式距離圖像傳感器進行組合，還有望進一步擴大應(yīng)用。

相關(guān)領(lǐng)域

研究?調(diào)查

（2021年9月9日，日本厚木）——索尼半導(dǎo)體解決方案公司（下稱“索尼”）今天宣布即將發(fā)布兩款堆棧式基于事件的視覺傳感器。兩款傳感器為工業(yè)設(shè)備而設(shè)計，能夠?qū)Ｗ⒂谖矬w特定變化的檢測，且實現(xiàn)了業(yè)界最小*1的4.86μm像素尺寸。

*1:在堆棧式的基于事件的視覺傳感器中，基于索尼研究，截至2021年9月9日發(fā)稿時間。

基于事件的視覺傳感器可異步（非同時）檢測每個像素的亮度變化并僅輸出變化的數(shù)據(jù)，將其與像素位置（xy坐標）和時間信息相結(jié)合，從而實現(xiàn)高速度、低延遲的數(shù)據(jù)輸出。

這兩款新的傳感器采用堆棧式技術(shù)，利用索尼專有的Cu-Cu連接技術(shù)*2，實現(xiàn)了業(yè)界最小*1的 4.86μm像素尺寸。除了以低功耗運行并實現(xiàn)高速度、低延遲、高時間分辨率的數(shù)據(jù)輸出外，這兩款傳感器還具有小尺寸但分辨率超高的特點。集合所有這些優(yōu)勢，以確保在不同環(huán)境和情況下立即檢測到移動對象。

*2:在堆棧像素部分（頂部芯片）和邏輯電路（底部芯片）時通過連接的Cu（銅）焊盤實現(xiàn)電氣連接的技術(shù)。與通過插入像素區(qū)域周圍的電極實現(xiàn)連接的硅通孔 (TSV) 布線相比，這種方法提供了更多的設(shè)計自由度、提高了生產(chǎn)效率、允許更緊湊的尺寸并提高了性能。

兩款傳感器是索尼和Prophesee之間進行合作，將索尼的CMOS圖像傳感器技術(shù)與Prophesee獨特的基于事件的視覺傳感器技術(shù)相結(jié)合而實現(xiàn)的。這可以實現(xiàn)高速度、高精度的數(shù)據(jù)采集，并有助于提高工業(yè)設(shè)備的生產(chǎn)率。

*3:基于圖像傳感器有效像素測定方法。

隨著工業(yè)設(shè)備行業(yè)的需求日趨復(fù)雜和多樣化，使用傳感技術(shù)從攝像頭捕獲的圖像中提取必要信息的用途不斷增多，這就需要更高效的數(shù)據(jù)采集。

如果使用常用的基于幀（畫面）的方法，整個圖像是由幀率確定以一定時間間隔輸出的。然而，全新的索尼傳感器利用變化監(jiān)測的方法異步檢測像素亮度變化并輸出帶有像素位置（xy坐標）和時間信息的數(shù)據(jù)。它們采用專有的堆棧式結(jié)構(gòu)，利用Cu-Cu連接實現(xiàn)像素芯片和邏輯芯片之間的導(dǎo)電，邏輯芯片配備了用于檢測每個像素亮度變化的信號處理電路。這種設(shè)計使得只有檢測到物體亮度變化的像素才能輸出數(shù)據(jù)，使傳感器能夠在低功耗運行狀態(tài)上以高速度、低延遲、高時間分辨率的方式檢測亮度變化。同時，該設(shè)計實現(xiàn)了業(yè)界最小的※1像素尺寸4.86μm，是非常小型緊湊的高分辨率傳感器。??

兩款傳感器可以感知振動的細微變化，在設(shè)備的預(yù)測性維護中檢測異常情況。它們還可以感知焊接和金屬切割過程中產(chǎn)生的火花的變化，這些信息可用于通知工人更換工具的最佳時間，以及其他方面的各種可能性。同樣，它們可以在基于幀（畫面）的圖像傳感器遇到問題的各種應(yīng)用環(huán)境中幫助改進生產(chǎn)，并為依靠于人類經(jīng)驗的工作流程提供支持。

主要特點

■業(yè)界最小*1像素尺寸4.86μm，高分辨率的小型緊湊設(shè)計

新傳感器采用專有的堆棧式結(jié)構(gòu)，利用Cu-Cu連接實現(xiàn)像素芯片和邏輯芯片之間的導(dǎo)電，邏輯芯片配備了用于檢測每個像素亮度變化的信號處理電路。像素單元和信號處理電路通常放置在同一塊板上。然而，在這些產(chǎn)品中，獨特的堆棧式結(jié)構(gòu)成功實現(xiàn)業(yè)界最小*1的4.86μm像素尺寸，同時保持了像素單元的高開口率*4。這種設(shè)計提供了小型緊湊的外形和高分辨率，以及高精度的識別能力。

*4:從光入射側(cè)看每個像素的開口部分（除遮光部分以外的部分）的比率。

■盡管功耗低，但具有高速度、低延遲、高時間分辨率的變化數(shù)據(jù)提取能力

專有的堆棧式結(jié)構(gòu)使索尼能夠選擇變化監(jiān)測的方法，異步檢測像素亮度變化并輸出帶有像素位置（xy坐標）和時間信息的數(shù)據(jù)。與基于幀（畫面）的方法不同，這允許傳感器僅讀取所需的數(shù)據(jù)，從而節(jié)省功耗，并且具有微秒級的高速度和低延遲，可實現(xiàn)高時間分辨率的輸出。

■簡化信息獲取的變化過濾功能

這些傳感器配備了Prophesee開發(fā)的變化過濾功能，用于消除不必要的變化數(shù)據(jù)，使其適用于各類應(yīng)用。使用這些過濾器有助于消除不應(yīng)被當前識別任務(wù)抓取的變化，例如在特定頻率下可能發(fā)生的LED閃爍（抗閃爍），以及極不可能是移動對象輪廓的變化（變化過濾器）。過濾器還可以在必要時調(diào)整數(shù)據(jù)量，以確保其低于下游系統(tǒng)中可處理的變化率（變化率控制）。

作為索尼和 Prophesee 在此類傳感器產(chǎn)品合作的一部分，Prophesee提供一種針對傳感器性能優(yōu)化的變化信號處理軟件--Metavision? Intelligence Suite。將索尼基于事件的視覺傳感器與該軟件相結(jié)合，可實現(xiàn)高效的應(yīng)用程序開發(fā)并為各種使用場景提供解決方案。

Metavision?是PROPHESEE S.A.的注冊商標。

如果想了解索尼基于事件的視覺傳感器的更多信息，請訪問以下網(wǎng)址：

產(chǎn)品頁面：

https://www.sony-semicon.co.jp/cn/products/IS/industry/product/evs.html

技術(shù)頁面：

https://www.sony-semicon.co.jp/cn/products/IS/industry/technology/evs.html

關(guān)鍵參數(shù)

*5: Region of Interest，注意（興趣）區(qū)域， 9 × 9 = 81像素。

*6: Thinned read-out, 細化讀出，1/5 (水平方向)。

*7: 5lux(勒克斯、照明單位)是保證成像特性的最低光照條件。 低光阻隔（不保證）為 0.08 lux，50% 的像素響應(yīng)線性 100% 對比。

?參考鏈接：https://www.sony-semicon.com/cn/technology/industry/evs.html

? ?https://www.sony.com.cn/content/sonyportal/zh-cn/cms/newscenter/techonology/2021/20210909-011.html ? ? ? ? ? ? ??

? ? ? ? ? ? ? ? ? ?