查看引用/信息源請(qǐng)點(diǎn)擊：映維網(wǎng)Nweon

減少系統(tǒng)中傳感器設(shè)備的數(shù)量、系統(tǒng)的尺寸、重量和成本以及帶寬

（映維網(wǎng)Nweon?2023年07月18日）為了執(zhí)行眼動(dòng)追蹤、手部追蹤、身體追蹤、掃描周圍環(huán)境等，可以使用多個(gè)傳感器來(lái)捕獲彩色圖像和紅外圖像。然而，多個(gè)傳感器設(shè)備會(huì)增加X(jué)R系統(tǒng)的尺寸、重量和成本。

同時(shí)，傳感器設(shè)備可能會(huì)從周圍環(huán)境中捕獲大量信息，從而要求XR系統(tǒng)具有較高的數(shù)據(jù)傳輸帶寬、較大的存儲(chǔ)空間和較高的處理能力，并因此可能具有較高的功耗。

另外，傳統(tǒng)的拜耳RGB顏色傳感器由于拜耳彩色濾光片陣列造成的損耗，光轉(zhuǎn)換效率較低，在低光環(huán)境下靈敏度低，成像性能差。

在名為“Sparse rgb filter hardware accelerator”的專利申請(qǐng)中，Meta提出稀疏彩色圖像傳感器可用于同時(shí)捕獲紅色、綠色和藍(lán)色圖像、白光圖像和/或紅外圖像，并由于高靈敏度全色像素而提供更好的低光成像性能。

稀疏彩色圖像傳感器在單次拍攝中捕獲的稀疏彩色圖像可以包括對(duì)象或場(chǎng)景的紅光、綠光、藍(lán)光、紅外光和強(qiáng)度信息?？梢砸詧D像流的形式發(fā)送給應(yīng)用處理器，從而減少系統(tǒng)中傳感器設(shè)備的數(shù)量、系統(tǒng)的尺寸、重量和成本以及帶寬。

在另一方面，通用處理器可能無(wú)法以原始數(shù)據(jù)格式直接處理稀疏彩色圖像傳感器的輸出數(shù)據(jù)。所以可以在圖像傳感器、應(yīng)用處理器或中間圖像轉(zhuǎn)換芯片或特定應(yīng)用集成電路中實(shí)現(xiàn)硬件加速器，以將捕獲的稀疏彩色圖像轉(zhuǎn)換為可由應(yīng)用處理器處理的圖像格式。

在一個(gè)實(shí)施例中，圖像濾波電路可以使用最小緩沖區(qū)空間來(lái)最小化延遲并減少本地內(nèi)存需求。圖像濾波器同時(shí)可以共享一定的緩沖區(qū)，以進(jìn)一步減少本地存儲(chǔ)器的芯片面積和功耗。

在一個(gè)實(shí)施例中，第一圖像濾波器的輸出可以緩沖并供第二圖像濾波器使用，以減少第二濾波器的計(jì)算和延遲。同時(shí)，可以安排輸出順序以更有效地共享緩沖區(qū)并減少本地內(nèi)存使用。另外，單色圖像、拜耳RGB彩色圖像和/或從稀疏彩色圖像轉(zhuǎn)換的紅外圖像可以組合成一個(gè)或多個(gè)輸出通道。

Meta指出，可以使用單個(gè)傳感器裝置在單次拍攝中捕獲不同波長(zhǎng)波段的圖像，同時(shí)實(shí)現(xiàn)高靈敏度。捕獲的數(shù)據(jù)可以在一個(gè)數(shù)據(jù)流中發(fā)送以進(jìn)行處理。圖像濾波電路可將包括用于多個(gè)不同波長(zhǎng)波段的圖像數(shù)據(jù)的數(shù)據(jù)流轉(zhuǎn)換為可由常規(guī)圖像處理器處理的數(shù)據(jù)格式圖像。圖像濾波電路可以使用少量的本地內(nèi)存，共享一定的中間結(jié)果，并以較低的時(shí)鐘頻率工作，因此可以減小尺寸，減少延遲和降低功耗。

稀疏彩色圖像傳感器可以類似人眼的方式工作。在人類視網(wǎng)膜中，95%的光感受器是視桿細(xì)胞，只有5%是視錐細(xì)胞。桿狀細(xì)胞可能主要負(fù)責(zé)在弱光條件下捕捉亮度信息，而錐狀細(xì)胞可能負(fù)責(zé)色覺(jué)和色彩敏感性，并在相對(duì)明亮的條件下發(fā)揮最佳功能。

為了實(shí)現(xiàn)類似人類的視覺(jué)性能，特別是在低光條件下，稀疏彩色圖像傳感器可能具有高比例的白色像素，而彩色像素可能稀疏地分布在圖像傳感器。

通過(guò)在拜爾彩色圖像傳感器中使用的紅色、綠色和藍(lán)色像素上添加全色像素，稀疏彩色圖像傳感器可以在保持整體圖像質(zhì)量和色彩保真度的同時(shí)顯著提高光敏度，從而允許用戶在弱光條件下捕獲更好的圖片和視頻，并且/或使用更快的快門速度來(lái)減少運(yùn)動(dòng)對(duì)象成像時(shí)的運(yùn)動(dòng)模糊。

圖5B示出了稀疏彩色圖像傳感器的稀疏濾色器陣列（CFA） 520。稀疏CFA 520可以在大約四分之一的像素上包括彩色濾光片，其中紅色濾光片可以在大約1/16的像素上，藍(lán)色濾光片可以在大約1/16的像素上，綠色濾光片可以在大約1/8的像素上。其他像素可以是沒(méi)有彩色濾光片的全色像素，因此可以捕獲可見(jiàn)光和紅外光。

圖5C示出稀疏彩色圖像傳感器的稀疏CFA 530。稀疏CFA 530可以包括大約1/4像素上的彩色濾光片，其中紅色濾光片可以在大約1/16像素上，藍(lán)色濾光片可以在大約1/16像素上，綠色濾光片可以在大約1/8像素上。其他像素可以是沒(méi)有濾色器的全色像素，并且可以捕獲可見(jiàn)光和紅外光。特定彩色像素或全色像素可以包括紅外濾光片，因此可以捕獲紅外光?？梢詧?zhí)行像素插值來(lái)構(gòu)造彩色圖像和紅外圖像。

圖5D示出稀疏彩色圖像傳感器的稀疏CFA 540。稀疏的CFA 540可以在大約一半的像素上包括彩色濾光片，其中紅色濾光片可能在大約1/8個(gè)像素上，藍(lán)色濾光片可能在大1/18像素上，綠色濾光片可能在大約1/4像素上。其他像素可以是沒(méi)有濾色器的全色像素，并且可以捕獲可見(jiàn)光和紅外光。特定彩色像素或全色像素可以包括紅外濾光片，因此可以捕獲紅外光?？梢詧?zhí)行像素插值來(lái)構(gòu)造彩色圖像和紅外圖像。

通用處理器可能無(wú)法處理稀疏彩色圖像傳感器的輸出數(shù)據(jù)。所以可以在圖像傳感器、應(yīng)用處理器或中間圖像轉(zhuǎn)換芯片或特定應(yīng)用集成電路中實(shí)現(xiàn)硬件加速器，以將捕獲的稀疏彩色圖像轉(zhuǎn)換為可由應(yīng)用處理器處理的圖像格式。

在圖4所示的實(shí)施例中，圖像濾波器480可包括將稀疏彩色圖像傳感器捕獲的圖像數(shù)據(jù)轉(zhuǎn)換為單色圖像的稀疏到單色濾波器，并且可包括用于將稀疏彩色圖像傳感器捕獲的圖像數(shù)據(jù)轉(zhuǎn)換為拜耳RGB彩色圖像的重新鑲嵌濾波器。

在一個(gè)實(shí)施例中，圖像濾波器480還可以包括用于將拜耳RGB彩色圖像轉(zhuǎn)換為用于全彩圖像的紅、綠和藍(lán)通道的單色圖像的去馬賽克濾波器。圖像濾波器480可以在傳感器410、應(yīng)用處理器420或諸如獨(dú)立FPGA或ASIC芯片的另一組件上實(shí)現(xiàn)。

圖6示出了將由稀疏彩色圖像傳感器捕獲的稀疏彩色圖像轉(zhuǎn)換為紅色、綠色、藍(lán)色和全色通道中的圖像。

在示例中，稀疏彩色圖像605可由稀疏彩色圖像傳感器輸出。硬件加速器600可包括稀疏到單色濾波器610、重新鑲嵌濾波器630和由稀疏到單色濾波器610和重新鑲嵌濾波器630共享的緩沖器620。

緩沖器620可用于臨時(shí)存儲(chǔ)稀疏彩色圖像605的輸入數(shù)據(jù)。稀疏到單色濾波器610可以從稀疏彩色圖像605生成單色圖像615。可以將從稀疏到單色濾波器610輸出的單色圖像615保存到存儲(chǔ)器。

重新拼接濾波器630可以使用稀疏彩色圖像605和由稀疏到單色濾波器610生成的單色圖像615來(lái)生成拜耳彩色圖像635。

在一個(gè)實(shí)施例中，硬件加速器600或另一處理設(shè)備可以包括去馬賽克濾波器640，其可以為全彩圖像的紅、綠、藍(lán)通道生成彩色圖像645。彩色圖像645可以通過(guò)例如在拜耳彩色圖像635中插值彩色像素來(lái)生成。彩色圖像645和單色圖像615可以是全彩圖像的四個(gè)通道，并且可以由一個(gè)或多個(gè)圖像處理器和/或追蹤單元處理，以用于人工現(xiàn)實(shí)系統(tǒng)中的圖像渲染。

圖7A示出根據(jù)將稀疏彩色圖像710轉(zhuǎn)換為單色圖像的示例。為了將稀疏彩色圖像710轉(zhuǎn)換為單色圖像730，稀疏彩色圖像710中的彩色像素需要通過(guò)稀疏到單色濾波器720轉(zhuǎn)換為全色像素。稀疏彩色圖像710中全色像素的像素?cái)?shù)據(jù)Sparse(X)可作為單色圖像730中相應(yīng)像素的像素?cái)?shù)據(jù)Mono(X)。

在所示的示例中，稀疏到單色濾波器720可以使用3×3窗口712中全色像素的像素?cái)?shù)據(jù)轉(zhuǎn)換每個(gè)顏色像素。其中，3×3窗口712具有位于3×3窗口中心的顏色像素。例如，稀疏到單色濾波器720可以利用窗口712全色像素的像素?cái)?shù)據(jù)確定窗口712中的水平梯度Gh和垂直梯度Gv，并根據(jù)水平梯度Gh和垂直梯度Gv的相對(duì)大小確定單色圖像730中像素E的像素?cái)?shù)據(jù)Mono(E)。

如果水平梯度Gh大于垂直梯度Gv，則可以根據(jù)稀疏彩色圖像710中像素E上下像素的全色像素?cái)?shù)據(jù)確定單色圖像730中像素E的像素?cái)?shù)據(jù)Mono(E)。基于稀疏彩色圖像710中像素E左右像素的像素?cái)?shù)據(jù)，可以確定單色圖像730中像素E的像素?cái)?shù)據(jù)Mono(E)。

圖7B示出稀疏到單色濾波器720的實(shí)施例。在所示的示例中，稀疏到單色濾波器720可以包括輸入緩沖器740、邏輯電路750和770、第一寄存器760和第二寄存器780。輸入緩沖區(qū)740可以存儲(chǔ)稀疏彩色圖像710的窗口712中像素的像素?cái)?shù)據(jù)。邏輯電路750可對(duì)窗口712中像素的像素?cái)?shù)據(jù)進(jìn)行算術(shù)運(yùn)算，并將計(jì)算結(jié)果存儲(chǔ)在第一寄存器760中。

圖8示出了將稀疏彩色圖像800中的彩色像素轉(zhuǎn)換為全色像素。在所示的示例中，在接收輸入圖像流時(shí)，稀疏彩色圖像800每隔一行上的彩色像素可依次轉(zhuǎn)換為全色像素。每個(gè)顏色像素可以在一個(gè)時(shí)鐘周期內(nèi)使用3×3窗口810中全色像素的像素?cái)?shù)據(jù)轉(zhuǎn)換為全色像素。

當(dāng)稀疏到單色濾波器在圖像流中接收像素?cái)?shù)據(jù)時(shí)，可以轉(zhuǎn)換彩色像素。稀疏到單色濾波器的時(shí)鐘頻率可以是每隔一行稀疏彩色圖像800的圖像流數(shù)據(jù)速率的一半。

如圖8所示，為了將彩色像素轉(zhuǎn)換為全色像素，可以使用彩色像素上下行像素的像素?cái)?shù)據(jù)。因此，需要對(duì)彩色圖像中至少兩行的像素的圖像流進(jìn)行緩沖。例如，在接收到用于第3行的至少一些像素?cái)?shù)據(jù)之后，可以將第2行的彩色像素轉(zhuǎn)換為全色像素，其中用于第1行和第2行的像素?cái)?shù)據(jù)可以緩沖在緩沖區(qū)620的兩個(gè)行緩沖器中。

圖9示出了緩沖用于稀疏到單色圖像轉(zhuǎn)換和稀疏到拜耳圖像轉(zhuǎn)換的像素?cái)?shù)據(jù)。在所述示例中，硬件加速器900的本地緩沖器902可包括用于存儲(chǔ)稀疏彩色圖像中第一行像素的像素?cái)?shù)據(jù)的行緩沖器0，以及用于存儲(chǔ)稀疏彩色圖像中第二行像素的像素?cái)?shù)據(jù)的行緩沖器1。

用于第三行像素的像素?cái)?shù)據(jù)可以輸入到圖像流輸入930中。本地緩沖器902同時(shí)可以包括額外的存儲(chǔ)設(shè)備940，例如RAM設(shè)備或寄存器，其可用于存儲(chǔ)中間結(jié)果先前接收到的稀疏彩色圖像的像素?cái)?shù)據(jù)。

稀疏到單色濾波器950的邏輯電路，在接收到3×3窗口905中像素G、H和I的像素?cái)?shù)據(jù)后，可以確定窗口905中心的顏色像素的全色像素?cái)?shù)據(jù)。所述彩色像素的全色像素值可存儲(chǔ)在單色流輸出緩沖器955中，并且可用于生成如本公開(kāi)所述的拜耳彩色圖像。

在稀疏到單色濾波器的每個(gè)時(shí)鐘周期中，行緩沖器0中的像素?cái)?shù)據(jù)可以右移，使得行緩沖器0中最右邊的兩個(gè)像素的像素?cái)?shù)據(jù)可以移出行緩沖器0。

行緩沖區(qū)1中的像素?cái)?shù)據(jù)可以右移，使得行緩沖區(qū)1中最右邊的兩個(gè)像素的像素?cái)?shù)據(jù)可以移到行緩沖區(qū)0中。

圖像流輸入930或輸入緩沖區(qū)中的像素?cái)?shù)據(jù)同樣可以右移，使得兩個(gè)最右邊像素的像素?cái)?shù)據(jù)可以移到行緩沖區(qū)1中，并且下兩個(gè)新像素的像素?cái)?shù)據(jù)可以移到圖像流輸入930或輸入緩沖區(qū)中。

當(dāng)將第三排象素中下兩個(gè)新象素的象素?cái)?shù)據(jù)移入圖像流輸入930時(shí)，邏輯電路可生成下一顏色象素的全色象素?cái)?shù)據(jù)，并將全色象素?cái)?shù)據(jù)保存在單色流輸出緩沖器955中。

上述處理可對(duì)所述像素的下兩行繼續(xù)進(jìn)行，直到所述稀疏彩色圖像的所有行像素被所述邏輯電路處理。

圖10示出了將稀疏彩色圖像傳感器捕獲的稀疏彩色圖像1010轉(zhuǎn)換為拜耳彩色圖像1040。在所示的示例中，可以從稀疏彩色圖像1010生成單色圖像1020，其中像素a、C、I和K的全色像素?cái)?shù)據(jù)可以通過(guò)插值全色像素的像素?cái)?shù)據(jù)來(lái)生成。

為了生成拜耳彩色圖像1040，可以將稀疏彩色圖像1010中的綠色像素的像素?cái)?shù)據(jù)與單色圖像1020中的像素?cái)?shù)據(jù)組合使用，以確定在綠色像素的原始位置的左側(cè)和右側(cè)的拜耳彩色圖像1040的像素的像素?cái)?shù)據(jù)，以及在原始綠色像素的位置的上方和下方的拜耳彩色圖1040的圖像的像素?cái)?shù)據(jù)。

稀疏彩色圖像1010中的藍(lán)色像素的像素?cái)?shù)據(jù)可以與單色圖像1020中的像素?cái)?shù)據(jù)組合使用，以確定拜耳彩色圖像1040的四個(gè)像素的像素?cái)?shù)據(jù)。

稀疏彩色圖像1010中的紅色像素的像素?cái)?shù)據(jù)可以與單色圖像1020中的像素?cái)?shù)據(jù)組合使用，以確定拜耳彩色圖像1040的紅色像素在綠色像素和藍(lán)色像素的原始位置處的像素?cái)?shù)據(jù)。

相關(guān)專利：

Meta Patent | Sparse rgb filter hardware accelerator

https://patent.nweon.com/28894

名為“Sparse rgb filter hardware accelerator”的Meta專利申請(qǐng)最初在2021年12月提交，并在日前由美國(guó)專利商標(biāo)局公布。

---
原文鏈接：https://news.nweon.com/110406