查看引用/信息源請點擊：映維網(wǎng)Nweon

低延遲視頻透視計算系統(tǒng)

（映維網(wǎng)Nweon?2023年08月16日）蘋果Vision?Pro，Meta?Quest?3，PICO?4，視頻透視功能越發(fā)成為XR頭顯的標(biāo)配。實際上，微軟同樣有探索這一主題。在名為“Video pass-through computing system”的專利申請中，微軟就介紹了一種視頻透視計算系統(tǒng)。

微軟指出，現(xiàn)有的視頻傳輸計算系統(tǒng)在視頻捕獲和AR視頻流顯示之間存在高延遲，例如至少50毫秒顯示視頻幀。造成這種延遲的一個因素是由主機(jī)執(zhí)行視頻流的圖像信號處理。在這種配置中，攝像頭視頻流由攝像頭捕獲。攝像頭將攝像頭視頻流發(fā)送到主機(jī)計算機(jī)。

主機(jī)計算機(jī)通常一次緩沖整個視頻幀，并用于圖像信號處理以生成處理后的視頻流。主機(jī)將處理后的視頻流發(fā)送到頭戴式顯示設(shè)備進(jìn)行顯示。不同設(shè)備之間的視頻傳輸可能會遇到各種系統(tǒng)瓶頸，并且可能增加計算開銷，從而增加延遲。

在移動時，用戶容易感知到這種延遲最容易，從而造成基于視頻透視的AR體驗不愉快，并導(dǎo)致不適。

微軟的發(fā)明主要介紹了一種低延遲視頻透視計算系統(tǒng)。其中，可以直接在硬件中，在子幀級執(zhí)行攝像頭圖像像素流的圖像信號處理。這種處理可由頭戴式顯示設(shè)備的AR控制電路執(zhí)行，以便產(chǎn)生處理過的圖像像素流。

虛擬圖像像素流在渲染后送至AR控制電路。所述AR控制電路將所述處理后的圖像像素流與所述虛擬圖像像素流復(fù)合，從而生成合成的顯示圖像像素流，亦即包含透視內(nèi)容和虛擬內(nèi)容。

AR控制電路進(jìn)一步配置為，根據(jù)攝像頭圖像像素流的對應(yīng)像素是否與虛擬圖像像素流的像素在時間上不同步，利用反饋將透視內(nèi)容與虛擬內(nèi)容在時間上同步，以生成合成的顯示圖像像素流。

通過在子幀級執(zhí)行攝像頭圖像像素流的圖像信號處理，可以避免等待在硬件中緩沖的整個圖像幀以開始信號處理。相對于現(xiàn)有的方法，這可以減少視頻透視計算系統(tǒng)的延遲。

在一個實施例中，攝像頭圖像像素流的圖像信號處理可以直接在頭戴式顯示器的硬件中執(zhí)行，這可以減少傳輸開銷，從而進(jìn)一步減少延遲。延遲可以降低到用戶的認(rèn)知閾值以下，例如約10毫秒，這樣用戶就不會在顯示的AR圖像像素流中感知到任何延遲。

另外，通過使用來自攝像頭圖像像素流和虛擬圖像像素流的合成像素的反饋來控制攝像頭啟動圖像捕獲的時間，可以適當(dāng)?shù)嘏R時注冊攝像頭像素圖像流和虛擬圖像像素流。通過這種方式，可以向用戶顯示沒有失真和不適的AR體驗。

圖1A和1B顯示了說明性視頻透視計算系統(tǒng)100的各個方面。在圖1A中，視頻透視計算系統(tǒng)100由用戶102佩戴。視頻透視計算系統(tǒng)100包括以通信方式耦合到頭戴式顯示設(shè)備106的主機(jī)104。

頭戴式顯示設(shè)備106配置為將左、右攝像頭圖像像素流與左、右虛擬圖像像素流合成，以生成左、右顯示圖像像素流。具體地說，用相應(yīng)的左、右虛擬圖像像素流的虛擬內(nèi)容增強(qiáng)相應(yīng)的左、右攝像頭圖像像素流，從而形成增強(qiáng)現(xiàn)實圖像。

換句話說，透視內(nèi)容與虛擬內(nèi)容相結(jié)合，以提供顯示給用戶的AR體驗。

除了所述合成過程之外，所述頭戴式顯示設(shè)備106可配置為對所述攝像頭圖像像素流執(zhí)行各種圖像信號處理操作。

圖2示出示例視頻透視計算系統(tǒng)200。頭戴式顯示設(shè)備204包括左攝像頭206L和右攝像頭206R。左攝像頭206L配置為從左視角對真實世界的物理場景進(jìn)行成像，以生成左攝像頭圖像像素流208L?？梢愿鶕?jù)基于左攝像頭時鐘信號210L的曝光定時來生成左攝像頭圖像像素流208L。

右攝像頭206R配置為從不同于左視角的右視角對物理場景進(jìn)行成像，以生成右攝像頭圖像像素流208R?？梢愿鶕?jù)基于右攝像頭時鐘信號210R的曝光定時來生成右攝像頭圖像像素流208R。

在一個實施例中，左側(cè)攝像頭時鐘信號210L和右側(cè)攝像頭時鐘信號210R可能是驅(qū)動兩臺攝像頭的相同信號。在其他示例中，左側(cè)攝像頭時鐘信號210L和右側(cè)攝像頭時鐘信號210R可能相互獨立。

所述各攝像頭206L、206R的曝光時序指示啟動圖像捕獲以根據(jù)所述各攝像頭206L、206R的幀速率捕獲圖像的時序。左攝像頭206L和右攝像頭206R可以根據(jù)任何合適的幀速率捕獲圖像，包括但不限于每秒30、60、90或120或更多幀。

所述左攝像頭206L和右攝像頭206R配置為將所述左攝像頭和右攝像頭圖像像素流208L、208R發(fā)送到AR控制電路212。到達(dá)電路212的像素流可以是原始的和未處理的，或者它們可以在攝像頭上或通過中間組件以不同程度進(jìn)行處理。

如所述，頭戴式顯示設(shè)備204可以包括姿態(tài)追蹤子系統(tǒng)214，以追蹤頭戴式顯示設(shè)備204在真實世界物理場景中的姿態(tài)。姿態(tài)追蹤子系統(tǒng)214可以包括一個或多個光學(xué)傳感器，例如彩色或單色攝像頭。姿態(tài)追蹤子系統(tǒng)214同時可以包括慣性測量單元。

姿態(tài)追蹤子系統(tǒng)214可以配置為使用任何合適類型的傳感器，并以任何合適的方式追蹤頭戴式顯示設(shè)備204的姿態(tài)。頭戴式顯示設(shè)備204的確定姿態(tài)可以具有不同的特征。

頭戴式顯示設(shè)備204配置成將與所確定的姿態(tài)相對應(yīng)的姿態(tài)數(shù)據(jù)216發(fā)送給主機(jī)202。主機(jī)202配置為基于頭戴式顯示設(shè)備204的姿態(tài)呈現(xiàn)左右虛擬圖像像素流218。

左側(cè)和右側(cè)虛擬圖像像素流218包括用于虛擬地增強(qiáng)真實世界圖像以形成呈現(xiàn)給用戶的AR體驗的虛擬內(nèi)容。

主機(jī)202配置為根據(jù)基于主機(jī)時鐘信號220的虛擬圖像幀率呈現(xiàn)左和右虛擬圖像像素流218。主機(jī)202可以根據(jù)任何合適的幀速率呈現(xiàn)虛擬圖像像素流，包括但不限于每秒30、60、90或120或更多幀。

所述主機(jī)104配置為將所述左右虛擬圖像像素流218發(fā)送至所述頭戴式顯示設(shè)備204的AR控制電路212。在一個實例中，虛擬圖像幀速率可能與攝像頭幀速率相同。在其他示例中，虛擬圖像幀速率可能不同于攝像頭幀速率。

AR控制電路212通常實現(xiàn)為頭戴式顯示設(shè)備204的集成電路，并且配置為基于從左和右攝像頭206L、206R接收到的左和右攝像頭圖像像素流208L、208R，和從主機(jī)202接收到的左和右虛擬圖像像素流218生成AR圖像。

圖3示出圖2所示的AR控制電路212的不同示例硬件模塊。AR控制電路212配置為從圖2所示的頭戴式顯示設(shè)備204的攝像頭210接收攝像頭圖像像素流208。

AR控制電路212包括圖像信號處理ISP硬件管道300，其配置為對攝像頭圖像像素流208執(zhí)行子幀圖像信號處理以生成處理后的圖像像素流302。

ISP硬件管道300可以配置為FIFO管道。AR控制電路212配置為將攝像頭圖像像素流208的像素的子幀分組緩沖到ISP硬件管道300中，以便一次逐組處理。

通過緩沖和處理像素的子幀分組，ISP硬件管道300可以在可用像素上啟動圖像信號處理操作，而不必等待整個圖像幀被緩沖到ISP硬件管道中。這樣的子幀緩沖和處理可能有助于降低如圖2所示的視頻透視計算系統(tǒng)200的總體延遲。

緩沖到ISP硬件管道300中的子幀分組中的像素數(shù)可以包括像素的任何合適的子幀數(shù)。例如，一個子幀分組可能包含10-15行掃描行像素。在子幀分組中緩沖的像素數(shù)量可以根據(jù)不同的因素而變化。

ISP硬件管道300可以配置為對攝像頭圖像像素流208中的每個像素執(zhí)行逐像素圖像信號處理。圖4示出圖3所示ISP硬件管道300的不同硬件模塊示例。

ISP硬件管道300可以包括映射模塊400，其被配置為對來自圖像傳感器攝像頭坐標(biāo)空間的每個像素執(zhí)行與顯示器對應(yīng)的顯示坐標(biāo)空間的單步幾何映射。映射模塊400可以包括內(nèi)聯(lián)像素緩沖區(qū)402，而內(nèi)聯(lián)像素緩沖區(qū)402通過將所有幾何校正操作編碼為內(nèi)聯(lián)像素緩沖區(qū)402的單個查找操作來促進(jìn)單步映射。

例如，對于在攝像頭傳感器上具有給定坐標(biāo)404的像素，映射模塊400可以執(zhí)行對內(nèi)聯(lián)像素緩沖區(qū)402的查找，以確定像素在顯示器上的相應(yīng)坐標(biāo)406。映射模塊400配置為對攝像頭像素流208的每個像素執(zhí)行逐像素映射，以生成映射的圖像像素流408，其中每個像素具有顯示空間坐標(biāo)。

將所映射的圖像像素流408提供給ISP硬件管道300的多個圖像信號處理硬件模塊410。所述圖像信號處理硬件模塊410配置為對所述映射的圖像像素流408執(zhí)行不同的面向像素的圖像信號處理功能，以生成相對于所述攝像頭圖像像素流208具有改進(jìn)的圖像質(zhì)量的所述處理過的圖像像素流302。執(zhí)行的像素級圖像信號處理功能可包括攝像頭和顯示鏡頭畸變校正。

在一個實施例中，ISP硬件管道300可以被配置為對拜耳模式圖像像素流執(zhí)行子幀圖像信號處理。在這樣的實現(xiàn)中，ISP硬件管道中的緩沖區(qū)大小可以相對于將彩色圖像像素流的顏色數(shù)據(jù)存儲在ISP硬件管道中的配置而減小。

這種緩沖大小的減小可能有助于更快的圖像信號處理和更低的視頻透視計算系統(tǒng)的總體延遲。

在圖4的實施例中，映射模塊400可以配置為接收虛擬圖像像素流的每個顏色分量的不同alpha通道參數(shù)值。所述映射模塊400可配置為將所述顏色信息烘烤到所述映射圖像像素流408中，使得所述顏色信息可用于將所述虛擬內(nèi)容與所述真實內(nèi)容適當(dāng)?shù)睾铣伞?/p>

回到圖3，由于攝像頭圖像像素流208由ISP硬件管道300處理，而虛擬圖像像素流沒有處理，因此可以在虛擬圖像像素流218之前將攝像頭圖像像素流208預(yù)曝光到電路212，以便暫時同步兩個圖像像素流到達(dá)AR控制電路212的合成器304。

特別是，在AR控制電路212接收虛擬圖像像素流218的相應(yīng)像素之前，將攝像頭圖像像素流208的像素提供給ISP硬件管道300。在所示的示例中，在AR控制電路212接收虛擬圖像像素流218的幀(N+1)像素之前，將攝像頭圖像像素流208的幀(N+1)像素的子分組緩沖到ISP硬件管道300中。

虛擬圖像像素流218的像素緩沖到輸入同步緩沖區(qū)305中。輸入同步緩沖區(qū)305配置為保存虛擬圖像像素流218的像素，而攝像頭圖像像素流208的像素則由ISP硬件管道300處理。

AR控制電路212可包括虛擬圖像像素同步緩沖器306和處理圖像像素同步緩沖器308，以促進(jìn)到達(dá)所述合成器304的像素的時間同步。

在所示示例中，注意，虛擬圖像像素流218的幀(N)的像素從輸入同步緩沖區(qū)305輸出并發(fā)送到虛擬圖像像素同步緩沖區(qū)306，而處理后的圖像像素流的幀(N)的像素從ISP硬件管道300輸出并發(fā)送到處理后的圖像像素同步緩沖區(qū)308。

所處理的圖像像素同步緩沖器308可配置為根據(jù)指定的定時將虛擬圖像像素流218的像素輸出到所述排序器304，所述排序器304可基于來自所述排序器304的反饋進(jìn)行調(diào)整。

同步緩沖器306、308可以配置為根據(jù)所接收的反饋通過改變存儲在各自緩沖器中的若干像素來進(jìn)行自調(diào)整。同步緩沖器306、308的定時通?？梢栽趫D像幀的過程中根據(jù)反饋進(jìn)行調(diào)整。

所述合成器304配置為將所述處理過的圖像像素流302與所述虛擬圖像像素流218合成，以生成所述合成的顯示圖像像素流310，亦即包含來自主機(jī)的透視內(nèi)容和虛擬內(nèi)容。

具體地，所述合成器304配置為在逐像素的基礎(chǔ)上，從所述處理圖像像素流302中選擇一個像素，從所述虛擬圖像像素流218中選擇一個像素，和/或從所述處理圖像像素流302和所述虛擬圖像像素流218中將兩個相應(yīng)的像素混合在一起，從而將所述處理圖像像素流302與所述虛擬圖像像素流218組合在一起。

在一個實施例總，像素選擇/混合可能包括確定相對于現(xiàn)實世界內(nèi)容的虛擬內(nèi)容的分層。像素混合可能包括確定虛擬內(nèi)容相對于真實內(nèi)容的半透明性，例如通過組合兩個像素的alpha通道值。

換句話說，根據(jù)所述像素在顯示器的位置，所述顯示像素可以包括虛擬內(nèi)容、物理場景的真實世界內(nèi)容，或者虛擬內(nèi)容和真實世界內(nèi)容的組合。

由于虛擬圖像像素流218由主機(jī)計算機(jī)202渲染，然后發(fā)送到頭戴式顯示設(shè)備204，因此虛擬圖像像素流218渲染與虛擬圖像像素流218到達(dá)合成器304之間的延遲可能導(dǎo)致某種程度的姿態(tài)誤差。

作為合成過程的一部分，可以將合成器304配置為執(zhí)行后期重投影操作，以在AR控制電路212上局部修改虛擬圖像像素流，以更緊密地與頭戴式顯示設(shè)備204的實際姿態(tài)對齊。

特別是，可以將合成器304配置為在虛擬圖像像素流218由主機(jī)202呈現(xiàn)后，從姿態(tài)追蹤子系統(tǒng)214接收指示頭戴式顯示設(shè)備204的更新姿態(tài)的更新姿態(tài)數(shù)據(jù)312。合成器304可以進(jìn)一步配置為基于更新的姿態(tài)數(shù)據(jù)312重新投影虛擬圖像像素流，以生成重新投影的虛擬圖像像素流，并將重新投影的虛擬圖像像素流與處理過的圖像像素流302合成。

在其他實施例中，AR控制電路212的不同硬件模塊可以在向合成器304提供虛擬圖像像素流218之前執(zhí)行虛擬圖像像素流218的后期重投影。

基于確定是否在硬件合成器304處與虛擬圖像像素流218的對應(yīng)像素時間同步地接收到經(jīng)處理圖像像素流302的對應(yīng)像素，AR控制電路212可以配置為匹配從攝像頭時鐘信號導(dǎo)出的經(jīng)處理圖像像素流302，和從主機(jī)時鐘信號導(dǎo)出虛擬圖像像素流218的不同時域。

特別地，如果攝像頭圖像像素流的像素與虛擬圖像像素流中的像素在時間上不同步，則AR控制電路212向攝像頭發(fā)送命令信號以調(diào)整攝像頭的曝光定時。

在一個實施例中，AR控制電路212可經(jīng)配置以確定當(dāng)在硬件合成器304處接收到與虛擬圖像像素流218的對應(yīng)像素相關(guān)的經(jīng)處理圖像像素流302的對應(yīng)像素時的到達(dá)時間，且基于或使用該到達(dá)時間來調(diào)整曝光時序?？梢曰谕骄彌_器的像素深度來確定到達(dá)時間。

作為一個示例，虛像像素同步緩沖器306可以具有y＝400的當(dāng)前像素深度，并且經(jīng)處理的圖像像素同步緩沖器308可以具有y=100的當(dāng)前像素深度。同步緩沖器的像素深度指示處理后的圖像像素流302正以比虛擬圖像像素流218提前的到達(dá)時間提供給合成器304。

換言之，經(jīng)處理的圖像像素流302和虛像像素流218在時間上不同步。因此，可以調(diào)整曝光定時，使得兩個緩沖器具有相同的像素深度。特別地，曝光開始時間可以延遲1個單位。

下一次通過反饋循環(huán)時，經(jīng)處理的圖像像素同步緩沖器308應(yīng)當(dāng)具有y>100的當(dāng)前像素深度?？梢曰诜答佒貜?fù)調(diào)整曝光定時，直到像素深度匹配為止。

可以一次調(diào)整一行圖像幀，或者以任何其他適當(dāng)?shù)脑隽?間隔調(diào)整曝光定時，直到實現(xiàn)時間同步。這種曝光定時的調(diào)整通?？梢栽试S在1-2個圖像幀中實現(xiàn)時間同步。在一個示例中，可以逐個像素地執(zhí)行時間同步的確定，使得可以針對虛擬圖像像素流的每個像素進(jìn)行所述確定。在其他示例中，可以針對虛像像素流中的每其他像素，或者每第3、第5或第10個像素進(jìn)行所述確定。

在本實施例中，攝像頭的曝光定時相對于主機(jī)202的時鐘信號進(jìn)行調(diào)整。在其它實施例中，指示虛擬圖像像素流的呈現(xiàn)幀率的主機(jī)的時鐘信號可以相對于攝像頭的時鐘信號進(jìn)行調(diào)整。

在一個實施例中，映射模塊400可任選地位于硬件排序器304的下游。虛擬圖像像素流218可以與由ISP管道300處理以執(zhí)行各種圖像質(zhì)量改進(jìn)，但保持在攝像頭像素空間坐標(biāo)中的攝像頭圖像像素流組合。換句話說，從合成器304輸出的合成圖像像素流的像素具有攝像頭空間坐標(biāo)。

可將所述合成圖像像素流輸入到映射模塊400，以將所述像素從攝像頭空間坐標(biāo)映射到顯示空間坐標(biāo)。例如，這樣的映射可以使用上面討論的單步映射技術(shù)來執(zhí)行。應(yīng)當(dāng)理解的是，可以在AR控制電路212中的任何合適的處理位置執(zhí)行從攝像頭空間坐標(biāo)到顯示空間坐標(biāo)的像素映射。

為清晰起見，圖3中只示出一個虛擬圖像像素流、一個攝像頭圖像像素流和一個顯示圖像像素流。在實踐中，AR控制電路212配置為分別從與左、右虛擬圖像像素流合成的左、右攝像頭圖像像素流生成獨立的左、右顯示圖像像素流。

在一個實施例中，可以將AR控制電路212配置為復(fù)合多個不同的攝像頭圖像像素流以生成顯示圖像像素流。例如，可以將AR控制電路212配置為將紅外攝像頭圖像像素流與RGB攝像頭圖像像素流合成。AR控制電路212可以配置為合成來自任何合適數(shù)量的不同源的任何合適數(shù)量的不同圖像像素流以生成AR圖像。

AR控制電路212可以僅通過攝像頭/處理過的圖像像素流到顯示器，以提供物理場景的非增強(qiáng)視圖。另外，AR控制電路212可以僅通過虛擬圖像像素流到顯示器以提供虛擬現(xiàn)實體驗。

回到圖2，所述AR控制電路212配置為向左顯示器222L輸出左顯示圖像像素流220L，向右顯示器222R輸出右顯示圖像像素流220R。左、右顯示圖像像素流220L、220R分別對應(yīng)圖3所示的顯示圖像像素流310。所述左側(cè)顯示器222L配置為顯示左側(cè)顯示圖像像素流220L，所述右側(cè)顯示器222R配置為顯示右側(cè)顯示圖像像素流220R，以共同向用戶呈現(xiàn)AR體驗。

圖5示出了示例視頻透視方法500。

在502中，從頭戴式顯示設(shè)備的攝像頭接收攝像頭圖像像素流。

在504中，通過AR控制電路的圖像信號處理硬件管道，對攝像頭圖像像素流執(zhí)行子幀圖像信號處理，以生成處理后的圖像像素流。

在506中，接收虛擬圖像像素流。

在508中，任選地包括在所述主機(jī)呈現(xiàn)所述虛擬圖像像素流之后，從姿態(tài)追蹤子系統(tǒng)接收所述頭戴式顯示設(shè)備的更新姿態(tài)。

在510中，基于更新的姿態(tài)重新投影虛擬圖像像素流，以生成重新投影的虛擬圖像像素流。

在512中，通過AR控制電路的硬件合成器，將處理后的圖像像素流與虛擬圖像像素流合成，以生成顯示圖像像素流。

在514中，在硬件合成器處接收的虛擬圖像像素流的一個或多個像素，確定在硬件合成器處是否與虛擬圖像像素流的一個或多個像素的像素在時間上同步接收處理圖像像素流的相應(yīng)像素。

在516中，向攝像頭發(fā)送命令信號，以根據(jù)所述確定來調(diào)整攝像頭的曝光時間。

在518中，將所述顯示像素流輸出到所述頭戴式顯示設(shè)備的顯示器。

方法500可以對視頻傳遞計算系統(tǒng)的每個相應(yīng)的攝像頭/顯示器重復(fù)執(zhí)行。因此，在一個示例中，可以對對應(yīng)于左顯示的左攝像頭執(zhí)行方法500，并且可以對對應(yīng)于右顯示的右攝像頭重復(fù)執(zhí)行方法500。

可以執(zhí)行上述方法以向顯示器提供低延遲視頻傳遞圖像，同時保持?jǐn)z像頭和虛擬圖像像素流之間的時間同步。

相關(guān)專利：Microsoft Patent | Video pass-through computing system

https://patent.nweon.com/29328

名為“Video pass-through computing system”的微軟專利申請最初在2021年4月提交，并在日前由美國專利商標(biāo)局公布。

---
原文鏈接：https://news.nweon.com/111594