查看引用/信息源請點擊：映維網(wǎng)

用于VR/AR系統(tǒng)的LED同步機制

（映維網(wǎng)?2021年12月02日）AR/VR頭顯允許用戶查看虛擬環(huán)境并與之交互。頭顯可以與手持控制器和/或其他手持外設接口。為了提升體驗的沉浸感，當用戶在空間中移動設備以提供輸入時，可以追蹤頭顯和手持控制器的姿態(tài)。這種姿態(tài)追蹤同時可用于游戲以外的其他計算設備交互。

為了追蹤用戶的位置移動，或用于單獨控制器的移動，頭顯設備可以使用光學傳感器，例如用于檢測在頭顯附近發(fā)光的LED標記的攝像頭。當使用這種LED標記時，系統(tǒng)需要同步LED發(fā)射和攝像頭曝光之間的定時。LED發(fā)射時間和攝像頭曝光窗口之間的定時同步對于圖像質(zhì)量、精度和功耗非常重要。Bluetooth Low Energy（BLE）通常具有10ms或更長的數(shù)據(jù)包延遲和不確定性，這對于LED發(fā)射時間控制而言并不實際。另外，頭顯的攝像頭模塊和藍牙芯片可能來自不同的時鐘源，從而可能導致時鐘漂移。所以，LED和攝像頭定時同步成為一項具有挑戰(zhàn)性的任務。

當實施LED光學同步機制時（例如六自由度VR控制器中使用的同步機制），為了確保正確的圖像捕獲，LED發(fā)射時間可設置為遠長于攝像頭曝光時間。由于頭顯和六自由度控制器之間沒有定時同步，光學圖像同步精度可能會受到限制。為了減少過多的LED發(fā)射時間，必須在接近攝像頭實際曝光時間的情況下激活LED。在許多系統(tǒng)中，為了確保攝像頭能夠捕獲LED，由于攝像頭曝光時間的不確定性，LED發(fā)射時間可能比攝像頭曝光時間長得多。這可能導致功耗增加。

另外，為了拍攝更清晰的圖像，可以減少攝像頭曝光時間，尤其是當攝像頭或控制器處于運動狀態(tài)時。對于頭顯，光學同步需要視線視圖，因此頭顯應具有控制器的清晰視圖。然后，每當控制器移動到攝像頭視場之外時，控制器必須進入重新初始化模式。在重新同步過程中，LED通常需要設置為完全打開，亮度增加或最大，以便啟用圖像捕獲并進入重新同步，這同樣會增加功耗。

控制器和頭顯之間的通信通常為無線，并在許多情況下使用藍牙。對于頭顯，當使用高頻時鐘時，需要計算每個攝像機幀的時鐘周期數(shù)以追蹤攝像頭幀時間。另外，LED循環(huán)的開始時間需要與頭顯同步。

不準確的同步會導致較差的圖像質(zhì)量和準確性，造成控制器追蹤問題，從而對用戶體驗產(chǎn)生負面影響。另外，不準確的同步會造成不必要的計算資源使用和過度的功耗。在名為“Led synchronization for virtual and augmented reality devices”的專利申請中，微軟提出了一種LED同步方法。

微軟指出，發(fā)明主要描述了用于實現(xiàn)藍牙物理層無線同步機制的技術。另外，所述機制不需要更改現(xiàn)有的藍牙物理層和其他協(xié)議層，而且LED定時調(diào)整可在納秒級實施，以設置LED開啟開始時間和開啟持續(xù)時間，從而進行精確定時控制。結(jié)果，所述系統(tǒng)和設備可以節(jié)省功率并生成更清晰和減少模糊的圖像。一旦建立了初始同步，可以繼續(xù)保持同步直到系統(tǒng)斷電（即便控制器移入和移出攝像頭視場，因為所述無線同步機制不需要頭顯和控制器LED之間的視線）。

所述發(fā)明包括基于Phase Lock Loop（PLL）的時鐘乘法器的實現(xiàn)，從而提升主時鐘?？蓪嵤㎜ED幀定時器以測量camera幀時間至所需精度?？赏ㄟ^將平均攝像頭和藍牙時鐘漂移誤差添加到LED幀計數(shù)器中來實現(xiàn)用于camera幀和LED定時同步的無線數(shù)字PLL，以確保同步誤差在期望范圍內(nèi)。

藍牙RF RX/TX開關控制引腳或其他RF檢測電路可用作藍牙同步參考。在一個實施例中，兩個幀定時器可用于存儲前一幀時間和當前幀時間以生成幀時間誤差。平均幀時間誤差可以添加到當前幀計時器。在一個實施例中，硬件幀計數(shù)器可用于計數(shù)幀時間并生成準確的幀觸發(fā)信號。

LED偏移估計器可用于LED初始啟動時間估計。硬件LED偏移計數(shù)器和LED持續(xù)時間計數(shù)器可用于控制LED啟動時間和持續(xù)時間。幀時間誤差同時可以在由頭顯計算。在這種情況下，頭顯可以發(fā)送幀時間一次，然后發(fā)送幀錯誤。

在一個實施例中，頭顯攝像頭可使用曝光的選通管腳或其他幀同步信號進行頭顯和控制器之間的camera幀和LED同步控制。

具有使能引腳和脈寬調(diào)制（PWM）輸入引腳的并聯(lián)或串行控制器可用于控制LED的開/關和亮度。亮度可由頭顯以閉環(huán)方式控制。當頭顯確定是由于頭顯和控制器之間的距離變化而導致LED太暗或太亮時，頭顯可命令控制器增加或減少亮度。攝像頭組件都有一個可用于追蹤攝像頭啟動時間的頻閃信號。

在一個實施例中，為了查找LED開始時間，中可以實現(xiàn)二進制搜索過程。在一個實施例中，LED可在發(fā)射時間的第一個周期開始時打開，并且頭顯可確定LED是否可被檢測到。如果未檢測到LED，則可以確定LED在循環(huán)的前半部分未激活，并且在下一個循環(huán)中，可以假定為循環(huán)的后半部分。所述過程可以在將時間段一分為二的情況下繼續(xù)，并且搜索可以以這種方式繼續(xù)，直到可以將開始時間確定為所需的精度。

在一個實施例中，如果頭顯和控制器使用相同的時鐘源，則不需要分割時鐘源，因為沒有時鐘漂移，所以可以使用其他技術來優(yōu)化功耗。在這樣的實施例中，PLL、硬件計數(shù)器和攝像頭選通信號、以及攝像頭和藍牙時鐘漂移誤差估計和校正功能都是可選的。所述技術可在期望主設備和從設備之間的精確定時的任何情況下實施，例如在使用暴露在RF RX/TX開關信號的TDD無線通信系統(tǒng)中。

圖1是一個示例性設備。在圖1所示的配置中，VR設備100可包括形成傳感器子系統(tǒng)120的各種機載傳感器，例如一個或多個朝外的光學攝像頭102?？刂破?60可以包括分布在控制器160的表面上的多個光源。

圖2到圖5示出了頭顯和六自由度控制器與藍牙主時鐘同步的系統(tǒng)示例。

圖2示出了具有閃光燈信號235的頭部追蹤攝像頭230。在一個實施例中，可以有多個攝像頭用于頭顯頭部和控制器追蹤。攝像頭可以從同一時鐘源同步。

圖3所示為藍牙主天線310和藍牙主時鐘320，顯示為BT MCLK1（24 MHz）。藍牙主時鐘320是主藍牙芯片的時鐘基準。圖3中同時示出了藍牙主模塊330，它是頭顯的藍牙主控制器，TX/RX開關信號暴露在芯片上。

圖3進一步說明了主時鐘發(fā)生器340，其為藍牙主從物理層定時基準生成3.2 KHz主時鐘360。在一個實施例中，時鐘乘法器350將主時鐘乘以7500以生成用于幀定時器輸入時鐘的24mhz同步時鐘。在一個實施例中，可以使用Cirrus Logic CS2000-OTP。應當理解，主時鐘可以是其他值的倍數(shù)，這取決于具體實現(xiàn)。

圖4示出了LED驅(qū)動器410，其分別使用LED開/關和亮度控制的使能引腳412和PWM輸入414驅(qū)動一個或多個LED串420。圖4同時示出了控制器MCU 430，其可以是用于六自由度控制器LED定時和藍牙通信的微控制器。LED串420包括一個或多個串行或并行LED串。

圖4進一步示出了幀時間同步器440，其從從主控制器430接收的幀時間分組生成camera幀時間。幀時間同步器440比較當前和更新的幀定時器，以估計在固定時段內(nèi)接收下一幀時間包之前平均到幀定時器的時鐘漂移。這樣，幀時間同步器440逐幀補償camera時鐘漂移，而不依賴可能高達數(shù)百毫秒的藍牙延遲。

圖4進一步示出了LED偏移估計器450，其可配置為參考幀起始點來估計用于初始同步的LED ON定時偏移。圖4同時示出了存儲LED ON定時偏移的LED偏移計數(shù)器460。在一個實施例中，可將LED偏移計數(shù)器460調(diào)整為1/24 MHz=41.6 ns的精度。圖4進一步示出了LED持續(xù)時間計數(shù)器470，其可用于控制LED接通時間。當控制器處于運動狀態(tài)時，較短的LED持續(xù)時間可使圖像清晰穩(wěn)定。

圖5示出了設備藍牙天線510和藍牙從模塊520，其可以是六自由度控制器上的藍牙從設備控制器，其中TX/RX開關信號用于主同步和從同步。圖5進一步示出了主時鐘恢復功能530，其將3.2khz主時鐘恢復為時鐘乘法器輸入之一。在1.5m距離處，由于物理層中的TDD定時調(diào)整，主時鐘和恢復的主時鐘可能有5ns的差異。對于41.6 ns的定時分辨率，這種差異可以忽略，而LED定時控制沒有明顯差異。

圖5進一步示出了時鐘乘法器540，它可以與圖3中的時鐘乘法器350相同，并用于主時鐘乘法，以在從設備生成作為幀時間基準的24mhz同步時鐘。圖5同時示出了藍牙MCK2（24 MHz）550，它是作為從藍牙芯片時鐘參考的藍牙從主時鐘。由于主時鐘和從時鐘使用不同的時鐘源，藍牙從主時鐘的時鐘與主時鐘相比會漂移。然而，從時鐘乘法器540的輸出被鎖相到3.2khz主時鐘以克服時鐘漂移。

相關專利：Microsoft Patent | Led synchronization for virtual and augmented reality devices

名為“Led synchronization for virtual and augmented reality devices”的專利申請最初在2020年5月提交，并在日前由美國專利商標局公布。

---
原文鏈接：https://news.nweon.com/92116