查看引用/信息源請(qǐng)點(diǎn)擊：映維網(wǎng)Nweon

LED同步方法

（映維網(wǎng)Nweon?2023年07月18日）為了追蹤用戶或控制器的位置，有頭顯廠商選擇了光學(xué)傳感器方法，例如檢測(cè)在頭顯附近照明的LED標(biāo)記的攝像頭。當(dāng)使用這種LED標(biāo)記時(shí)，需要在LED發(fā)射和攝像頭曝光之間同步計(jì)時(shí)。

特別是，在帶有基于LED星座追蹤系統(tǒng)的六自由度AR/VR控制器中，LED發(fā)射時(shí)間與攝像頭曝光窗口之間的定時(shí)同步對(duì)于圖像質(zhì)量、精度和功耗非常重要。藍(lán)牙通常具有10毫秒或更長(zhǎng)時(shí)間的數(shù)據(jù)包延遲和不確定性，這對(duì)于LED發(fā)射時(shí)間控制而言不切實(shí)際。

另外，頭顯攝像頭模塊和藍(lán)牙芯片可能從不同的時(shí)鐘源運(yùn)行，這可能導(dǎo)致時(shí)鐘漂移。所述問題使得LED和攝像頭定時(shí)同步成為一項(xiàng)具有挑戰(zhàn)性的任務(wù)。

不準(zhǔn)確的同步可能導(dǎo)致較差的圖像質(zhì)量和準(zhǔn)確性，這可能導(dǎo)致控制器追蹤問題，從而對(duì)用戶體驗(yàn)產(chǎn)生負(fù)面影響。同時(shí)，不準(zhǔn)確的同步可能導(dǎo)致不必要的計(jì)算資源使用和過度的功耗。

在名為“Led synchronization for virtual and augmented reality devices”的專利申請(qǐng)中，微軟就介紹了一種LED同步方法。

發(fā)明主要描述了在不修改現(xiàn)有藍(lán)牙物理層和其他協(xié)議層的情況下實(shí)現(xiàn)藍(lán)牙物理層無線同步的技術(shù)。所述技術(shù)使LED打開時(shí)間比攝像頭曝光時(shí)間短。這樣，在控制器運(yùn)動(dòng)的情況下，可以降低LED的功耗，并最大限度地減少LED星座圖像的模糊。

在一個(gè)實(shí)施例中，僅用于外部RF PA控制的RF TX/RX開關(guān)信號(hào)可用于定時(shí)同步。這種信號(hào)已經(jīng)應(yīng)用于一系列的藍(lán)牙芯片組中。所描述的實(shí)施例可以獨(dú)立于任何特定芯片組實(shí)現(xiàn)。因此，主設(shè)備和從設(shè)備芯片不必來自同一制造商。另外，所述原理可應(yīng)用于除藍(lán)牙以外的其他工業(yè)或?qū)Ｓ袩o線電技術(shù)為基礎(chǔ)的控制器。

藍(lán)牙主設(shè)備通常發(fā)送一個(gè)3.2 KHz的主無線時(shí)鐘，這是主設(shè)備和從設(shè)備物理層時(shí)間同步和數(shù)據(jù)包傳輸?shù)臅r(shí)間基礎(chǔ)。這個(gè)分辨率對(duì)于六自由度LED定時(shí)同步來說通常太低。然而，3.2 KHz主無線時(shí)鐘保持主從設(shè)備同步，沒有時(shí)鐘漂移。

微軟介紹了一種實(shí)現(xiàn)基于鎖相環(huán)的時(shí)鐘乘法器的方法，以將時(shí)鐘從3.2 KHz提升到24 MHz或更高，以便在納秒級(jí)提供精確的LED定時(shí)控制。

當(dāng)攝像頭時(shí)鐘和藍(lán)牙時(shí)鐘使用不同的時(shí)鐘源時(shí)，可能會(huì)產(chǎn)生時(shí)鐘漂移。在一個(gè)實(shí)施例中，可以實(shí)施數(shù)字鎖相環(huán)電路和攝像頭頻閃信號(hào)，以確保頭顯攝像頭和六自由度控制器LED保持與攝像頭幀同步。一旦建立了初始同步，只要藍(lán)牙無線鏈路存在，即便控制器移動(dòng)到攝像頭視場(chǎng)之外，系統(tǒng)都可以保持同步。

以這種方式，可以更有效地同步控制器和LED，從而減少處理器周期和電池功率等計(jì)算資源的利用，減少需要重復(fù)曝光的可能性，從而減少頭顯使用的功率。

如圖1所示，控制器160可以包括慣性測(cè)量單元，并可包括分布在所述控制器160的表面的多個(gè)光源。圖1示出具有沿控制器160的環(huán)狀結(jié)構(gòu)的外部和內(nèi)部分布的多個(gè)光源170的控制器160。

光源可以配置為在由頭顯的攝像頭或攝像頭獲取的圖像數(shù)據(jù)中形成光的模式，亦即“星座”，從而可以從捕獲控制器的圖像確定控制器160的姿態(tài)。

光源可以采用任何合適的形式，例如發(fā)光二極管LED，它發(fā)出可見光，并通過頭顯的可見光攝像頭進(jìn)行檢測(cè)。在一個(gè)示例中，頭顯攝像頭可以配置為過濾除LED發(fā)出的光波長(zhǎng)以外的光波長(zhǎng)，以降低圖像數(shù)據(jù)中的噪點(diǎn)水平?？刂破?60可具有任意合適的光源數(shù)量和排列。

可以將VR設(shè)備100和控制器160配置為直接彼此通信，例如通過利用藍(lán)牙通信協(xié)議或其他合適的無線通信協(xié)議連接的無線網(wǎng)絡(luò)。在其他實(shí)施例中，可選主機(jī)計(jì)算設(shè)備（未示出）可與VR設(shè)備100和控制器160通信，以接收來自VR設(shè)備100和控制器160的數(shù)據(jù)并處理該數(shù)據(jù)，然后再向設(shè)備發(fā)送控制信號(hào)。

通過使用VR設(shè)備100上的一個(gè)或多個(gè)攝像頭追蹤控制器160的光源發(fā)出的光的位置，可以估計(jì)控制器160的相對(duì)于頭顯姿態(tài)。

來自IMU的數(shù)據(jù)可以進(jìn)一步輔助追蹤。為了將來自圖像數(shù)據(jù)的光學(xué)位姿與IMU數(shù)據(jù)相結(jié)合，以提供控制器160相對(duì)于世界的實(shí)際姿態(tài)，可以通過將光學(xué)數(shù)據(jù)映射到世界坐標(biāo)來進(jìn)行處理，以將IMU數(shù)據(jù)與光學(xué)數(shù)據(jù)“融合”。

圖2至圖5顯示了頭顯和六自由度控制器與藍(lán)牙主時(shí)鐘同步的系統(tǒng)圖。

參考圖2，幀定時(shí)器220是數(shù)字鎖相環(huán)的一部分，并配置用于同步攝像頭幀與24 MHz同步時(shí)鐘。其中，所述時(shí)鐘鎖定到3.2 KHz藍(lán)牙主時(shí)鐘。

幀計(jì)時(shí)器220以24 MHz采樣率測(cè)量90 Hz攝像頭幀時(shí)間。測(cè)量到的時(shí)間發(fā)送到六自由度，以從控制器器件進(jìn)行LED定時(shí)同步和漂移校正。

圖2示出具有閃光燈頻閃信號(hào)235的頭部追蹤攝像頭230。在一個(gè)實(shí)施例中，可以有2-4個(gè)或更多的攝像頭用于頭顯頭顯和控制器追蹤。攝像頭可以從同一時(shí)鐘源同步。其中一個(gè)攝像頭可以在60/90 MHz或更高的頻率下將頻閃信號(hào)235作為攝像頭時(shí)間同步基礎(chǔ)。頻閃信號(hào)的開始時(shí)間和持續(xù)時(shí)間可編程。

圖3示出的是藍(lán)牙主天線310，以及藍(lán)牙主時(shí)鐘320，其顯示為BT MCLK1 (24 MHz)。藍(lán)牙主時(shí)鐘320是藍(lán)牙主芯片的時(shí)鐘參考。圖3中同時(shí)顯示了藍(lán)牙主模塊330，它是頭顯上的藍(lán)牙主控制器，TX/RX開關(guān)信號(hào)暴露在芯片之上。

圖3進(jìn)一步示出主時(shí)鐘發(fā)生器340，其生成用于藍(lán)牙主從物理層時(shí)序參考的3.2 KHz主時(shí)鐘360。圖例同時(shí)示出時(shí)鐘乘法器350。在一個(gè)實(shí)施例中，時(shí)鐘乘法器350將主時(shí)鐘乘以7500以生成用于幀計(jì)時(shí)器輸入時(shí)鐘的24 MHz同步時(shí)鐘。。

圖4所示的是LED驅(qū)動(dòng)器410，其分別具有用于LED開/關(guān)和亮度控制的使能引腳412和PWM輸入414驅(qū)動(dòng)一個(gè)或多個(gè)LED串420?？刂破鱉CU 430可以作為六自由度控制器、LED定時(shí)和藍(lán)牙通信的微控制器。LED串420包括一個(gè)或多個(gè)串行或并行LED串，配置為生成用于六自由度控制器追蹤的星座。

圖4進(jìn)一步示出幀時(shí)間同步器440，其從從主控制器430接收到的幀時(shí)間包生成攝像頭幀時(shí)間。幀時(shí)間同步器440比較當(dāng)前和較新的幀計(jì)時(shí)器，以估計(jì)在固定期間內(nèi)接收到下一個(gè)幀時(shí)間包之前平均到幀計(jì)時(shí)器的時(shí)鐘漂移。

這樣，幀時(shí)間同步器440可以逐幀補(bǔ)償攝像頭時(shí)鐘漂移，而不依賴于可能高達(dá)數(shù)百毫秒的藍(lán)牙數(shù)據(jù)包延遲。

圖4進(jìn)一步示出LED偏移估計(jì)器450，其可配置為參照用于初始同步的幀起點(diǎn)估計(jì)LED ON定時(shí)偏移。圖例同時(shí)說明了LED偏移計(jì)數(shù)器460，其存儲(chǔ)LED ON定時(shí)偏移。

在一個(gè)實(shí)施例中，LED偏移計(jì)數(shù)器460可以調(diào)整到1/24 MHz=41.6 ns的精度。圖4進(jìn)一步示出可用于控制LED打開時(shí)間并且可調(diào)節(jié)的LED持續(xù)時(shí)間計(jì)數(shù)器470。較短的LED持續(xù)時(shí)間可以在控制器運(yùn)動(dòng)時(shí)實(shí)現(xiàn)清晰穩(wěn)定的圖像。

圖5示出了所述設(shè)備藍(lán)牙天線510。圖5進(jìn)一步示出主時(shí)鐘恢復(fù)功能530，所述功能恢復(fù)作為時(shí)鐘乘法器輸入之一的3.2 KHz主時(shí)鐘。在1.5 m距離處，由于物理層的TDD定時(shí)調(diào)整，主時(shí)鐘和恢復(fù)主時(shí)鐘可能有5ns的差異。對(duì)于41.6 ns的時(shí)序分辨率，可以忽略所述差異，LED時(shí)序控制沒有明顯差異。

圖5進(jìn)一步示出時(shí)鐘乘法器540，其可與圖3中的時(shí)鐘乘法器350相同，并用于主時(shí)鐘乘法以在從屬設(shè)備上生成24 MHz同步時(shí)鐘作為幀時(shí)間參考。

藍(lán)牙從主時(shí)鐘有一個(gè)相對(duì)于主時(shí)鐘漂移的時(shí)鐘，因?yàn)橹鲝臅r(shí)鐘使用不同的時(shí)鐘源。然而，從時(shí)鐘乘法器540的輸出相位鎖定到3.2 KHz主時(shí)鐘以克服時(shí)鐘漂移。

圖6示出了根據(jù)頭顯的各種組件。圖示是一個(gè)基于鎖相環(huán)的時(shí)鐘乘法器600，它采用24 MHz (BT MCLK) f1時(shí)鐘作為兩個(gè)輸入之一。另一個(gè)輸入是3.2 KHz BT主時(shí)鐘。輸出f3為24 MHz，但鎖定到主時(shí)鐘階段，以允許控制器側(cè)24 MHz f3時(shí)鐘恢復(fù)而沒有時(shí)鐘漂移。

圖例同時(shí)說明了頭顯 MCU定時(shí)器/計(jì)數(shù)器610具有眾多微控制器可用的外部事件觸發(fā)器。24位定時(shí)器/計(jì)數(shù)器輸入鎖相到24 MHz f3時(shí)鐘。觸發(fā)事件是攝像頭頻閃信號(hào)630，它是一個(gè)精確的攝像頭曝光定時(shí)參考。所述攝像頭頻閃信號(hào)630可用于測(cè)量所述攝像頭幀周期，并將所述攝像頭幀周期發(fā)送給控制器MCU以供LED定時(shí)參考。

對(duì)于10ppm時(shí)鐘源，每幀的最大測(cè)量誤差為0.22 us。由于攝像頭和BT時(shí)鐘源不同，誤差會(huì)逐幀累積。這種誤差可以通過為攝像頭和頭顯側(cè)的BT使用相同的24 MHz時(shí)鐘源或通過將24 MHz時(shí)鐘f3時(shí)鐘測(cè)量的攝像頭幀時(shí)間發(fā)送到控制器進(jìn)行周期性校正來消除。

圖6進(jìn)一步示出暴露了頻閃信號(hào)的頭顯頭和控制器追蹤攝像頭640。攝像頭640可以從同一時(shí)鐘源進(jìn)行同步。攝像頭傳感器通常有閃光燈控制的頻閃信號(hào)。在一個(gè)實(shí)施例中，攝像頭640中的至少一個(gè)具有其頻閃信號(hào)。盡管幀同步信號(hào)可用于相同的目的，但頻閃信號(hào)可編程，更靈活。

圖7示出控制器的各種組件。所示的時(shí)鐘乘法器710可以是與圖6中的時(shí)鐘乘法器600相同的時(shí)鐘乘法器部分。時(shí)鐘乘法器710可用于產(chǎn)生鎖相到3.2 KHz主時(shí)鐘的24 MHz f3時(shí)鐘，用于LED定時(shí)控制。24 MHz f1和f1 ‘可能略有不同，因?yàn)樗鼈儊碜圆煌膩碓?，但兩者都是鎖定到3.2 MHz BT主時(shí)鐘的相位。

圖7同時(shí)示出了兩個(gè)24位寄存器，其中包含一個(gè)新幀計(jì)時(shí)器(NFT) 720和當(dāng)前幀計(jì)時(shí)器(CFT) 730。

可以將NFT 720配置為在攝像頭幀時(shí)間藍(lán)牙數(shù)據(jù)包725中保存從頭顯接收的攝像頭幀時(shí)間。CFT 730可以保持由時(shí)鐘漂移ΔFT引起的平均幀時(shí)間誤差補(bǔ)償?shù)膸瑫r(shí)間。CFT 730同時(shí)可以包括硬件幀計(jì)數(shù)器740，配置為每當(dāng)計(jì)數(shù)器下流發(fā)生時(shí)產(chǎn)生90hz幀啟動(dòng)觸發(fā)信號(hào)。

所述模塊750可提供無線數(shù)字鎖相環(huán)，以確保在頭顯或6DoF控制器斷電之前，攝像頭框架和LED控制定時(shí)保持同步。

模塊760包括一個(gè)軟件LED偏移估計(jì)器(LOE) 762和兩個(gè)硬件計(jì)數(shù)器:LED偏移計(jì)數(shù)器(LOC) 764和LED持續(xù)時(shí)間計(jì)數(shù)器(LDC) 766，分辨率為41.6 ns。

762可根據(jù)初始同步過程中的幀觸發(fā)信號(hào)估計(jì)LED啟動(dòng)時(shí)間。這個(gè)時(shí)間值可以存儲(chǔ)在LOC 764中。當(dāng)764溢出時(shí)，觸發(fā)LED并打開LED。同時(shí)，LDC 766可能在溢出時(shí)開始倒計(jì)時(shí)并關(guān)閉LED。

LDC 766可以通過軟件設(shè)置。LDC 766可能與攝像頭的曝光時(shí)間相同或更短，以便在六自由度控制器運(yùn)動(dòng)時(shí)捕捉到清晰的圖像。LED持續(xù)時(shí)間可編程，并可以由圖像清晰度要求，LED驅(qū)動(dòng)電流，攝像頭傳感器靈敏度等決定。

圖7同時(shí)示出具有用于LED ON/OFF和亮度控制的使能引腳和PWM的LED驅(qū)動(dòng)器770。亮度控制數(shù)據(jù)可以通過BT數(shù)據(jù)包從頭顯反饋。

相關(guān)專利：

Microsoft Patent | Led synchronization for virtual and augmented reality devices

https://patent.nweon.com/28472

名為“Led synchronization for virtual and augmented reality devices”的微軟專利申請(qǐng)最初在2023年1月提交，并在日前由美國(guó)專利商標(biāo)局公布。

---
原文鏈接：https://news.nweon.com/110397