查看引用/信息源請(qǐng)點(diǎn)擊：映維網(wǎng)Nweon

支持視圖方向改變的儲(chǔ)存器結(jié)構(gòu)

（映維網(wǎng)Nweon?2023年08月29日）傳統(tǒng)的AR/VR系統(tǒng)會(huì)根據(jù)用戶的視圖方向來(lái)渲染幀，而這主要是基于與前一幀相關(guān)的頭部追蹤數(shù)據(jù)預(yù)測(cè)的。但在渲染過(guò)程所需的一段時(shí)間內(nèi)，系統(tǒng)很難準(zhǔn)確地預(yù)測(cè)未來(lái)的視圖方向。由于用戶可能隨時(shí)隨意改變頭部運(yùn)動(dòng)，很難準(zhǔn)確預(yù)測(cè)未來(lái)10毫秒內(nèi)用戶的視線方向。這種在預(yù)測(cè)用戶視角方向的不準(zhǔn)確性可能會(huì)對(duì)渲染幀的質(zhì)量產(chǎn)生負(fù)面影響。

為了解決這個(gè)問(wèn)題，Meta在名為“Memory structures to support changing view direction”的專(zhuān)利申請(qǐng)中提出了一種能夠支持視圖方向改變的儲(chǔ)存器結(jié)構(gòu)。

系統(tǒng)的特定實(shí)施例可以基于眼/頭追蹤系統(tǒng)實(shí)時(shí)或近實(shí)時(shí)測(cè)量的用戶視圖方向，并以高幀率生成子幀。在High level，可以使用兩個(gè)可選的儲(chǔ)存器組織框架來(lái)將組合幀轉(zhuǎn)換為多個(gè)子幀，而子幀可根據(jù)用戶視圖方向的變化進(jìn)行調(diào)整。

在第一儲(chǔ)存器組織框架下，系統(tǒng)可根據(jù)大致視圖方向移動(dòng)緩沖存儲(chǔ)器中存儲(chǔ)的像素?cái)?shù)據(jù)。例如，系統(tǒng)可以使用這種儲(chǔ)存器架構(gòu)為每個(gè)合成幀生成100個(gè)子幀，其幀率為90 Hz，從而得到9 kHz的子幀率。

第二儲(chǔ)存器組織框架下，系統(tǒng)可根據(jù)用戶的大致視圖方向移動(dòng)用于讀取幀緩沖區(qū)的地址偏移，并從幀緩沖區(qū)存儲(chǔ)器中讀取像素?cái)?shù)據(jù)，從而生成新的子幀。例如，系統(tǒng)可以使用這種儲(chǔ)存器架構(gòu)為每個(gè)合成幀生成4個(gè)子幀，幀率為90hz，從而得到360 Hz的子幀率。

為了通過(guò)移動(dòng)幀緩沖區(qū)中的像素?cái)?shù)據(jù)或移動(dòng)讀取偏移量來(lái)正確生成子幀以讀取像素?cái)?shù)據(jù)，根據(jù)用戶的視圖方向生成的合成幀和子幀可包括與視圖平面均勻分布在角度空間的多個(gè)像素位置相對(duì)應(yīng)的像素?cái)?shù)據(jù)。

然后，可以將像素?cái)?shù)據(jù)存儲(chǔ)在幀緩沖器中。當(dāng)系統(tǒng)檢測(cè)到用戶的頭部運(yùn)動(dòng)時(shí)，系統(tǒng)可以通過(guò)調(diào)整存儲(chǔ)在幀緩沖區(qū)中的像素?cái)?shù)據(jù)或根據(jù)用戶隨時(shí)間變化的視圖方向調(diào)整像素?cái)?shù)據(jù)的地址偏移量，以響應(yīng)用戶的頭部運(yùn)動(dòng)并根據(jù)用戶的大致視圖方向成相應(yīng)的子幀。

用戶的大致視圖方向可以是由頭部追蹤系統(tǒng)測(cè)量的用戶的實(shí)時(shí)或近實(shí)時(shí)視圖方向，而不是基于前一幀的頭部方向數(shù)據(jù)預(yù)測(cè)的視圖方向。

所述系統(tǒng)的特定實(shí)施例可以使用所述兩種儲(chǔ)存器架構(gòu)中的任何一種來(lái)根據(jù)實(shí)時(shí)或近實(shí)時(shí)測(cè)量的用戶視圖方向以高幀率生成子幀。

通過(guò)避免使用可能不準(zhǔn)確且可能影響顯示內(nèi)容質(zhì)量的預(yù)測(cè)視圖方向，系統(tǒng)可以實(shí)現(xiàn)更好的顯示質(zhì)量，減少閃爍和閃爍偽影，并提供更好的用戶體驗(yàn)。

通過(guò)使用獨(dú)立于主幀速率的更高子幀速率，系統(tǒng)可以允許LED在每個(gè)顯示期間開(kāi)啟更長(zhǎng)的顯示時(shí)間，并且可以提高亮度并降低由于驅(qū)動(dòng)電流水平降低而導(dǎo)致的功耗。

通過(guò)基于實(shí)際LED位置和系統(tǒng)的畸變對(duì)像素值進(jìn)行重新采樣，系統(tǒng)可允許對(duì)幀畸變進(jìn)行校正，并且因此提供改進(jìn)的顯示質(zhì)量。

通過(guò)使用獨(dú)立的主幀速率和子幀速率，系統(tǒng)可以允許顯示速率自適應(yīng)用戶頭部運(yùn)動(dòng)量，并允許渲染速率自適應(yīng)場(chǎng)景及其遮擋變化的速率，從而提供最佳性能和優(yōu)化的計(jì)算資源分配。

圖2A示出了示例性系統(tǒng)架構(gòu)200A。系統(tǒng)架構(gòu)可以包括上游計(jì)算系統(tǒng)201、顯示引擎202、幀緩沖器203和一個(gè)或兩個(gè)顯示芯片204A、204B。

上游計(jì)算系統(tǒng)201可以是頭顯的計(jì)算單元或與頭顯通信的計(jì)算機(jī)。上游計(jì)算系統(tǒng)201可以基于要顯示的AR/VR內(nèi)容生成主幀211。主幀可以基于顯示內(nèi)容以主幀速率生成。上游計(jì)算系統(tǒng)201可以將主幀211傳輸?shù)斤@示引擎202。顯示引擎202可以基于所接收的主幀211生成或組合所述組合幀212，例如，使用光線投射和重采樣方法。

例如，顯示引擎202可以將光線從視點(diǎn)投射到場(chǎng)景的一個(gè)或多個(gè)表面，以基于所投射的光線是否與所述表面相交來(lái)確定從所述視點(diǎn)可見(jiàn)哪個(gè)表面。

然后，顯示引擎可以使用重采樣過(guò)程來(lái)確定紋理，再確定從視點(diǎn)查看的可見(jiàn)表面的像素值。因此，可以根據(jù)用戶的最新視點(diǎn)和視圖方向生成合成幀212。

然而，合成幀212可以根據(jù)顯示內(nèi)容或/和計(jì)算資源并以渲染幀速率成，例如90hz。所以系統(tǒng)可能存在渲染幀率的上限。

當(dāng)用戶的頭部高速移動(dòng)時(shí)，由于計(jì)算資源的限制，渲染幀率可能不足以趕上用戶的頭部運(yùn)動(dòng)。

為了解決這個(gè)問(wèn)題，可以將由顯示引擎202生成的合成幀212存儲(chǔ)在幀緩沖區(qū)203中。當(dāng)用戶頭部移動(dòng)時(shí)，系統(tǒng)可根據(jù)用戶的視圖方向以更高的子幀速率生成相應(yīng)的子幀213。子幀213可以根據(jù)頭部追蹤系統(tǒng)實(shí)時(shí)或近實(shí)時(shí)測(cè)量的用戶的視圖方向，并通過(guò)移動(dòng)用于讀取幀緩沖區(qū)203的地址偏移量來(lái)生成。

所述子幀213可以以遠(yuǎn)高于所述渲染幀速率212的子幀速率213生成。這樣，系統(tǒng)可以將用于更新LED陣列的子幀速率與顯示引擎用于渲染合成幀的渲染幀速率解耦，并且可以使用高子幀速率更新LED，而不需要顯示引擎以如此高的幀速率重新渲染。

在特定實(shí)施例中，當(dāng)幀緩沖器位于承載LED陣列的硅芯片上時(shí)，系統(tǒng)可以在存儲(chǔ)器陣列內(nèi)移動(dòng)像素以生成子幀。存儲(chǔ)器的特定區(qū)域可用于為L(zhǎng)ED的特定Tile生成亮度。

在特定實(shí)施例中，當(dāng)幀緩沖器位于遠(yuǎn)離承載LED陣列的硅芯片的不同組件時(shí)，系統(tǒng)可以移動(dòng)地址偏移量。其中，偏移量指定用于讀取幀緩沖器以生成子幀的存儲(chǔ)器陣列內(nèi)原點(diǎn)的位置。

存儲(chǔ)器中的幀緩沖區(qū)位置可以隨著x的變化在左/右方向上旋轉(zhuǎn)，并且可以隨著y的變化在上/下方向上旋轉(zhuǎn)。值得注意的是，VR設(shè)備的幀緩沖區(qū)可以大于LED陣列，以允許隨著頭部移動(dòng)而移動(dòng)數(shù)據(jù)。

圖2B-2C示出示例系統(tǒng)架構(gòu)200B和200C。在特定實(shí)施例中，系統(tǒng)可以使用像素存儲(chǔ)器陣列和Tile處理器來(lái)在頭部在顯示幀期間旋轉(zhuǎn)時(shí)計(jì)算LED陣列的亮度水平。

處理器可位于LED陣列后面的顯示硅芯片之上。每個(gè)Tile處理器可以僅訪問(wèn)存儲(chǔ)在存儲(chǔ)器陣列中靠近Tile處理器的存儲(chǔ)器。存儲(chǔ)在像素存儲(chǔ)器中的像素?cái)?shù)據(jù)可以在像素存儲(chǔ)器中移位，使得每個(gè)Tile處理器需要的像素始終為本地。

架構(gòu)200B可以包括上游計(jì)算系統(tǒng)221、顯示引擎222、分別位于220A和220B的顯示芯片的兩個(gè)幀緩沖器223A和223B，以及分別位于220A和220B的顯示芯片的兩個(gè)LED陣列224A和224B。

所述幀緩沖器223A可用于生成用于更新所述LED陣列224A的子幀227A。所述幀緩沖器223B可用于生成用于更新所述LED陣列224B的子幀227B。

顯示引擎可以以相應(yīng)的渲染幀速率生成合成幀。合成幀可以存儲(chǔ)在各自的幀緩沖區(qū)中。然后，系統(tǒng)可以根據(jù)用戶的視圖方向移動(dòng)存儲(chǔ)在幀緩沖區(qū)中的像素?cái)?shù)據(jù)以生成子幀。用于更新相應(yīng)LED陣列的子幀可以以高于渲染幀速率的各自子幀速率生成。

在一個(gè)實(shí)施例中，系統(tǒng)可以為主幀和子幀的速率支持靈活的或可變的顯示幀速率。由于頭部運(yùn)動(dòng)和對(duì)象運(yùn)動(dòng)/變化引起的遮擋變化可以在顯示幀速率下計(jì)算。在100 fps時(shí)，用戶可能看不到遮擋的變化。顯示幀率不需要固定，但可以根據(jù)遮擋變化的幅度而變化。

在特定實(shí)施例中，系統(tǒng)可以將像素?cái)?shù)據(jù)幀加載到陣列處理器中，陣列處理器可以調(diào)整像素?cái)?shù)據(jù)并以明顯高于100 fps的子幀速率生成子幀，從而考慮用戶視點(diǎn)角度的變化。

在特定實(shí)施例中，系統(tǒng)可能遇到用戶頭部旋轉(zhuǎn)速度快至300度/秒的情況。系統(tǒng)可以以高達(dá)100fps的加載速度將顯示幀數(shù)據(jù)加載到像素存儲(chǔ)器中。因此，每個(gè)顯示幀可能有多達(dá)3度的視點(diǎn)角度變化。

圖3A示出具有均勻間隔像素的示例方案300A。像素陣列可以在視圖平面302均勻間隔。用戶的視圖方向或視角可由垂直于視圖平面302的視場(chǎng)中心線308表示。像素303、304、305可均勻分布于所述視圖平面302。

換句話說(shuō)，像素303與304、304與305可以具有等于單位距離的相同距離。從視點(diǎn)301向每個(gè)像素投射光線，則三角形角度可以在陣列上變化。當(dāng)射線靠近視場(chǎng)中心線308時(shí)，delta角可能較大，而當(dāng)射線遠(yuǎn)離視場(chǎng)中心線308時(shí)，delta 角可能較小。對(duì)于90度的視場(chǎng)，delta角的方差可能是2:1。角度的切線可以增量地改變大小，并且像素可以分布在稱為切線空間的空間中。

圖3B示出一個(gè)示例場(chǎng)景300B，其中視圖方向旋轉(zhuǎn)，并且系統(tǒng)嘗試為旋轉(zhuǎn)的視圖平面313重用像素值。用戶的視圖方向316可以由垂直于旋轉(zhuǎn)的視圖平面313的向量線表示。可以擴(kuò)展視圖向量以顯示為原始視圖平面302計(jì)算的像素落在視圖平面313的位置。

換句話說(shuō)，當(dāng)視圖平面302旋轉(zhuǎn)到新的視圖平面313時(shí)，系統(tǒng)可以嘗試移動(dòng)在視圖平面302上
均勻間隔的像素陣列中的像素值的位置，以表示從不同的視圖方向或視角306觀看的場(chǎng)景。

例如，視圖平面302的像素315可以向左移動(dòng)3個(gè)像素，并且可以用于表示旋轉(zhuǎn)視圖平面313的最左像素，因?yàn)橄袼?15可以落在視圖平面313上最左像素321的位置。

但如果視圖平面302的像素314向左移動(dòng)3個(gè)像素，并且用于表示旋轉(zhuǎn)視圖平面313的第二左像素，由于像素314落在與視圖平面313上的第二左像素不同的像素位置322，系統(tǒng)可能在像素位置失配。

換言之，像素陣列中的像素值的方向偏移可能導(dǎo)致旋轉(zhuǎn)視圖平面313的對(duì)應(yīng)像素位置的不均勻分布，并且可能導(dǎo)致顯示內(nèi)容中的失真。

在圖3C示出的示例方案300C中，像素在角度空間而不是在視圖平面中均勻間隔。在特定實(shí)施例中，系統(tǒng)可以使用具有像素陣列在角度空間中均勻間隔而不是在視圖平面上均勻間隔的顯示器。

換句話說(shuō)，在像素陣列中，陣列中相鄰的像素對(duì)可以具有與單位角對(duì)應(yīng)的相同空間角。在特定實(shí)施例中，系統(tǒng)可以從視點(diǎn)339以對(duì)應(yīng)于角度空間的恒定增量角度投射光線，而不是在視圖平面上使用均勻間隔像素。

可以通過(guò)從視點(diǎn)339投射光線來(lái)確定視圖平面330上的像素位置。彼此相鄰的投射光線可以具有等于單位角的相同空間角。像素位置可以在視圖平面330具有非均勻距離。

例如，像素位置352和353之間的距離可以大于像素位置353和354之間的距離。距離中心點(diǎn)355較近的相鄰像素之間可以具有較小的距離，距離中心點(diǎn)355較遠(yuǎn)的相鄰像素之間可以具有較大的距離。

視角可以由垂直于視角平面330的視場(chǎng)中心線356表示。像素可以沿視圖平面330具有可變間距。因此，所述像素可以均勻間隔或分布在角度空間中，并且在所述視面330上可以具有非均勻分布模式。

在圖3D示出的示例方案300D中，視圖平面330旋轉(zhuǎn)，并且系統(tǒng)嘗試重用像素值。用戶的視圖方向可以由垂直于旋轉(zhuǎn)視圖平面360的視場(chǎng)中心線365表示。像素位置沿著旋轉(zhuǎn)的視圖平面360可以是不等間距的，并且它們的間距可以與它們?cè)谝晥D平面330上的間距完全相同。因此，像素陣列的簡(jiǎn)單移動(dòng)可能足以允許Tile處理器為垂直于視場(chǎng)中心線365的新視圖方向旋轉(zhuǎn)360度的視圖平面生成新的像素陣列。

例如，像素331、332和333可以向左移動(dòng)2個(gè)像素單位，并可以落在視圖平面360上像素361、362和363的像素位置上，因此，可以有效地重復(fù)使用以表示旋轉(zhuǎn)視圖平面360上的相應(yīng)像素。同樣的原理可以應(yīng)用于像素?cái)?shù)組中的所有其他像素。

因此，系統(tǒng)可以根據(jù)用戶的新視角方向簡(jiǎn)單地移動(dòng)像素陣列中的像素值，從而沿著視場(chǎng)中心線365為新的視角方向生成新的像素陣列。在特定實(shí)施例中，系統(tǒng)可以根據(jù)用戶的視圖方向生成子幀，從而考慮用戶的視角變化，但不考慮觀看者與視圖平面之間的距離變化。通過(guò)根據(jù)用戶的視圖方向?qū)ψ訋M(jìn)行校正或調(diào)整，系統(tǒng)依然能夠能夠提供最佳的顯示質(zhì)量和出色的用戶體驗(yàn)。

在圖3D示出的示例方案300D中，視圖平面330旋轉(zhuǎn)，并且系統(tǒng)嘗試重用像素值。用戶的視圖方向可以由垂直于旋轉(zhuǎn)視圖平面360的視場(chǎng)中心線365表示。像素位置沿著旋轉(zhuǎn)的視圖平面360可以是不等間距的，并且它們的間距可以與它們?cè)谝晥D平面330上的間距完全相同。

因此，像素陣列的簡(jiǎn)單移動(dòng)可能足以允許Tile處理器為垂直于視場(chǎng)中心線365的新視圖方向旋轉(zhuǎn)360度的視圖平面生成新的像素陣列。例如，像素331、332和333可以向左移動(dòng)2個(gè)像素單位，并可以落在視圖平面360上像素361、362和363的像素位置上。所以，可以有效地重復(fù)使用以表示旋轉(zhuǎn)視圖平面360上的相應(yīng)像素。

圖4A示出具有16×16像素與16×16切線空間網(wǎng)格相比較的示例角度空間像素陣列400A。

在一個(gè)實(shí)施例中，系統(tǒng)可以產(chǎn)生角度空間像素陣列，如圖4A中的點(diǎn)所示。角度空間像素陣列中的像素可以沿水平和垂直方向均勻地間隔在角度空間中。換句話說(shuō)，沿垂直或水平方向的相鄰像素在角度空間中可以具有相同的空間角度。像素的位置可以使用從用戶的視點(diǎn)到視圖平面的光線投射過(guò)程來(lái)確定。因此，像素位置可以不與切線空間網(wǎng)格401對(duì)齊，其網(wǎng)格單元和交點(diǎn)在視圖平面上均勻間隔。

圖4B示出與16×16切線空間網(wǎng)格相比具有24×24像素的示例角度空間像素陣列400B。

在一個(gè)實(shí)施例中，系統(tǒng)可以產(chǎn)生角度空間像素陣列，如圖4B中的點(diǎn)所示。角度空間像素陣列中的像素可以沿水平和垂直方向均勻地間隔在角度空間中。換句話說(shuō)，沿垂直或水平方向的相鄰像素在角度空間中可以具有相同的空間角度。像素的位置可以使用從用戶的視點(diǎn)到視圖平面的光線投射過(guò)程來(lái)確定。因此，像素位置可以不與切線空間網(wǎng)格411對(duì)齊，其網(wǎng)格單元和交點(diǎn)在視圖平面上均勻間隔。

在特定實(shí)施例中，像素陣列不需要與LED陣列相同的大小，甚至不考慮邊緣周?chē)囊绯鱿袼兀驗(yàn)橄到y(tǒng)可以使用重新采樣過(guò)程來(lái)根據(jù)像素陣列中的像素值確定LED值。通過(guò)使用重采樣過(guò)程，像素陣列的大小可以大于或小于LED陣列的大小。

在一個(gè)實(shí)施例中，角度空間像素陣列中的像素?cái)?shù)可以大于LED的數(shù)量。在特定實(shí)施例中，角度空間像素陣列中的像素?cái)?shù)可以小于LED的數(shù)量。系統(tǒng)可以使用重采樣過(guò)程基于角度空間像素陣列確定LED值。在具體實(shí)施例中，系統(tǒng)可以使用角度空間映射，并且可以在中央注視點(diǎn)區(qū)域計(jì)算更多的像素，在外圍區(qū)域計(jì)算更少的像素。

相關(guān)專(zhuān)利：Meta Patent | Memory structures to support changing view direction

https://patent.nweon.com/29542

名為“Memory structures to support changing view direction”的Meta專(zhuān)利申請(qǐng)最初在2022年1月提交，并在日前由美國(guó)專(zhuān)利商標(biāo)局公布。

---
原文鏈接：https://news.nweon.com/112034