查看引用/信息源請(qǐng)點(diǎn)擊：映維網(wǎng)Nweon

改進(jìn)的抗混疊技術(shù)

（映維網(wǎng)Nweon?2023年07月19日）混疊偽影包括高頻偽影，在XR中，這種偽影會(huì)在3D多邊形或其他幾何形狀的一個(gè)或多個(gè)邊緣上呈現(xiàn)鋸齒狀或階梯狀線條。例如，當(dāng)3D場(chǎng)景被渲染到顯示器的像素網(wǎng)格上時(shí)，每個(gè)像素可以根據(jù)像素是否被3D場(chǎng)景中的多邊形或其他幾何體覆蓋而著色。

然而，對(duì)于僅部分覆蓋并沿著多邊形或其他幾何形狀的邊緣出現(xiàn)的像素，如果不部署抗混疊，部分覆蓋的像素可能會(huì)在幾何形狀邊緣和背景之間以鋸齒狀或階梯狀顏色過(guò)渡的方式變得明顯。

另外，傳統(tǒng)的全場(chǎng)景抗混疊FSAA技術(shù)可能需要從每像素16個(gè)顏色采樣到每像素64個(gè)顏色采樣來(lái)完全消除混疊偽影。這樣的傳統(tǒng)技術(shù)在計(jì)算方面可能十分昂貴。

在名為“Anti-aliasing by encoding primitive edge representations”的專利申請(qǐng)中，Meta介紹了一種改進(jìn)的抗混疊技術(shù)。

團(tuán)隊(duì)提出，可以通過(guò)編碼原始邊緣表示來(lái)執(zhí)行抗混疊。在具體實(shí)施例中，設(shè)備的計(jì)算系統(tǒng)可以通過(guò)柵格化一個(gè)或多個(gè)要由一組像素顯示的幾何形狀來(lái)生成多個(gè)片段。在具體實(shí)施例中，所述像素集的像素可與所述多個(gè)片段中的一個(gè)或多個(gè)片段相關(guān)聯(lián)，其中所述一個(gè)或多個(gè)片段各可包括覆蓋所述像素的至少一部分的一個(gè)或多個(gè)邊緣。

在特定實(shí)施例中，設(shè)備的計(jì)算系統(tǒng)隨后可以對(duì)一個(gè)或多個(gè)片段中的每一個(gè)進(jìn)行編碼，以通過(guò)對(duì)一個(gè)或多個(gè)邊緣中的每一個(gè)進(jìn)行編碼來(lái)包括表示。

設(shè)備的計(jì)算系統(tǒng)然后可以基于與每一個(gè)或多個(gè)邊緣相關(guān)聯(lián)的方向和像素覆蓋確定對(duì)應(yīng)于一個(gè)或多個(gè)片段的一個(gè)或多個(gè)alpha值。例如，設(shè)備的計(jì)算系統(tǒng)可以通過(guò)確定與一個(gè)或多個(gè)片段對(duì)應(yīng)的近α值和遠(yuǎn)α值來(lái)確定一個(gè)或多個(gè)α值。

設(shè)備的計(jì)算系統(tǒng)隨后可以基于一個(gè)或多個(gè)片段的一個(gè)或多個(gè)alpha值為像素生成顏色值。例如，設(shè)備的計(jì)算系統(tǒng)可以通過(guò)將一個(gè)或多個(gè)片段的至少第一片段和第二片段合并在一起來(lái)生成像素的顏色值。

計(jì)算系統(tǒng)同時(shí)可以通過(guò)混合分別與一個(gè)或多個(gè)片段相關(guān)聯(lián)的第一顏色和第二顏色來(lái)生成像素的顏色值。因此，可以提供通過(guò)對(duì)原始邊緣表示進(jìn)行編碼來(lái)執(zhí)行抗混疊。實(shí)際上，所述方法可以提供通過(guò)存儲(chǔ)通過(guò)像素的原始片段邊緣的簡(jiǎn)化表示來(lái)執(zhí)行有效抗混疊的技術(shù)，。

圖2示出了圖形渲染管道200的詳細(xì)實(shí)施例。在一個(gè)實(shí)施例中，片段合并可以在片段著色之前執(zhí)行，這樣做的好處是減少了片段著色操作的次數(shù)。在具體實(shí)施例中，圖形渲染管道200可以從應(yīng)用程序202接收幀，以便最終在例如顯示器114A、114B呈現(xiàn)。

從應(yīng)用程序202接收到的幀可以輸入到一個(gè)或多個(gè)基元組裝功能模塊?；梢詮膽?yīng)用程序202中提取對(duì)應(yīng)于可劃分為單個(gè)基元序列的XR對(duì)象的基元。單個(gè)基元序列隨后可傳遞給柵格化器204，柵格化器204可用于例如生成對(duì)應(yīng)于單個(gè)基元的離散片段。例如，光柵化器204可以提取對(duì)應(yīng)于單個(gè)原語(yǔ)的頂點(diǎn)，并將頂點(diǎn)轉(zhuǎn)換為一組片段，所述片段可以映射到例如顯示器114A、114B的像素的特定區(qū)域的一個(gè)或多個(gè)像素。

在具體實(shí)施例中，光柵化器204隨后可將離散片段傳遞給渲染引擎206?？梢岳娩秩疽?06例如將各自的片段渲染到顯示器114A、114B的像素的特定區(qū)域的一個(gè)或多個(gè)像素。

渲染引擎206可向片段著色器208提供渲染的片段，其可用于例如將渲染的片段處理成一組顏色值和深度值，并最終提供給緩沖區(qū)212。

在具體實(shí)施例中，可以利用由片段著色器208處理的顏色值集和深度值集來(lái)執(zhí)行合并和混合。例如，合并和混合模塊210可以接收由片段著色器208處理的顏色值集和深度值集，并將由片段著色器208處理的顏色值集和深度值集與由緩沖區(qū)212存儲(chǔ)的顏色值組合在一起。

在特定實(shí)施例中，可以提供合并和混合模塊210以各種方式組合例如源和目標(biāo)顏色值。所有顏色值和深度值可以存儲(chǔ)到緩沖器212，并作為顯示輸出214提供到顯示器114A、114B。

當(dāng)圖形渲染管道200渲染和顯示時(shí)，混疊偽影可以明顯地表現(xiàn)為沿著三角形或其他幾何體的一個(gè)或多個(gè)邊緣的鋸齒狀或階梯狀線條。例如，當(dāng)將3D場(chǎng)景渲染到所述顯示器114A、114B上時(shí)，每個(gè)像素可根據(jù)所述像素是否被所述3D場(chǎng)景中的基元覆蓋而著色。

然而，對(duì)于僅部分覆蓋并沿原語(yǔ)邊緣出現(xiàn)的像素，如果不部署抗混疊，部分覆蓋的像素可能會(huì)在幾何形狀邊緣和背景之間的鋸齒狀或階梯狀顏色過(guò)渡中變得明顯。

所以，可以利用圖形渲染管道200并通過(guò)編碼原始邊緣表示來(lái)執(zhí)行抗混疊。與利用MSAA或SSAA來(lái)執(zhí)行抗混疊相反，Meta提出的方案可以通過(guò)編碼通過(guò)像素的片段一個(gè)或多個(gè)邊緣的表示來(lái)執(zhí)行抗混疊。

在具體實(shí)施例中，圖形渲染管道200可以通過(guò)柵格化一個(gè)或多個(gè)原語(yǔ)來(lái)生成多個(gè)片段，以由顯示器114A、114B的一組像素顯示。所述像素集的像素可與若干片段中的一個(gè)或多個(gè)片段相關(guān)聯(lián)，其中所述一個(gè)或多個(gè)片段各可包括覆蓋所述像素的至少一部分的一個(gè)或多個(gè)邊緣。

圖形渲染管道200隨后可以對(duì)一個(gè)或多個(gè)片段中的每一個(gè)進(jìn)行編碼，以包括一個(gè)或多個(gè)邊的表示。圖形渲染管道200然后可以基于與每一個(gè)或多個(gè)邊緣相關(guān)聯(lián)的方向和像素覆蓋確定對(duì)應(yīng)于一個(gè)或多個(gè)片段的一個(gè)或多個(gè)alpha值。

例如，圖形渲染管道200可以通過(guò)確定與一個(gè)或多個(gè)片段對(duì)應(yīng)的近alpha值和遠(yuǎn)alpha值來(lái)確定一個(gè)或多個(gè)alpha值。在特定實(shí)施例中，圖形渲染管道200隨后可以基于一個(gè)或多個(gè)片段的一個(gè)或多個(gè)alpha值為像素生成顏色值。

在特定實(shí)施例中，圖形渲染管道200可以通過(guò)將一個(gè)或多個(gè)片段的至少第一片段和第二片段合并在一起來(lái)生成像素的顏色值。圖形渲染管道200同時(shí)可以通過(guò)混合分別與一個(gè)或多個(gè)片段相關(guān)聯(lián)的第一顏色和第二顏色來(lái)生成像素的顏色值。

圖3A-3D演示了通過(guò)編碼原始邊緣表示來(lái)執(zhí)行抗混疊的示例。

如前所述，圖形渲染管道200可以執(zhí)行基元的柵格化，以生成基元片段并將基元片段304E-304H、308E-308H渲染到例如像素302A-302D、302E-302H。可以理解的是，每個(gè)像素302A-302D、302E-302H可以包括任意數(shù)量的原始片段304E-304H、308E-308H。

每個(gè)原始片段304E-304H、308E-308H可以用信息進(jìn)行編碼。例如，可以分析每個(gè)各自的原始片段304E-304H、308E-308H，以確定所述原始片段是否完全覆蓋各自的像素302A-302D、302E-302H。如果是這樣，則可以確定所述各自的原始片段304E-304H、308E-308H不包括任何邊緣。

參考圖3A，各自的原始片段304A-304D包括穿過(guò)像素302A-302D的邊緣306A-306D。根據(jù)原始邊緣表示編碼技術(shù)，可以將邊緣306A-306D的各自表示與原始片段304A-304D一起編碼，其中邊緣306A-306D的各自表示可以包括各自邊緣306A-306D的法向量和與各自邊緣306A-306D相關(guān)的像素302A-302D覆蓋。

在具體實(shí)施例中，圖形渲染管道200然后可以基于相應(yīng)邊緣306A-306D的法向量和與相應(yīng)邊緣306A-306D相關(guān)聯(lián)的像素302A-302D覆蓋確定對(duì)應(yīng)于相應(yīng)原始片段304A-304D的一個(gè)或多個(gè)alpha值。

一個(gè)或多個(gè)alpha值指定每個(gè)各自像素302A-302D的覆蓋范圍，并用于合并和/或混合原始片段304A-304D各自邊緣306A-306D。

如圖3B所示，可以確定一個(gè)或多個(gè)alpha值和相關(guān)的像素覆蓋分類，以合并和/或混合原始片段304A-304D的相應(yīng)邊緣306A-306D。

基于一個(gè)或多個(gè)alpha值和相關(guān)的像素覆蓋分類，圖形渲染管道200可以通過(guò)為一個(gè)或多個(gè)原始片段304E-304H、308E-308H的像素值生成顏色值來(lái)執(zhí)行兩個(gè)或多個(gè)原始片段304E-304H、308E-308H的像素值的合并和/或混合。

例如，可以將運(yùn)行實(shí)施例300A的原語(yǔ)片段304E和308E合并在一起。像素302E可以包括相互堆疊在一起的多個(gè)原始片段304E和308E。當(dāng)運(yùn)行例300A的各自原始片段304E和308H的邊緣306E、310E相鄰時(shí)，可以將原始片段304E和308H合并在一起以減少或消除潛在的混疊偽影。

為了計(jì)算適當(dāng)?shù)幕旌希瑘D形渲染管道200可以部署一個(gè)或多個(gè)預(yù)定規(guī)則來(lái)計(jì)算混合情況的數(shù)量，并且如果各自的邊緣小于90度，則圖形渲染管道200可以插值來(lái)自平行和正交情況的覆蓋結(jié)果。

圖3C示出了通過(guò)指定原語(yǔ)與像素網(wǎng)格正方形的片段邊緣的粗相交來(lái)估計(jì)相關(guān)覆蓋區(qū)域。如上所述，可以確定一個(gè)或多個(gè)alpha值來(lái)指定像素網(wǎng)格312A-312D覆蓋范圍。

例如，在特定實(shí)施例中，像素網(wǎng)格312A可包括在所述周長(zhǎng)周圍標(biāo)記的16個(gè)位置。像素網(wǎng)格312B在將交叉點(diǎn)314B、316B舍入到最近的周長(zhǎng)位置后，顯示在交叉點(diǎn)314B、316B處穿過(guò)像素網(wǎng)格312B正方形的單個(gè)片段邊緣。像素網(wǎng)格312C表示兩個(gè)片段邊緣在像素網(wǎng)格312C中的一個(gè)頂點(diǎn)相遇，像素網(wǎng)格312D表示兩個(gè)原始頂點(diǎn)落在三角形內(nèi)，但依然有兩個(gè)與像素網(wǎng)格312D相交的點(diǎn)314D、316D。

在特定實(shí)施例中，圖3D利用了一個(gè)或多個(gè)阿爾法值來(lái)編碼覆蓋量以及利用單獨(dú)字段來(lái)指定邊緣的方向。在特定實(shí)施例中，每個(gè)邊緣法線向量可以僅用于確定如何混合相關(guān)的原始片段。

例如，圖形渲染管道200可以計(jì)算每個(gè)原始片段的邊緣法線的點(diǎn)積，并確定幾種混合情況中的一種。例如，如果點(diǎn)積為“?1”，則原始片段的邊緣平行且相反，因此圖形渲染管道200可以部署不相交混合技術(shù)。

如果點(diǎn)積為“+1”，則每個(gè)原始片段的邊緣平行且方向相同，則可以通過(guò)圖形渲染管道200部署子集混合技術(shù)。最后，對(duì)于中間點(diǎn)積值，圖形渲染管道200可以根據(jù)不相交和子集混合技術(shù)執(zhí)行線性插值。

圖4示出了執(zhí)行抗混疊的方法400的流程圖。

402，XR設(shè)備通過(guò)柵格化一個(gè)或多個(gè)幾何圖形來(lái)生成多個(gè)片段。其中，像素集的像素與多個(gè)片段的一個(gè)或多個(gè)相關(guān)聯(lián)，并且每個(gè)片段包括覆蓋該像素的至少一部分的一個(gè)或多個(gè)邊緣。

404，繼續(xù)使用對(duì)一個(gè)或多個(gè)片段進(jìn)行編碼，以包括一個(gè)或多個(gè)邊緣的表示，對(duì)于每個(gè)一個(gè)或多個(gè)邊緣。

406，根據(jù)與一個(gè)或多個(gè)邊緣的每個(gè)相關(guān)聯(lián)的方向和像素覆蓋確定與一個(gè)或多個(gè)片段對(duì)應(yīng)的一個(gè)或多個(gè)alpha值。

408，其中一個(gè)或多個(gè)處理設(shè)備基于所述一個(gè)或多個(gè)片段的一個(gè)或多個(gè)alpha值為所述像素生成顏色值。

相關(guān)專利：Meta Patent | Anti-aliasing by encoding primitive edge representations

名為“Anti-aliasing by encoding primitive edge representations”的Meta專利申請(qǐng)?jiān)谌涨坝擅绹?guó)專利商標(biāo)局公布。

?

---
原文鏈接：https://news.nweon.com/110471