查看引用/信息源請(qǐng)點(diǎn)擊：映維網(wǎng)Nweon

渲染負(fù)載管理

（映維網(wǎng)Nweon?2023年08月15日）對(duì)于XR設(shè)備，渲染是耗能大戶，所以管理渲染負(fù)載是一個(gè)重要課題。在名為“Rendering workload management for extended reality”的專利申請(qǐng)中，Meta就提出了用于XR的渲染負(fù)載管理，在設(shè)備向用戶渲染和顯示幀時(shí)減少處理能力、功耗和熱影響的各種渲染負(fù)載管理技術(shù)。

在具體實(shí)施例中，設(shè)備的計(jì)算系統(tǒng)可以接收請(qǐng)求以渲染包含一個(gè)或多個(gè)虛擬內(nèi)容的幀。設(shè)備的計(jì)算系統(tǒng)隨后可以為每一個(gè)或多個(gè)虛擬內(nèi)容確定一個(gè)相關(guān)的特征。例如，通過(guò)確定注視點(diǎn)區(qū)域的一個(gè)或多個(gè)、對(duì)象維度或?yàn)g覽距離來(lái)確定一個(gè)或多個(gè)虛擬內(nèi)容的每一個(gè)相關(guān)特征。

接下來(lái)，可以確定是否減少與渲染所述幀相關(guān)的渲染工作負(fù)載，或則何時(shí)以及以何種方式根據(jù)預(yù)定的處理能力約束、功耗約束和熱約束來(lái)改變?cè)O(shè)備的渲染工作負(fù)載的參數(shù)，從而滿足與所述設(shè)備相關(guān)的一個(gè)或多個(gè)功率或熱約束。

圖2示出了用于提供各種渲染工作負(fù)載管理技術(shù)。計(jì)算設(shè)備可以包括頭部姿態(tài)追蹤功能塊202、渲染引擎204、3D重新投影扭曲功能塊206、資源管理器208、內(nèi)容管理器210和應(yīng)用程序212。

在具體實(shí)施例中，計(jì)算設(shè)備106可以通過(guò)渲染引擎204生成與圖像幀序列對(duì)應(yīng)的幀。計(jì)算設(shè)備106同時(shí)可以訪問(wèn)與所述框架對(duì)應(yīng)的一個(gè)或多個(gè)深度圖，并且可以維護(hù)和追蹤由頭部姿態(tài)功能塊210計(jì)算的幀內(nèi)的一個(gè)或多個(gè)對(duì)象的姿態(tài)信息和從XR設(shè)備102接收的姿態(tài)數(shù)據(jù)。

可以通過(guò)內(nèi)容管理器208來(lái)分析和管理應(yīng)用212或其他XR內(nèi)容。資源管理器210可以包括追蹤用于托管和服務(wù)應(yīng)用程序212或其他XR內(nèi)容的可用硬件和/或軟件組件的任何系統(tǒng)。

在一個(gè)實(shí)施例中給XR設(shè)備可包括集中式內(nèi)容和資源管理器222，其可用于執(zhí)行各種渲染工作負(fù)載管理技術(shù)，以在XR設(shè)備102向用戶渲染和顯示幀時(shí)減少處理能力、功耗和熱影響。

計(jì)算設(shè)備106的內(nèi)容管理器208和/或資源管理器210可以向集中式內(nèi)容和資源管理器222提供與要由XR設(shè)備102渲染和顯示的一個(gè)或多個(gè)應(yīng)用程序212相關(guān)聯(lián)的幀的請(qǐng)求，并且集中式內(nèi)容和資源管理器222隨后可以確定渲染和顯示所請(qǐng)求的幀的方式。

然后，集中式內(nèi)容和資源管理器222可以通過(guò)指示和利用渲染引擎224和3D重新投影扭曲功能塊226來(lái)執(zhí)行所請(qǐng)求的幀的渲染和顯示。

根據(jù)發(fā)明所述方法，集中式內(nèi)容和資源管理器222可以從計(jì)算設(shè)備106接收渲染一個(gè)或多個(gè)幀的請(qǐng)求。然后可以確定相對(duì)于一個(gè)或多個(gè)幀的內(nèi)容的每個(gè)對(duì)象的相關(guān)圖像特征。

根據(jù)圖像特征，集中式內(nèi)容和資源管理器222然后可以確定是否減少與渲染一個(gè)或多個(gè)幀相關(guān)的渲染工作負(fù)載，以滿足與XR設(shè)備102相關(guān)的一個(gè)或多個(gè)功率、處理或熱約束。

例如，XR設(shè)備可以監(jiān)視例設(shè)備操作溫度、環(huán)境溫度、照明變化、處理工作負(fù)載、功耗和用戶活動(dòng)等，并將監(jiān)控的數(shù)據(jù)作為傳感器數(shù)據(jù)220提供給集中的內(nèi)容和資源管理器222。

為了響應(yīng)減少渲染工作負(fù)載的決定，集中的內(nèi)容和資源管理器222然后可以生成一組渲染參數(shù)，以減少渲染工作負(fù)載。在具體實(shí)施例中，可以根據(jù)注視點(diǎn)區(qū)域等特征來(lái)確定渲染參數(shù)集中的至少一個(gè)渲染參數(shù)。

根據(jù)渲染工作負(fù)載管理技術(shù)，集中式內(nèi)容和資源管理器222可以進(jìn)一步確定在不違反功率和熱約束的情況下執(zhí)行應(yīng)用程序212的性能容量。性能容量是指系統(tǒng)能夠提供的性能級(jí)別。在一個(gè)實(shí)施例中，性能級(jí)別基于即時(shí)功率/熱條件并指定短持續(xù)時(shí)間的性能能力。隨著工作負(fù)載的繼續(xù)執(zhí)行，性能容量可能會(huì)發(fā)生變化。

集中式內(nèi)容和資源管理器222然后可以基于XR設(shè)備102的當(dāng)前渲染工作負(fù)載和當(dāng)前性能容量生成用于渲染一個(gè)或多個(gè)幀的持續(xù)時(shí)間的預(yù)測(cè)。例如，集中式內(nèi)容和資源管理器222可以基于可能與特定應(yīng)用212相關(guān)聯(lián)的一個(gè)或多個(gè)參數(shù)或指令，生成用于渲染一個(gè)或多個(gè)幀的持續(xù)時(shí)間的預(yù)測(cè)。

基于渲染一個(gè)或多個(gè)幀的持續(xù)時(shí)間的預(yù)測(cè)，從多個(gè)預(yù)定渲染工作負(fù)載模式中選擇一個(gè)。例如，在特定實(shí)施例中，多個(gè)預(yù)定的渲染工作負(fù)載模式可包括高性能渲染工作負(fù)載模式、中等性能工作負(fù)載處理模式和低性能渲染工作負(fù)載模式。

例如，集中式內(nèi)容和資源管理器222可以將預(yù)測(cè)的渲染工作負(fù)載映射到確定的處理性能容量，以便通過(guò)盡可能最佳的QoS渲染一個(gè)或多個(gè)幀。

在具體實(shí)施例中，集中式內(nèi)容和資源管理器222隨后可致使渲染引擎224根據(jù)多個(gè)預(yù)定渲染工作負(fù)載模式中的選定一種渲染所述幀，以便滿足用于確定系統(tǒng)性能容量的一種或多種功率、處理或熱約束。

例如，具有較短的預(yù)測(cè)持續(xù)時(shí)間的應(yīng)用程序可以按照高性能渲染工作負(fù)載模式進(jìn)行渲染。相比之下，具有更長(zhǎng)的預(yù)測(cè)持續(xù)時(shí)間的游戲應(yīng)用程序可以根據(jù)低性能渲染工作負(fù)載模式進(jìn)行渲染。

在一個(gè)實(shí)施例中，XR設(shè)備可以將計(jì)算卸載到計(jì)算設(shè)備。與計(jì)算設(shè)備的第二個(gè)或多個(gè)GPU相比，XR設(shè)備的第一個(gè)或多個(gè)GPU包括較少的處理能。集中式內(nèi)容和資源管理器222可以確定與渲染一個(gè)或多個(gè)幀相關(guān)的渲染工作負(fù)載，以利用XR設(shè)備的一個(gè)或多個(gè)第一GPU，以及計(jì)算設(shè)備的一個(gè)或多個(gè)第二GPU來(lái)渲染一個(gè)或多個(gè)幀。

因此，可以優(yōu)化設(shè)備管道，使其運(yùn)行在最高的能效水平上，并通過(guò)動(dòng)態(tài)管理渲染工作負(fù)載來(lái)減少總功耗和熱影響。

圖3示出了用于提供渲染工作負(fù)載管理技術(shù)的流程圖。

從302開始，一個(gè)或多個(gè)處理設(shè)備接收渲染包含一個(gè)或多個(gè)虛擬內(nèi)容的幀的請(qǐng)求。

在304，繼續(xù)使用一個(gè)或多個(gè)處理設(shè)備，為每一個(gè)或多個(gè)虛擬內(nèi)容確定相關(guān)特征。

在306，繼續(xù)使用一個(gè)或多個(gè)處理設(shè)備確定是否減少與渲染幀相關(guān)的渲染工作負(fù)載，以滿足與設(shè)備相關(guān)的一個(gè)或多個(gè)功率或熱約束。

在308，響應(yīng)減少渲染工作量的決定，生成一組用于渲染幀的渲染參數(shù)，以減少渲染工作量，其中渲染參數(shù)集合中的至少一個(gè)渲染參數(shù)是基于與至少一個(gè)或多個(gè)虛擬內(nèi)容中的一個(gè)相關(guān)的特征確定的。

在310，一個(gè)或多個(gè)處理設(shè)備根據(jù)渲染參數(shù)集渲染幀，以便滿足一個(gè)或多個(gè)功率或熱約束。

圖4A示出了用于提供渲染工作負(fù)載管理技術(shù)的流程圖，主要用于生成用于渲染幀的持續(xù)時(shí)間的預(yù)測(cè)，從而降低設(shè)備的處理能力、功耗和熱影響。

從402開始，一個(gè)或多個(gè)處理設(shè)備接收一個(gè)渲染包含一個(gè)或多個(gè)虛擬內(nèi)容的幀的請(qǐng)求。

在404，一個(gè)或多個(gè)處理設(shè)備基于設(shè)備的當(dāng)前渲染工作負(fù)載和與該設(shè)備相關(guān)的一個(gè)或多個(gè)功率或熱約束，生成用于渲染該幀的持續(xù)時(shí)間的預(yù)測(cè)。

在406，一個(gè)或多個(gè)處理設(shè)備基于渲染幀的持續(xù)時(shí)間的預(yù)測(cè)選擇多個(gè)預(yù)定渲染工作負(fù)載模式中的一個(gè)。

在408，一個(gè)或多個(gè)處理設(shè)備根據(jù)多個(gè)預(yù)定渲染工作負(fù)載模式中的選定一種渲染所述幀，以便滿足一個(gè)或多個(gè)功率或熱約束。

圖4B示出了另一種方法400B的流程圖，主要涉及動(dòng)態(tài)切換GPU的方法。

從410開始，一個(gè)或多個(gè)處理設(shè)備接收一個(gè)渲染包含一個(gè)或多個(gè)虛擬內(nèi)容的幀的請(qǐng)求。

在412，一個(gè)或多個(gè)處理設(shè)備確定與渲染幀相關(guān)的渲染工作負(fù)載，以滿足與設(shè)備相關(guān)的一個(gè)或多個(gè)功率或熱約束以及目標(biāo)服務(wù)質(zhì)量（QoS）。

在414處，一個(gè)或多個(gè)處理設(shè)備基于一個(gè)或多個(gè)功率或熱約束和目標(biāo)QoS，動(dòng)態(tài)切換一個(gè)或多個(gè)第一處理器和利用一個(gè)或多個(gè)第二處理器。

相關(guān)專利：Meta Patent | Rendering workload management for extended reality

https://patent.nweon.com/29208

名為“Rendering workload management for extended reality”的Meta專利申請(qǐng)最初在2022年1月提交，并在日前由美國(guó)專利商標(biāo)局公布。

---
原文鏈接：https://news.nweon.com/111552