UE像素流送：像素流推流原理介紹！
游戲開發(fā)者通常在運行游戲邏輯時會將游戲渲染到屏幕的同一臺設(shè)備上來運行虛幻引擎應(yīng)用，多人聯(lián)網(wǎng)游戲可能會在應(yīng)用程序的多個實例之間分發(fā)部分游戲邏輯，但每個單獨的實例仍然會為自己的玩家在本地渲染游戲。即使是使用 HTML5 部署選項創(chuàng)建可以在 Web 瀏覽器中運行的項目版本，游戲邏輯和畫面呈現(xiàn)仍然在每個用戶的 Web 瀏覽器中本地運行。
然而，使用像素流送，可以在用戶看不到的計算機上遠程運行UE開發(fā)的應(yīng)用。虛幻引擎使用該計算機可用的資源（CPU、GPU、內(nèi)存等）來運行游戲邏輯并渲染每一幀。它不斷地將此渲染輸出編碼為媒體流，該媒體流通過輕量級 Web 服務(wù)堆棧。然后，用戶可以在其他計算機和移動設(shè)備上運行的標(biāo)準(zhǔn) Web 瀏覽器中查看該廣播流。
流媒體播放的不是預(yù)先錄制的視頻片段，而是虛幻引擎實時生成的渲染幀和音頻。
用戶可以從他們的瀏覽器控制交互，將鍵盤、鼠標(biāo)和觸摸事件以及從播放器網(wǎng)頁發(fā)出的自定義事件發(fā)送回虛幻引擎。
UE像素流送的優(yōu)勢
像素流送使移動設(shè)備和輕型 Web 瀏覽器能夠顯示比其他方式更好的圖形質(zhì)量。它們可以顯示高分辨率的復(fù)雜場景，通過像素流送，用戶可以運行原本只有在具有強大 GPU 的本機桌面應(yīng)用程序中渲染時才有可能使用的渲染功能。
用戶不需要提前下載大型可執(zhí)行文件或內(nèi)容文件，也不需要安裝任何東西。用戶唯一需要下載的是播放的媒體流。
可以支持多個平臺，而無需創(chuàng)建和分發(fā)多個單獨的包。只需為 Windows 或 Linux 打包應(yīng)用程序一次，人們可以使用任何平臺來體驗UE內(nèi)容。用戶可以在任何支持 WebRTC 連接模型的現(xiàn)代瀏覽器中查看流，包括桌面、iOS 和 Android 平臺上瀏覽器。
Pixel Streaming 系統(tǒng)包含最少數(shù)量的組件，任何人都可以相對容易地在本地網(wǎng)絡(luò)中進行設(shè)置。但是，對于具有部署 Web 服務(wù)經(jīng)驗的團隊來說，它足夠強大，可以用作創(chuàng)建自定義云托管平臺的基礎(chǔ)。
Pixel Streaming 使用 WebRTC 點對點通信框架來盡可能降低用戶和虛幻引擎應(yīng)用程序之間的延遲。
下圖簡單總結(jié)了像素流送插件
像素流送技術(shù)框架
像素流送技術(shù)的框架包含兩部分：像素流送插件Pixel Streaming、信令和 web 服務(wù)器。
Pixel Streaming Plugin -該插件在虛幻引擎中運行。它使用視頻壓縮對每個渲染幀的最終結(jié)果進行編碼，將這些視頻幀與游戲音頻一起打包成媒體流，并通過直接點對點連接將該流發(fā)送到一個或多個連接的瀏覽器。
信令和 Web 服務(wù)器 -信令和 Web 服務(wù)器負責(zé)協(xié)商瀏覽器和像素流插件之間的連接，并為瀏覽器提供播放媒體流的 HTML 和 JavaScript 環(huán)境。
像素推流連接方法
當(dāng)啟動所有像素流送插件時，在虛幻引擎中運行的像素流送插件首先會建立與信令和網(wǎng)絡(luò)服務(wù)器的連接。
客戶端連接到信號服務(wù)器，信號服務(wù)器為它提供一個 HTML 頁面，其中包含播放器小部件和用 JavaScript 編寫的控制代碼。
當(dāng)用戶啟動流時，信令服務(wù)器會協(xié)商在客戶端瀏覽器和虛幻引擎應(yīng)用程序之間建立直接連接。為了使此連接正常工作，瀏覽器和虛幻引擎應(yīng)用程序需要知道彼此的 IP 地址。如果兩者都在同一網(wǎng)絡(luò)上運行，則它們通常在各自的 IP 地址上直接相互可見。但是，在兩個端點之間運行的網(wǎng)絡(luò)地址轉(zhuǎn)換 (NAT) 服務(wù)可能會更改任何一方的外部可見 IP 地址。解決這個問題通常涉及使用 STUN 或 TURN 服務(wù)器，它告訴每個組件其外部可見的 IP 地址是什么。 一旦在客戶端和虛幻引擎應(yīng)用程序之間建立連接，像素流式處理插件就會開始將媒體直接流式傳輸?shù)綖g覽器。來自客戶端的輸入由播放器頁面的 JavaScript 環(huán)境直接發(fā)送回虛幻引擎應(yīng)用程序。
即使在媒體流開始播放后，信令和 Web 服務(wù)器仍會保持與瀏覽器和虛幻引擎應(yīng)用程序的連接，因此它能夠處理瀏覽器發(fā)起的斷開連接。
UE像素推流的局限性
首先像素流官方提供的并不是產(chǎn)品，不能拿來直接使用。其次它只適用于UE模型，再者它在實際中對于不同瀏覽器的兼容性不太好。而3DCAT實時云渲染技術(shù)，不僅僅是支持3D引擎的模型，對于一些非3D引擎比如一些大型的家裝軟件、PS、BIM等也能支持。而且還有很多針對運營的負載均衡、調(diào)度等信息，更加成熟更加產(chǎn)品化，做到拿來即可使用，可支持軟件部署，也支持SDK對接。
3DCAT實時云渲染優(yōu)勢
首先，3DCAT實時云渲染不會限制任何的訪問引擎，超過支持10多種國內(nèi)外三維制作引擎輸出的標(biāo)準(zhǔn)可執(zhí)行文件，不挑引擎是最大的優(yōu)勢。其次3DCAT已經(jīng)用于多個商業(yè)生產(chǎn)項目中，并不斷的壯大與完善功能，提供最穩(wěn)定的實時云渲染服務(wù)。此外，3DCAT所有模塊均支持定制化開發(fā)，3DCAT還有強大的公有云服務(wù)，遍布全國的邊緣節(jié)點，擁有超3萬臺的節(jié)點，而不是本地化單機部署能夠比擬的。
本文《UE像素流送：像素流推流原理介紹！》內(nèi)容由3DCAT實時渲染云解決方案提供商整理發(fā)布，如需轉(zhuǎn)載，請注明出處及鏈接：https://www.3dcat.live/
