【像素流送】說說內(nèi)容流送那些事兒

在開發(fā)有交互的三維仿真應(yīng)用時,制作和推廣都面臨很大的挑戰(zhàn)。例如針對市面上各式各樣的系統(tǒng)和終端設(shè)備,如何對內(nèi)容的質(zhì)量進行適配就是個不小的難題。通常的做法是設(shè)定一個最低匹配標準來適配各種設(shè)備,這樣的缺點也顯而易見——對于高端設(shè)備來說,體驗的質(zhì)量遠遠沒有達到,對設(shè)備性能造成了浪費。另外一種做法是發(fā)布盡可能多的版本去適配盡可能多的系統(tǒng)或設(shè)備,這樣做的代價就是工作量劇增。
比如想要給用戶多維度的展示一些精致的汽車,美輪美奐的景觀漫游,逼真的消防仿真演練……想要應(yīng)用獲得用戶的青睞,展示效果滿意,那文件量一定不會小,下載和安裝都需要耗費一定的時間——無論在PC還是移動端,更不用說應(yīng)用更新的時候帶來的重復(fù)性的麻煩了。
那么有沒有一種既不需要下載安裝又不需要降低體驗質(zhì)量的新的技術(shù)呢?答案是肯定的,這就是我們今天要談的內(nèi)容流送(content streaming)。
隨著人類社會邁入體驗經(jīng)濟時代,體驗對用戶來說越來越重要。不止是仿真類應(yīng)用,VR、AR相關(guān)的各種應(yīng)用也日益滲透到人們生活的方方面面。這些應(yīng)用的內(nèi)容,可以通過云端資源進行渲染計算,然后轉(zhuǎn)化為流(streaming)的形式,通過網(wǎng)絡(luò)推送到各種終端上,這種方式稱為內(nèi)容流送。
內(nèi)容流送要解決的三大問題:
交互——不同于普通的視頻流,仿真和虛擬現(xiàn)實類的應(yīng)用都需要有各種交互功能。常用終端的鼠標、鍵盤或者觸屏操作,都需要轉(zhuǎn)換為信號通過網(wǎng)絡(luò)傳輸?shù)皆贫巳ィ贫艘残枰磿r的響應(yīng)這些信號實時地渲染新的畫面,通過流的方式把結(jié)果推送回終端。
時延——根據(jù)kissmetrics的研究,當(dāng)瀏覽網(wǎng)頁時延時超過3秒,就會流失40%的用戶。對于實時類的體驗更是如此,內(nèi)容流送的時延必須控制在毫秒級。一般小于120ms的時延對于用戶來說才是無感知的。
畫質(zhì)——好的畫質(zhì)是分辨率、幀率和碼率三者之間的平衡。分辨率是單位英寸中所包含的像素點數(shù);幀率(FPS),即每秒鐘要多少幀畫面;碼率是編碼器每秒編出的數(shù)據(jù)大小,單位是kbps,比如800kbps表示編碼器每秒產(chǎn)生800kb的數(shù)據(jù)。幀率與畫面流暢度成正比:幀率越大,畫面越流暢;幀率越小,畫面越有跳動感。如果碼率為變量,則幀率也會影響體積,幀率越高,每秒鐘經(jīng)過的畫面越多,需要的碼率也越高,體積也越大。幀率就是在1秒鐘時間里傳輸?shù)膱D片的幀數(shù),也可以理解為圖形處理器每秒鐘能夠刷新幾次。分辨率影響圖像大小,與圖像大小成正比:分辨率越高,圖像越大;分辨率越低,圖像越小。在碼率一定的情況下,分辨率與清晰度成反比關(guān)系:分辨率越高,圖像越不清晰,分辨率越低,圖像越清晰。在分辨率一定的情況下,碼率與清晰度成正比關(guān)系,碼率越高,圖像越清晰;碼率越低,圖像越不清晰。如果不做碼率大小上的限制,那么分辨率越高,畫質(zhì)越細膩;幀率越高,視頻也越流暢,但相應(yīng)的碼率也會很大,因為每秒鐘需要用更多的數(shù)據(jù)來承載較高的清晰度和流暢度。
內(nèi)容流送的原理
內(nèi)容流送的實現(xiàn)方式,就是將以前只能運行在終端的計算放到云端,在云端調(diào)用強有力的高端計算資源(CPU/GPU/內(nèi)存等)進行計算,終端用戶使用標準的網(wǎng)頁瀏覽器連接到應(yīng)用中,當(dāng)然也可以發(fā)送各種控制信號(鼠標、鍵盤、觸控等)給云端計算節(jié)點,經(jīng)過處理后把計算好的畫面推送回終端。

以下是一種實現(xiàn)方式:
云端的軟件需要能夠接受終端發(fā)送的各種交互信號,經(jīng)過計算反饋后將結(jié)果進行編碼串流,然后發(fā)送到WebRTC代理服務(wù)器。WebRTC代理服務(wù)器負責(zé)將流媒體通過直接的點對點連接轉(zhuǎn)發(fā)給多個查看者。同時,這個過程一般還需要信令和Web服務(wù)器。信令和Web服務(wù)器負責(zé)在查看者與WebRTC代理服務(wù)器之間協(xié)商建立連接,并為查看者提供播放媒體流的HTML和JavaScript環(huán)境。
內(nèi)容流送的優(yōu)點
1、用戶體驗一致
即使是手機這種輕量化的終端也能體驗到服務(wù)器級別的高端顯卡帶來的震撼效果,尤其是一些復(fù)雜的場景,以往在手機上是無法運行的,現(xiàn)在也能“連連看”了。除此以外,不管是PC還是手機,所看到的內(nèi)容都是一致的,不存在設(shè)備降低畫質(zhì)也降低的現(xiàn)象。
2、更加易用,能更好地滿足用戶的體驗
對于用戶來說,體驗內(nèi)容流送只需要能夠打開瀏覽器聯(lián)網(wǎng)即可?,F(xiàn)有的家庭網(wǎng)絡(luò)條件加載網(wǎng)頁的時間也是很短的,完全不需要下載、安裝各種應(yīng)用。
3、降低終端成本
既然終端的性能已經(jīng)和體驗脫鉤,那么自然無需再購置更加高端的芯片、顯卡等設(shè)備,這樣極大地降低了用戶的體驗成本。
4、內(nèi)容更加安全
對于應(yīng)用開發(fā)者來說,只需要把工程文件打包發(fā)布到云端即可,用戶訪問的都是一幀一幀的畫面,無法通過技術(shù)手段獲得三維模型等原始素材,更加有利于知識產(chǎn)權(quán)的保護。
5、更新更加容易
對于應(yīng)用開發(fā)者來說,應(yīng)用的發(fā)布和更新也都更加容易。云端一旦更新,所有用戶訪問的都是實時刷新的內(nèi)容,再也不用費心費力地讓用戶自行下載更新版本了。
實際應(yīng)用以及如何體驗
目前內(nèi)容流送相關(guān)技術(shù)可以應(yīng)用于汽車展示、建筑漫游、工業(yè)仿真、游戲試玩、手辦模型展示、藝術(shù)展覽、醫(yī)療實訓(xùn)、智慧黨建、智慧園區(qū)……,用戶只要通過在線平臺就可以體驗,比如汽車、模型之類的可以進行多維度的展示用戶想看哪一面就操作展示哪一面,游戲用戶可以直接試玩體驗,醫(yī)療實訓(xùn)演練也可以進行細致的分解說明、細節(jié)展示等等。
當(dāng)前市場上能提供關(guān)于內(nèi)容流送技術(shù)服務(wù)的公司不多,如果想知道什么是內(nèi)容流送,文字看完還是一知半解,可以到3DCAT實時渲染云(3dcat.live)平臺進行體驗。3DCAT是深圳市瑞云科技有限公司提供的三維應(yīng)用實時渲染云服務(wù)。利用云端的海量GPU算力處理繁重的圖像渲染計算并串流同步輸出到終端設(shè)備,從而實現(xiàn)終端設(shè)備的輕量化,讓高質(zhì)量三維圖形應(yīng)用變得無處不在。用戶可以使用任何聯(lián)網(wǎng)的普通設(shè)備,訪問托管在3DCAT云中的三維應(yīng)用程序,同時無需下載安裝應(yīng)用。3DCAT支持能在Windows平臺運行的幾乎所有實時渲染引擎,支持NVIDIA RTX實時光線追蹤功能的開啟。3DCAT實時渲染平臺(3dcat.live),讓三維應(yīng)用觸手可及,歡迎體驗。