查看引用/信息源請(qǐng)點(diǎn)擊：映維網(wǎng)Nweon

通過漸進(jìn)下采樣幀的視頻壓縮來漸進(jìn)傳輸詳細(xì)圖像數(shù)據(jù)

（映維網(wǎng)Nweon?2023年08月17日）為了在計(jì)算能力有限的移動(dòng)設(shè)備提供高保真度的XR體驗(yàn)，涉及圖像渲染的計(jì)算密集型操作可以轉(zhuǎn)移到云生態(tài)系統(tǒng)中，在云生態(tài)系統(tǒng)中，計(jì)算成本高昂的計(jì)算由高性能服務(wù)器執(zhí)行，將處理后的圖像壓縮并流式傳輸?shù)揭苿?dòng)設(shè)備。然后，移動(dòng)設(shè)備可以進(jìn)行任何所需的最后調(diào)整并顯示圖像內(nèi)容。

限制云渲染成功的主要挑戰(zhàn)之一是，它會(huì)引入額外的延遲。所以在名為“Progressive transmission of detailed image data via video compression of successive subsampled frames”的專利申請(qǐng)中，Meta提出了一種通過漸進(jìn)下采樣幀的視頻壓縮來漸進(jìn)傳輸詳細(xì)圖像數(shù)據(jù)的方法。

圖1描繪了一個(gè)示例下采樣模式?？梢詫⒃驾斎雸D像110下采樣到4個(gè)子幀中。在另一實(shí)施例中，可以將原始輸入圖像110分采樣到2個(gè)子幀中。在其他實(shí)施例中，原始輸入圖像110可以采樣為3、5、6、7、8、9、16、25或其他數(shù)量的子幀X。

在圖1的可視化中，所描繪的每一幀是正方形，由像素組成。如果把每一幀看作一個(gè)單獨(dú)的網(wǎng)格，則每一幀中的像素可以通過它們?cè)诰W(wǎng)格中的位置來識(shí)別。

作為參考，假設(shè)每個(gè)網(wǎng)格的原點(diǎn)在每一幀的左上角，x坐標(biāo)向下遞增，y坐標(biāo)向右遞增。因此，在原始輸入圖像110中，像素“1”在坐標(biāo)(1,1)處，像素64在坐標(biāo)(8,8)處，像素43在坐標(biāo)(6,3)處，像素24在坐標(biāo)(3,8)處。

在一個(gè)實(shí)施例中，下采樣過程可以首先在水平和垂直方向上每n個(gè)像素從原始輸入圖像110采樣像素來創(chuàng)建Z{circumflex over ( )}2較低分辨率圖像。Z的典型值可能是2或3。

在一個(gè)實(shí)施例中，每個(gè)下采樣圖像可以從不同的像素偏移開始。例如，對(duì)于N×N輸入圖像，Z=2，通過對(duì)像素進(jìn)行采樣，可以得到4個(gè)次采樣圖像:

對(duì)于子幀1，在(1, 1), (1, 3), … (1, N?1), (3, 1), (3, 3) … (N?1, N?1)采樣。

對(duì)于子幀2，在(1, 2), (1, 4) … (1, N), (3, 2), (3, 4) … (N, N?1)采樣;

對(duì)于子幀3，在 (2, 1), (2, 3), … (2, N?1), (4, 1), (4, 3) … (N, N?1)采樣；

對(duì)于子幀4，在(2, 2), (2, 4) … (2, N), (4, 2), (4, 4) … (N, N)。

圖1展示了8×8像素圖像和Z=2(4個(gè)子幀)的上述下采樣過程。原始輸入圖像110的64個(gè)像素分割成第一子幀120、第二子幀122、第三子幀124和第四子幀126，每個(gè)子幀具有從原始輸入圖像110采樣的16個(gè)像素。

在所描述的實(shí)施例中，第一子幀120包括在(1, 1), (1, 3), … (1, N?1), (3, 1), (3, 3) … (N?1, N?1) 采樣的像素。像素標(biāo)記為1、3、5、7、17、19、21、23、33、35、37、39、49、51、53和55。

第二子幀122包括在(1, 2), (1, 4) … (1, N), (3, 2), (3, 4) … (N, N?1) 采樣的像素。像素標(biāo)記為2、4、6、8、18、20、22、24、34、36、38、40、50、52、54和56。

第三子幀124包括在(2, 1), (2, 3), … (2, N?1), (4, 1), (4, 3) … (N, N?1) 采樣的像素。像素標(biāo)記為9、11、13、15、25、27、29、31、41、43、45、47、57、59、61和63的像素。

第四子幀126包括在 (2, 2), (2, 4) … (2, N), (4, 2), (4, 4) … (N, N) 采樣的像素。像素標(biāo)記為10、12、14、16、26、28、30、32、42、44、46、48、58、60、62和64。

在一個(gè)實(shí)施例中，任何下采樣技術(shù)或模式可用于生成多個(gè)下采樣圖像，只要所述多個(gè)下采樣圖像的第一圖像的分辨率低于所述原始輸入圖像110。

在這些實(shí)施例的具體實(shí)施例中，例如在圖1所描述的實(shí)施例中，X子幀的圖案互斥，亦即沒有重疊像素。在一個(gè)實(shí)施例中，X次采樣圖像中的每一個(gè)都等于或大約等于R/X的分辨率，其中R是原始輸入圖像110的分辨率。

另外，客戶端設(shè)備必須能夠知道或確定云中用于生成X子幀的下采樣技術(shù)或模式，客戶端設(shè)備需要所述信息來正確合并或組合圖像，以便它可以顯示或使用適當(dāng)?shù)闹亟▓D像。所以在客戶端設(shè)備重建用于顯示或使用的任何圖像之前，向客戶端設(shè)備發(fā)送指示一個(gè)或多個(gè)下采樣模式或技術(shù)的信息。

在一個(gè)實(shí)施例中，可使用隨機(jī)或偽隨機(jī)編程過程中的一個(gè)來生成原始輸入圖像110的一個(gè)或多個(gè)下采樣圖像。例如，可以使用隨機(jī)數(shù)生成器對(duì)原始N×N輸入圖像的Y像素進(jìn)行采樣，從而生成第一低分辨率子幀。

參照?qǐng)D1中8×8, X=4的情況，可以對(duì)隨機(jī)數(shù)生成器進(jìn)行編程，生成1到64(含64)之間的16個(gè)唯一整數(shù)。然后可以使用這16個(gè)數(shù)字來選擇原始輸入幀110的16個(gè)相應(yīng)像素，從而組成第一子幀120。

然后，這個(gè)第一子幀120可以與隨機(jī)數(shù)生成器的種子一起立即發(fā)送到客戶端設(shè)備。

可以對(duì)隨機(jī)數(shù)生成器進(jìn)行編程，然后從1到64之間的剩余48個(gè)整數(shù)中生成接下來的16個(gè)唯一整數(shù)。然后可以使用對(duì)應(yīng)于下一組整數(shù)的原始輸入圖像110的像素來形成第二子幀122。接下來，可以將第二子幀122發(fā)送到客戶端設(shè)備。

依此類推第三子幀124和第四子幀126。

無論是使用隨機(jī)數(shù)生成器在水平和垂直方向上對(duì)第n個(gè)像素進(jìn)行采樣來生成各種次采樣幀，還是以其他方式生成各種次采樣幀，都可以將指示所使用的采樣模式的信息從云端發(fā)送到客戶端設(shè)備，以便客戶端設(shè)備可以適當(dāng)?shù)貙?duì)次采樣幀進(jìn)行上采樣和合并，從而重建越來越好的圖像。

視頻編碼可以設(shè)計(jì)用于減少視頻的大小或比特率而不影響其質(zhì)量的過程。通常，視頻編碼對(duì)視頻中的順序幀進(jìn)行編碼。壓縮節(jié)省是相鄰幀相似的結(jié)果。但是，Meta介紹的技術(shù)不針對(duì)編碼時(shí)間上不同的幀。

相反，可以將視頻編碼器重用于對(duì)單個(gè)圖像的下采樣進(jìn)行編碼。由于子幀屬于同一圖像，所以所述幀非常相似，有時(shí)甚至比視頻的連續(xù)幀更相似。子幀的相似性質(zhì)對(duì)于優(yōu)化視頻編碼器的壓縮能力非常理想。如果所有的子幀都非常相似，則不需要編碼太多的信息。

圖2示出在一個(gè)實(shí)施例中顯示漸進(jìn)下采樣傳輸（PST） 200的示例功能圖。在所描述的實(shí)施例中，在客戶端設(shè)備上顯示或使用的圖像的質(zhì)量可以隨著在客戶端設(shè)備上解碼、上采樣和合并附加子幀的時(shí)間而改善。

一個(gè)實(shí)施例可以包括下采樣階段。其中，在云中將原始輸入圖像110下采樣到第一子幀120、第二子幀122、第三子幀124和第四子幀126中。

原始輸入圖像110具有M × N的尺寸，并且每個(gè)子幀具有M/2 × N/2的尺寸。重要的是，所描述的PST方法200不要求在第一子幀120進(jìn)行進(jìn)一步處理之前生成所有的子幀。

實(shí)際上，只要根據(jù)第一采樣模式對(duì)第一子幀120進(jìn)行下采樣，就可以在服務(wù)器對(duì)第一子幀120進(jìn)行編碼。

在一個(gè)實(shí)施例中，第一子幀120編碼為i幀130，然后立即傳輸?shù)娇蛻舳嗽O(shè)備。一旦在客戶端設(shè)備接收到i幀130，則將其解碼以重新創(chuàng)建第一子幀120。接下來，可以在客戶端設(shè)備將第一子幀上采樣為上采樣幀150。然后，與第一子幀120相對(duì)應(yīng)的上采樣幀150可立即在客戶端設(shè)備的設(shè)備顯示器上作為輸出幀160使用或顯示，或以其他方式使用。

這種PST技術(shù)允許在任何其他子幀生成、編碼、傳輸或上采樣之前快速使用低分辨率紋理圖譜。這允許在客戶端設(shè)備上從低分辨率紋理集快速生成視頻幀，從而在視頻環(huán)境中實(shí)現(xiàn)低延遲。

特別是，傳輸不包含原始輸入圖像110的所有像素信息的幀可能有利于減少諸如處理資源、網(wǎng)絡(luò)帶寬或熱容量等資源的初始支出，從而改善所涉及的一臺(tái)或多臺(tái)服務(wù)器或客戶端計(jì)算機(jī)的功能。

在一個(gè)實(shí)施例中，根據(jù)與第一采樣模式不同的第二采樣模式在云中生成第二子幀122。由第二采樣模式指定的像素和由第一采樣模式指定的像素互斥。僅舉例來說，圖1中所描述的技術(shù)可用于創(chuàng)建第二采樣模式。

在一個(gè)實(shí)施例中，第二子幀122在云中編碼為p幀140并傳輸?shù)娇蛻舳嗽O(shè)備，其中使用i幀130對(duì)其進(jìn)行解碼以再現(xiàn)第二子幀122。一旦第二子幀122在客戶端設(shè)備復(fù)制，PST方法200就可以以幾種不同的方式進(jìn)行。

在一個(gè)實(shí)施例中，一旦在客戶端設(shè)備再現(xiàn)了第二子幀122，則可以對(duì)其進(jìn)行上采樣以創(chuàng)建與第二子幀122對(duì)應(yīng)的上采樣幀150。然后可以將對(duì)應(yīng)于第二子幀122的上采樣幀150與對(duì)應(yīng)于第一子幀120的上采樣幀150組合或合并，從而創(chuàng)建用于在客戶端設(shè)備上顯示或使用的第二輸出幀160。

由于第二輸出幀160是使用第一子幀120和第二子幀122的像素信息生成，因此第二輸出幀160可能比在較早時(shí)間顯示的第一輸出幀160具有更高的質(zhì)量，并且因此利用了更多的原始輸入幀110的像素信息。在一個(gè)實(shí)施例中，第二輸出幀160隨后可在客戶端設(shè)備上顯示或以其他方式使用。

在一個(gè)實(shí)施例中，一旦在客戶端設(shè)備上再現(xiàn)了第二子幀122，則可以將其與在客戶端設(shè)備上再現(xiàn)的第一子幀120組合或合并，以創(chuàng)建下采樣的組合幀。然后可以對(duì)下采樣組合幀進(jìn)行上采樣以創(chuàng)建第二輸出幀160，以便在客戶端設(shè)備上顯示或使用。

由于第二輸出幀160是使用第一子幀120和第二子幀122的像素信息生成的，因此該第二輸出幀160可以比在較早時(shí)間顯示或使用的第一輸出幀160具有更高的質(zhì)量，并且因此利用了更多的原始輸入幀110的像素信息。在一個(gè)實(shí)施例中，第二輸出幀160隨后可在客戶端設(shè)備上顯示或使用。

在各種實(shí)施例中，下采樣圖像可以通過實(shí)現(xiàn)像素復(fù)制、最近鄰、雙線性插值、雙三次插值或其他方法之一的編程過程在客戶端設(shè)備上進(jìn)行上采樣。

如上所述，通過解碼i幀130和一個(gè)或多個(gè)p幀140在客戶端設(shè)備上復(fù)制的次采樣圖像可以在客戶端計(jì)算設(shè)備上合并，然后使用上述方法之一對(duì)其進(jìn)行上采樣，以創(chuàng)建用于在客戶端設(shè)備上顯示或使用的輸出幀160。

在其他實(shí)施例中，可使用一種或多種方法對(duì)下采樣圖像進(jìn)行上采樣，以創(chuàng)建多個(gè)上采樣幀150，然后將其合并或組合以創(chuàng)建用于在客戶端設(shè)備上顯示或使用的輸出幀160。

一旦在客戶端設(shè)備顯示或使用第二輸出幀160，方法200可以通過以類似的方式合并第三采樣幀124來在客戶端設(shè)備上產(chǎn)生和顯示第三輸出幀160。第三輸出幀160可以具有比第二輸出幀160更高的質(zhì)量。

值得注意的是，第三子幀124、第四子幀126等不需要按順序編碼和傳輸。這種處理可以代替并行地進(jìn)行，因?yàn)樵谝粋€(gè)實(shí)施例中，所有p幀140可以相對(duì)于i幀130進(jìn)行編碼。

Meta指出，這種圖像并行處理技術(shù)是一種創(chuàng)新的技術(shù)解決方案。使用硬件加速器特別有效，因?yàn)橛布铀倨鲗橐曨l情景設(shè)計(jì)，具有并行執(zhí)行操作的強(qiáng)大能力。

圖3示出用于圖像數(shù)據(jù)的漸進(jìn)下采樣傳輸（PST）的計(jì)算機(jī)實(shí)現(xiàn)方法。

計(jì)算機(jī)實(shí)現(xiàn)方法300可以從步驟310開始，其中源計(jì)算機(jī)可以通過根據(jù)第一采樣模式對(duì)輸入圖像進(jìn)行采樣來生成第一下采樣幀。

在步驟320中，源計(jì)算機(jī)可以通過對(duì)第一下采樣幀進(jìn)行編碼來生成第一編碼的下采樣幀。

在步驟330，源計(jì)算機(jī)可以將第一編碼的下采樣幀傳輸?shù)浇邮赵O(shè)備，以使接收設(shè)備顯示或以其他方式使用通過解碼和上采樣第一編碼的下采樣幀生成的第一輸出幀。

在步驟340，源計(jì)算機(jī)可以通過根據(jù)第二采樣模式對(duì)輸入圖像進(jìn)行采樣來生成第二下采樣幀。

在步驟350，源計(jì)算機(jī)可以通過對(duì)第二下采樣幀進(jìn)行編碼來生成第二編碼的下采樣幀。

在步驟360，源計(jì)算機(jī)可以將第二編碼的下采樣幀發(fā)送到接收設(shè)備，以使接收設(shè)備顯示或以其他方式使用基于第一編碼的下采樣幀和第二編碼的下采樣幀并根據(jù)第一采樣模式和第二采樣模式生成的第二輸出幀。

特定實(shí)施例可以重復(fù)圖3所示方法的一個(gè)或多個(gè)步驟。

相關(guān)專利：Meta Patent | Progressive transmission of detailed image data via video compression of successive subsampled frames

https://patent.nweon.com/29428

名為“Progressive transmission of detailed image data via video compression of successive subsampled frames”的專利申請(qǐng)最初在2022年1月提交，并在日前由美國(guó)專利商標(biāo)局公布。

---
原文鏈接：https://news.nweon.com/111632