查看引用/信息源請點擊：映維網(wǎng)Nweon

為不同網(wǎng)速，不同顯示屏尺寸，不同處理器性能的用戶提供更好的視頻會議體驗

（映維網(wǎng)Nweon?2023年08月09日）視頻電話會議的功能越來越豐富。但由于支持硬件的異構性，挑戰(zhàn)開始隨之出現(xiàn)。例如，用于先進設備，大屏顯示和高網(wǎng)速的用戶可以訪問功能豐富的遠程會議體驗，但對于擁有舊式設備，小屏顯示和慢網(wǎng)速的用戶，訪問相關的功能體驗會導致技術性能不佳，包括顯示屏混亂、過度延遲、視頻停滯、變得斷斷續(xù)續(xù)或音頻不同步等等。

針對這個問題，微軟在名為“Optimizing richness in a remote meeting”的專利申請中提出了一種解決方案，并旨在為不同網(wǎng)速，不同顯示屏尺寸，不同處理器性能的用戶提供更好的視頻會議體驗。

相關方法的核心是在高粒度上評估用于訪問遠程會議體驗的每臺計算機設備的功能。利用相關信息，計算可能納入遠程會議體驗的一系列功能組合中的每一種的預期流動性水平，即技術平滑度。

通過考慮每個會議參與者計算設備的能力，系統(tǒng)可以自動選擇將提供最豐富體驗的功能組合，使其達到或超過令人滿意的流動性水平。通過這種方式，每個與會者都能獲得最好的體驗，但不受硬件的限制。

圖1顯示了由多個會議參與者12共享的遠程會議體驗10。會議體驗屬于“遠程”，因為并非所有的參與者都在同一個地點。每個與會者都是相應與會者計算機設備的用戶和操作員，包括PC、平板電腦、智能手機和AR/VR等設備都可以用于訪問會議體驗。

轉(zhuǎn)到圖2，每個會議參與者的計算機設備14都包括一個顯示器16、一個攝像頭18、一個揚聲器20和一個麥克風22。

通過客戶端應用程序28提供的遠程會議體驗的訪問包括一種或多種入站訪問模式和/或一種或多種出站訪問模式。

入站訪問模式是將數(shù)據(jù)接收到計算機設備14中的模式；出站訪問模式是從計算機設備傳輸數(shù)據(jù)的一種模式?？捎玫娜胝驹L問模式可以包括一個或多個遠程會議參與者的視頻和/或音頻的實時表示。

在一個入站訪問模式中，視頻和/或音頻以可用的最高保真度呈現(xiàn)，在其他入站訪問模式中，保真度降低。當應用于視頻時，“保真度”包括幀率、分辨率和/或顏色深度。當應用于音頻時，“保真度”包括采樣率和/或比特率。

特定入站訪問模式包括僅實時呈現(xiàn)視頻的前景部分，背景部分在計算機設備14進行本地重構。特定入站訪問模式包括呈現(xiàn)一個或多個會議參與者的本地渲染動畫，例如Avatar。動畫可以根據(jù)面部標記和/或骨骼坐標在本地為任何、部分或所有會議參與者生成，以便實時下載到計算機設備。

特定入站訪問模式包括通過計算機設備上提供的文本界面進行入站會議內(nèi)聊天。特定入站訪問模式包括接收來自會議體驗的音頻的實時轉(zhuǎn)錄。特定入站訪問模式包括基于轉(zhuǎn)錄呈現(xiàn)來自一個或多個會議參與者的本地重構語音。特定入站訪問模式包括與會者之間的屏幕或文檔共享。

實際上，在一臺給定的計算機設備上，通過客戶端應用程序，可以獲得一系列訪問遠程會議體驗的模式。訪問模式的特定組合提供附加的好處，而其他組合可能沖突或多余。因此，客戶端應用程序28配置為提供基于計算機設備14的能力和/或基于其用戶的偏好的相互兼容的訪問模式的特定預定義組合。在這樣做的過程中，客戶端應用程序提供了對會議體驗的不同變體或不同級別的訪問，這對應于不同的“訪問選項”。

在一個實施例中，可以從入站訪問選項菜單中選擇一個訪問選項，并且可以從出站訪問選項菜單中選擇另一個訪問選項。入站訪問選項是控制接收到計算機設備14的數(shù)據(jù)的選項，而出站訪問選項是控制從計算機設備傳輸?shù)臄?shù)據(jù)的選項。

圖3示出了入站訪問選項30的示例部分菜單，圖4示出訪問選項32的示例部分菜單。每個菜單都是按照從上到下“豐富度”遞減的順序列出。每個菜單頂部的訪問選項提供了比底部選項更豐富的會議體驗。

每個訪問模式都可以用豐富性度量來表征，并指示訪問模式對會議體驗貢獻的相對豐富性級別。類似地，每種訪問模式可以用開銷度量來表征，并指示訪問模式所需的相對計算費用，例如網(wǎng)絡帶寬和處理周期等。

在圖3中，入站接入選項30A將所有可用視頻實時呈現(xiàn)，包括屏幕和文檔共享為視頻。因此，與圖3中的所有選項相比，入站訪問選項30A具有最高豐富度水平，并且入站訪問選項30A具有最大開銷度量。

入站訪問選項30B提供會議參與者的所有可用視頻的表示，但使用快照共享文檔。入站訪問選項30C與選項30A和30B的不同之處在于，屏幕或文檔共享只能通過靜態(tài)下載獲得。

入站接入選項30D以降低(例如75%)幀速率提供所有視頻的呈現(xiàn)。入站訪問選項30E以降低(例如50%)的顯示分辨率提供所有視頻的呈現(xiàn)。入站訪問選項30F以減少(例如25%)的色深顯示所有視頻。入站訪問選項30G實時呈現(xiàn)所有可用的前景視頻，并且保真度很高，但需要對背景進行局部重建。

特定入站訪問選項拒絕至少特定可用的實時視頻，而是使用動畫來表示一個或多個會議參與者。例如，入站訪問選項30H只提供主演示者的前景視頻顯示?；趯崟r下載到用戶計算機設備上的會議參與者的面部標記和/或骨架坐標，本地為其他會議參與者生成動畫。

入站接入選項30I與入站接入選項30H的不同之處在于，沒有到場的與會者的演講不是實時下載到用戶的計算機設備，而是基于會議音頻的實時轉(zhuǎn)錄在其上進行重構。

入站接入選項30J包括以動畫形式實時呈現(xiàn)所有會議參與者，并暫停下載會議音頻的實時轉(zhuǎn)錄。入站訪問選項30K只實時提供音頻演示，并要求記錄結束的會議體驗，包括視頻。入站訪問選項30L為用戶暫停實時會議體驗，并請求結束的會議體驗的轉(zhuǎn)錄。

因此，入站訪問選項30L具有豐富度度量，指示與圖3中的所有選項相比的最低豐富度水平，并且與圖3中的所有選項相比，入站訪問選項30L表明開銷最小。其他入站訪問選項具有介于入站訪問選項30A和30L之間的費用度量和豐富度度量。

在圖4中，出站接入選項32A提供實時上傳來自用戶計算機設備的所有視頻，包括以視頻形式上傳共享文檔。因此，出站訪問選項32A具有豐富度度量，指示與圖4中的所有選項相比的最高豐富度水平；與圖4中的所有選項相比，出站訪問選項32A具有指示最大費用的費用指標。

出站訪問選項32B提供用戶視頻的上傳，但使用快照共享文檔。出站訪問選項32C與選項32A和32B的不同之處在于，只有通過靜態(tài)上傳才能啟用屏幕或文檔共享。出站訪問選項32D提供以降低幀率上傳用戶視頻。出站訪問選項32E提供以降低的顯示分辨率上傳用戶的視頻。出站訪問選項32F提供以降低顏色深度上傳用戶視頻。

出站訪問選項32G提供用戶前景視頻的實時上傳，并且保真度很高，但需要遠程重建背景。其他出站訪問選項拒絕實時視頻上傳。例如，出站訪問選項32H提供實時上傳用戶的面部標記和/或骨骼坐標，以支持用戶的動畫。出站訪問選項32I提供用戶語音轉(zhuǎn)錄的上傳，以支持實時語音重建。

選項32J提供在會議結束時上傳用戶錄制的視頻和音頻。選項32K提供在會議結束時上傳用戶錄制的音頻。選項32L為用戶暫停實時會議體驗，并在會議體驗結束時提供用戶音頻貢獻的上傳轉(zhuǎn)錄。

因此，出站訪問選項32L指示與圖4中的所有選項相比的最低豐富度水平，以及開銷最小的度量。其他出站訪問選項具有介于出站訪問選項32A和32L之間的費用指標和豐富度指標。

在圖在3和4中，訪問選項是從兩個或多個不相交的菜單中選擇，可以將兼容訪問選項的每個組合映射到一個新的集合，其元素對應于這樣的組合。在這樣的例子中，組合本身就是“訪問選項”。

給定類型的各種訪問模式以不同的開銷，提供不同的豐富度水。因此，對于每個特征類型，可以根據(jù)其對豐富性的總體貢獻和對開銷的單個貢獻來選擇訪問選項?？梢赃x擇所選訪問模式的總體組合，以最大限度地提高所提供的會議體驗的豐富性和流動性。

圖5顯示了提供對遠程會議的訪問的示例方法46。

在48，客戶機應用程序在用戶的會議參與者計算機設備啟動。所述操作可以使用戶發(fā)起新的會議體驗或加入現(xiàn)有的會議體驗。

在50，客戶端-服務器系統(tǒng)的評估模塊評估用戶計算機設備的一項或多項與計算機設備用戶所感知的會議體驗的流動性有關的能力，例如網(wǎng)絡上傳速度、處理器速度和處理器核數(shù)。

在可選步驟52中，可以根據(jù)用戶喜好排除一個或多個訪問選項。例如，即便用戶的計算機設備能夠高速下載，他/她都可能不想看到其他會議參與者的臉。在這種情況下，參照圖3，可以排除入站訪問選項30A至301。

在54，客戶機-服務器系統(tǒng)的選擇模塊根據(jù)所評估的一種或多種能力選擇一組訪問選項，其中包括在計算機設備上可實現(xiàn)的用于訪問遠程會議體驗的相互兼容的訪問模式的組合。

在62，客戶端-服務器系統(tǒng)的配置模塊配置客戶端-服務器系統(tǒng)，使會議參與者的計算機設備能夠使用所選擇的訪問選項集訪問遠程會議。

在64，客戶端-服務器系統(tǒng)34的網(wǎng)絡模塊在服務器36和計算機設備14之間交換可能需要的任何數(shù)據(jù)，以支持根據(jù)所選的訪問選項遠程訪問會議體驗。

相關專利：Microsoft Patent | Optimizing richness in a remote meeting

https://www.nweon.com/

名為”O(jiān)ptimizing richness in a remote meeting“的微軟專利申請最初在2022年2月提交，并在日前由美國專利商標局公布。

---
原文鏈接：https://news.nweon.com/111309