查看引用/信息源請點擊：映維網(wǎng)Nweon

根據(jù)媒體內(nèi)容來呈現(xiàn)沉浸式映射內(nèi)容的方法

（映維網(wǎng)Nweon?2022年03月02日）當你聆聽音頻或文本等媒體內(nèi)容時，AR/VR沉浸式媒介的一個想象用例是用數(shù)字內(nèi)容來進行疊加補充。例如，當你聽到關(guān)于北京長城的音頻或文本描述時，沉浸式設(shè)備可以在你的視場中呈現(xiàn)長城的數(shù)字畫面。當你聽到關(guān)于北京故宮的音頻或文本描述時，沉浸式設(shè)備可以在你的視場中呈現(xiàn)故宮的數(shù)字畫面。

在名為“Content event mapping”的專利申請中，蘋果就介紹了一種根據(jù)媒體內(nèi)容來呈現(xiàn)沉浸式映射內(nèi)容的方法。

圖1A是根據(jù)示例操作環(huán)境100A的框圖，操作環(huán)境100A包括電子設(shè)備120A，例如平板電腦。電子設(shè)備120A配置為向用戶呈現(xiàn)SR內(nèi)容。

圖1B示例操作架構(gòu)100B的框圖，操作環(huán)境100B包括控制組件110和頭戴式設(shè)備120B。控制組件110配置為管理和協(xié)調(diào)用戶的SR內(nèi)容的呈現(xiàn)?？刂平M件110可以是位于場景105內(nèi)的本地服務(wù)器。在另一示例中，控制組件110可以是位于場景105之外的遠程服務(wù)器，例如云服務(wù)器和中央服務(wù)器等）?？刂平M件110經(jīng)由一個或多個有線或無線通信信道144與頭顯120B通信耦合。在一個實施例中，控制組件110可以包括在頭顯120B的殼體之內(nèi)。

圖2是控制組件110的示例框圖。控制組件包括SR體驗?zāi)K240，后者配置為管理和協(xié)調(diào)一個或多個用戶的一個或多個SR體驗。在各種實現(xiàn)中，SR體驗?zāi)K240包括數(shù)據(jù)獲取單元242、追蹤單元244、協(xié)調(diào)單元246和數(shù)據(jù)發(fā)送單元248。

在一個實施例中，數(shù)據(jù)獲取單元242配置為從圖1B的頭顯120B獲取數(shù)據(jù)。追蹤單元244配置為映射場景105，并追蹤頭顯120B相對于圖1B的場景105的位置/位置。協(xié)調(diào)單元246配置為管理和協(xié)調(diào)頭顯120B呈現(xiàn)給用戶的SR體驗。數(shù)據(jù)發(fā)送單元248配置為至少向頭顯120B發(fā)送數(shù)據(jù)，例如位置數(shù)據(jù)。

圖3是頭顯120B的示例框圖。頭顯包括一個或多個SR顯示器312，后者配置為向用戶呈現(xiàn)SR內(nèi)容。頭顯同時包括一個或多個圖像傳感器314。在一個實施例中，頭顯包括SR呈現(xiàn)模塊340，其配置為經(jīng)由一個或多個SR顯示器312向用戶呈現(xiàn)SR內(nèi)容。SR呈現(xiàn)模塊340包括數(shù)據(jù)獲取單元342、SR呈現(xiàn)單元344、SR映射生成單元346和數(shù)據(jù)發(fā)送單元348。

在一個實施例中，數(shù)據(jù)獲取單元342配置為至少從圖1的控制組件110獲取數(shù)據(jù)。SR呈現(xiàn)單元344配置為經(jīng)由一個或多個SR顯示器312呈現(xiàn)SR內(nèi)容。SR映射生成單元346配置為基于媒體內(nèi)容數(shù)據(jù)生成SR映射。數(shù)據(jù)發(fā)送單元348配置為向控制組件110發(fā)送數(shù)據(jù)。

圖4示出了一個場景405，其中電子設(shè)備410對場景405進行了測量。場景405包括桌子408和墻407。電子設(shè)備410在顯示器顯示場景415的表示，包括桌子418的表示和墻壁417的表示。在各種實施例中，電子設(shè)備410通過場景攝像頭拍攝場景的圖像，并相應(yīng)地生成場景415的表示。場景415的表示同時包括在疊加到桌子418的表示的SR映射409。

當電子設(shè)備410在場景405周圍移動時，場景415的表示根據(jù)電子設(shè)備410的視角變化而變化。另外，SR映射409根據(jù)電子設(shè)備410的透視圖的改變而相應(yīng)地改變。因此，當電子設(shè)備410移動時，SR映射409相對于表418的表示以固定關(guān)系出現(xiàn)。

在各種實施例中，SR映射409對應(yīng)于以時間線為特征的媒體內(nèi)容數(shù)據(jù)，以便在不同時間呈現(xiàn)媒體內(nèi)容數(shù)據(jù)的相應(yīng)部分。在一個實施例中，媒體內(nèi)容數(shù)據(jù)包括以時間軸為特征的視頻內(nèi)容數(shù)據(jù)，以便在不同時間顯示相應(yīng)的圖像。另外，可選地同時播放與相應(yīng)圖像對應(yīng)的聲音。

在一個實施例中，媒體內(nèi)容數(shù)據(jù)包括在相應(yīng)時間播放相應(yīng)聲音的音頻內(nèi)容數(shù)據(jù)。在文字或語音內(nèi)容和數(shù)據(jù)中包括各種音樂/敘述。媒體內(nèi)容數(shù)據(jù)包括表示故事弧的多個事件的事件標記。在各種實施例中，事件標記是滿足事件標記標準的媒體內(nèi)容數(shù)據(jù)的一部分。在各種實施例中，通過視頻內(nèi)容數(shù)據(jù)的圖像分析來檢測事件標記。例如，在事件標記標準包括當視頻內(nèi)容數(shù)據(jù)圖像中存在對象時滿足的標準。在一個實施例中，事件標記標準包括當圖像的調(diào)色板顯著不同于先前圖像時滿足的標準，例如指示場景改變。

在各種實施例中，通過音頻內(nèi)容數(shù)據(jù)的音頻分析來檢測事件標記。例如，在一個實施例中，事件標記標準包括當存在音樂提示時滿足的標準。在一個實施例中，事件標記標準包括當音頻的音量超過閾值或音量的變化率超過閾值時滿足的標準。

在各種實施例中，通過文本內(nèi)容數(shù)據(jù)的文本分析來檢測事件標記。例如，在一個實施例中，事件標記標準包括當存在特定詞時滿足的標準。

在圖5A，第一圖像500A與媒體內(nèi)容數(shù)據(jù)（或其音頻組件）同時顯示，并且第一圖像顯示在媒體內(nèi)容數(shù)據(jù)的時間線中。其中，時間線對應(yīng)于表示故事弧的第一事件的第一事件標記。

在圖5A中，SR映射409包括SR映射表示510（山的表示）和路徑表示511（蜿蜒上山的人行道表示）。在各種實施例中，SR映射表示510是默認SR映射表示或用戶選擇的SR映射表示。在各種實施例中，基于媒體內(nèi)容數(shù)據(jù)獲取SR映射表示510。例如在一個實施例中，基于媒體內(nèi)容數(shù)據(jù)從多個存儲的SR映射表示中選擇SR映射表示510。在一個實施例中，基于媒體內(nèi)容數(shù)據(jù)生成SR映射表示510。

SR映射409包括沿路徑表示511顯示的第一SR環(huán)境表示501A，例如房子的表示）。在各種實施例中，基于媒體內(nèi)容數(shù)據(jù)，尤其是與第一事件相關(guān)聯(lián)的媒體內(nèi)容數(shù)據(jù)的部分，獲取第一SR環(huán)境表示501A。例如在一個實施例中，基于與第一事件相關(guān)聯(lián)的媒體內(nèi)容數(shù)據(jù)部分，從多個存儲的SR環(huán)境表示中選擇第一SR環(huán)境表示501A。

在圖5B中，第二圖像500B與媒體內(nèi)容數(shù)據(jù)（或其音頻組件）同時顯示，并且第二圖像顯示在媒體內(nèi)容數(shù)據(jù)的時間線中。其中，時間線對應(yīng)于表示故事弧的第二事件的第二事件標記。

與圖5A相比，SR映射409進一步包括第二SR環(huán)境表示501B，例如學(xué)校的表示。在各種實施例中，以與第一SR環(huán)境表示501A類似的方式獲得第二SR環(huán)境表示501B。

在圖5C中，SR映射進一步包括第三SR環(huán)境表示510C，例如帕特農(nóng)神廟的表示。在各種實施例中，以與第一SR環(huán)境表示501A類似的方式獲得第三SR環(huán)境表示501C。

第三SR環(huán)境表示501C與第三可供性相關(guān)聯(lián)，當選擇所述第三可供性時，顯示第三SR環(huán)境。類似地，第一SR環(huán)境表示501A與第一可供性相關(guān)聯(lián)，當選擇第一可供性時，顯示第一SR環(huán)境，而第二SR環(huán)境表示501B與第二可供性相關(guān)聯(lián)。當選擇第二可供性，顯示第二SR環(huán)境。

在各種實現(xiàn)中，響應(yīng)于檢測到第三可供性的選擇，SR映射409停止顯示。在各種實現(xiàn)中，響應(yīng)于檢測到第三可供性的選擇，暫停媒體內(nèi)容數(shù)據(jù)的并發(fā)播放。

響應(yīng)于用戶通過手勢或在第三SR環(huán)境520中選擇返回SR映射409的選擇，第三SR環(huán)境520停止顯示。

圖5A-5F對應(yīng)于與媒體內(nèi)容數(shù)據(jù)相關(guān)聯(lián)的SR映射，包括記者在徒步旅行路線上采訪參議員的視頻內(nèi)容數(shù)據(jù)。基于對視頻數(shù)據(jù)的分析，設(shè)備將場景檢測為徒步路徑，并選擇山的SR映射表示510。在采訪中，這位參議員第一次與兩個弟弟妹妹討論了他在一間只有一間臥室的小房子里成長的卑微經(jīng)歷。設(shè)備檢測所說的單詞“小房子”，并選擇第一次沿路徑表示511顯示的小房子的第一SR環(huán)境表示501A。

在第二次采訪中，這位參議員討論了他在當?shù)貙W(xué)校的高中足球生涯，視頻中包括了學(xué)校的圖片。設(shè)備檢測所說的單詞“高中”，并生成本地學(xué)校的第二SR環(huán)境表示501B，以在第二時間沿路徑表示511顯示。

在第三次采訪中，這位參議員討論了在希臘留學(xué)以及帕臺農(nóng)神廟的宏偉給他留下的印象。設(shè)備檢測所說的單詞“帕特農(nóng)神廟”，并選擇帕特農(nóng)神廟的第三SR環(huán)境表示501C，以在第三時間沿路徑表示511顯示。

在第四次采訪中，這位參議員討論了在紐約一家著名律師事務(wù)所工作的問題。設(shè)備檢測說出的單詞“工作”、“律師事務(wù)所”和“紐約”，并選擇摩天大樓的第四SR環(huán)境表示501D，以在第四次沿路徑表示511顯示。

在第五次采訪中，這位參議員討論了他當選美國參議院的問題。該設(shè)備檢測說出的單詞“選舉”和“參議院”，并選擇國會大廈的第五個SR環(huán)境代表501E，以在第五次沿路徑代表511顯示。

相關(guān)專利：apple Patent | Content event mapping

名為“Content event mapping”的蘋果專利申請最初在2019年9月提交，并在日前由美國專利商標局公布。

---
原文鏈接：https://news.nweon.com/94894