查看引用/信息源請點擊：映維網(wǎng)Nweon

根據(jù)動作來生成體育相關(guān)應(yīng)用

（映維網(wǎng)Nweon?2023年05月22日）在XR沉浸式現(xiàn)實中，允許用戶輕松方便地啟動生成相關(guān)應(yīng)用程序是一個問題，比如說體育領(lǐng)域。在名為“Motion-based generation of applications in virtual reality and augmented reality systems”的專利申請中，Meta就介紹了一種根據(jù)動作來生成體育應(yīng)用的方法。例如，當(dāng)用戶擺出拳擊動作時，系統(tǒng)可以生成與拳擊相關(guān)的最近的新聞或游戲，最近的業(yè)余或職業(yè)拳擊比賽。

圖1示出了一個人工現(xiàn)實系統(tǒng)10。頭顯112包括用于追蹤頭顯112的運(yùn)動的一個或多個傳感器（例如加速度計），并且可以包括一個或更多個圖像捕獲設(shè)備138和圖像捕獲設(shè)備139。

圖像捕獲設(shè)備138配置為捕獲用戶110的視場中的對象。圖像捕獲設(shè)備139被配置為在圖像捕獲設(shè)備139的視場中捕獲用戶110的身體111，并用于將用戶110的動作199識別為基于運(yùn)動的動作191。

在一個實施例中，當(dāng)用戶110正在查看顯示在頭顯112中的人工現(xiàn)實內(nèi)容122時，在頭顯112中生成基于運(yùn)動的應(yīng)用181。用戶110提供基于運(yùn)動的啟動指示符179作為頭顯112的輸入，以啟動基于運(yùn)動的應(yīng)用生成過程。在一個實施例中，例如，基于運(yùn)動的啟動指示器179可以是手勢，例如閉合的拳頭、食指和拇指的敲擊、和平手勢等，從而啟動基于運(yùn)動的應(yīng)用程序生成過程。

在用戶110已經(jīng)使用基于運(yùn)動的指示符179啟動了基于運(yùn)動的應(yīng)用過程之后，圖像捕獲設(shè)備139獲取表示用戶110的身體111的運(yùn)動199的運(yùn)動數(shù)據(jù)。

頭顯112接收運(yùn)動數(shù)據(jù)并評估運(yùn)動數(shù)據(jù)以確定運(yùn)動199是否代表基于運(yùn)動的運(yùn)動191。在一個實施例中，響應(yīng)于將用戶110的動作199識別為基于運(yùn)動的動作191，基于運(yùn)動的應(yīng)用程序生成器生成特定的動作應(yīng)用程序181。

例如，運(yùn)動應(yīng)用生成器生成基于運(yùn)動的應(yīng)用181，例如，基于運(yùn)動的新聞181A和/或基于運(yùn)動的購買選項181B疊加在呈現(xiàn)給用戶110的底層人工現(xiàn)實內(nèi)容122之上。

圖2示出的頭顯配置為使用基于運(yùn)動的應(yīng)用生成器來生成基于運(yùn)動的應(yīng)用181。

頭顯112包括一個或多個運(yùn)動傳感器206，例如輸出指示頭顯112的當(dāng)前加速度的數(shù)據(jù)的一個或更多個加速度計、輸出指示頭顯112的位置的數(shù)據(jù)的GPS傳感器、或提供頭顯112或物理環(huán)境內(nèi)的其他物體的位置或方位指示的其他傳感器。

在一個實施例中，基于從與用戶110的身體111相對應(yīng)的圖像捕獲設(shè)備138和圖像捕獲設(shè)備139接收的運(yùn)動數(shù)據(jù)，控制單元210配置為識別用戶110的基于運(yùn)動的運(yùn)動，并且作為響應(yīng)，生成基于運(yùn)動的應(yīng)用程序181。

在一個實施例中，例如，響應(yīng)于識別基于運(yùn)動的運(yùn)動，控制單元210可以生成疊加在人工現(xiàn)實內(nèi)容上用于在電子顯示器203上顯示的基于運(yùn)動的新聞內(nèi)容181A和/或基于運(yùn)動的購買內(nèi)容181B。

圖3示出了根據(jù)頭顯112的框圖?；谶\(yùn)動的姿勢檢測器324配置為檢測由頭顯112的圖像捕獲設(shè)備138和圖像捕獲設(shè)備139和/或傳感器90或外部攝像頭102捕獲的圖像數(shù)據(jù)和運(yùn)動數(shù)據(jù)中識別的對象，以識別用戶110的身體111。

在一個實施例中，圖像數(shù)據(jù)和運(yùn)動數(shù)據(jù)用于追蹤身體111相對于頭顯112的運(yùn)動，以識別用戶110執(zhí)行的基于運(yùn)動的姿勢或運(yùn)動?；谶\(yùn)動的姿勢檢測器324將圖像捕獲設(shè)備的視場中的對象的運(yùn)動向量與基于運(yùn)動的姿勢庫330中的一個或多個條目進(jìn)行比較，以識別用戶110是否執(zhí)行了基于運(yùn)動的動作。

在一個實施例中，基于運(yùn)動的應(yīng)用程序生成器339包括基于運(yùn)動的運(yùn)動條件?；谶\(yùn)動的動作條件應(yīng)用于存儲在基于運(yùn)動的姿勢庫330中的基于運(yùn)動的移動，以觸發(fā)基于運(yùn)動的應(yīng)用程序181的生成。

基于運(yùn)動的應(yīng)用程序生成器339配置為使用例如基于運(yùn)動的姿勢檢測器324的識別輸出來生成基于運(yùn)動的程序181。在一個實施例中，基于運(yùn)動的應(yīng)用181疊加在要在頭顯112上向用戶110顯示的人工現(xiàn)實內(nèi)容之上。

在操作中，圖像捕獲設(shè)備139捕獲由頭戴式顯示設(shè)備301的用戶110執(zhí)行的動作199。動作199可以是運(yùn)動動作，例如舞蹈動作、網(wǎng)球動作、排球動作、游泳動作、攀巖動作、滑雪動作、射擊動作、射箭動作等。在捕獲與運(yùn)動199相對應(yīng)的運(yùn)動數(shù)據(jù)之后，圖像捕獲設(shè)備370將運(yùn)動數(shù)據(jù)提供給處理器302。

處理器302接收表示用戶110的動作199的動作數(shù)據(jù)，并且利用基于運(yùn)動的姿勢檢測器324和基于運(yùn)動的姿勢庫330來確定（或識別）用戶110執(zhí)行的動作199是否是基于運(yùn)動的動作311。

通過使用存儲在基于運(yùn)動的姿勢庫310中的基于運(yùn)動的信息341，基于運(yùn)動的姿勢檢測器324識別用戶110執(zhí)行的動作199是否是基于運(yùn)動的動作311。

基于運(yùn)動的信息341包括基于運(yùn)動的運(yùn)動311和基于運(yùn)動的動作指示符317。基于運(yùn)動的運(yùn)動指示符317是指示用戶110進(jìn)行的運(yùn)動的指示符。例如，基于運(yùn)動的運(yùn)動指示符317可以是與用戶110執(zhí)行基于運(yùn)動的動作311的視頻剪輯相對應(yīng)的移動數(shù)據(jù)。

視頻剪輯可以是，用戶110執(zhí)行由圖4中的示例描繪的舞蹈動作、網(wǎng)球動作、排球動作等。基于運(yùn)動的姿勢檢測器324利用存儲在姿勢庫330中的信息341，或在其上執(zhí)行的分類算法或機(jī)器學(xué)習(xí)技術(shù)來將動作199識別為基于運(yùn)動的動作311。

在一個實施例中，基于存儲在基于運(yùn)動的姿勢庫330中的預(yù)定義的基于運(yùn)動的運(yùn)動，將運(yùn)動199識別為基于運(yùn)動的動作311。

在確定運(yùn)動199是否是基于運(yùn)動的運(yùn)動311之后，基于運(yùn)動的應(yīng)用生成器339基于將運(yùn)動識別為基于運(yùn)動的動作311，從而生成頭顯112中的運(yùn)動199特有的基于運(yùn)動的移動應(yīng)用391。

為了在頭顯112的顯示器上生成基于運(yùn)動的應(yīng)用程序，基于運(yùn)動的程序生成器339搜索網(wǎng)絡(luò)104以尋找與所識別的運(yùn)動相關(guān)的基于運(yùn)動內(nèi)容?；谶\(yùn)動的運(yùn)動應(yīng)用391是與基于運(yùn)動的動作311相關(guān)的內(nèi)容，例如，基于運(yùn)動互聯(lián)網(wǎng)應(yīng)用、基于運(yùn)動的視頻應(yīng)用或基于運(yùn)動的新聞應(yīng)用。

例如，如果用戶110執(zhí)行的基于運(yùn)動的運(yùn)動311是拳擊運(yùn)動，則處理器302可以在頭顯112的顯示器上顯示與拳擊運(yùn)動相對應(yīng)的新聞剪輯。在一個實施例中，一旦基于運(yùn)動的應(yīng)用程序生成器339已經(jīng)找到與基于運(yùn)動的運(yùn)動相關(guān)的內(nèi)容，則運(yùn)動應(yīng)用程序生成器337將基于運(yùn)動的內(nèi)容疊加到人工現(xiàn)實內(nèi)容之上。

在基于運(yùn)動的應(yīng)用181被顯示為提供給用戶110的人工現(xiàn)實內(nèi)容的一部分之后，用戶110然后能夠查看和導(dǎo)航在頭顯112的電子顯示器203提供的基于運(yùn)動的內(nèi)容。因此，用戶110能夠容易地在頭顯112中查看由基于運(yùn)動的動作311指定的基于運(yùn)動的內(nèi)容，同時瀏覽人工現(xiàn)實內(nèi)容。

圖5示出了生成基于運(yùn)動的內(nèi)容的方法500。

在框510，頭顯112的圖像捕獲設(shè)備139捕獲由頭顯112用戶110執(zhí)行的動作199。

在框520，處理器302使用基于運(yùn)動的姿勢檢測器324和基于運(yùn)動的姿勢庫330來識別運(yùn)動199是否是基于運(yùn)動的運(yùn)動311。

在框530，基于將運(yùn)動199識別為基于運(yùn)動的運(yùn)動311，基于運(yùn)動的應(yīng)用生成器339在頭顯112生成特定于動作311的應(yīng)用181。例如，當(dāng)由基于運(yùn)動的姿勢檢測器324檢測到的基于運(yùn)動的動作311是拳擊動作時，基于運(yùn)動的應(yīng)用生成器339生成與拳擊相關(guān)的最近的新聞或游戲，最近的業(yè)余或職業(yè)拳擊比賽。

在框540處，基于對運(yùn)動199的識別為基于運(yùn)動的運(yùn)動311，基于運(yùn)動的應(yīng)用生成器339生成基于運(yùn)動的購買選項181B，從而允許用戶購買運(yùn)動商品、運(yùn)動紀(jì)念品等。

在框540，基于運(yùn)動的應(yīng)用程序生成器339基于用戶110的身體111上的運(yùn)動標(biāo)識符198的標(biāo)識，例如，用戶110所穿的襯衫上的運(yùn)動隊標(biāo)志，生成允許用戶110購買運(yùn)動商品、運(yùn)動紀(jì)念品等的購買選項。

在一個實施例中，例如，當(dāng)用戶110穿著具有表示“La Union Lions”的運(yùn)動標(biāo)識符198的t恤時（如圖1所示），基于運(yùn)動的應(yīng)用程序生成器339將購買類似運(yùn)動紀(jì)念品的選項疊加人工現(xiàn)實內(nèi)容或之上。

相關(guān)專利：Meta Patent | Motion-based generation of applications in virtual reality and augmented reality systems

名為“Motion-based generation of applications in virtual reality and augmented reality systems”的Meta專利申請最初在2021年10月提交，并在日前由美國專利商標(biāo)局公布。

---
原文鏈接：https://news.nweon.com/107886