查看引用/信息源請點擊：映維網

預測位置信息

（映維網?2022年01月06日）對于生成人體肌肉骨骼表示的計算機應用程序，系統(tǒng)有必要知道用戶身體的空間定位、方向和運動，以提供身體運動的真實表示。例如，通過在虛擬現(xiàn)實環(huán)境中追蹤用戶雙手的空間位置，應用程序將能夠表示虛擬雙手的運動，從而允許用戶與VR環(huán)境中的虛擬對象交互。

使用可穿戴傳感器追蹤運動的現(xiàn)有技術包括使用從附加到用戶身體不同部位的多個慣性測量單元（IMU）獲取的信息，以及使用外部成像設備（例如固定位置攝像頭）重建用戶身體部位的位置和方向。

在名為“Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors”的專利申請中，Meta就介紹了一種利用可穿戴傳感器來獲取并預測位置的方法和裝置。具體來說，在確定一個節(jié)段的位置和方法信息后，系統(tǒng)可以相應地預測其他鉸接節(jié)段，從而建模完成的身體部位。

在運動學中，剛體是顯示各種運動屬性的對象，例如位置、方向、角速度、加速度。剛體的一個分段的運動屬性可以根據(jù)分段連接方式中的約束確定剛體其他分段的運動屬性。例如，手臂可建模為兩段式鉸接剛體，其上部對應于在肩關節(jié)處連接至軀干的上臂，下部對應于前臂，其中兩段在肘關節(jié)處連接。作為另一個示例，手可以建模為多節(jié)鉸接體，手腕中的關節(jié)和每個手指形成模型中多節(jié)之間的接口。在一個實施例中，剛體模型中的節(jié)段的運動可以模擬為鉸接剛體系統(tǒng)，其中使用訓練的統(tǒng)計模型預測模型中節(jié)段相對于其他節(jié)段的方向和位置信息。

人體肌肉骨骼系統(tǒng)可以建模為多節(jié)段鉸接剛體系統(tǒng)，關節(jié)形成不同節(jié)段之間的接口，關節(jié)角度定義模型中連接節(jié)段之間的空間關系。對關節(jié)運動的限制取決于連接節(jié)段的關節(jié)類型和限制關節(jié)運動范圍的生物結構，如肌肉、肌腱、韌帶。例如，連接上臂與軀干的肩關節(jié)和連接大腿與軀干的髖關節(jié)是允許伸展和彎曲運動以及旋轉運動的球窩關節(jié)。相比之下，連接上臂和前臂的肘關節(jié)和連接大腿和小腿的膝關節(jié)允許更有限的運動范圍。如本文所述，多段鉸接剛體系統(tǒng)可用于模擬人體肌肉骨骼系統(tǒng)。

圖1是一個示例性系統(tǒng)100。所述系統(tǒng)包括多個自動傳感器110，其配置成記錄由人體各部分的運動產生的信號。這里的自動傳感器是指配置為測量身體部分的運動，并且不需要使用外部傳感器的傳感器。自動傳感器110可包括一個或多個慣性測量單元（IMU）。在一個實施例中，IMU可用于感測關于附著IMU的身體部分的移動的信息，并且可隨著用戶隨時間移動而追蹤從感測數(shù)據(jù)導出的信息，例如位置和/或方向信息。例如，一個或多個IMU可用于在用戶隨時間移動時追蹤靠近用戶軀干的用戶身體部分的移動，例如手臂或雙腿。

自動傳感器110同時可包括多個神經肌肉傳感器，其配置成記錄由人體骨骼肌中的神經肌肉活動產生的信號。這里的神經肌肉活動是指支配肌肉的脊髓運動神經元的神經激活、肌肉激活、肌肉收縮或神經激活、肌肉激活和肌肉收縮的任何組合。神經肌肉傳感器可包括一個或多個肌電圖（EMG）傳感器、一個或多個機械肌圖（MMG）傳感器、一個或多個超聲肌圖（SMG）傳感器和/或配置為檢測神經肌肉信號的任何合適類型的一個或多個傳感器。在一個實施例中，多個神經肌肉傳感器可用于感測與由肌肉控制的身體部分的運動相關的肌肉活動，其中神經肌肉傳感器布置為感測肌肉活動。描述運動的空間信息可以基于用戶隨時間移動時感測到的神經肌肉信號來預測。

在包括至少一個IMU和多個神經肌肉傳感器的實施例中，可以將IMU和神經肌肉傳感器布置成檢測人體不同部位的運動。例如，IMU可布置成檢測靠近軀干的一個或多個身體節(jié)段的運動，而神經肌肉傳感器可布置成檢測遠離軀干的一個或多個身體節(jié)段的運動。

不過，自動傳感器110可以以任何合適的方式布置。例如在一個實施例中，至少一個IMU和多個神經肌肉傳感器可共同位于身體節(jié)段上，以使用不同類型的測量來追蹤身體節(jié)段的運動。置。

每個自動傳感器110包括一個或多個運動感測組件，其配置為感測運動信息。在IMU的情況下，運動感測部件可包括一個或多個加速計、陀螺儀、磁強計或其任何組合。在神經肌肉傳感器的情況下，運動傳感部件可包括但不限于電極，電極配置用于檢測身體表面上的電位，振動傳感器配置用于測量皮膚表面振動，以及聲學傳感組件。

在一個實施例中，可以使用硬件信號處理電路處理一個或多個運動傳感組件的輸出。在其他實施例中，可以在軟件中執(zhí)行運動感測組件的輸出的一定信號處理。

在一個實施例中，可對記錄的傳感器數(shù)據(jù)進行處理，以計算額外的衍生測量值，然后將其作為統(tǒng)計模型的輸入提供。例如，可以對來自IMU傳感器的記錄信號進行處理，以導出指定剛體段隨時間的方向的方向信號?？梢允褂米詣觽鞲衅鹘M件110的至少一個或多個傳感組件與自主信號處理集成，但可以不與自動傳感器組件110的一個或多個通信組件直接集成。

在一個實施例中，多個自動傳感器110中可布置為可穿戴設備的一部分。例如在一個非限制性示例中，IMU傳感器和多個神經肌肉傳感器圍繞可調節(jié)和/或彈性帶周向布置。

在一個實施例中，16個肌電傳感器沿周向布置在彈性帶周圍，而彈性帶配置為佩戴在用戶的下臂周圍。例如，圖2示出了圍繞彈性帶502周向布置的EMG傳感器504。根據(jù)具體的位置，彈性帶又可稱為可穿戴臂帶/腕帶，腿帶/踝帶?？纱┐鞅蹘Щ蛲髱Э捎糜陬A測手部運動任務的肌肉骨骼位置信息，而可穿戴腿帶或踝帶可用于預測腳步運動任務的肌肉骨骼位置信息。

例如，如圖3所示，手508佩戴彈性帶502。這樣，EMG傳感器504可以配置成在用戶使用手指540控制鍵盤530時記錄EMG信號。在一個實施例中，彈性帶502可包括一個或多個IMU（未示出）。

在一個實施例中，多個可穿戴設備可用于預測涉及身體多個部位的運動的肌肉骨骼位置信息。在實時運動追蹤期間，從單個臂帶/腕帶可穿戴設備感測的信息用于重建身體運動，例如重建前臂、上臂和手臂的位置和方向。

在一個實施例中，可以提供用于預測肌肉骨骼位置信息的統(tǒng)計模型。如上所述，多節(jié)段鉸接剛體模型中節(jié)段之間的關節(jié)類型約束剛體的運動。另外，不同的個體在執(zhí)行任務時往往會以其特有的方式移動，而這可以通過個體用戶行為的統(tǒng)計模式來捕獲。根據(jù)一個實施例，可將對人體運動的約束并入用于預測的統(tǒng)計模型中。另外，可以利用傳感器數(shù)據(jù)來訓練學習約束。

在一個實施例中，可訓練系統(tǒng)100以預測用戶移動時的肌肉骨骼信息。在一個實施例中，系統(tǒng)100可以通過記錄來自自動傳感器110的信號和在用戶執(zhí)行一個或多個動作時從一個或多個用戶佩戴的位置傳感器記錄的位置信息來進行訓練。

在一個實施例中，在系統(tǒng)100經過訓練以基于特定用戶的自主傳感器信號預測肌肉骨骼位置信息后，用戶可利用系統(tǒng)100執(zhí)行虛擬或物理動作而不使用位置傳感器。例如，當系統(tǒng)100訓練為以高精度）預測肌肉骨骼位置信息時，預測本身可用于確定用于生成用戶身體的肌肉骨骼表示的肌肉骨骼位置信息。

圖4描述了使用從一個或多個用戶佩戴的自主傳感器記錄的信號生成統(tǒng)計模型的過程400。過程400可以由任何合適的計算設備執(zhí)行。例如，過程400可以由參考圖1描述的處理器112執(zhí)行。作為另一示例，可以使用一個或多個服務器執(zhí)行過程400的一個或多個動作。例如，可以使用云計算環(huán)境來執(zhí)行動作410中與統(tǒng)計模型訓練有關的至少一部分。

過程400從動作402開始，其中為執(zhí)行一個或多個動作的一個或多個用戶獲得多個傳感器信號。在一個實施例中，可將多個傳感器信號記錄為過程400的一部分。

在提供基于多種類型傳感器（例如IMU傳感器、EMG傳感器、MMG傳感器、SMG傳感器）的預測中，可以針對每種類型的傳感器訓練單獨的統(tǒng)計模型，并且可以組合傳感器類型特定模型的輸出以生成用戶身體的肌肉骨骼表示。在其他實施例中，在動作402中從兩個或多個不同類型的傳感器獲得的傳感器信號可以提供給單個統(tǒng)計模型，并基于從不同類型的傳感器記錄的信號進行訓練。在一個說明性實現(xiàn)中，IMU傳感器和多個EMG傳感器布置在配置成佩戴在用戶前臂周圍的可穿戴設備，并且由IMU和EMG傳感器記錄的信號被共同提供作為統(tǒng)計模型的輸入。

在一個實施例中，可以指示用戶多次執(zhí)行任務，并且可以針對用戶多次重復的任務記錄傳感器信號和位置信息。在以惡搞實施例中，可以基于與來自多個用戶的記錄信號相對應的訓練數(shù)據(jù)生成跨用戶統(tǒng)計模型，并且當用戶使用系統(tǒng)時，基于記錄的傳感器數(shù)據(jù)對統(tǒng)計模型進行訓練，以便統(tǒng)計模型學習依賴于用戶的特征，從而改進系統(tǒng)對特定用戶的預測能力。

如上所述，當一個或多個用戶中的每個用戶一次或多次執(zhí)行一個或多個任務中的每個任務時，可通過記錄傳感器信號來獲得在動作402處獲得的傳感器數(shù)據(jù)。當用戶執(zhí)行任務時，可在動作404中獲得描述任務執(zhí)行期間不同身體片段的空間位置的位置信息。在一個實施例中，使用在執(zhí)行任務期間追蹤身體上不同點的位置的一個或多個外部設備或系統(tǒng)來獲得位置信息。

接下來，過程400進行到動作406，其中可選地處理在動作402中獲得的自動傳感器信號和/或在動作404中獲得的位置信息。例如，可以使用放大、濾波、整流或其他類型的信號處理來處理自主傳感器信號或位置信息信號。

接下來，過程400進行到動作408，并基于位置信息確定肌肉骨骼位置特征。在一個實施例中，不是使用與位置傳感器相對應的記錄的空間坐標作為訓練數(shù)據(jù)來訓練統(tǒng)計模型，而是基于記錄的位置信息來確定一組導出的肌肉骨骼位置特征值，并將導出的值用作訓練統(tǒng)計模型的訓練數(shù)據(jù)。例如，使用關于鉸接剛體模型中連接的剛性段對之間的約束的信息，位置信息可用于確定關節(jié)角度。

接下來，過程400前進到動作410，并組件在動作402和408處獲得的時間序列信息，從而創(chuàng)建用于在動作410處訓練統(tǒng)計模型的訓練數(shù)據(jù)?？梢砸匀魏魏线m的方式組合所獲得的數(shù)據(jù)。

在動作412，可以從動作410生成的訓練數(shù)據(jù)估計統(tǒng)計模型的參數(shù)值。例如，當統(tǒng)計模型是神經網絡時，可以從訓練數(shù)據(jù)估計神經網絡的參數(shù)。

接下來，過程400前進到動作414，并存儲訓練的統(tǒng)計模型。訓練后的統(tǒng)計模型可以使用任何合適的格式存儲。

圖5示出了基于來自多個自動傳感器的記錄信號和經過訓練的統(tǒng)計模型預測肌肉骨骼位置信息的過程500。

過程500從動作510開始，其中從布置在用戶身體表面上或附近的多個自動傳感器記錄信號，以記錄執(zhí)行任務期間與身體運動相關的活動。過程500然后進行到動作512，其中可選地處理由自主傳感器記錄的信號。例如，可以使用放大、濾波、整流或其他類型的信號處理來處理信號。

過程500接著進行到動作514。其中，自動傳感器信號提供使用上文過程400描述的一種或多種技術訓練的統(tǒng)計模型的輸入。在連續(xù)記錄信號的實施例中，可連續(xù)或周期性地將連續(xù)記錄的信號作為輸入提供給訓練的統(tǒng)計模型，用于預測給定輸入傳感器數(shù)據(jù)集的肌肉骨骼位置信息（例如關節(jié)角度）。

在經過訓練的統(tǒng)計模型接收到作為一組輸入?yún)?shù)的傳感器數(shù)據(jù)之后，過程500前進到動作516。其中，從經過訓練的統(tǒng)計模型輸出預測的肌肉骨骼位置信息。如上所述，在一個實施例中，預測的肌肉骨骼位置信息可包括表示用戶身體至少一部分的多段鉸接剛體模型的一組肌肉骨骼位置信息值（例如一組關節(jié)角度）。

在動作516中預測肌肉骨骼位置信息之后，過程500進入動作518，其中至少部分地基于訓練的統(tǒng)計模型輸出的肌肉骨骼位置信息生成用戶身體的基于計算機的肌肉骨骼表示?？梢砸匀魏魏线m的方式生成基于計算機的肌肉骨骼表示。例如，基于計算機的人體肌肉骨骼模型可以包括多個剛體段，每個剛體段對應于身體中的一個或多個骨骼結構。例如，上臂可以表示為剛體，下臂可以表示為剛體，并且手上的每個手指可以由至少一個剛體段表示。

當統(tǒng)計模型測量和處理新的傳感器數(shù)據(jù)以提供肌肉骨骼位置信息的新預測（例如一組更新的關節(jié)角度）時，基于計算機的肌肉骨骼表示可以基于根據(jù)統(tǒng)計模型輸出確定的關節(jié)角度的更新集合來更新。通過這種方式，基于計算機的肌肉骨骼表示在連續(xù)記錄自主傳感器數(shù)據(jù)時實時動態(tài)更新。

基于計算機的肌肉骨骼表示可以任何合適的方式表示和存儲。

除了用于預測肌肉骨骼位置信息之外，由神經肌肉傳感器直接記錄的神經肌肉活動可與生成的肌肉骨骼表征相結合，以提供更豐富的肌肉骨骼表征。

圖6示出了用于將用神經肌肉傳感器記錄的神經肌肉活動與至少部分由神經肌肉活動生成的肌肉骨骼表示相結合的過程600。在動作602中，從布置在用戶身體附近或表面上的多個神經肌肉傳感器記錄神經肌肉信號。在上述示例的一些實施例中，多個神經肌肉傳感器與可穿戴設備集成，例如可佩戴在用戶身體部分周圍的柔性或可調節(jié)帶。

過程600接著進行到動作604，其中至少部分地基于記錄的神經肌肉信號或從神經肌肉信號導出的信號來預測肌肉骨骼位置信息。然后，過程600進入動作606，其中基于訓練的統(tǒng)計模型輸出的預測肌肉骨骼位置信息生成基于計算機的肌肉骨骼表示。

如圖6所示，過程600包括使用神經肌肉信號預測肌肉活動的可選動作608。在一個實施例中，至少部分地基于動作608中記錄的神經肌肉信號預測的肌肉活動與動作610中生成的肌肉骨骼表示相結合。

相關專利：Facebook Patent | Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors

名為“Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors”的Meta專利申請最初在2021年4月提交，并在日前由美國專利商標局公布。

---
原文鏈接：https://news.nweon.com/93242