什么是ThreeDPoseTracker

ThreeDPoseTracker是Windows 10的應(yīng)用程序，它使您可以?xún)H使用USB攝像機(jī)或舞蹈視頻來(lái)捕獲運(yùn)動(dòng)。如果是筆記本電腦，則使用內(nèi)置攝像頭不需要任何其他設(shè)備。但是，它需要一個(gè)稍微（漂亮）的強(qiáng)大圖形環(huán)境。具體來(lái)說(shuō)，我想要GTX1050或更高版本。即使小于此值，我也認(rèn)為它不會(huì)起作用，但是會(huì)很慢。

為了更詳細(xì)地說(shuō)明該應(yīng)用程序，我們使用了一種姿勢(shì)估計(jì)模型（主干為ResNet-34），該模型通過(guò)機(jī)器學(xué)習(xí)從圖像中輸出人體的3D關(guān)節(jié)坐標(biāo)，并從視頻或攝像機(jī)圖像中計(jì)算出關(guān)節(jié)坐標(biāo)。進(jìn)行估算，并根據(jù)該值來(lái)化身。
最初，我試圖累加各種功能，但是由于它處于沒(méi)有太多保留的狀態(tài)，因此我停止了在中間編寫(xiě)的代碼，只提取了這次可以使用的功能v0總結(jié)為.1.0。

操作環(huán)境

已確認(rèn)Windows10 Pro Ver.1909 Core
i7-7700HQ
內(nèi)存16G
圖形卡GTX 1070
可正常工作。
我認(rèn)為CPU和GPU可能會(huì)更弱一些。GTX1060或1050，速度稍慢，但我認(rèn)為它可以工作。在上述環(huán)境中約為20Fps。RTX2070 Super的工作速率約為30 Fps。我們還為沒(méi)有圖形卡的PC提供了低質(zhì)量模型，該模型需要輕便，但要以估計(jì)精度為代價(jià)，但要以準(zhǔn)確性為代價(jià)。您可以感受到氣氛。您仍然需要現(xiàn)代的CPU。如果您想嘗試，請(qǐng)參閱下面的嘗試低質(zhì)量模型。

安裝

讓我們立即安裝它。從下面的URL下載zip文件。

https://digital-standard.com/threedpose/ThreeDPoseTracker_Win_x64_v0_1_0.zip

下載并解壓縮以創(chuàng)建一個(gè)名為“ ThreeDPoseTracker_Win_x64_v0_1_0”的文件夾。
由于沒(méi)有安裝文件等，請(qǐng)將該文件夾放置在桌面上或您喜歡的任何位置。
該文件夾中的“ ThreeDPoseTracker.exe”是可執(zhí)行文件。執(zhí)行后，將顯示W(wǎng)indows保護(hù)對(duì)話(huà)框。
通過(guò)單擊屏幕上的“詳細(xì)信息”并單擊“運(yùn)行”按鈕來(lái)執(zhí)行。

屏幕說(shuō)明

啟動(dòng)時(shí)，將顯示以下屏幕。

首先，讓我們繼續(xù)前進(jìn)，不要考慮任何事情。請(qǐng)從下面的URL下載示例視頻。
https://github.com/digital-standard/ThreeDPoseUnityBarracuda/blob/master/Assets/Video/onegai_darling.mp4

下載后，單擊屏幕頂部的“加載電影”，然后將打開(kāi)文件加載對(duì)話(huà)框，選擇之前下載的onegai_darling.mp4。

片刻之后，將播放一個(gè)心愿舞蹈的視頻（該視頻是* Ako的“ [Akochin]請(qǐng)親愛(ài)的[我試過(guò)跳舞]?https://www.youtube.com/watch?v=我們?cè)谡鞯帽救送獾那闆r下使用?“?tmsK8985dyk?”視頻。請(qǐng)避免二次使用。
并通過(guò)此視頻，Unity-chan成功開(kāi)始跳舞，并成功開(kāi)始。如果到目前為止有錯(cuò)誤，Unity-chan無(wú)法正常工作，等等，如果PC的規(guī)格不足，或者規(guī)格應(yīng)該足夠，則需要嘗試從Github上的源啟動(dòng)..

功能說(shuō)明

從這里，我們將解釋ThreeDPoseTracker的功能。
下面顯示的菜單顯示在屏幕頂部。

①輸入裝置

在此設(shè)置輸入設(shè)備。僅mp4視頻文件和USB攝像機(jī)可以用作輸入。如果在啟動(dòng)應(yīng)用程序時(shí)連接了USB攝像頭，則攝像頭名稱(chēng)將添加到此下拉菜單的第二個(gè)及后續(xù)項(xiàng)目中。請(qǐng)注意，即使在應(yīng)用程序啟動(dòng)后連接了相機(jī)，也不會(huì)反映出來(lái)。有關(guān)更多信息，請(qǐng)參閱視頻文件和使用USB攝像機(jī)中的估計(jì)一章。

②應(yīng)用程序設(shè)置（配置）

ThreeDPoseTracker顯示一個(gè)對(duì)話(huà)框，用于配置整個(gè)應(yīng)用程序的設(shè)置。有關(guān)設(shè)置的詳細(xì)信息，請(qǐng)參閱下面的“配置”屏幕。

③頭像設(shè)置（頭像）

使用ThreeDPoseTracker，您可以添加由Vroid Studio創(chuàng)建的VRM文件。您可以從下拉菜單中選擇要使用的頭像。您還可以設(shè)置每個(gè)化身的顯示大小和顯示位置，以及骨骼的顯示/不顯示。有關(guān)詳細(xì)信息，請(qǐng)參見(jiàn)頭像屏幕。

④保存運(yùn)動(dòng)（記錄BVH）

記錄并保存BVH格式的運(yùn)動(dòng)數(shù)據(jù)。FPS在操作過(guò)程中顯示FPS值，因此在創(chuàng)建運(yùn)動(dòng)時(shí)請(qǐng)參考該值。

⑤關(guān)閉（關(guān)閉菜單）

關(guān)閉菜單。通過(guò)按ESC鍵或空格鍵，可以不同地顯示已關(guān)閉的菜單。
如果在隱藏菜單時(shí)單擊鼠標(biāo)左鍵，相機(jī)位置將如下圖所示更改（第四次還原）。使用鼠標(biāo)滾輪進(jìn)行縮放，然后單擊鼠標(biāo)右鍵以切換頭像。一個(gè)小的播放功能已被添加。我認(rèn)為將來(lái)會(huì)消失。

視頻文件估計(jì)

要從電影文件進(jìn)行估算，請(qǐng)?jiān)谠丛O(shè)備設(shè)置為“電影文件”的情況下單擊“加載電影”按鈕。當(dāng)文件選擇對(duì)話(huà)框打開(kāi)時(shí)，選擇mp4視頻文件。選擇后，視頻將被加載并自動(dòng)播放。在視頻開(kāi)始播放和估算開(kāi)始之間存在一點(diǎn)時(shí)間間隔（如果規(guī)格不夠，可能會(huì)花費(fèi)很長(zhǎng)時(shí)間）。如果要從視頻的開(kāi)頭開(kāi)始，則必須提前在視頻的開(kāi)頭添加空白時(shí)間，或者重復(fù)播放該視頻并從第二次開(kāi)始使用它。
另外，在電影回放委員會(huì)中的“加載電影”按鈕旁邊顯示“暫?！卑粹o，幀數(shù)/總幀數(shù)和“跳過(guò)”按鈕。按下“暫?！卑粹o可暫停視頻。再按一次可恢復(fù)。但是，此時(shí)，化身開(kāi)始移動(dòng)之前會(huì)有一個(gè)滯后。您可以通過(guò)輸入幀數(shù)并在暫停期間按“跳過(guò)”按鈕來(lái)移動(dòng)指定的幀。當(dāng)您按下“暫?！卑粹o時(shí)，播放從該幀開(kāi)始，但是仍然存在延遲。

使用USB相機(jī)

如果在啟動(dòng)應(yīng)用程序時(shí)將USB攝像頭連接到PC，則這些攝像頭將被添加到源設(shè)備的下拉列表中。選擇要使用的攝像機(jī)，然后單擊“啟動(dòng)攝像機(jī)”按鈕以切換為來(lái)自攝像機(jī)的輸入。如果要切換到其他攝像機(jī)或視頻，可以再次選擇將其更改。但是，如果您做得太多，就會(huì)生病。

做出好的估計(jì)

不幸的是，它不是可以從任何圖像執(zhí)行完美姿勢(shì)估計(jì)的人。但是，如果在某種程度上滿(mǎn)足條件，則可以像在示例影片中那樣估計(jì)它，并且可以將其用作運(yùn)動(dòng)捕捉。我想在這里展示這些條件。

①一個(gè)人

只能估計(jì)一個(gè)主題。越靠近中心，靈敏度越好。以下是肢體，但在下圖中顯示兩個(gè)人時(shí)，將估計(jì)圖像左側(cè)的人的姿勢(shì)。這可能是因?yàn)樗拷行模ǖ⒎强偸侨绱耍?/span>

此外，在該圖像中，在估計(jì)右腳方面存在問(wèn)題。左邊的人是主要人物，但是右邊的人的右腳則靠近中心。因此，右腳的位置將是右邊人的腳。這不是因?yàn)楫?dāng)前使用的機(jī)器學(xué)習(xí)（AI）模型正在學(xué)習(xí)人體的結(jié)構(gòu)（連接），而是僅通過(guò)選擇看起來(lái)像手臂或腿的圖像模式即可。采用中心側(cè)的腳。但是，在電影和照相機(jī)的情況下，如果它在移動(dòng)，可能會(huì)變得模糊或看不清，并且會(huì)受到圖像的極大影響。無(wú)論如何，單獨(dú)解決都不會(huì)發(fā)生這樣的問(wèn)題。

②拍下全身照

無(wú)論如何，請(qǐng)確?？梢钥吹秸麄€(gè)身體。啟動(dòng)應(yīng)用程序時(shí)，左上角會(huì)顯示一個(gè)白色小窗口（請(qǐng)參見(jiàn)下圖）。執(zhí)行后，背景中顯示的一部分視頻被剪切并顯示在此小窗口中。此處顯示的圖像將是AI的輸入數(shù)據(jù)。如果整個(gè)身體都不適合該圖像，則無(wú)法正確估計(jì)。從樣本電影的大小來(lái)看，可以將它放大一些，但是當(dāng)它靠近時(shí)，如果舉起手，它會(huì)伸出來(lái)。如果您舉起雙手并且指尖伸出，則太大了。在很多情況下都沒(méi)有問(wèn)題，但是如果結(jié)果看起來(lái)很激烈，則可以通過(guò)稍微降低它或在輸入圖像尺寸的設(shè)置屏幕（稍后描述）上將Source Cut Scale設(shè)置為0.9或0.8來(lái)改善結(jié)果。即使距離較遠(yuǎn)，也可以根據(jù)圖像垂直尺寸的50％進(jìn)行判斷。幾乎無(wú)法估計(jì)距離是否比該距離更遠(yuǎn)（因?yàn)榫嚯x不在首位的學(xué)習(xí)數(shù)據(jù)中，所以無(wú)法得知距離）。對(duì)于普通相機(jī)，必須將其分開(kāi)2 m或更大。

③簡(jiǎn)單的背景

希望您理解這一點(diǎn)，但是背景應(yīng)該很簡(jiǎn)單。有點(diǎn)凌亂也可以，但是特別是如果這個(gè)人后面沒(méi)有東西，那么準(zhǔn)確性會(huì)更好。例如，在下圖的情況下，無(wú)法看到人的右臂。并且在該圖像的情況下，桿狀物體從肩部伸出。由于看不到右臂，因此我可以主動(dòng)搜索右臂并判斷這是右臂。有東西）。我在上一章中寫(xiě)道，我沒(méi)有研究身體的連接，但似乎有點(diǎn)擔(dān)心。另外，即使在腳下或雙腳之間有物體，也會(huì)有許多錯(cuò)誤的識(shí)別。

④簡(jiǎn)單的衣服

您也可以理解這一點(diǎn)，但是最好還是簡(jiǎn)單一些。我覺(jué)得panchi很好，但有些人可能不行。最好穿背景顏色不同的褲子和T恤，這樣您就可以清楚地看到自己的身材。牛仔褲也很好。
長(zhǎng)裙特別糟糕。我不知道我的腳的位置。此外，除了短裙之外，它很難。只要您面向前方，短裙就可以了，但是如果您打開(kāi)雙腿并轉(zhuǎn)向側(cè)面，則決定會(huì)很尷尬。下圖顯示了人類(lèi)可以判斷左腳和右腳，但是對(duì)于機(jī)器而言卻相當(dāng)困難。如果雙腳進(jìn)一步張開(kāi)，會(huì)變得很煩人（有些人即使看到也不會(huì)知道）。如果在上面穿黑色緊身褲，則很難理解前后關(guān)系。黑色緊身褲的水平裙擺是一個(gè)惡魔之門(mén)。有很多。如果您對(duì)左腳和右腳的識(shí)別不正確，您的腳會(huì)顫動(dòng)很多，并且外觀(guān)會(huì)很差。
您要面對(duì)的是向前還是向后，在很大程度上取決于您是否可以看到自己的臉（這似乎不能僅憑臉來(lái)判斷）。當(dāng)一個(gè)長(zhǎng)發(fā)跳舞時(shí)，臉通常是隱藏的。這時(shí)，如果判斷為向后，則該幀的左右將交換，因此化身將是暴力的。另外，如果您在頭后部戴上鮮艷的或花哨的帽子，即使您面朝后，也可能被判斷為朝前。

⑤關(guān)于視頻

快速動(dòng)作和舞蹈的視頻意外地模糊，并且沒(méi)有顯示四肢（請(qǐng)參見(jiàn)下圖）。即使在某種程度上看不到，我仍在學(xué)習(xí)估計(jì)，但是有一個(gè)限制。在體育視頻中，您可能看不到幾乎所有的手臂動(dòng)作。在這種情況下，必須事先設(shè)計(jì)慢速記錄。此外，在運(yùn)動(dòng)過(guò)程中對(duì)特殊姿勢(shì)（例如高腳踢和動(dòng)作）的識(shí)別也相當(dāng)不準(zhǔn)確（盡管其中包括了一些，但也未包含在學(xué)習(xí)數(shù)據(jù)中）。
此外，視頻將在彩色方面提供更好的效果。如果只有黑白，這是不可避免的（我在工作中對(duì)黑白模型進(jìn)行了重新訓(xùn)練，最好是更準(zhǔn)確地學(xué)習(xí)黑白）。

⑥其他

無(wú)法準(zhǔn)確估計(jì)坐姿，尤其是坐姿，三角坐姿或睡眠姿勢(shì)。我也不擅長(zhǎng)倒立。另外，正如我在上面所寫(xiě)，如果您鞠躬致使看不到自己的臉，您將無(wú)法確定其正面和背面，并且會(huì)產(chǎn)生暴力。

配置畫(huà)面

本節(jié)介紹用于為整個(gè)應(yīng)用程序進(jìn)行設(shè)置的“配置”屏幕。

? ?顯示源圖像
設(shè)置是顯示還是隱藏作為源設(shè)備顯示在整個(gè)屏幕上的視頻以及USB攝像機(jī)的圖像。

顯示輸入圖像

• 將輸入圖像的顯示/不顯示設(shè)置為AI（左上方的小窗口）。

• 放下跳過(guò)
  播放電影時(shí)，請(qǐng)?zhí)^(guò)打開(kāi)電影時(shí)未處理的幀。如果將其關(guān)閉并播放，將播放所有幀，因此，如果處理緩慢，則播放將是慢動(dòng)作。

• 電影文件重復(fù)播放模式
  播放電影時(shí)，如果將其打開(kāi)，則會(huì)重復(fù)播放電影。

• 使用Camaera時(shí)的鏡像使用
  USB相機(jī)時(shí)，如果相機(jī)的輸入打開(kāi)，則其輸入將處于鏡像狀態(tài)。

• 源剪切比例
  輸入圖像以源圖像圖像高度為1的比例剪切。例如，如果視頻中的人物太小，請(qǐng)指定1或更大的值以將其放大。
  

• 源剪切中心位置
  從以源圖像的中心為原點(diǎn)，圖像高度為1的比率指定的位置切出輸入圖像。如果視頻的右側(cè)有跳舞的人，請(qǐng)調(diào)整位置，使其成為中心。下圖顯示了為x的移動(dòng)量指定0.3的情況，它是上圖中的放大倍率下的外觀(guān)差異。想象一下，顯示圖像的相機(jī)以0.3的縱橫比向右移動(dòng)。如果它是負(fù)值，它將向左移動(dòng)，并且Y軸也應(yīng)如此。
  

• 低通濾波器
  這是用于抑制跳躍和水泡的濾波器。如果是高度質(zhì)量模型，則0到0.2是合適的。越大，變得越平滑，但是延遲和移動(dòng)變得松散。

• 訓(xùn)練有素的模型
  選擇用于姿勢(shì)估計(jì)的模型。如果規(guī)格足夠，請(qǐng)選擇“高度質(zhì)量”。如果您更改此項(xiàng)目，請(qǐng)重新啟動(dòng)應(yīng)用程序。如果規(guī)格不足，請(qǐng)參閱下面的“嘗試低質(zhì)量”模型。

• 恢復(fù)設(shè)置將
  設(shè)置恢復(fù)到初始狀態(tài)。頭像設(shè)置也將被初始化。請(qǐng)直接退出應(yīng)用程序。

• 使用Unity Video Capture啟用
  Unity Video Capture。這將使當(dāng)前顯示的屏幕（不包括菜單和設(shè)置屏幕）成為USB攝像機(jī)的輸出，以便可以將其作為其他應(yīng)用程序（如Zoom（虛擬攝像機(jī)））作為攝像機(jī)輸入來(lái)處理。有關(guān)詳細(xì)信息，請(qǐng)參閱使用Unity Capture進(jìn)行縮放輸出。

• 顯示背景
  設(shè)置顯示還是隱藏應(yīng)用程序背景圖像。默認(rèn)圖像是外國(guó)城堡的圖像。

• 背景圖像文件
  切換背景圖像。如果不存在圖像或該項(xiàng)目為空，則將顯示默認(rèn)圖像。
  

• 背景比例調(diào)整
  背景圖像的尺寸。由于無(wú)法更改圖像位置，因此請(qǐng)更改原始圖像以調(diào)整位置。

• 背景顏色如果
  隱藏所有源圖像，輸入圖像和背景圖像，則它將變?yōu)榧兩尘??？梢允褂肦GB（0至255）指定背景色。當(dāng)您不想在綠色背景或背景上放置任何東西時(shí)，請(qǐng)使用。
  

• 使用VMC協(xié)議使用VMC協(xié)議
  發(fā)送化身骨骼信息和虛擬跟蹤器。這是示例代碼。不發(fā)送混合形狀。無(wú)法接收VMC協(xié)議。它仍然是一個(gè)測(cè)試實(shí)現(xiàn)，但是我已經(jīng)確認(rèn)到EVMC4U可以接收數(shù)據(jù)（實(shí)際上，我對(duì)此了解不多）。
  

• IP
  指定運(yùn)行VMC協(xié)議服務(wù)器的PC的IP地址。通常，應(yīng)保留原樣的127.0.0.1。

• 端口
  指定VMC協(xié)議服務(wù)器的端口號(hào)。我不知道正常數(shù)字是多少，但是大概是39539。

• Rot
  ThreeDPoseTracker的背面朝后旋轉(zhuǎn)180度。通過(guò)檢查進(jìn)行180度校正。

• “確定”，“取消”和“應(yīng)用”
  對(duì)話(huà)框是半透明的，并且不通過(guò)“應(yīng)用”按鈕關(guān)閉屏幕即可反映狀態(tài)，因此您可以在檢查時(shí)進(jìn)行設(shè)置。使用“確定”和“應(yīng)用”按鈕保存設(shè)置。

嘗試低質(zhì)量模型

如果您的PC沒(méi)有足夠的規(guī)格，請(qǐng)使用低質(zhì)量型號(hào)。從“配置”屏幕上的“訓(xùn)練模型”下拉菜單中選擇“低質(zhì)量和更快”，然后重新啟動(dòng)應(yīng)用程序。?不幸的是，低質(zhì)量模型在姿勢(shì)估計(jì)方面非常不準(zhǔn)確，但是它以高速運(yùn)行。即使在沒(méi)有圖形卡的PC上也可以使用。但是，除非在某種程度上是新CPU，否則它可能無(wú)法工作（如果沒(méi)有i5-7500的圖形卡，則約為12 fps。使用i3或更低版本可能很難運(yùn)行）。請(qǐng)認(rèn)為您可以理解它的感覺(jué)。實(shí)際上，我并沒(méi)有真正意識(shí)到存在各種各樣的落后和背景。?相反，在高規(guī)格PC上運(yùn)行低質(zhì)量模型還為時(shí)過(guò)早。由于移動(dòng)也會(huì)劇烈，因此請(qǐng)將其設(shè)置為低通濾波器的0.5或更大的極值。但是，我認(rèn)為移動(dòng)它沒(méi)有太大意義。此應(yīng)用程序中使用的模型仍有準(zhǔn)確性的空間。特別是，我們希望提高此低質(zhì)量模型的準(zhǔn)確性。

使用Unity Capture進(jìn)行縮放輸出

如果啟用Unity Video Capture，則可以將屏幕圖像輸出到使用相機(jī)的應(yīng)用程序，例如“縮放”。但是，您需要在PC上安裝Unity Capture驅(qū)動(dòng)程序。從下面的Github存儲(chǔ)庫(kù)中使用DownloadZip下載zip文件。解壓縮后，以管理員權(quán)限執(zhí)行InstallCustomName.bat。您也可以更改相機(jī)名稱(chēng)。此應(yīng)用使用此批處理文件的默認(rèn)名稱(chēng)Unity Video Capture。
在“縮放”側(cè)，通過(guò)將相機(jī)設(shè)置為Unity Video Capture來(lái)顯示ThreeDPoseTracker的屏幕。但是，縮放的分布會(huì)大大降低圖像質(zhì)量，因此詳細(xì)的細(xì)節(jié)將丟失。如果與“縮放”共享屏幕，則將清晰輸出圖像質(zhì)量，但將以15 fps的速度輸出。
不幸的是，如果啟用了Unity Capture且ThreeDPoseTracker窗口返回到后面，則下次激活該窗口時(shí)，屏幕將變成白色且穩(wěn)定。由于操作繼續(xù)進(jìn)行，因此分發(fā)沒(méi)有問(wèn)題，但是您無(wú)法更改設(shè)置等。請(qǐng)關(guān)閉窗口并強(qiáng)制其完成。原因目前未知。從一開(kāi)始使用OBS可能會(huì)更快。
https://github.com/schellingb/UnityCapture

頭像

使用ThreeDPoseTracker，您可以切換和操作多個(gè)化身。可以通過(guò)從頭像的下拉菜單中選擇頭像來(lái)進(jìn)行更改。在初始狀態(tài)下，將unity-chan和yukihiko-chan（我的真實(shí)頭像）作為樣本包括在內(nèi)。請(qǐng)不要以違反公共秩序和道德的方式使用它們。

添加頭像

ThreeDPoseTracker可以VRM格式添加化身。它主要基于VRoid Studio創(chuàng)建的VRM文件。首先，從下面下載示例Tait.vrm文件。
https://github.com/digital-standard/ThreeDPoseTracker/tree/master/Avatars

下載完成后，單擊“添加頭像”按鈕。顯示如下所示的對(duì)話(huà)框。單擊“文件”按鈕，然后選擇您先前下載的Tait.vrm文件。可以保留其他項(xiàng)目（此屏幕上的項(xiàng)目與下一部分的“頭像設(shè)置”屏幕相同，因此請(qǐng)參閱該屏幕）。單擊“添加”按鈕以關(guān)閉對(duì)話(huà)框，并等待一會(huì)兒以加載VRM文件并切換化身（這將需要一段時(shí)間）。新加載的頭像將添加到下拉菜單的最后一行。此后，它將按添加順序增加，但是如果添加過(guò)多，將需要一些時(shí)間才能開(kāi)始。

頭像設(shè)置

本節(jié)介紹可為頭像設(shè)置的項(xiàng)目。

• VRM文件
  指定VRM文件所在的文件路徑?！拔募卑粹o打開(kāi)一個(gè)選擇對(duì)話(huà)框。如果在啟動(dòng)時(shí)找不到該文件，則不會(huì)讀取該文件。如果在應(yīng)用程序運(yùn)行時(shí)對(duì)其進(jìn)行更改，它將反映在應(yīng)用程序重新啟動(dòng)的地方。

• 頭像名稱(chēng)
  設(shè)置在頭像下拉菜單中顯示的名稱(chēng)。

• 默認(rèn)位置
  設(shè)置頭像的顯示位置。例如，如果要在視頻中排列舞者和化身，請(qǐng)將X指定為0.8，它將看起來(lái)像化身和舞者。

• 深度比例
  設(shè)置前后的移動(dòng)比例。ThreeDPoseTracker不會(huì)告訴您人距相機(jī)多遠(yuǎn)。深度的原點(diǎn)始終是腰部位置和相對(duì)值（垂直和水平是圖像坐標(biāo)）。因此，確定是否以從高度計(jì)算的速率來(lái)回移動(dòng)，無(wú)論距離是遠(yuǎn)還是近。幸運(yùn)的是，可以獲得3D距離，因此即使身體彎曲，也可以計(jì)算出大約的高度。當(dāng)您跳舞或跳躍時(shí)，一個(gè)人的身體會(huì)伸展很多，但是那一面是粗糙的。..?..?前后移動(dòng)不是簡(jiǎn)單的比例，而是當(dāng)前的簡(jiǎn)單比例。您可以在此處更改比例。增大此值將在前后前后稍稍更改該值。

• 比例
  顯示化身的大小。尺寸越大，頭像越大。

• 面部方向
  校正化身的面部方向。在大多數(shù)情況下，您只需要微調(diào)y。如果您輸入一個(gè)負(fù)值，它應(yīng)該向上旋轉(zhuǎn)，但不能正常工作。重新啟動(dòng)應(yīng)用程序后，設(shè)置將反映出來(lái)。

• 骨架
  姿勢(shì)估計(jì)AI結(jié)果以綠線(xiàn)（Skeleton）顯示（嚴(yán)格地不僅限于A(yíng)I結(jié)果）。切換顯示/不顯示。
  

• 默認(rèn)位置
  設(shè)置骨骼的顯示位置。

• 比例
  設(shè)置骨架的大小。

• 刪除
  從菜單中刪除加載的頭像。無(wú)法刪除unity-chan和yukihiko-chan（下一發(fā)行版中可能不包含unity-chan）。

• “確定”，“取消”和“應(yīng)用”
  對(duì)話(huà)框是半透明的，并且不通過(guò)“應(yīng)用”按鈕關(guān)閉屏幕即可反映狀態(tài)，因此您可以在檢查時(shí)進(jìn)行設(shè)置。使用“確定”和“應(yīng)用”按鈕保存設(shè)置。

保存動(dòng)作

可以通過(guò)單擊菜單中的“記錄BVH”按鈕以BVH格式保存運(yùn)動(dòng)。但是仍然是測(cè)試實(shí)現(xiàn)。當(dāng)您單擊“ Record BVH”按鈕時(shí)，顯示將變?yōu)镽ecording，并開(kāi)始記錄。再次單擊退出，將打開(kāi)保存對(duì)話(huà)框?？梢允褂肂lender等將運(yùn)動(dòng)文件讀取為運(yùn)動(dòng)數(shù)據(jù)。

Yukihiko Aoyagi@yukihiko_a

たまにThreeDPoseでモーションを保存したいと問(wèn)合せが來(lái)るので試してみました（聞かれても全く知らない）。BVH Toolsを使ってBlenderに持って行ってみたけど何とかなるかな。コードちょっと直さなあかんな。

1410:54 PM - Jun 12, 2020Twitter Ads info and privacy

See Yukihiko Aoyagi's other Tweets

最后

最初，我只是將它作為一種業(yè)余愛(ài)好，所以我在玩耍時(shí)添加了許多無(wú)用的功能，但是我曾經(jīng)丟失了這些代碼，并將它們放到可以直接使用的應(yīng)用程序中。由于存在很多錯(cuò)誤，并且尚未確定應(yīng)用程序的方向，因此它是v0.1.0的預(yù)發(fā)布版本。如果將其作為應(yīng)用程序放在一起，則公司可能會(huì)發(fā)布正式版本。
順便說(shuō)一句，此應(yīng)用程序的源位于以下存儲(chǔ)庫(kù)中（正在構(gòu)建中）。請(qǐng)遵循Github上寫(xiě)的許可證以獲得代碼許可證。我還負(fù)責(zé)姿勢(shì)估計(jì)，因此并非全部免費(fèi)。如果要添加功能并將其用于商業(yè)目的，請(qǐng)購(gòu)買(mǎi)許可證或申請(qǐng)工作。如果您確實(shí)要免費(fèi)添加功能并將其用于商業(yè)用途，則此應(yīng)用程序版本將免費(fèi)提供，因此，如果您請(qǐng)求合并或提取請(qǐng)求，則可以將其添加到應(yīng)用程序中并在以后發(fā)布（不能保證提供擔(dān)保）。 ）。

https://github.com/digital-standard/ThreeDPoseTracker

我將來(lái)可能會(huì)做的事情

• 向前和向后的運(yùn)動(dòng)都太合適了，因此請(qǐng)正確計(jì)算運(yùn)動(dòng)

• 我想改善肘關(guān)節(jié)的彎曲度。這可能是不可能的

• 手腕的旋轉(zhuǎn)仍然很奇怪。固定

• 我設(shè)法從左到右切換腿。我認(rèn)為這可以通過(guò)邏輯來(lái)完成

• 妥善保存動(dòng)作

• 全面的VMC協(xié)議支持。也許我不會(huì)這樣做

• 估算過(guò)程太繁瑣。如果可以改進(jìn)，我想輸出到OpenVR

• 其他附加功能（例如在后臺(tái)顯示電源背景）

• Yukihiko Aoyagi@yukihiko_a

  姿勢(shì)推定?アバターを使って登壇システムを作ってみました。次のLTはこれでやる（予定は無(wú)いけれど）。
  
  LT風(fēng)のデモです。夜中に一人LTはツライ。
  音聲あり、Zoomの録畫(huà)機(jī)能での動(dòng)畫(huà)です。

  422:00 AM - May 31, 2020Twitter Ads info and privacy

  See Yukihiko Aoyagi's other Tweets

執(zhí)照

無(wú)論是否獲利，都可以隨意使用ThreeDPoseTracker的此可執(zhí)行文件。使用此可執(zhí)行文件的分發(fā)和運(yùn)動(dòng)數(shù)據(jù)也可以免費(fèi)獲得。
請(qǐng)遵循Github上的許可以獲取Github上的源代碼。