01

研究背景

表演動(dòng)作生成（Performance Motion Generation）專門研究如何用計(jì)算機(jī)技術(shù)生成人類的表演藝術(shù)動(dòng)作，例如舞蹈、戲劇表演和樂器演奏等，旨在設(shè)計(jì)出能生成逼真、流暢、富有表現(xiàn)力的人類動(dòng)作的算法和模型。

日本名古屋工業(yè)大學(xué)的兩位學(xué)者 Takeru Shirai 和 Shinji Sako 借助諾亦騰 Perception Neuron慣性動(dòng)捕設(shè)備，針對(duì)低音提琴，開發(fā)出一個(gè)只需輸入樂譜，就能自動(dòng)輸出對(duì)應(yīng)的3D骨骼演奏動(dòng)作的模型。在未來，這項(xiàng)技術(shù)將被用于輔助低音提琴初學(xué)者的演奏訓(xùn)練。

02

模型訓(xùn)練

傳統(tǒng)的動(dòng)作數(shù)據(jù)采集方法是錄制演奏視頻，再用人體追蹤技術(shù)進(jìn)行分析和采集。但本研究針對(duì)的是低音提琴，琴身高180-220厘米，寬50-69厘米，視頻中樂手演奏動(dòng)作會(huì)被遮擋，導(dǎo)致數(shù)據(jù)不準(zhǔn)確。

諾亦騰 PN 慣性動(dòng)捕設(shè)備幫助研究者解決動(dòng)作采集難題，低音提琴演奏者只要穿上?PN 設(shè)備，無需錄制視頻，就能精準(zhǔn)捕捉演奏者上半身15個(gè)關(guān)節(jié)點(diǎn)、每個(gè)關(guān)節(jié)點(diǎn)6個(gè)維度的位置信息和旋轉(zhuǎn)信息，且?PN 設(shè)備整體輕便小巧，穿戴簡單，演奏者可像平常一樣自如表演，從而避免遮擋問題，順利獲取模型訓(xùn)練所需數(shù)據(jù)。

??

本研究樂譜示例，包含音符、指法和弓法信息

?

此外，研究者還給樂譜標(biāo)注上弓法和指法信息，輔助模型學(xué)習(xí)和生成動(dòng)作。

03

模型測試

研究者構(gòu)建出三個(gè)模型，探究何種模型設(shè)定的生成動(dòng)作更準(zhǔn)確自然。

?

三個(gè)模型設(shè)定的區(qū)別

??

諾亦騰 PN 設(shè)備精準(zhǔn)采集了測試樂譜的真人演奏動(dòng)作，為模型動(dòng)作的準(zhǔn)確度提供評(píng)價(jià)標(biāo)準(zhǔn)。研究者據(jù)此考察兩個(gè)指標(biāo)，每一幀關(guān)節(jié)坐標(biāo)差異的均值（越小越準(zhǔn)確）和相鄰幀關(guān)節(jié)變化比例的均值（越接近1越準(zhǔn)確）。此外，研究者還將模型動(dòng)作制作成3D動(dòng)畫，請(qǐng)低音提琴樂手觀看并為動(dòng)作的自然程度打分（越接近4越自然）。

??

圖a和圖b為定量評(píng)價(jià)結(jié)果，圖c為定性評(píng)價(jià)結(jié)果

?

結(jié)果表明，加入指法弓法信息、區(qū)分手臂和身體，能使模型的生成動(dòng)作更加準(zhǔn)確自然。

諾亦騰 PN 慣性動(dòng)捕設(shè)備提供了30多分鐘的精準(zhǔn)動(dòng)作數(shù)據(jù)，為整個(gè)研究打下堅(jiān)實(shí)基礎(chǔ)。研究者認(rèn)為，未來給模型加入更多富有表現(xiàn)力的演奏動(dòng)作后，該技術(shù)可用于輔助低音提琴初學(xué)者演奏訓(xùn)練。

文獻(xiàn)來源

Takeru Shirai, Shinji Sako. 3D skeleton motion generation of double bass from musical score [C] Proceedings?of the 15th?International Symposium on CMMR,2021: 41-46.

標(biāo)簽：