音樂游戲：OSU！4k模式

摘要：將旋律游戲拆分為玩家動作Action和時間序列Timing，使用“fuzzy label”在數(shù)據(jù)集上得到有效改進。

與一般機器學(xué)習(xí)任務(wù)的區(qū)別：

（1）同樣的音樂可能會得到不同的beatmap->將難度作為訓(xùn)練參數(shù)輸入

（2）正負樣本比例不均衡的問題->使用“fuzzy label”方法拓展正樣本數(shù)據(jù)集

相關(guān)工作：Schluter的音樂起始端點檢測、LSTM網(wǎng)絡(luò)模型、DanceDanceRevolution、Salamon的音樂主旋律分析（用于長按按鈕的檢測）

數(shù)據(jù)集：OUS！首頁游玩超過10萬次的譜面，共1655個譜面，473首歌曲

關(guān)于如何設(shè)置合理的譜面難度參數(shù)：Action組合的復(fù)雜程度、密度、速度，判定范圍，最大Miss失敗計數(shù)

特征提取：STFT轉(zhuǎn)音頻，三種窗長度23ms，46ms，93ms，每秒100幀采樣。短窗能夠保留更多的音高pitch和音色timbre信息，長窗能夠保留更多的旋律melody和韻律rhythm信息。從27.5Hz到16kHz，80個頻段，計算Mel特征。對每幀結(jié)果前后添加n幀，一個向量單元是80*3*（2n+1）的維度。

網(wǎng)絡(luò)模型：

（1）C-LSTM。選n=7，輸入是15*80*3，第一層7*3*3維卷積+1*3池化，輸出9*26*10；第二層3*3*10維卷積+1*3池化，輸出7*8*20；添加一個10單元的one-hot難度參數(shù)；輸入到兩個200單元的LSTM層，激活函數(shù)為tanh；通過256和128單元的全連接層；通過Sigmoid得到結(jié)果，代表時間戳被選中的可能性。

（2）C-BLSTM。將前后順序連接的兩個LSTM層替換為雙向LSTM。

Fuzzy Label：因為1s選擇了100幀進行采樣，時間戳的粒度大小是10ms，在沒有音符的位置記為負樣本，整個數(shù)據(jù)中正樣本的比例很低（8%）。一個解決方法是擴大粒度選擇，當(dāng)擴大一倍到20ms時，正樣本比例達到了40%，但是丟失了許多節(jié)奏信息。Fuzzy label的方法是在存在音符的采樣點附近，添加平滑的采樣概率。根據(jù)不同的平滑標(biāo)簽長度N，由高斯分布計算前后加減N幀的概率，0幀時刻概率為1，+N幀和-N幀概率為0。為此，需要設(shè)定采樣時的概率閾值t，論文通過最大化F值來選擇合適的t。

實驗結(jié)果：

（1）C-BLSTM隨著訓(xùn)練批次的增加出現(xiàn)過擬合。

（2）增加了Fuzzy label的結(jié)果比不加的F值高出0.2-0.5左右。

（3）Fuzzy label的長度對F值影響在0.2左右（影響不大）。

（4）前后幀n的數(shù)值選擇對結(jié)果影響不大。

（5）總體方法準(zhǔn)確率在0.75-0.85之間。

動作生成：

（1）輸入：一個時間戳前的動作，動作的分類：無操作、點擊、長按開始、長按結(jié)束（4軌道*4維的one-hot矩陣）。難度系數(shù)（10維）。密度信息，前后時間戳的時間間隔（兩個8位的one-hot矩陣，代表50ms-3200ms）。總計16+10+16=42位。

（2）輸出：所有動作的組合，4軌道^4類型=256種。

網(wǎng)絡(luò)模型：

LSTM64。將三種數(shù)據(jù)（前幀動作、時間差、密度）輸入128+128的LSTM層，最后輸出256單元的預(yù)測結(jié)果。

實驗結(jié)果：

（1）準(zhǔn)確率表現(xiàn)不佳，只有0.4366。

（2）可能與譜面設(shè)計思路有關(guān)，同一個譜面有多種撰寫方式。

——————————————————————————————

AFFCAT復(fù)現(xiàn)中...