ASV-Subtools簡介

近年來，隨著深度學(xué)習(xí)的快速發(fā)展，簡單易用、性能穩(wěn)定、開發(fā)高效的深度學(xué)習(xí)框架越來越被科研和工業(yè)界人員所需要。其中，TensorFlow和Pytorch則是目前深度學(xué)習(xí)的主流框架。為了方便進行聲紋識別技術(shù)相關(guān)的研究，廈門大學(xué)智能語音實驗室（XMUSPEECH）團隊經(jīng)過近兩年的開發(fā)，基于Kaldi和PyTorch推出了一套高效、易于開發(fā)擴展的聲紋識別開源工具—ASV-Subtools。ASV-Subtools的設(shè)計理念在于代碼高度復(fù)用的同時保持模塊分化和開發(fā)自由。因此，體現(xiàn)出以下四個特點：

高效性：集成Kaldi和PyTorch各自的優(yōu)點，實現(xiàn)完整的深度聲紋識別系統(tǒng)；

可讀性：代碼中包括了注釋說明和教程文檔，增加了代碼可讀性，方便用戶輕松上手；

通用性：將核心模塊分離出來，支持擴展到新的模型。最新架構(gòu)，如SE-block、ECAPA-TDNN，可以使用Torch內(nèi)部的標(biāo)準(zhǔn)組件輕松擴展到ASV-Subtools中；

靈活性：用戶只需通過簡單地編輯配置文件，就能探索不同的網(wǎng)絡(luò)架構(gòu)、池化層、損失函數(shù)以及其他組件，實現(xiàn)最優(yōu)異的性能。

目前，該工具已在GitHub上發(fā)布。關(guān)于該工具的介紹論文（ASV-Subtools: Open Source Toolkit for Automatic Speaker Verification），已被語音頂會 ICASSP 2021 錄用。

實戰(zhàn)性能

ASV-Subtools充分結(jié)合了Kaldi 在語音信號和后端處理的高效性以及PyTorch 開發(fā)和訓(xùn)練神經(jīng)網(wǎng)絡(luò)的便捷靈活性。封裝了很多實用、高效的腳本，其中包括數(shù)據(jù)集處理、數(shù)據(jù)擴增、特征提取、靜音消除、Kaldi模型訓(xùn)練、x-vector加速提取、后端打分和指標(biāo)計算等。此外，該工具還提供了大量高層框架和神經(jīng)網(wǎng)絡(luò)訓(xùn)練相關(guān)的腳本，這也是ASV-Subtools的核心內(nèi)容。相比按序采樣，ASV-Subtools還提供了說話人均衡采樣來解決說話人不均衡問題。網(wǎng)絡(luò)訓(xùn)練完之后，ASV-Subtools將提取出來的x-vector 寫為ark格式文件，利用Kaldi進行后端處理并進行相似度判別打分。

前端訓(xùn)練框架

ASV-Subtools整體框架結(jié)構(gòu)如圖所示。提供了大量模型組件（nnet），方便開發(fā)者進行網(wǎng)絡(luò)配置，當(dāng)然，用戶也可直接選擇使用PyTorch提供的原生組件進行構(gòu)建?？蚣艿牡讓訛榛赑ython實現(xiàn)的各個基本對象，如對應(yīng)到Kaldi映射目錄的Kaldi_dataset，采樣方法samples，模型基本組件components、activation和loss，訓(xùn)練有關(guān)的訓(xùn)練流程trainer，訓(xùn)練進度顯示reporter，優(yōu)化器以及學(xué)習(xí)率綜合配置等。

后端優(yōu)化

考慮到數(shù)據(jù)集的規(guī)模往往較為龐大，該工具對所有數(shù)據(jù)集處理腳本均進行了速度優(yōu)化，如代碼上的時間復(fù)雜度優(yōu)化或使用多進程進行提速。此外，由于后端處理有很多可能的復(fù)雜組合，用于后端打分的訓(xùn)練集、注冊集和測試集之間也有較多種處理方法，為了用戶靈活配置，ASV-Subtools中實現(xiàn)了一個高效的打分腳本(scoreSet.sh)：當(dāng)給定數(shù)據(jù)處理順序，該腳本通過圖的深度遍歷方法自動將整個打分過程連接起來。具體如圖所示，這極大地方便了用戶進行后端調(diào)試，無需每次重寫代碼。

基線結(jié)果

目前為止，ASV-Subtools已開發(fā)了眾多聲紋識別中常用的算法和網(wǎng)絡(luò)架構(gòu)，例如使用一維卷積等價實現(xiàn)的標(biāo)準(zhǔn)x-vector網(wǎng)絡(luò)，還集成了多種PLDA自適應(yīng)的技術(shù)，解決現(xiàn)實情況下域不匹配的問題，并提供了多種實驗配置的運行示例。大量實驗結(jié)果表明ASV-Subtools顯示出穩(wěn)定性和可靠性，并在OLR Challenge 2020~2021 連續(xù)兩屆“東方語種識別競賽”中做為賽事基線系統(tǒng)，同時也做為聲紋識別競賽CNSRC 2022的基線系統(tǒng)之一。

ASV-Subtools 聲紋識別實戰(zhàn)

語音之家-AI工匠學(xué)堂推出《ASV-Subtools 聲紋識別實戰(zhàn)》課程，聲紋識別受到越來越多的重視，應(yīng)用于刑偵、人機交互聲紋口令驗證、銀行聲紋身份驗證等領(lǐng)域，工業(yè)界崗位需求迫切。這門課程強調(diào)實戰(zhàn)，結(jié)合開源工具，讓學(xué)員在較短的時間內(nèi)，快速掌握算法研究和產(chǎn)品開發(fā)的能力。

講師力量

課程目錄

課程收獲

網(wǎng)盤資料