Dreamtonics 欣然宣布 Synthesizer V Studio 1.10.0 公開測試版更新，為創(chuàng)作者帶來 RLHF 改進音高模型等一系列新功能。

此次發(fā)布的公開測試版更新包含 Dreamtonics 最新研究進展——將人類反饋強化學(xué)習(xí)（Reinforcement Learning from Human Feedback，RLHF）技術(shù)運用于歌聲合成領(lǐng)域。經(jīng)內(nèi)部測試證明，RLHF 能夠用于音高生成模型并獲得顯著改進，同時提供了一種將用戶反饋數(shù)據(jù)整合回歌聲數(shù)據(jù)庫，持續(xù)改進產(chǎn)品的路徑。

具體而言，此次更新包含了 Synthesizer V Studio 的功能更新與 Synthesizer V AI 歌聲數(shù)據(jù)庫的底層更新，在提供歌聲合成效果改進的同時，還能夠在創(chuàng)作者同意的前提下，通過編輯器向 Dreamtoincs 提供關(guān)于音高模型偏好的反饋數(shù)據(jù)，這些反饋數(shù)據(jù)將用于下一步人類反饋音高模型的訓(xùn)練，并包含在未來的歌聲數(shù)據(jù)庫更新中。

通過人類反饋改進音高生成模型

人工智能可以通過訓(xùn)練，學(xué)習(xí)歌手的演唱數(shù)據(jù)，從而深入模仿一位人類歌手的演唱特點。但是，為人工智能訓(xùn)練這一過程獲取優(yōu)質(zhì)的數(shù)據(jù)長久以來都是一種挑戰(zhàn)。傳統(tǒng)的歌聲合成算法會從歌手的原始錄音素材里學(xué)習(xí)到演唱風(fēng)格的優(yōu)點與缺點，在某些情況下，這反而可能會生成不盡如人意的歌聲。

為了解決這一問題，我們在此次發(fā)布的 Synthesizer V Studio 公開測試版中引入 RLHF 技術(shù)來改進音高生成模型。RLHF 技術(shù)在過去已廣泛用于文本生成類人工智能模型中，用于引導(dǎo)模型生成更符合人類偏好的結(jié)果。通過引入 RLHF 技術(shù)，我們可以“指示”Synthesizer V AI 生成更加符合創(chuàng)作者喜好的音高曲線，例如更少的跑調(diào)，更好的顫音，以及更具有表現(xiàn)力的音符過渡方式。

在將編輯器軟件與歌聲數(shù)據(jù)庫更新到公開測試版后，創(chuàng)作者能夠在 AI 重錄面板上看到新增加的“強化”滑塊，用于控制 RLHF 技術(shù)模型對歌聲合成的參與程度。默認情況下，強化滑塊將設(shè)置為最大值，以完全展現(xiàn)人類反饋的偏好。通過調(diào)節(jié)滑塊，創(chuàng)作者可以在使用 AI 重錄功能時獲得更加多樣化的歌聲呈現(xiàn)，不斷擴展歌聲的表達空間。

通過 AI 重錄功能提交反饋

此次發(fā)布的歌聲數(shù)據(jù)庫公開測試版更新，其內(nèi)部搭載的 RLHF 技術(shù)模型是 Dreamtonics 通過長達一個月的嚴格內(nèi)部測試搜集到的反饋數(shù)據(jù)訓(xùn)練而成的。盡管當(dāng)前的 RLHF 技術(shù)模型已經(jīng)對音高生成模型起到了增強作用，但我們預(yù)計，公開測試帶來的更加廣泛的測試環(huán)境與更加多樣化的創(chuàng)作者音樂需求，將為 RLHF 技術(shù)模型帶來更加全面的反饋數(shù)據(jù)，進而為歌聲合成帶來更加全面的改進。

Dreamtonics 將根據(jù)用戶提供的反饋數(shù)據(jù)進一步改進音高生成模型，并計劃將 RLHF 技術(shù)運用到音色合成模型領(lǐng)域。伴隨此次更新，Synthesizer V Studio Pro 引入了用戶反饋功能。在 AI 重錄面板中，每個重錄旁邊都放置了一個心形圖標，過去這個圖標是用來為重錄樣本添加書簽以方便管理，現(xiàn)在該圖標也將用于反饋功能，用戶點擊該圖標后，將向 Dreamtonics 分享這一重錄片段的有關(guān)信息。這些反饋信息將用于訓(xùn)練歌聲合成模型，并伴隨未來的歌聲數(shù)據(jù)庫更新推出。

需要特別說明的是，反饋功能僅在用戶明確同意的情況下才會啟用。如果用戶不參與反饋計劃，或在參與后退出反饋計劃，那么心形圖標將恢復(fù)原有的書簽功能，點擊圖標不會傳輸任何數(shù)據(jù)。

如果用戶愿意參與反饋計劃，在點擊心形圖標時，軟件將搜集所選音符有關(guān)的項目數(shù)據(jù)片段，連同重錄參數(shù)信息一并反饋，用于構(gòu)建可供參考的訓(xùn)練數(shù)據(jù)。Dreamtonics 明確承諾，這些反饋數(shù)據(jù)僅在 Dreamtonics 內(nèi)部使用，且僅嚴格用于研究與開發(fā)用途。這些數(shù)據(jù)無法識別出特定用戶，也不會被公開。

軟件可用性改進

Synthesizer V Studio 1.10.0b1 公開測試版更新還包含了多項用戶界面與功能改進?，F(xiàn)在，音軌右鍵菜單集成了音軌顏色選擇器，為創(chuàng)作者區(qū)分各個音軌，并依據(jù)創(chuàng)作需求組合各個音軌提供了有效方法。

此外，根據(jù)用戶反饋，1.10.0b1 還引入了新的菜單選項，允許創(chuàng)作者對音符內(nèi)填入的歌詞進行前后移動。該功能將便于創(chuàng)作者待使用“插入歌詞”對話框輸入歌詞后，對歌詞整體或部分進行快速調(diào)整。

項目工程文件兼容性提示

由于 AI 重錄功能進行了重大更改，自 Synthesizer V Studio 1.10.0b1 版本起，使用新版本編輯器保存的項目工程文件將無法與 1.9.0 及更早版本的編輯器兼容。為方便創(chuàng)作者在不同工序間進行交接，1.10.0b1 版編輯器在“文件”菜單中引入了新的選項，允許創(chuàng)作者以兼容 Synthesizer V Studio 1.9.0 的格式保存項目工程文件。

獲取公開測試版更新

此次發(fā)布的 Synthesizer V Studio 1.10.0b1 公開測試版更新將分別發(fā)布編輯器更新與歌聲數(shù)據(jù)庫更新。

公測版是 Synthesizer V Studio 軟件更新的早期版本，通過參加公測，創(chuàng)作者能夠搶先體驗計劃發(fā)布的最新功能更新以及穩(wěn)定性優(yōu)化。

公測版包含 Synthesizer V Studio 計劃發(fā)布的全新功能與錯誤修復(fù)，但這些更新仍處于開發(fā)階段，可能還不穩(wěn)定，會出現(xiàn)與操作預(yù)期不符或錯誤的情況，需要創(chuàng)作者加以注意，并在更新前做好工程文件保存與備份。

需要特別提醒的是，自 Synthesizer V Studio 1.10.0b1 開始，項目工程文件的保存形式發(fā)生變化，1.10.0b1 及未來版本保存的項目工程文件，默認將無法在 1.9.0 及更早版本中打開。如創(chuàng)作者在參加公測過程中需傳遞工程文件或回退版本，請注意在保存文件時勾選兼容性選項，以兼容舊版本的文件格式保存工程文件。

鑒于 Synthesizer V Studio 1.10.0 帶來的歌聲合成模型更新，Dreamtonics 宣布為自有品牌歌聲數(shù)據(jù)庫發(fā)布公開測試版更新，并經(jīng)合作伙伴批準為合作伙伴產(chǎn)品發(fā)布公開測試版更新，包括：

Dreamtonics

岸曉（An Xiao）、澄宵（Cheng Xiao）、從錚（Cong Zheng）、D-Lin、沨漪（Feng Yi）、Kevin、林籟（Lin Lai）、Mai、默辰（Mo Chen）、Natalie、Ninezero、青溯（Qing Su）、Ritchy、Ryo AI、Saki AI、Weina、煊宇（Xuan Yu）、Yuma、韻泉（Yun Quan）

AHS

小春六花 AI、夏色花梨 AI、花隈千冬 AI、弦卷真紀 AI（日語）、弦卷真紀 AI（英語）、京町精華 AI、追儺醬 AI、重音 Teto AI

Animen

愛蓮娜·芙緹（Eleanor Forte） AI

AUDIOLOGIE

鈴愛莉（ANRI）、JUN

Eclipsed Sounds

SOLARIA、ASTERIAN

飛天膠囊（E-CAPSULE）

夏語遙（Xia Yu Yao）

平行四界（Quadimension）

五維介質(zhì)·星塵 Infinity

如創(chuàng)作者在使用過程中發(fā)現(xiàn)公開測試版歌聲數(shù)據(jù)庫存在任何問題、錯誤或可供改進之處，可隨時向產(chǎn)品的對應(yīng)發(fā)行商反饋。

下載測試版編輯器，請訪問：

• https://resource.dreamtonics.com.cn/download/中文/Synthesizer%20V%20Studio%20公開測試版/

下載測試版歌聲數(shù)據(jù)庫，請訪問：

• https://resource.dreamtonics.com.cn/download/中文/歌聲數(shù)據(jù)庫/公開測試版歌聲數(shù)據(jù)庫/

完整更新日志

Synthesizer V Studio 1.10.0b1 (2023年8月2日)

新功能

• 自動處理：增加對 RLHF-強化音高模型的支持，并在音高重錄上增加了強化參數(shù)（需更新歌聲數(shù)據(jù)庫）。

• 編曲：在音軌頭的右鍵菜單中增加了音軌顏色選擇器。

• 鋼琴卷簾：增加了菜單項目，可以向前/向后轉(zhuǎn)移所選音符的歌詞。

• AI 重錄面板：用戶可以選擇加入重錄反饋采集，通過點擊心形按鈕將偏好的重錄、以及所選音符附近的有限項目數(shù)據(jù)發(fā)送給 Dreamtonics，并幫助其改進音質(zhì)。

功能增強

• Synthesizer V 引擎：改進了音素時長的生成，并使音色重錄有更豐富的變化（需更新歌聲數(shù)據(jù)庫）。

• AI 重錄面板：重新設(shè)計面板以始終顯示全局（音軌/音符組范圍）表現(xiàn)力和強化數(shù)值。

• 插件：AU 和 VST3 插件現(xiàn)在支持拖拽導(dǎo)入 MIDI 文件。

• 其他：改進了中國大陸地區(qū)的激活服務(wù)器連接。

行為變更

• AI 重錄面板：現(xiàn)在重錄列表中的表現(xiàn)力和強化滑塊會疊加全局數(shù)值，并以絕對值顯示。

• 文件：由于表現(xiàn)力取值范圍發(fā)生變化，在 Synthesizer V Studio 1.10.0 及更高版本中保存的項目不再向下兼容。用戶可以使用“另存為 (與 1.9.0 兼容)...”將項目導(dǎo)出到先前版本的 Synthesizer V Studio。

Bug 修復(fù)

• Synthesizer V 引擎：修復(fù)了上次更新因詞典更改，而引起標準歌聲數(shù)據(jù)庫崩潰和質(zhì)量下降的問題。

• 圖形界面：修復(fù)了 macOS 平臺上某些鍵盤快捷鍵字體缺失的問題。

• 實時渲染：修復(fù)了在啟動后立即加載渲染會跳過項目某些部分的問題。

關(guān)于 Synthesizer V

Synthesizer V 是由 Dreamtonics 推出的歌聲合成軟件系列，為以簡潔高效的編輯界面及陣容龐大的歌聲數(shù)據(jù)庫組合為創(chuàng)作者提供一站式歌聲合成體驗。結(jié)合直觀靈活的用戶界面與強大的歌聲處理引擎，創(chuàng)作者只需編寫旋律并填入歌詞，即可創(chuàng)作出屬于自己的歌曲。Synthesizer V 歌聲合成無需網(wǎng)絡(luò)連接及昂貴的電腦配置，只需簡單點擊即可在設(shè)備本地高速合成。

關(guān)于 Synthesizer V AI

Synthesizer V AI 是以 Dreamtoncis 研發(fā)訓(xùn)練的深度學(xué)習(xí)網(wǎng)絡(luò)（DNN）為核心的歌聲合成技術(shù)，歌聲有如人類歌手般自然流暢，細節(jié)飽滿。憑借領(lǐng)先的跨語言合成技術(shù)，Synthesizer V AI 能夠讓歌聲在中文、粵語、英語、日語四種語言間自由切換演唱，并能夠合成高水平中英文說唱歌聲。借助豐富的參數(shù)控制選項與聲線效果，歌聲能夠在歌曲間變換多種風(fēng)格，為創(chuàng)作帶來廣闊可能。

關(guān)于 Dreamtonics

Dreamtonics 是一家專注于歌聲合成與語音合成技術(shù)開發(fā)的初創(chuàng)企業(yè)，以靈活高效的開發(fā)模式為全世界創(chuàng)作者提供頂尖的歌聲合成技術(shù)與語音合成技術(shù)。同時，公司還面向企業(yè)提供多樣化的聲音定制、技術(shù)嵌入等多樣化的商用服務(wù)。

關(guān)注 Dreamtonics

嗶哩嗶哩：Dreamtonics

微博：Dreamtonics

微信公眾號：Dreamtonics