有小伙伴問AI字幕是怎么做的，詳細(xì)解答一下。步驟，1、語音識別獲取源語言字幕。2、AI翻譯成中文。3、校對，聽不懂無法校對，只做了微小的修改。

語音識別

WhisperX

基于 OpenAI 的 Whisper 模型，通過強(qiáng)制對齊方式與語音模型 ASR，改進(jìn)了 Whisper 的時(shí)間戳精度。缺點(diǎn)是有時(shí)候句子會(huì)很長。（好像可以改善，沒研究過）

GitHub地址：https://github.com/m-bain/whisperX

我是在Google Colab運(yùn)行的，可以參考：https://github.com/JimLiu/whisper-subtitles/blob/main/whisperx_youtube_subtitle.ipynb

Buzz

基于Whisper的開源軟件，可以離線使用，缺點(diǎn)是只能使用CPU，識別速度較慢。

GitHub地址：https://github.com/chidiwilliams/buzz

N46Whisper

乃木坂46字幕組制作的Google Colab應(yīng)用，語音識別+AI翻譯，語音識別相較于WhisperX，時(shí)間戳?xí)衅睢?/p>

GitHub地址：https://github.com/Ayanaminn/N46Whisper

剪映國際版和PR

識別的字幕也不錯(cuò)，缺點(diǎn)是句子有些零碎，在翻譯過程中無法發(fā)揮AI聯(lián)系上下文的優(yōu)勢。

翻譯

需要一個(gè)ChatGPT賬號，獲取API key，在應(yīng)用內(nèi)填入。（注冊會(huì)送5美元API額度，但有限速，可以付費(fèi)或使用第三方key，可自行搜索相關(guān)教程）

也可以直接跟ChatGPT對話

用到的工具首先是上面的N46Whisper，還有下面兩個(gè)分別可以在網(wǎng)頁和本地運(yùn)行。如果用搜索引擎搜索還有很多，我只用過這三個(gè)。

AI Subtitle Translation：https://github.com/cgsvv/AISubtitle

Subtitle Translator：https://github.com/gnehs/subtitle-translator-electron

感謝各位小伙伴的支持和認(rèn)可~

個(gè)人能力有限無法保證字幕準(zhǔn)確度，僅供參考哦~

希望大家看得開心~~

Vamos Argentina！