最近被刷爆的的，郭德綱用英語說相聲、霉霉說中文的背后的AI系統(tǒng)：Heygen，是目前最強(qiáng)大的數(shù)字人生成AI。但是由于這個(gè)系統(tǒng)是閉源的，需要商業(yè)付費(fèi)，大家玩的不痛快。所以，HeyGen的破解版應(yīng)運(yùn)而生。

HeyGenClone是一個(gè)簡單且開源的HeyGen系統(tǒng)的模擬版本。由一位來自莫斯科的開發(fā)者創(chuàng)建，該項(xiàng)目目前仍在積極的開發(fā)階段。目前，該系統(tǒng)只支持從英語進(jìn)行翻譯。它具有多種功能，包括視頻翻譯、語音疊加與唇同步、場景檢測、面部檢測、語音增強(qiáng)、文本翻譯、語音克隆等。

項(xiàng)目地址：https://github.com/BrasD99/HeyGenClone

詳細(xì)介紹

安裝與配置：用戶可以通過GitHub克隆此倉庫，并按照給定的步驟進(jìn)行安裝和配置。

使用方法：項(xiàng)目根目錄下有一個(gè)翻譯腳本，可以翻譯您設(shè)置的視頻。還添加了一個(gè)腳本，可以在視頻上疊加語音并進(jìn)行唇同步。

功能：

●?場景檢測：使用PySceneDetect

●?面部檢測：使用yolov8-face

●?語音增強(qiáng)：使用MDXNet

●?文本翻譯：使用googletrans

●?語音克隆：使用TTS

●?唇同步：使用lipsync

●?面部修復(fù)：使用GFPGAN

●?社區(qū)貢獻(xiàn)：項(xiàng)目鼓勵(lì)社區(qū)貢獻(xiàn)，并計(jì)劃在未來列出所有的貢獻(xiàn)者。

?觀點(diǎn)

HeyGenClone確實(shí)是一個(gè)野心勃勃的項(xiàng)目。

在學(xué)術(shù)領(lǐng)域，它為研究人員提供了一個(gè)實(shí)驗(yàn)平臺(tái)，可以在此基礎(chǔ)上進(jìn)行進(jìn)一步的研究和改進(jìn)。而且因?yàn)樗_源的性質(zhì)，我相信他們可以事實(shí)結(jié)合目前最先進(jìn)的模型進(jìn)行改進(jìn)，而且也可以容納更多國家和地區(qū)的人助力開源。

在商業(yè)領(lǐng)域，由于其開源性質(zhì)，中小企業(yè)和初創(chuàng)公司（或者是某些沒有技術(shù)底蘊(yùn)的公司）可以使用此系統(tǒng)為其產(chǎn)品或服務(wù)添加視頻翻譯和語音疊加功能，而無需從零開始開發(fā)。這些公司也可以進(jìn)行“提前布局”了。

特邀作者：日本早稻田大學(xué)計(jì)算機(jī)系博士? 王軍杰