Ai數(shù)字生命-初體驗
【演示視頻】
【體驗教程】
本文章記錄極客灣開源數(shù)字生命本地部署及想要二次開發(fā)的準備工作。如果只是想體驗一下，直接在原視頻下方下載已經(jīng)打包的beta版本所有文件即可。如果想要深入了解項目并進行二次開發(fā)，需要手動部署編譯相關(guān)服務，內(nèi)容在本專欄下一章。原視頻簡介的下載地址：
任意一個下載完成即可，內(nèi)部包含了服務端、Windows前端和Android前端所有文件。解壓后直接雙擊 “運行.bat” 批處理文件：
該界面是方便新手操作的Windows服務端圖形化啟動界面。需要填寫ChatGPT的API(在openai官網(wǎng)申請)，然后能訪問外網(wǎng)的代理地址(clash端口號是7890，v2端口號是10809)。完成后N卡直接點啟動即可。
A卡Windows下只能使用cpu來跑語音服務，將 Digital_Life_Server\TTS\TTService.py? 文件下 36行，由
如果是遠程控制，會卡在：
這個包暫時無法在RDP遠程控制情況下使用，如一定需要遠程得手動部署服務端github倉庫最新版本，繼續(xù)查看下一章節(jié)。
啟動完成后，點擊啟用電腦端，即可打開Windows前端。Android端請使用下面的apk安裝包，掃碼下載的apk存在無法發(fā)送語音的BUG。已修復BUG版本的Android前端下載地址：
打開后填寫電腦服務端ip地址和端口號(默認為38438)，連接即可看到虛擬人物了。
【手動部署及二次開發(fā)】
此項目非常適合二次開發(fā)定制人物或者卡通形象后，再基于ChatGLM2微調(diào)模型固定一些語料，作為公司或者項目宣傳形象。最終效果不僅能回答提前預設(shè)的相關(guān)問題(品牌宣傳)，還能靈活回答其它所有問題，比市面上后期合成的視頻數(shù)字人要炫酷得多。
近期有相關(guān)定制開發(fā)計劃，有需求可聯(lián)系。目前ChatGLM2實際接入效果還未知，如果基于ChatGPT只能通過prompt進行人物設(shè)定和簡單固定語料。
此數(shù)字生命項目分成了三個部分，分別是服務端、服務端圖形化啟動器、UE5前端。
這三個項目作為二次開發(fā)者只需要深入了解服務端和UE5前端即可。圖形化啟動器不必下載和深入研究，它只是方便小白用戶快速啟動而已。我們使用服務端內(nèi)置的啟動腳本，修改其中的參數(shù)可以達到一樣的效果。
1.服務端部署
首先把服務端項目clone下來：
然后在項目文件夾內(nèi)部打開終端創(chuàng)建虛擬環(huán)境：
執(zhí)行完畢后項目內(nèi)部會多出venv文件夾：
使用該命令進入虛擬環(huán)境：
在虛擬環(huán)境內(nèi)部安裝項目所需要的相關(guān)組件，根據(jù)自己的顯卡選擇安裝不同的pytorch，目前AMD只能使用CPU來跑相關(guān)的語音服務，可能延遲會略高一點點：
非N卡用戶還需要做額外一步，?修改Digital_Life_Server\TTS\TTService.py 文件中第36行：
然后還需要編譯?monotonic_align 組件，編譯這個組件需要先做一些準備工作。首先下載
雙擊打開后，將這四個全部安裝，C盤不夠的同學記得在底下更改安裝位置。
安裝完成后，使用下面命令編譯?monotonic_align 組件：
編譯需要一段時間，請耐心等待。完成后，從該地址下載服務端所需的模型文件：
分別將下面三種模型放到對應位置：
順利完成后，最后需編輯 run-gpt3.5-api.bat文件
修改其中的 “PROXY” 代理地址為自己代理軟件的地址?！癈HARACTER” 改成如圖的“paimon”，默認的“catmaid”暫時沒有音頻模型，會出錯?！癝TREAM” 改成 “True” 。如果不添加自己的ChatGPT-API，則默認是薅原作者的羊毛，建議添加自己的API，按上圖添加 --APIKey 參數(shù)即可。
完成后，雙擊run-gpt3.5-api.bat文件即可打開服務端，監(jiān)聽38438端口，如需外網(wǎng)訪問，需要做端口映射。
手機端和服務端在同一局域網(wǎng)情況下，填寫電腦ip地址和端口號即可連接成功。最后還需要在服務端項目內(nèi)部新建一個tmp文件夾，并在tmp中新建兩個空白音頻文件(直接創(chuàng)建文本文件然后改后綴為wav即可)，否則服務端會報錯無法找到wav文件(屬于軟件BUG)。
2.UE5前端
這里僅簡要說明如何使用UE5導入并編譯項目，UE5具體教程請自行學習。將UE5前端項目clone到本地：
然后安裝并打開UE5，點擊右下角瀏覽，打開 T.uproject 工程文件，此時會根據(jù)你下載的UE5具體版本就項目進行轉(zhuǎn)化，點打開副本。
此時會將工程復制一份，并在文件夾后綴中加上版本號，比如我是5.1如下圖，以后使用該副本即可：
需要等待一段時間，然后會自動打開該工程。由于原工程是由5.0.3創(chuàng)建，會提示插件版本不匹配，如下圖。我們直接點“是”。
然后關(guān)閉該項目，進入
該地址，點擊右邊release，下載和Unreal Engine版本對應的插件版本即可。比如我是5.1，則下載這個，請大家根據(jù)自己的Unreal Engine版本找到對應的插件版本。
下載完成后，直接將插件內(nèi)的所有文件復制，刪除工程內(nèi)原插件內(nèi)的所有文件，路徑是 /Plugins/RuntimeAudioImporter 再粘貼新下載的即可。
粘貼完成后，再次打開UE5，會提示下圖，點擊“是”：
再次打開后，會提示需要啟用 Shader Model 6。
點擊頂部菜單?編輯-項目設(shè)置-Windows-SM6，勾選如下圖選項，然后重啟UE5。
重啟后，項目就能正常運行、編輯和打開了。點擊頂部運行就能看到軟件正常運行了。
點擊頂部 “平臺” 可將該工程打包成適配不同平臺的軟件。
編譯成Windows格式的軟件需要提前安裝剛才提到的vs_BuildTools.exe中的那四個組件。
編譯成Android軟件相對比較麻煩。當然，這是我的老本行，相對比較熟悉，首先下載Android Studio，打開SDK Manager。
指定SDK的下載路徑，這里建議手動更改一下，不要使用默認的C盤路徑，然后下載Android 8.0的SDK，API Level 26。
然后在SDK Tools中，勾選右下角Show Package Details
將這幾項全部安裝，注意Command-line Tools一定要保證 latest 和 8.0 正常安裝：
下載安裝完成后，關(guān)閉Android Studio?；氐経E5，點擊頂部 編輯-項目設(shè)置-Android SDK，將SDK、NDK、JDK和API Level 參考下圖填寫，路徑還需要根據(jù)自身實際情況。JDK如果不會安裝請參考其他教程。
重要：如果你的UE5版本為5.0或者5.1，還需要找到UE5軟件本體目錄的Engine\Extras\Android文件夾內(nèi)，找到下圖中 SetupAndroid.bat文件，使用文本編輯器打開，
將其中的：
修改為：
其實就是把?“l(fā)atest” 改成?“8.0”。改完之后，才能正常打包Android APK。
點擊打包項目，此時還會讓我們選擇SDK目錄，我們直接找到Android SDK的目錄，點擊打開，就會開始編譯APK了，首次編譯時間非常久，需要烘培內(nèi)容，和CPU性能有關(guān)，請耐心等待。
完成后，在 ..\Binaries\Android 路徑下即可找到需要的APK
