使用 Appilot 部署 Llama2,會聊天就行!
Walrus 是一款基于平臺工程理念的應(yīng)用管理平臺,致力于解決應(yīng)用交付領(lǐng)域的深切痛點。借助 Walrus 將
云原生的能力和最佳實踐擴展到非容器化環(huán)境,并支持任意應(yīng)用形態(tài)統(tǒng)一編排部署,降低使用基礎(chǔ)設(shè)施的復(fù)雜度
,為研發(fā)和運維團隊提供易用、一致的應(yīng)用管理和部署體驗,進而構(gòu)建無縫協(xié)作的軟件交付流程。 ? 在之前文章中,我們探討了如何使用 Walrus 在 AWS 上部署 Llama2。在今天的文章中,我們將手把手教您使用 AI 工具 Appilot 來簡化這個部署過程。Appilot 是一款面向 DevOps 場景的 AI 助手,它可以充分利用 AI 大語言模型的能力讓用戶直接輸入自然語言即可實現(xiàn)應(yīng)用管理、環(huán)境管理、故障診斷、混合基礎(chǔ)設(shè)施編排等功能。 ? 使用前提
獲取可訪問 gpt-4 模型的 OpenAI API 密鑰。
安裝 python3 和 make。
安裝 kubectl 和 helm。
擁有一個正在運行的 Kubernetes 集群。
?
安裝 Appilot
克隆版本庫:
git
clone
https://github.com/seal-io/appilot &&
cd
appilot
? 運行以下命令獲取
envfile
?envfile。
cp
.env.example .
env
? 編輯.env文件并填入
OPENAI_API_KEY
?。運行以下命令進行安裝。它將創(chuàng)建一個填寫venvb并且安裝所需的依賴項。
make
install
?
使用 Walrus 后臺
Appilot 也可以使用 Kubernetes 等項目作為后端,本文以 Walrus 作為后端為例。要啟用 Walrus 后臺,首先需要安裝 Walrus?并編輯envfile?: 設(shè)置TOOLKITS=walrus
填寫
OPENAI_API_KEY
?、
WALRUS_URL
?和?
WALRUS_API_KEY
?
以下是有關(guān)配置的更多信息,Appilot 可通過環(huán)境變量或envfile進行配置:
然后,您就可以運行 Appilot 了:
make
run
? 像聊天一樣在 AWS 上部署 Llama2
在這篇文章中,我們使用了 Appilot 和 Walrus 來開啟探索 Llama2 部署的旅程,并見證了這些強大的工具如何簡化復(fù)雜的部署過程。您可以通過訪問項目的 GitHub 地址下載和安裝 Walrus 和 Appilot: Walrus:?https://github.com/seal-io/walrus Appilot:?https://github.com/seal-io/appilot ?