Seal梁勝：近水樓臺先得月，IT人員應(yīng)充分利用AI解決問題
2023年9月2日，由平臺工程技術(shù)社區(qū)與數(shù)澈軟件Seal聯(lián)合舉辦的?AIGC時代下的平臺工程?——2023平臺工程技術(shù)大會在北京圓滿收官。吸引了近300名平臺工程愛好者現(xiàn)場參會，超過3000名觀眾在線上直播平臺觀看了本屆大會。
數(shù)澈軟件 Seal 聯(lián)合創(chuàng)始人梁勝博士和江鵬受邀出席此次大會并發(fā)表題為《AI時代的IT技術(shù)創(chuàng)新》的演講，本文為演講實(shí)錄。
AI 正以不可逆轉(zhuǎn)之勢發(fā)展
這周二我去舊金山參加了谷歌一年一度的云計(jì)算大會（Google Cloud Next 23），這大約是我第8次參加這個活動，但今年與往屆完全不同。在今年的大會上很少談及云計(jì)算的底層基礎(chǔ)技術(shù)，也沒有介紹 Kubernetes 的進(jìn)展，在近2個小時的主題演講中幾乎 100% 的時間都在談?wù)?AI 技術(shù)。從這里，我們可以看出 AI 技術(shù)給整個 IT 行業(yè)以及云計(jì)算帶來了巨大的影響。
?
為什么會有這么大的影響呢？從我個人過去十幾年從事云計(jì)算領(lǐng)域的體驗(yàn)來看，云計(jì)算根本上解決的是資源的問題。在沒有云計(jì)算之前，如果需要資源，那么要購買機(jī)器、搭建機(jī)房，但云計(jì)算出現(xiàn)之后，就不需要干這樣的事情了。取而代之的是，出現(xiàn)了 DevOps、Infrastructure as Code（IaC），這些新技術(shù)的出現(xiàn)大大增加了企業(yè)對人力資源的需求。在這樣的情況下，未來的 IT 行業(yè)可能會面臨的挑戰(zhàn)不再是優(yōu)化機(jī)器資源，而是優(yōu)化人力資源，包括 IT 的人力資源或 IT 以外的人力資源。因此，AI 成為了一個恰如其分的主題。
?
現(xiàn)在技術(shù)領(lǐng)域的人力資源主要集中在兩個方向：研發(fā)和運(yùn)維。人員需求的方向定義了現(xiàn)代軟件開發(fā)到部署、到運(yùn)維、到升級的整個生命周期流程。我在上圖的右側(cè)列出了兩個云廠商，但即便不部署在云上，部署在本地機(jī)器或者邊緣設(shè)備上，整套軟件開發(fā)流程并沒有太大變化。
?
在過去十年中，甚至全球經(jīng)濟(jì)不景氣的當(dāng)下，對 IT 人員的需求量依舊非常大。這樣的增長會不會繼續(xù)呢？現(xiàn)在 AI 技術(shù)的出現(xiàn)對這個增長會有什么影響呢？
?
我們先從研發(fā)的角度來看這個問題。各位現(xiàn)在最為感同身受的可能是國內(nèi)外的企業(yè)都在進(jìn)行裁員，為什么會如此？
?
大家仔細(xì)想想過去的業(yè)界發(fā)展態(tài)勢，比如移動互聯(lián)網(wǎng)，大家每天都在手機(jī)端上使用各種 App，那么仔細(xì)回憶一下上次用到的新應(yīng)用是什么時候？對我來講，是有相當(dāng)長的一段時間以前了。但是如果把時間撥回5年前、10年前，那可能每過幾天、幾個星期可能就會下載一個新的應(yīng)用，當(dāng)時新的東西源源不斷地出現(xiàn)。但現(xiàn)在大家可能主要使用的只是各自領(lǐng)域里的主流App，比如抖音、微信、B站以及各種網(wǎng)銀之類的。
?
盡管現(xiàn)在開發(fā)應(yīng)用比以前容易得多，但長尾效應(yīng)在慢慢減弱。
?
那么真正的研發(fā)現(xiàn)在去哪里了呢？從廣義來說，現(xiàn)階段的研發(fā)是那些在各種大平臺不斷生產(chǎn)內(nèi)容的網(wǎng)紅，他們可以吸引很多用戶。那將來的研發(fā)又會往哪個方向走呢？從現(xiàn)在生成式 AI 的角度來看，研發(fā)的方向會越來越多。無論是 AI 會幫助研發(fā)，還是會直接被 AI 替代，AI 的發(fā)展是不可避免的。
?
接下來，我來講講軟件 2.0，這個概念是由一個從事人工智能開發(fā)的程序員提出來的，是指世界上越來越多的事情是由軟件來實(shí)現(xiàn)的。
?
現(xiàn)階段，大家可以用 AI 助手來幫助生成一段代碼，然后檢查一下代碼是否存在錯誤，如果沒有問題就可以用了。我們大膽猜想：那么之后是不是可以用一個神經(jīng)網(wǎng)或者一個 AI 模塊來實(shí)現(xiàn)？可能你直接告訴 AI 你要做什么，神經(jīng)網(wǎng)就直接把功能實(shí)現(xiàn)了，甚至不需要看到代碼。
?
AI 在未來5年、10年的發(fā)展，會讓很多想象的東西都成為現(xiàn)實(shí)，這對研發(fā)來說會造成很大的沖擊。那么，將來研發(fā)人員的數(shù)量是否還會繼續(xù)增長？我覺得毫無疑問，肯定會持續(xù)增長，但是方向可能和現(xiàn)在有很大的差別。
?
DevOps 遇瓶頸，AI 來破局
我個人對 DevOps 行業(yè)非常有體會，因?yàn)橹拔易鲞^ CloudStack、做過 Rancher，這些產(chǎn)品都是為 DevOps 服務(wù)的，過去十年伴隨著云計(jì)算的快速發(fā)展，可以說是 DevOps 的飛速成長期，我們正好趕上了 DevOps 的熱潮。
?
正如我前面提到的，在沒有云計(jì)算之前使用資源需要購買機(jī)器、購買網(wǎng)絡(luò)設(shè)備，這些設(shè)備需要有專門的人進(jìn)行編程和配置，那些人就是思科認(rèn)證的或者華為認(rèn)證的工程師。
?
在 DevOps 時代，已經(jīng)不依賴手動配置了，可能是 DevOps 工程師來寫腳本，或者更多時候就直接寫程序，所以可以說 DevOps 工程師其實(shí)是新一代的思科認(rèn)證工程師。
?
但有些系統(tǒng)十分復(fù)雜，比如 Kubernetes，那么這給諸如 Rancher、HashiCorp、GitLab、DataDog 之類的公司創(chuàng)造很大的機(jī)會，這些創(chuàng)新公司都已經(jīng)成長為大型企業(yè)。盡管是紅利受益者，但我們也在反思：為什么企業(yè)對 DevOps 的需求量無法抑制地增長？
?
最早 DevOps 剛剛出現(xiàn)的時候，正常的人員配比應(yīng)該是 10 個研發(fā)人員，配 1 個 DevOps 工程師。但發(fā)展到后來就發(fā)現(xiàn)這樣的人員配比導(dǎo)致 DevOps 人員的壓力好大，于是變成 5:1。再到后來，那些發(fā)展迅速的互聯(lián)網(wǎng)企業(yè)內(nèi)部的配比已經(jīng)變成 3:1，甚至 2:1。這通常意味著這個系統(tǒng)已經(jīng)過于復(fù)雜了。
?
當(dāng)前，在 DevOps 領(lǐng)域已經(jīng)出現(xiàn)了很多工具，但這些工具也并不能完全減輕這些人的壓力。那么在現(xiàn)在的 AI 時代，可能還會需要更多的運(yùn)維人員對大模型、應(yīng)用進(jìn)行運(yùn)維，情況也許會變得更加糟糕。
?
基于此，我們思考是否可以把 DevOps 的復(fù)雜度控制下來，那么“平臺工程”的概念就出現(xiàn)了。不同企業(yè)的內(nèi)部環(huán)境差異極大，那么怎么能夠真正把內(nèi)部的 DevOps 流程變得更加有效，而不是機(jī)械地重復(fù)？AI 的出現(xiàn)將會帶來一個全新的機(jī)會。
?
AI時代中非常明顯的現(xiàn)象是，無論是公有云、私有云還是混合云，將來在云上運(yùn)行的大模型將會占據(jù)越來越高的比例。所以云需要針對大模型的運(yùn)行進(jìn)行優(yōu)化，真正把它們給運(yùn)行好。稍后我們也會演示如何快速部署大模型。
?
另外，AI 不應(yīng)該僅僅服務(wù)于終端用戶，我們既然是 IT 從業(yè)者，應(yīng)該“近水樓臺先得月”，充分利用 AI 技術(shù)來解決我們自己的問題，比如 AI 可以減輕 DevOps 工程師的工作量。這樣研發(fā)與 DevOps 的比例就可以不斷下降，最終達(dá)到理想狀態(tài)。
?
絕大部分 AI 應(yīng)用的本質(zhì)是云應(yīng)用，并且現(xiàn)在 Kubernetes 實(shí)際上已經(jīng)成為大模型平臺的運(yùn)行標(biāo)準(zhǔn)。上圖截取自 OpenAI 的官網(wǎng)，當(dāng)時 GPT3 已經(jīng)推出，但 ChatGPT 尚未誕生。值得注意的是，Kubernetes 官方推薦使用的最大節(jié)點(diǎn)數(shù)是5000，但 OpenAI 因?yàn)樾枨罅看螅呀?jīng)把 Kubernetes 用到極致——擴(kuò)展到7500個節(jié)點(diǎn)。
?
據(jù)我了解，他們現(xiàn)在仍然在使用 Kubernetes，但目前的具體使用狀況外部也不是很清楚。我相信，在他們迎來爆發(fā)式增長的這段時間，應(yīng)該是把 Kubernetes 擴(kuò)展得更大了。OpenAI、微軟 Azure 這些公司都在大量購入 Nvidia 的圖像處理器，然后放在服務(wù)器里，由 Kubernetes 等技術(shù)進(jìn)行管理，最后再在上層運(yùn)行大語言模型。
?
總而言之，AI 時代下的整個應(yīng)用架構(gòu)基本上已經(jīng)建立了，這也是目前業(yè)界都比較認(rèn)可的標(biāo)準(zhǔn)：最底層是公有云、私有云，再往上是 Kubernetes，然后是管理 AI 本身的一些工具，比如 Pytorch、Tensorflow，再往上層是大模型，頂層是應(yīng)用。
?
AI釋放開源力量，開源賦能AI發(fā)展
數(shù)澈軟件Seal 本身是一家開源的公司，我們這個團(tuán)隊(duì)投身開源領(lǐng)域已經(jīng)有十幾年了，我們一直認(rèn)為開源是非常好的方向。但直到 AI 出現(xiàn)之后，我們才真正體會到開源的力量。
?
上圖中，紅色的線表示 Kubernetes star 數(shù)量的增長趨勢，到今年剛剛超過 10 萬顆 star。眾所周知，Kubernetes 早已成為業(yè)界認(rèn)可的容器編排的事實(shí)標(biāo)準(zhǔn)。但是 AI 相關(guān)的開源項(xiàng)目 star 數(shù)量能在幾個月之內(nèi)就超越 Kubernetes，這令人驚嘆。所以可以看出開源界對 AI 的重視程度，另外一方面，開源也能夠?yàn)?AI 帶來一些真正的機(jī)會。
?
在現(xiàn)階段，閉源軟件的創(chuàng)業(yè)已經(jīng)很難成功了，所以在軟件領(lǐng)域開源是必須的。因?yàn)殚_源社區(qū)是跨國界的，不受地緣政治的限制。比如，在中國結(jié)束了疫情管控之后，目前最流行的開源組織之一，云計(jì)算基金會 CNCF，就立馬到上海來舉辦 KubeCon，完全沒有受到政治方面的影響。
?
換言之，中國企業(yè)可以通過開源把真正世界級的技術(shù)推向全球，成為全球技術(shù)的引領(lǐng)者，并從中獲得很多發(fā)展的機(jī)會。
?
上文提到 AI 必須能夠幫助 DevOps 工程師提升效率，在傳統(tǒng) DevOps 領(lǐng)域也曾有類似的需求，那時候叫自動化（Automation），通過腳本把手工工作變?yōu)樽詣印?br>?
但是自動化發(fā)展到一定程度之后，仍然對人有巨大的需求。因?yàn)楹芏嘈枰袛嗔Φ氖虑?，無法通過簡單的腳本規(guī)則來規(guī)定清楚，主要還得依靠人進(jìn)行判斷。所以自動化的下一步應(yīng)該是 AI。
?
上方左側(cè)的圖片是波音747剛剛推出時的駕駛艙配置，當(dāng)時（上世紀(jì)60年代）大約需要3、4個駕駛員，2個駕駛飛機(jī)，剩下的觀測儀表盤。通過自動化的改進(jìn)，現(xiàn)在基本上2個人就可以開飛機(jī)了，復(fù)雜的儀表也消失了。那要再往下前進(jìn)一步，能不能既減少開飛機(jī)的人數(shù)，同時還能提升安全性？這時候光靠自動化已經(jīng)不夠了。
?
那么我們希望通過 AI 能夠真正把運(yùn)維工作自動化，一會兒江鵬會對我們目前已經(jīng)完成的工作進(jìn)行演示。目前我們只是剛剛開始，我們希望通過開源讓大家能夠嘗試、使用并且能夠給我們提意見。
?
平臺工程為 AI 提供護(hù)欄（Guardrail）
大家在用 ChatGPT 的時候可能會發(fā)現(xiàn)，它盡管能回答你的問題，但并不一定是對的，因?yàn)榇竽Ｐ筒皇?100% 可靠。這個缺陷對于簡單的任務(wù)來說無足輕重，但如果是在生產(chǎn)環(huán)境上運(yùn)行的應(yīng)用，在接收到錯誤的命令之后直接運(yùn)行，可能會造成難以估量的后果。
?
因此我們在思考能夠降低大模型出錯的概率的方案，這在業(yè)界有一個標(biāo)準(zhǔn)的做法——Guardrail，即通過給 AI 系統(tǒng)設(shè)置規(guī)則來對其進(jìn)行限制，比如預(yù)計(jì)限制讓 AI 只控制阿里云、騰訊云、AWS。
?
因此我們在中間添加一層機(jī)制進(jìn)行審核，如果出現(xiàn)明顯的錯誤，那么審核不通過。在審核通過之后，再讓 AI 的指令上手完成任務(wù)。而這些是可以平臺工程實(shí)現(xiàn)的。這類似于我們常常提到的自動駕駛汽車，因?yàn)槁窙r太復(fù)雜，所以自動駕駛汽車的實(shí)現(xiàn)是很困難的。但是如果說我們要做自動駕駛火車，那就簡單很多。因?yàn)榛疖嚤幌拗圃谲壍郎线\(yùn)行，路況相對來說簡單很多。
?
所以平臺工程不僅應(yīng)該為工程師提供工具，還應(yīng)該為 AI 提供護(hù)欄（Guardrail）。
?
數(shù)澈軟件Seal 正在借助 Guardrail 機(jī)制開發(fā) AI 時代的 DevOps 平臺，希望能夠給 DevOps 工程師減輕工作量并成為他們的 AI 助手。接下來，我將介紹我們目前已經(jīng)完成的工作，然后邀請江鵬進(jìn)行產(chǎn)品演示。
?
關(guān)于平臺工程，業(yè)界已經(jīng)形成了基本的認(rèn)知：平臺工程的出現(xiàn)主要是為了解決 DevOps 復(fù)雜度的問題。
?
首先，平臺工程可以解決 DevOps 團(tuán)隊(duì)和研發(fā)團(tuán)隊(duì)之間的溝通協(xié)作問題。因?yàn)檠邪l(fā)團(tuán)隊(duì)平時通常通過 IDE 來完成工作，他們也許能清晰地了解業(yè)務(wù)需求、程序設(shè)計(jì)語言和框架、包括當(dāng)前的 AI 技術(shù)，但是他們可能完全不了解 DevOps 工具，比如 Terraform 可以做什么，怎么樣部署 Kubernetes ，于是這些成為了 DevOps 團(tuán)隊(duì)的工作。那么這兩個團(tuán)隊(duì)之間的協(xié)作成為一個問題，無論是通過郵件還是發(fā)工單進(jìn)行溝通，都非常繁瑣，且易出錯，因此需要平臺工程。
?
在過去兩三年間，我們和至少幾百家企業(yè)交流過，發(fā)現(xiàn)大家都有類似的需求。最終就形成了企業(yè)內(nèi)部的平臺，它為研發(fā)人員提供UI、CLI以及服務(wù)目錄（Catalog），研發(fā)人員可以直接調(diào)用現(xiàn)成的工具來完成應(yīng)用開發(fā)工作。
?
但是我們發(fā)現(xiàn)，由于沒有現(xiàn)成的解決方案，每個團(tuán)隊(duì)在搭建平臺過程中都對中間的一層花費(fèi)了大量的精力，我們把它稱之為“應(yīng)用管理”。
?
為什么叫應(yīng)用管理呢？因?yàn)樗P(guān)心的是應(yīng)用配置、部署可靠性以及多環(huán)境管理，甚至包括應(yīng)用成本。通過應(yīng)用管理層，企業(yè)可以清楚地了解各類環(huán)境信息，應(yīng)用開發(fā)資源的成本管理，包括生產(chǎn)環(huán)境中的實(shí)例成本、研發(fā)團(tuán)隊(duì)成本、測試團(tuán)隊(duì)成本等，方便企業(yè)進(jìn)行優(yōu)化。
?
之前提到，我們與上百家公司交流過，每家公司內(nèi)部都在構(gòu)建自己的一套應(yīng)用管理，并且再和開發(fā)者門戶進(jìn)行集成。實(shí)際上開發(fā)應(yīng)用管理工作量是很大的，并且十分繁瑣，于是我們構(gòu)建了這樣一個開源應(yīng)用管理平臺 Walrus。
?
Walrus 是一款 100% 開源的基于平臺工程理念構(gòu)建的應(yīng)用管理平臺，開源地址是：github.com/seal-io/walrus。除了基礎(chǔ)的應(yīng)用部署、服務(wù)模板等功能，我們把 AI 技術(shù)列為了開發(fā)重點(diǎn)。所以在 Walrus 平臺內(nèi)部整合了豐富的 AI 技術(shù)，我們還提供一個 AI 助手 Appilot（預(yù)計(jì)本月中下旬開源，敬請期待），幫助用戶運(yùn)維。那接下來有請江鵬來進(jìn)行演示。
?
點(diǎn)擊下方視頻，空降至?35:45?即可查看 Seal聯(lián)合創(chuàng)始人及COO 江鵬的產(chǎn)品演示，包括在 Walrus 上借助其服務(wù)模板的特性快速部署 Meta 開源大模型 Llama 2 和 Stable Diffusion，并引入 Seal AI 助手 Appilot，通過輸入自然語言，借助 AI 大模型的推理能力完成資源調(diào)度、服務(wù)查詢、應(yīng)用部署等任務(wù)。
參考鏈接：https://mp.weixin.qq.com/s/4FHYX1Vlm__nCBX300moJg
作者：Seal 軟件
