最美情侣中文字幕电影,在线麻豆精品传媒,在线网站高清黄,久久黄色视频

歡迎光臨散文網(wǎng) 會(huì)員登陸 & 注冊(cè)

OGAI清障中賦力AIGC,“助百模,智千行”未來可期

2023-08-30 11:13 作者:孫永杰的ICT評(píng)論  | 我要投稿

現(xiàn)如今,“百模大戰(zhàn)”已經(jīng)成為中國(guó)面向AIGC大模型競(jìng)爭(zhēng)激烈最外在的體現(xiàn)。與此同時(shí),面對(duì)生成式AI開發(fā)與應(yīng)用場(chǎng)景,如何提供從集群系統(tǒng)環(huán)境部署到算力調(diào)度保障和大模型開發(fā)管理的全棧全流程,降低大模型算力系統(tǒng)的使用門檻、優(yōu)化大模型的研發(fā)效率,保障大模型的生產(chǎn)與應(yīng)用的諸多挑戰(zhàn)和障礙也浮出水面,而何以應(yīng)對(duì)將直接關(guān)系著大模型應(yīng)用及未來的進(jìn)一步發(fā)展。

?

政策與趨勢(shì)雙重利好,AIGC呈現(xiàn)“百模大戰(zhàn)”之勢(shì)

?

提及AIGC大模型,從2020年 GPT-3發(fā)布以來,OpenAI等國(guó)內(nèi)外的科技企業(yè)和研究機(jī)構(gòu)通過零樣本學(xué)習(xí)(Zero-Shot Learning)、提示詞工程(Prompt Engineering)、指令微調(diào)(SFT)、人類反饋強(qiáng)化學(xué)習(xí)(RLHF)等諸多技術(shù)創(chuàng)新,找到了有效使用大模型的技術(shù)范式。而2022年底發(fā)布的ChatGPT更是成功引爆了公眾對(duì)于生成式人工智能的熱情。

?

進(jìn)入到今年,國(guó)內(nèi)外針對(duì)生成式AI的投資激增,微軟、谷歌等眾多科技公司都在開發(fā)生成式AI模型。截止到2023年7月,僅國(guó)內(nèi)發(fā)布的生成式AI模型已經(jīng)超過了100個(gè),呈現(xiàn)出“百模大戰(zhàn)”之勢(shì)。

?

究其原因,從政策層面,2023年4月28日,中央政治局召開會(huì)議,指出要重視通用人工智能發(fā)展,營(yíng)造創(chuàng)新生態(tài),重視防范風(fēng)險(xiǎn)。而為貫徹落實(shí)國(guó)家相關(guān)決策部署,《若干措施》提出,要“系統(tǒng)構(gòu)建大模型人工智能技術(shù)體系”、“推動(dòng)通用人工智能技術(shù)創(chuàng)新場(chǎng)景應(yīng)用”?!缎袆?dòng)方案》也強(qiáng)調(diào),要打造全域全時(shí)場(chǎng)景應(yīng)用,推進(jìn)“千行百業(yè)+AI”,孵化高度智能化的生產(chǎn)機(jī)器人;通過大力推進(jìn)通用人工智能和政務(wù)服務(wù)、醫(yī)療、金融等各個(gè)領(lǐng)域的融合發(fā)展,有效實(shí)現(xiàn)數(shù)據(jù)、算力、算法計(jì)算機(jī)行業(yè)點(diǎn)評(píng)的復(fù)用,大大拓展大模型的價(jià)值邊界。

?

除上述國(guó)家相關(guān)政策外,《北京市促進(jìn)通用人工智能創(chuàng)新發(fā)展的若干措施》、《上海市促進(jìn)人工智能產(chǎn)業(yè)發(fā)展條例》《上海市加大力度支持民間投資發(fā)展若干政策措施》以及《深圳市加快推動(dòng)人工智能高質(zhì)量發(fā)展高水平應(yīng)用行動(dòng)方案(2023-2024年)》等相關(guān)政策也相繼出臺(tái)和實(shí)施。

?

由此不難看出,從國(guó)家到地方,關(guān)注通用人工智能的系統(tǒng)建設(shè),探索通用人工智能新路徑,推動(dòng)創(chuàng)新場(chǎng)景應(yīng)用已經(jīng)成為業(yè)內(nèi)的思想共識(shí)、政策共識(shí)和發(fā)展共識(shí)。

?

另一方面,大模型的開源開放進(jìn)一步激發(fā)了學(xué)界和社區(qū)的熱情。例如Meta在2023年3月開源的LLaMA(羊駝)大模型在短短的幾個(gè)月時(shí)間內(nèi)就演化出了蓬勃發(fā)展的一個(gè)大模型社區(qū),基于LLaMA進(jìn)行衍生開發(fā)的大模型包括Alpaca、BELLE、Vicuna、 Koala、Orca等。

?

此外,F(xiàn)alcon、MPT等眾多模型的開源進(jìn)一步豐富了社區(qū)生態(tài),促進(jìn)了業(yè)界對(duì)AIGC的應(yīng)用落地探索。當(dāng)前,基于大模型技術(shù)的創(chuàng)新應(yīng)用已經(jīng)開始廣泛地進(jìn)入到日常生活和辦公之中,這些系統(tǒng)包括大型語言模型聊天機(jī)器人,如ChatGPT和Bard;辦公助手MS office copilot、筆記AI助手notion AI和編程助手GITHUB copilot等。

?

智算成驅(qū)動(dòng)AIGC發(fā)展核心引擎,系統(tǒng)性挑戰(zhàn)顯現(xiàn)

?

面對(duì)上述政策與趨勢(shì)帶來的利好,智算是驅(qū)動(dòng)AIGC發(fā)展核心引擎自然也成為業(yè)內(nèi)的共識(shí),但隨之而來的則是算力瓶頸、數(shù)據(jù)瓶頸和算法瓶頸的出現(xiàn),并直接影響到了業(yè)內(nèi)大模型的開發(fā)、構(gòu)建及應(yīng)用效率。

?

據(jù)統(tǒng)計(jì),以ChatGPT的總算力消耗3640PFdays計(jì)算,需要7—8個(gè)投資規(guī)模30億、算力500P的數(shù)據(jù)中心支撐運(yùn)行。盡管如此巨大的投入,GPT3的集群訓(xùn)練效率僅為23%。雖然硬件改進(jìn)可以降低FLOPs成本,但大模型的持續(xù)升級(jí),使得算力的總成本一直在增加。相比之下,同為大模型的源1.0的算力效率則達(dá)到45%,名列前茅。

?


對(duì)此,浪潮信息高級(jí)副總裁劉軍認(rèn)為,“通過源1.0這樣千億級(jí)別大模型的工程實(shí)踐,我們成為了業(yè)內(nèi)少有的既是算力基礎(chǔ)設(shè)施(懂算力),同時(shí)又懂大模型的廠商。而現(xiàn)實(shí)是,有好多做算力基礎(chǔ)設(shè)施的不懂模型,做模型的又不懂服務(wù)器、算力和系統(tǒng),這個(gè)時(shí)候,二者兼具的優(yōu)勢(shì)就在實(shí)踐中體現(xiàn)出來了”。

?

其實(shí)在我們看來,劉軍解釋的背后從另一個(gè)角度反映的是當(dāng)下面向AIGC的大模型發(fā)展中造成瓶頸,并導(dǎo)致最終實(shí)際應(yīng)用效率迥異的系統(tǒng)性挑戰(zhàn)的顯現(xiàn)。

?

具體表現(xiàn)為,面向AIGC大模型的構(gòu)建、開發(fā)和應(yīng)用,算力平臺(tái)的構(gòu)建已不僅僅是服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)等硬件設(shè)備的集成,也有諸多設(shè)備軟硬件兼容性和性能調(diào)教上的know-how。需要考慮不同硬件和軟件之間的兼容性和版本選擇,確保驅(qū)動(dòng)和工具的適配性和穩(wěn)定性。

?

例如在InfiniBand、RoCE網(wǎng)絡(luò)的配置和驅(qū)動(dòng)安裝上會(huì)遇到一些復(fù)雜的網(wǎng)絡(luò)設(shè)置和驅(qū)動(dòng)安裝問題。由于涉及到用戶管理,GPU運(yùn)行基礎(chǔ)環(huán)境,并行文件系統(tǒng)等多個(gè)組件的安裝和配置,往往需要依賴豐富的經(jīng)驗(yàn),整個(gè)部署過程會(huì)比較復(fù)雜,例如在實(shí)際的生產(chǎn)環(huán)境中,安裝和配置集群需要兼顧性能和穩(wěn)定性的考慮,為了確保系統(tǒng)的高性能和穩(wěn)定運(yùn)行,需要驗(yàn)證在不同的硬件環(huán)境下的軟件適配,優(yōu)化包括BIOS,操作系統(tǒng),底層驅(qū)動(dòng),文件系統(tǒng)和網(wǎng)絡(luò)等多個(gè)指標(biāo),找到最優(yōu)的選擇這個(gè)過程耗時(shí)耗力,容易貽誤算力的上線時(shí)間。

?

這里需要補(bǔ)充說明的是,大模型訓(xùn)練過程比傳統(tǒng)的分布式訓(xùn)練復(fù)雜,訓(xùn)練周期長(zhǎng)達(dá)數(shù)月。集群計(jì)算效力低、故障頻發(fā)且處理復(fù)雜,會(huì)導(dǎo)致訓(xùn)練中斷后不能及時(shí)恢復(fù),從而會(huì)降低大模型訓(xùn)練的成功概率,也會(huì)使得大模型訓(xùn)練成本居高不下。

?

在大模型的算法開發(fā)層面,從PB級(jí)數(shù)據(jù)的爬取、清洗、過濾和質(zhì)檢,到大規(guī)模預(yù)訓(xùn)練的算法設(shè)計(jì)、性能優(yōu)化和失效管理;從指令微調(diào)數(shù)據(jù)集的設(shè)計(jì)到人類反饋強(qiáng)化學(xué)習(xí)訓(xùn)練的優(yōu)化,冗長(zhǎng)的開發(fā)鏈條意味著需要諸多工程化工具的支撐。

?

在大模型的部署與應(yīng)用層面,在當(dāng)前商業(yè)模型與開源模型能力表現(xiàn)各有專長(zhǎng)的現(xiàn)狀下,如何選擇最為合適的基礎(chǔ)模型,以及如何基于基礎(chǔ)模型和行業(yè)特點(diǎn),打造應(yīng)用,實(shí)現(xiàn)大模型的落地依然是當(dāng)前大模型在部署和應(yīng)用上的最大挑戰(zhàn)。

?

綜上,在我們看來,業(yè)內(nèi)亟需從系統(tǒng)層面為未來大模型的良好生態(tài)發(fā)展尋找最優(yōu)解,即通過構(gòu)建高效穩(wěn)定的智算系統(tǒng),深耕發(fā)掘系統(tǒng)部署、集群優(yōu)化,資源調(diào)度,數(shù)據(jù)處理、訓(xùn)練加速、算法優(yōu)化等全面的能力,讓煉大模型更省時(shí)、省力,讓大模型更快、更穩(wěn)、更智能。

?

對(duì)癥下藥,OGAI呼之已出的邏輯

?

所謂對(duì)癥下藥。為了應(yīng)對(duì)大模型發(fā)展中,呈現(xiàn)出的算力平臺(tái)、算法開發(fā)及部署和應(yīng)用層面的挑戰(zhàn),作為AI基礎(chǔ)設(shè)施系統(tǒng)級(jí)廠商的浪潮信息日前正式發(fā)布了“大模型智算軟件棧OGAI”。

?

那么問題來了,浪潮信息發(fā)布大模型智算軟件棧OGAI的技術(shù)邏輯是什么?

?

對(duì)此,浪潮信息人工智能與高性能應(yīng)用軟件部AI架構(gòu)師Owen ZHU解釋稱,“原來客戶買一個(gè)服務(wù)器就可以直接使用,但隨著AIGC對(duì)于算力需求的持續(xù)增加,部署的服務(wù)器越來越多,甚至要構(gòu)建和使用集群,這導(dǎo)致算力基礎(chǔ)設(shè)施已經(jīng)像一部性能強(qiáng)大的法拉力跑車面向普通駕駛者難以駕馭一樣,光把硬件設(shè)備買回去已經(jīng)不足以滿足他們做大模型的需求,而OGAI的目的和出發(fā)點(diǎn)則是在提供硬件(例如服務(wù)器、集群構(gòu)建等)的基礎(chǔ)上,進(jìn)一步幫助他們?nèi)ソ鉀Q自身做大模型構(gòu)建和應(yīng)用可能遇到的問題,是針對(duì)每一層提煉了我們看到的與AIGC大模型相關(guān)的作業(yè)環(huán)境里面的關(guān)鍵問題,并通過自身以及我們服務(wù)客戶的實(shí)踐,提供軟件以及對(duì)應(yīng)的方案幫助客戶構(gòu)建、開發(fā)和應(yīng)用大模型效率的提升”。

?


縱觀該軟件棧,其由5層架構(gòu)組成,從L0到L4分別對(duì)應(yīng)于基礎(chǔ)設(shè)施層的智算中心OS產(chǎn)品、系統(tǒng)環(huán)境層的PODsys產(chǎn)品、調(diào)度平臺(tái)層的AIStation產(chǎn)品、模型工具層的YLink產(chǎn)品和多模納管層的MModel產(chǎn)品。

?

其中L0層智算中心OS面向智算中心等公共算力服務(wù)平臺(tái),面向多租戶場(chǎng)景,提供靈活多樣的裸金屬AI算力服務(wù);L1層PODsys聚焦智算集群部署場(chǎng)景,提供了包括基礎(chǔ)設(shè)施環(huán)境安裝、環(huán)境部署、用戶管理、系統(tǒng)監(jiān)控和資源調(diào)度一整套工具鏈,提供易用、高效、開放、兼容的智算集群系統(tǒng)環(huán)境部署方案;L2層AIStation面向AI開發(fā)場(chǎng)景, 通過云原生技術(shù)對(duì)集群系統(tǒng)中的計(jì)算資源、存儲(chǔ)資源和網(wǎng)絡(luò)資源進(jìn)行統(tǒng)一的接入和納管,提供了易于使用的開發(fā)環(huán)境和作業(yè)管理界面,并基于內(nèi)置算力調(diào)度系統(tǒng)和訓(xùn)練穩(wěn)定保障系統(tǒng)來實(shí)現(xiàn)易于接入、按需分配、彈性擴(kuò)展和和高效穩(wěn)定的AI研發(fā)應(yīng)用支撐平臺(tái);L3層YLink針對(duì)大模型的開發(fā)過程,通過集成整合浪潮信息在大模型研發(fā)過程中的工具和開源工具,為用戶提供高效、便捷與標(biāo)準(zhǔn)化的大模型開發(fā)與優(yōu)化流程;L4層MModel定位于多模型管理與服務(wù)平臺(tái),幫助客戶更好的管理和評(píng)估模型,加速模型的部署和應(yīng)用。

?

從上述OGAI的構(gòu)成,相信業(yè)內(nèi)很容易發(fā)現(xiàn),OGAI是提供從集群環(huán)境搭建到算力調(diào)度,再至大模型開發(fā)的全棧軟件,并覆蓋了大模型從數(shù)據(jù)處理、預(yù)訓(xùn)練和模型微調(diào)工具到多模型管理的整個(gè)研發(fā)流程工具鏈。而為了滿足大模型計(jì)算對(duì)算力的需求,OGAI在不同的層次強(qiáng)調(diào)了性能優(yōu)化,從服務(wù)器BIOS的調(diào)教到大規(guī)模集群組網(wǎng)性能和算力調(diào)度策略的多尺度、多層次的性能優(yōu)化,來充分釋放智算集群性能。另外,OGAI也融合了浪潮信息此前在MLPerf性能評(píng)測(cè)、服務(wù)客戶實(shí)際需求、源大模型開發(fā)中的最佳實(shí)踐。需要說明的是,OGAI采用的是分層解耦設(shè)計(jì),這意味著用戶可以根據(jù)自身的需要各取所需。

?

最后,值得一提的是,OGAI不僅是一款智算軟件棧。未來,基于浪潮信息元腦生態(tài)平臺(tái),通過聚合元腦生態(tài)力量,將各類通用模型、行業(yè)模型、工具和技術(shù)能力進(jìn)行整合,共同推動(dòng)大模型技術(shù)在千行百業(yè)的落地和應(yīng)用。

?

“助百模,智千行”,是指“百模”領(lǐng)先的科技公司都希望把自己領(lǐng)先的模型能力能夠落地到我們的企業(yè)和行業(yè)用戶及應(yīng)用場(chǎng)景中。我們要給它設(shè)計(jì)如何實(shí)現(xiàn)的適合的商業(yè)通道,就是浪潮信息的元腦生態(tài)。在這個(gè)生態(tài)中,大模型和AI科技公司是左手伙伴,還有連接最終行業(yè)、企業(yè)客戶的右手伙伴,即系統(tǒng)集成商、軟件開發(fā)商等。而浪潮信息把這兩類伙伴聚集在元腦生態(tài)中,彼此攜手,就可以實(shí)現(xiàn)一個(gè)N×M的效應(yīng),讓模型伙伴領(lǐng)先的能力快速落地。劉軍進(jìn)一步解釋了業(yè)內(nèi)關(guān)心的OGAI未來助力AIGC產(chǎn)業(yè)化落地的路徑。

?

寫在最后:中國(guó)有句俗話:飯不是最后一口才吃飽的??v觀當(dāng)下的“百模大戰(zhàn)”,雖是百花齊放,但也不乏好高騖遠(yuǎn)者,例如有些企業(yè)推出了集訓(xùn)練和推理于一身的所謂大模型一體機(jī),而從實(shí)際情況看,如何做好基礎(chǔ)大模型的預(yù)訓(xùn)練、基于開源和第三方大模型的微調(diào)、針對(duì)自身需求大模型的正確選擇才是目前客戶面臨的最大挑戰(zhàn)和痛點(diǎn),而能否很好解決這些挑戰(zhàn)和痛點(diǎn),決定著推理的效率乃至最終商業(yè)化落地的進(jìn)程和效率。

?

從這個(gè)角度看,我們認(rèn)為OGAI的推出可謂適逢其時(shí),是直擊目前面向AIGC大模型用戶痛點(diǎn)的清障之舉。而惟有如此,“助百模,智千行”才真正可期。


OGAI清障中賦力AIGC,“助百模,智千行”未來可期的評(píng)論 (共 條)

分享到微博請(qǐng)遵守國(guó)家法律
庄浪县| 凌云县| 九江县| 定州市| 合肥市| 临安市| 石城县| 习水县| 广安市| 万盛区| 莱州市| 上林县| 鄂州市| 菏泽市| 苏尼特左旗| 四川省| 合山市| 饶河县| 长武县| 鲁甸县| 应用必备| 深水埗区| 徐闻县| 中方县| 社旗县| 遂平县| 兴国县| 老河口市| 荆门市| 连平县| 沙洋县| 仙居县| 鸡东县| 龙泉市| 阜阳市| 密云县| 高密市| 娄烦县| 临朐县| 浦东新区| 高尔夫|