6月29日，高性能計(jì)算云(HPC Cloud)產(chǎn)業(yè)發(fā)展論壇在北京舉辦，該論壇由中國(guó)信息通信研究院指導(dǎo)，超級(jí)計(jì)算創(chuàng)新聯(lián)盟與算網(wǎng)融合產(chǎn)業(yè)及標(biāo)準(zhǔn)推進(jìn)委員會(huì)共同組織召開(kāi)。華為數(shù)據(jù)存儲(chǔ)解決方案首席架構(gòu)師趙順存，在此次會(huì)議中發(fā)表了“華為數(shù)據(jù)密集型超算技術(shù)，助力超算互聯(lián)網(wǎng)建設(shè)”的主題演講。他解讀了在“東數(shù)西算”、AI走向大模型多模態(tài)、數(shù)據(jù)密集型范式等時(shí)代背景下，超算互聯(lián)網(wǎng)面臨的新趨勢(shì)和新挑戰(zhàn)，并全面闡述了華為超算互聯(lián)網(wǎng)數(shù)據(jù)一體化方案，旨在進(jìn)一步與產(chǎn)業(yè)伙伴達(dá)成共識(shí)，充分發(fā)揮高性能計(jì)算云在我國(guó)算力和存力發(fā)展中的賦能作用。

|超算互聯(lián)網(wǎng)登場(chǎng)，數(shù)據(jù)質(zhì)量決定AI智能高度

數(shù)據(jù)密集型范式由關(guān)系型數(shù)據(jù)庫(kù)的鼻祖吉姆·格雷(Jim Gray)提出，他將科學(xué)研究分為四類范式，依次為實(shí)驗(yàn)科學(xué)、理論科學(xué)、計(jì)算科學(xué)和數(shù)據(jù)密集型(Data-Intensive Scientific Discovery)。無(wú)論是“東數(shù)西算”戰(zhàn)略加快了全國(guó)一體化大數(shù)據(jù)中心的建設(shè)，還是自動(dòng)駕駛、基因時(shí)空組學(xué)等新興業(yè)務(wù)爆發(fā)，帶來(lái)的大量非結(jié)構(gòu)化數(shù)據(jù)，都加速了數(shù)據(jù)密集型范式的到來(lái)，這為超算互聯(lián)網(wǎng)的登場(chǎng)，搭建了堅(jiān)實(shí)的時(shí)代舞臺(tái)。

超算互聯(lián)網(wǎng)是一種以超級(jí)計(jì)算機(jī)和高速互聯(lián)網(wǎng)為基礎(chǔ)的先進(jìn)計(jì)算基礎(chǔ)設(shè)施，它以高速網(wǎng)絡(luò)連接分布各地的超算中心，支持算力、數(shù)據(jù)、軟件、應(yīng)用等資源的共享與交易，同時(shí)向用戶提供多樣化的算力服務(wù)。當(dāng)前超算互聯(lián)網(wǎng)的發(fā)展呈現(xiàn)如下趨勢(shì)：一方面，以“數(shù)”為基石，計(jì)算的實(shí)施是建立在數(shù)據(jù)之上的，高效的數(shù)據(jù)流動(dòng)是算力流動(dòng)的基礎(chǔ);另一方面，AI朝著大模型多模態(tài)的方向演進(jìn)，數(shù)據(jù)質(zhì)量決定AI智能高度，而數(shù)據(jù)存儲(chǔ)成為了關(guān)鍵要素。

機(jī)遇往往與挑戰(zhàn)并存，趙順存表示，在超算互聯(lián)網(wǎng)高速發(fā)展的同時(shí)，還面臨著如下挑戰(zhàn)：

●數(shù)字經(jīng)濟(jì)的快速增長(zhǎng)讓多樣化業(yè)務(wù)涌現(xiàn)，而大量數(shù)據(jù)孤島的存在，讓數(shù)據(jù)的共享和高效訪問(wèn)面臨困境;

●跨域和跨業(yè)務(wù)數(shù)據(jù)調(diào)度的智能化程度不高，對(duì)人工操作過(guò)分依賴，導(dǎo)致數(shù)據(jù)傳輸和流動(dòng)的效率低下;

●AI向著大模型多模態(tài)演進(jìn)，AI訓(xùn)練伴隨高并發(fā)數(shù)據(jù)分析，且生成式AI新應(yīng)用急劇爆發(fā)，亟需高吞吐、高性能的存儲(chǔ)基礎(chǔ)設(shè)施支撐;

●安全問(wèn)題貫穿數(shù)據(jù)產(chǎn)生、流動(dòng)、使用與歸檔的全生命周期，例如數(shù)據(jù)在流轉(zhuǎn)過(guò)程中，可能會(huì)非法流出安全區(qū)域，導(dǎo)致數(shù)據(jù)泄露。

|謀時(shí)而動(dòng)，華為打造超算互聯(lián)網(wǎng)數(shù)據(jù)一體化方案

網(wǎng)絡(luò)的連通為超算互聯(lián)網(wǎng)創(chuàng)造了基本條件，而多超算中心的數(shù)據(jù)互聯(lián)則是數(shù)據(jù)價(jià)值有效挖掘的關(guān)鍵。為助力超算互聯(lián)網(wǎng)行穩(wěn)致遠(yuǎn)，華為潛心打造了基于OceanStor Pacific分布式存儲(chǔ)的“超算互聯(lián)網(wǎng)數(shù)據(jù)一體化方案”，該方案旨在通過(guò)基于存儲(chǔ)的數(shù)據(jù)管理技術(shù)創(chuàng)新，實(shí)現(xiàn)跨域跨超算中心的全局?jǐn)?shù)據(jù)管理、高效和安全的數(shù)據(jù)調(diào)用，主要包含如下幾個(gè)關(guān)鍵舉措：

第一，通過(guò)GFS(Global File System)全局文件系統(tǒng)，將多超算中心的數(shù)據(jù)連接起來(lái)，實(shí)現(xiàn)跨系統(tǒng)、跨地域的全局統(tǒng)一數(shù)據(jù)視圖和調(diào)度，任意位置的數(shù)據(jù)都可見(jiàn)且免遷移，即取即用;

第二，支持?jǐn)?shù)據(jù)中心內(nèi)部和數(shù)據(jù)中心與云之間的熱、溫、冷數(shù)據(jù)自動(dòng)分級(jí)，讓數(shù)據(jù)智能地流動(dòng)起來(lái)，且壓縮后的數(shù)據(jù)傳輸能夠讓數(shù)據(jù)流動(dòng)更高效，更省帶寬和空間資源;

第三，面向混合負(fù)載的設(shè)計(jì)，一方面實(shí)現(xiàn)了多數(shù)據(jù)訪問(wèn)協(xié)議無(wú)損互通，打破了文件、對(duì)象、大數(shù)據(jù)間的壁壘，讓一份數(shù)據(jù)免搬遷，且無(wú)性能和語(yǔ)義損耗，高效的數(shù)據(jù)訪問(wèn)加速了數(shù)據(jù)分析進(jìn)程;另一方面，一套系統(tǒng)滿足大、小文件高帶寬和高吞吐的領(lǐng)先設(shè)計(jì)，完美滿足了AI類海量數(shù)據(jù)分析與仿真業(yè)務(wù)對(duì)效率的苛刻訴求;

第四，強(qiáng)化數(shù)據(jù)韌性，推出端到端的跨域數(shù)據(jù)共享與流動(dòng)安全方案，增強(qiáng)超算互聯(lián)網(wǎng)數(shù)據(jù)的可靠性和安全性，保障業(yè)務(wù)的連續(xù)性;

第五，支持?jǐn)?shù)據(jù)可信流通，防止數(shù)據(jù)濫用和數(shù)據(jù)泄密，實(shí)現(xiàn)數(shù)據(jù)使用可追溯。

這一方案已廣泛投入實(shí)踐，華為分布式存儲(chǔ)與行業(yè)客戶聯(lián)合創(chuàng)新，率先將超算互聯(lián)網(wǎng)數(shù)據(jù)一體化方案理念應(yīng)用于山東省16地市超算互聯(lián)網(wǎng)的構(gòu)建，并取得了顯著成效。

邁入數(shù)據(jù)密集型范式的新階段，AI業(yè)務(wù)隨之高速增長(zhǎng)，數(shù)字成為了時(shí)代舞臺(tái)上當(dāng)之無(wú)愧的主角，數(shù)據(jù)存儲(chǔ)的角色也愈發(fā)關(guān)鍵。趙順存表示，華為OceanStor Pacific分布式存儲(chǔ)將持續(xù)打造貼合時(shí)代需求的數(shù)據(jù)存儲(chǔ)產(chǎn)品和解決方案，助力多樣化新興業(yè)務(wù)蓬勃發(fā)展，推動(dòng)我國(guó)算力和存力建設(shè)，為構(gòu)筑更堅(jiān)固的數(shù)字世界添磚加瓦。