分布式文件存儲方案 唐代詩人盧綸，有一首膾炙人口的《和張仆射塞下曲》，“月黑雁飛高，單于夜遁逃。欲將輕騎逐，大雪滿弓刀?！痹娭械目犊ぐ海瑹嵫肆?，千年來讓無數(shù)國人心魂激蕩。 時代變遷，歲月遷移，今天我們所期望聽到的熱血故事或許不在現(xiàn)實世界，而是在數(shù)字山野的輕騎追逐中，在核心科技的發(fā)展競賽里。 《數(shù)字中國建設(shè)整體布局規(guī)劃》中，明確提出了構(gòu)筑自立自強的數(shù)字技術(shù)創(chuàng)新體系，為關(guān)鍵核心技術(shù)突破發(fā)展指明了方向。在核心科技自立自強中，越來越多的“欲將輕騎逐，大雪滿弓刀”的故事正上演著。 5月24日，在德國漢堡舉辦的ISC 2023(國際超算大會)期間，更新了最新一期的IO500榜單，這是國際最權(quán)威的存儲性能排行榜。在IO500極為重要的10節(jié)點榜單中，華為OceanStor Pacific分布式存儲全面刷新了世界紀(jì)錄。尤其驚人的是，華為OceanStor Pacific的總得分超過了13萬分，是上屆冠軍得分的15倍之多。 在世界紀(jì)錄背后，在華為OceanStor Pacific分布式存儲霸榜背后，蘊藏著存儲鎮(zhèn)守數(shù)字經(jīng)濟大國重器的支柱意義，也蘊藏著中國存儲從跟隨走向領(lǐng)先的全球化趨勢。 一紙榜單背后，是一份對數(shù)字山河的守候，是一場輕騎絕塵的突圍。 數(shù)字時代，半壁江山 想要講清這個故事，首先需要了解一個背景：HPDA為什么重要?以及面向HPDA場景的分布式存儲為什么價值非凡? 首先HPDA是由HPC(High Performance Computing高性能計算)發(fā)展而來。HPC是一種數(shù)據(jù)分析的應(yīng)用場景。其通過聚合大量的計算和存儲單元對數(shù)據(jù)進(jìn)行分析，從而解決復(fù)雜問題。從基因測序到芯片制造，從油氣勘探到航空航天，再到我們生活中的天氣預(yù)報、影視特效渲染，都離不開HPC作為計算底座。 總之一句話，HPC是現(xiàn)代社會發(fā)展的計算基石。所以有人笑稱，《三體》里的外星人要想遏制人類科技，其實不用那么麻煩，不讓人類用HPC就行了。 隨著HPC性能與技術(shù)的不斷進(jìn)步，人類能夠在固定時間內(nèi)分析更多數(shù)據(jù),與之相伴的，我們也會保存更多數(shù)據(jù)給HPC場景，用來挖掘數(shù)據(jù)背后的價值。 隨著相關(guān)數(shù)據(jù)量的指數(shù)級增長，HPC領(lǐng)域逐漸認(rèn)識到提升數(shù)據(jù)分析能力、革新數(shù)據(jù)分析機制的重要性。將AI、大數(shù)據(jù)等技術(shù)分析手段與HPC結(jié)合，是更高效實現(xiàn)數(shù)據(jù)價值的新形式，即HPC、AI、大數(shù)據(jù)融合而成的 HPDA(High Performance Data Analytics)。 根據(jù)相關(guān)數(shù)據(jù)，2017 到 2023 年間，HPDA類應(yīng)用的年增長速度達(dá)到了15.4%，HPC-based AI 類應(yīng)用的年化增速更將達(dá)到 29.5%，遠(yuǎn)高于傳統(tǒng)HPC的7.8%。由于HPDA事關(guān)國計民生，與國家的科技創(chuàng)新能力、科技自立自強水平緊密相關(guān)，HPDA已在全球范圍內(nèi)被認(rèn)為是未來科技發(fā)展的戰(zhàn)略高地，被稱為占據(jù)數(shù)字時代的半壁江山。 一項技術(shù)的快速增長，往往會給配套設(shè)施帶來挑戰(zhàn)。HPDA的快速發(fā)展，就給存儲產(chǎn)業(yè)帶來了巨大的升級需求。隨著數(shù)據(jù)量從PB級向EB級演進(jìn)，存儲成本日益增高。高性能計算量的持續(xù)增加，以及大數(shù)據(jù)、AI能力的加入，又對海量數(shù)據(jù)(603138)的多次提取、流轉(zhuǎn)、讀寫、存儲能力提出了更高的要求。 因此面向HPDA的分布式存儲，正在承載越來越多的目光和聲量。有人認(rèn)為，誰掌握了HPDA存儲，誰就能掌握尖端科研的未來。