如果你對(duì)未來的技術(shù)走向不確定,那你一定要看完
如何判斷高性能計(jì)算&并行計(jì)算、或者HPC+是否有好的就業(yè)前景?是否值得進(jìn)入?
回答之前我們先看一個(gè)有意思的評(píng)分標(biāo)準(zhǔn),評(píng)價(jià)一項(xiàng)技術(shù)是否是顛覆性機(jī)會(huì)。
如果新技術(shù)的效率比過去快10倍,得1分;
如果效果好10倍,得1分;
如果成本低10倍,得1分;
如果方便10倍,得1分。
那么,得滿四分的新技術(shù),一定是顛覆性的機(jī)會(huì)。你認(rèn)同嗎?
比如復(fù)印機(jī)的出現(xiàn),對(duì)比原來靠人抄寫,快了不止10倍,成本也低10倍,而且印刷出來一模一樣,比抄寫效果好10倍,也方便10倍。這是徹底的顛覆。
比如智能手機(jī)、比如5G網(wǎng)絡(luò)、等等等等
所以,又快又好成本又低還方便的技術(shù),一定有很大潛力。所以我們看待HPC也是如此,先去打個(gè)顛覆分,也許就知道它的未來潛力了。
想象一下,新藥的研制時(shí)間從數(shù)年縮短至數(shù)天;
天氣預(yù)報(bào)的時(shí)間從幾百個(gè)小時(shí)縮短至幾小時(shí);
石油勘探的時(shí)間從數(shù)年縮短至數(shù)天;
AI大模型搭建耗費(fèi)的成本減少至原來的數(shù)十倍,但性能好幾十倍;
你很難說,高性能計(jì)算(HPC)不是一個(gè)顛覆性的機(jī)會(huì)。
因?yàn)檫@些都離不開算力,離不開高性能計(jì)算(HPC)及相關(guān)算法。
再來看就業(yè)前景,既然是前景,那一定和現(xiàn)在的環(huán)境有所差異。
有人在2013年問學(xué)AI是否有前途,那會(huì)AI的確被認(rèn)為是忽悠。很多人都說“誰學(xué)AI誰傻,就業(yè)差,機(jī)會(huì)少,不如去做前后端”
所以,今天你問高性能計(jì)算是否有前途,自然也少不了反對(duì)的聲音。
但事物是運(yùn)動(dòng)、發(fā)展、變化的。真正有智慧的人總能先人一步。
自我們從去年6月份開始做高性能計(jì)算培訓(xùn)起,一路上見證了許多有先見的技術(shù)人。他們大多學(xué)歷很高、很優(yōu)秀,他們有HPC領(lǐng)域的創(chuàng)業(yè)者、AI等行業(yè)開發(fā)人員、人工智能在校碩博等等


在此,我們借助此文,希望盡可能全面的為你展現(xiàn)高性能計(jì)算的前世、今生,幫助你更加看清它的未來和前景。
回顧歷史,高性能計(jì)算作為一個(gè)強(qiáng)大的計(jì)算工具,與科學(xué)研究的發(fā)展密不可分。一方面,科學(xué)研究對(duì)計(jì)算能力永無止境的需求促進(jìn)了高性能計(jì)算技術(shù)向前發(fā)展;另一方面,高性能計(jì)算技術(shù)的每一次巨大進(jìn)步都為科學(xué)研究提供了全新的手段。
高性能計(jì)算作為計(jì)算機(jī)科學(xué)的一個(gè)分支,致力于開發(fā)高性能計(jì)算機(jī)和運(yùn)行在高性能計(jì)算機(jī)上的應(yīng)用軟件。
第二次世界大戰(zhàn)時(shí)期,靠人力計(jì)算火炮的彈道非常困難,戰(zhàn)爭(zhēng)對(duì)計(jì)算能力的需要促進(jìn)了第一臺(tái)電子計(jì)算機(jī)的誕生。
早期的高性能計(jì)算機(jī)主要應(yīng)用于解決軍事領(lǐng)域的計(jì)算問題,如美國(guó)在1960年代使用CDC超級(jí)計(jì)算機(jī)進(jìn)行彈道計(jì)算、火箭設(shè)計(jì)等工作。20世紀(jì)90年代中期以后,隨著機(jī)群技術(shù)構(gòu)建的高性能計(jì)算機(jī)的普及,高性能計(jì)算的成本和編程的復(fù)雜度大幅度下降,為高性能計(jì)算的廣泛使用創(chuàng)造了條件?,F(xiàn)在高性能計(jì)算已經(jīng)滲透到各個(gè)學(xué)科領(lǐng)域,不僅在氣候模擬、石油勘探、天體物理這些傳統(tǒng)應(yīng)用領(lǐng)域保持強(qiáng)勁的生命力,在生命科學(xué)、人工智能、大數(shù)據(jù)處理這些新興領(lǐng)域也有廣泛的應(yīng)用。
高性能計(jì)算發(fā)展大約經(jīng)歷了3個(gè)浪潮:
第一個(gè)浪潮:HPC和科學(xué)計(jì)算
伯克利提出了13個(gè)小矮人的并行模式
以MPI、OpenMP、高性能算子庫(kù)為代表基礎(chǔ)軟件
大量行業(yè)的HPC應(yīng)用和科學(xué)計(jì)算,如氣象、材料等等。
第二個(gè)浪潮:云計(jì)算和大數(shù)據(jù)
Google提出三架馬車開始,在大規(guī)模資源調(diào)度、大規(guī)模數(shù)據(jù)ETL和處理、大規(guī)模數(shù)據(jù)分析、大規(guī)模圖計(jì)算方面迅速發(fā)展,出現(xiàn)Spark/Hadoop/Flink/K8s等為代表的基礎(chǔ)軟件。
應(yīng)用主要聚焦以數(shù)據(jù)處理和分析為主的企業(yè)計(jì)算
第三個(gè)浪潮:AI大模型
深度學(xué)習(xí)出現(xiàn)后,出現(xiàn)張量計(jì)算,重點(diǎn)是大規(guī)模的張量計(jì)算和數(shù)據(jù)擬合,也出現(xiàn)大量的AI框架,應(yīng)用聚焦于ML領(lǐng)域。
AI對(duì)算力的需求潛力已毋庸置疑,尤其是AI大模型的亮相,更印證了AI離不開HPC的計(jì)算能力。未來如果AI能夠接近甚至達(dá)到人的智能水平,肯定會(huì)對(duì)計(jì)算能力、存儲(chǔ)能力等的需求非常高。
同時(shí)高性能計(jì)算也將不再簡(jiǎn)單比拼“肌肉”,如只追求規(guī)模和性能。
更加智慧的高性能計(jì)算系統(tǒng)將成為主流。國(guó)家超級(jí)計(jì)算廣州中心主任盧宇彤甚至預(yù)言,“到2030年,所有高端計(jì)算設(shè)備將自帶AI支持功能,高性能計(jì)算仿真將利用AI平臺(tái)提高性能,AI也將重塑計(jì)算仿真?!?br>
除此之外,以上三個(gè)浪潮中涌現(xiàn)的產(chǎn)業(yè)均是非停滯不前,而是長(zhǎng)期共存且快速發(fā)展的態(tài)勢(shì)。而且你需要看到
現(xiàn)如今高性能計(jì)算現(xiàn)已廣泛用于:尋找全新的藥物化合物并測(cè)試已知藥物組合,從而更好地治療不同種類的癌癥和其他疾病;模擬分子動(dòng)力學(xué)以開發(fā)新材料,如防彈纖維織物;提前預(yù)測(cè)重大天氣變化,如地震預(yù)測(cè),使受影響的地區(qū)做好準(zhǔn)備。
如果你認(rèn)可上述邏輯,那么堅(jiān)持下去,多學(xué)習(xí)高性能計(jì)算并行算法、并行優(yōu)化、分布式計(jì)算機(jī)分布式系統(tǒng)等,你一定會(huì)看到屬于你自己的春天。
可能還會(huì)有網(wǎng)友問,既然勢(shì)頭這么好,那高性能計(jì)算開發(fā)會(huì)不會(huì)有一天變得跟其他開發(fā)一樣卷且易被替代?
回答之前,大家需要了解一個(gè)事實(shí)。
高性能計(jì)算是有一定的門檻的,雖然門檻未來有可能降低,但絕不會(huì)低到爛大街的程度。
如果你很難理解計(jì)算機(jī)的并行思維,或者連計(jì)算機(jī)體系結(jié)構(gòu)學(xué)起來都很吃力,如果你連基本的高數(shù)都無法理解的話,那大概率你不適合做高性能計(jì)算。
此外,高性能計(jì)算開發(fā)不僅要求專精,也要求更寬的知識(shí)面/以及工程項(xiàng)目經(jīng)驗(yàn)。這一行,我們稱之為具備科學(xué)家思維的工程師。
因此,有可能會(huì)卷,但不容易被替代。
也許將來有一天,我們將看到這樣的段子。
倆程序員掐架不再說“show me your code(給我看你的代碼)",而是說”show me your Speed of code(給我看你代碼的速度)“
一起見證那一天。
超算&高性能計(jì)算學(xué)習(xí)
目前CPU并行計(jì)算、GPU并行計(jì)算均已上架我們的交互式、實(shí)踐學(xué)習(xí)系統(tǒng),持續(xù)開放報(bào)名中,超算運(yùn)維課程、GPU綜合項(xiàng)目課程敬請(qǐng)期待。小鵝通同步發(fā)S。歡迎一同邁進(jìn)算力時(shí)代。