你只恍惚聽人說高性能計算小眾，你卻不知道前因后果

你只仿佛聽人說高性能計算很難，你卻不曾嘗試過并行

你只知道國內(nèi)高性能計算就業(yè)機會不算很多，你卻不知道國外早已如火如荼

你不知道自己的路怎么走，卻忘記該看看別人的路怎么走

告訴你高性能計算圈子小的人卻早已入圈

告訴你高性能計算很難的人也開始接觸并行優(yōu)化

國內(nèi)就業(yè)機會一年比一年好，薪資一年比一年高

國外的高中生都開始接觸并行編程

你卻每天被GPT愁壞了身體

如果你沒有能量，就靠近能量強的人，聽聽高性能計算從業(yè)15年+大佬的經(jīng)驗，看看OpenBLAS創(chuàng)始人對高性能計算前景的判斷

以下來自O(shè)penBLAS創(chuàng)始人演講原文，原視頻請看UP已發(fā)布的視頻

然后從我個人的角度，或者說從我個人理解來說，呃，我覺得高性能計算領(lǐng)域是一個長期可發(fā)展的領(lǐng)域，是非常值得作為一個長期的職業(yè)道路在，為什么呢。

一個呢是。這個領(lǐng)域其實是還挺難的，就是不是就是或者說他做往深了做，它實際上是可以往深做很多的東西。這也這個的好處是代表著呃，個人的經(jīng)驗是可累積的，然后你在這領(lǐng)域做了幾年，幾十年或者更長的時間的話，你你這部分的這個個人技術(shù)能力，個人經(jīng)驗的這價值提高度是很好，是可累積，這上是一個好的事情，因為大家想長期做一個行業(yè)的話，肯定是要它，要它有足夠的厚度，這樣的話你可能。

十年后你能做的事情肯定會要比那些嗯七入行的人要做的好的多，這就代表了你的價值嘛，這個可能是你的個人累積起動來。

第二個的話可能會大家考慮要考慮，要想的是就是。我的工作會不會有可能會被一些機器替代，比如說現(xiàn)在什么GPT（演講時間2022年6月，當時還沒有GPT，這里為方便大家理解添加的。張博很有預(yù)見性，提前一年遇見了AIGC的浪潮）很火對吧，比如說現(xiàn)在什么無代碼編程很火或者什么之類的這些事情，就是說呃，計算機輔助或者說AI輔助的這些的，或者其他這種輔助，這些事情必然會是一個的趨勢，它它很有可能會替代一些重復(fù)的勞動就是一些低技術(shù)門檻的勞動，而目前看到這個高層計算領(lǐng)域可能靠呃，這個。自動化完全替代，或者是所謂算法完全替代，AI完全替代的話，目前看可能性還是比較低的。因為這個領(lǐng)域的知識要求還比較廣，很難有一個，呃。就是非常智能的東西，把這個把我們?nèi)扛傻?，這個估計是比較困難，

所以說從這個兩個的角度來說，我覺得這是一個適合給這種對底層技術(shù)有愛好的長期從事的一個職業(yè)方向，這是我的這個的個人的觀點啦。

然后后面的話就是說，比如說舉一個具體例子，我一直覺得我們高性能計算去做什么，其實你可以就是在做底層framework，或者做這個框架的人來說，很多時候我們其實是在做這種硬件和應(yīng)用的橋梁。

比如說你可以想象成一邊是一個這種上層應(yīng)用，比如說深度神經(jīng)網(wǎng)絡(luò)，或者什么解方程，或者什么其他這些的應(yīng)用，呃，另外一邊呢，可能是面向了不同的硬件，可能有CPU，有GPU，有NPNPFPJ，或者國產(chǎn)的重核，或者說大規(guī)模的病毒計算機，或者超算等等，你直接把這個應(yīng)用放到這個硬件上，它很多時候是跑不起來的。

就很很多時候可能只有一些CPU可能能跑到，就舉一個簡單的例子，呃，大家可能都寫過排序算法，對吧，如如果說一個排序算法可能只是一個非常簡單的冒泡排序。我對這個數(shù)據(jù)量非常小的情況下，我的速度還很快，對吧，但是如果我數(shù)據(jù)量很大的時候。我的這部分的速度必然就會下降了，那我要怎么做呢？

有我一個選擇是我換更快的硬件，對吧，我我隨著我這個處理器的主頻提高，我的內(nèi)存訪問速度提高，我的軟件的這部分，你如果把這個想象成我的應(yīng)用調(diào)用了一個排序的一個的庫或框架來說。我的軟件不需要做更改，我只是隨著硬件的變化，我就能獲得一個比較高性能的，這個從應(yīng)用上來說，我就解決了這個排序的事情。

對吧，這個是理想的情況，這很多時候都是在這個，可能20幾年前，當時摩爾單核摩爾定律還生效的時候，很多時候是這么做的，因為我硬件每每18個月就會性能翻番吧，單核的性能翻番。

但是現(xiàn)在從零幾年以后看起來，你的硬件的單核性能，就是主頻速度其實是沒有變化，如果說你的代碼就是你的框架，或者說你的庫，不做針對性的，就是并行化也好，或者想更好的算法，或者用它的向量化，或者用易購也好。你其實是用不了這些硬件的性能的，因為這硬件所用的這些手段已經(jīng)不是局限局限在這個主頻了，主頻上已經(jīng)實際上是沒什么提升，它都是用了這種體架構(gòu)的狀態(tài)。

如果是以高性能計算，或者是以這種高性能計算機來說，高性能計算機的這個峰值性能。它是。每十年會提高1000倍。每十年提高一個1000倍，這其實是遠遠超過了摩爾定律的那個增長的倍數(shù)，所以它其實里邊實際上除了摩爾定律這種或者工藝制成變化，它其實里邊有很多的，呃，用了更大規(guī)模的機器，用了這種體系結(jié)構(gòu)的變化，在你每十年你的硬件提高1000倍的話，如果我的軟件沒有變化，我的軟件是。我的這一部分的應(yīng)用其實是沒辦法去跟上我硬件提升的步伐的，就是說雖然你硬件上提高了硬件背，但我軟件上發(fā)揮的效率很低，這上就是問題所在。

而高性能計算工程師。大部分時間就是要彌補這個差距，就是做這個framework和library的這部分的加速和優(yōu)化，能讓應(yīng)能讓上層的應(yīng)用能追趕上我的這個硬件提高的這一部分步伐，這個在之前的傳統(tǒng)的這些科學(xué)計算領(lǐng)域其實很多時候就做到了，比如典型的可能以稠密巨人計算為主，可能這些其實就很多都已經(jīng)做得很好了。

然后更具體來說，比如說對于現(xiàn)在比較火的這些AI，我可能又要提AI，其實這個報告舉了很多AI例子，就是說很多在這些時候，他可能遇到的任務(wù)，就可能就會和你的這個，呃，這個AI的相關(guān)，或者說這個部署相關(guān)。比如說我要。呃，部署一個DNN的模型去做推理，就是，呃，算法工程師可能已經(jīng)是在這個GPU的機群上，我已經(jīng)訓(xùn)練了一個模型，我現(xiàn)在要用這個模型，我要去做ER，我要用推理部手。那我們要怎么做？這邊其實對于這一部分的一個優(yōu)化的目標，實際上就是說在保證模型正確的前提上，我的速度越快越好，這上是你要想做的最終優(yōu)化目標，這為什么這樣一個呢？是意味著。

我嘗試可以用同樣的硬件來支持更多的負載。比如說你可能之前做呃，比如說你的這個推理可能呃每秒可能是呃十十。1000個吧，1000個圖像我隨便加駛，可能別人的話可能做到2000個，這樣的話我是不是就可以雇更少的機器，或者租用更少的云服務(wù)器來去達到類似的效果呢？是吧，這樣的話可以節(jié)省了硬件成本，然后另外一些說我達到類似的效果，我是不是可以不用GPU，對吧，我是不是可以只用CPU或者其他用一些其他的高性價比的硬件達到。類似的效果，或者是你這個經(jīng)濟賬能算得過來，因為在云廠商里邊，你你帶GPU的這個服務(wù)器和不帶GPU的這個服務(wù)器，它的這個價格還是差挺遠的，對吧，這實上，這實際上，這實際上是舉了一個服務(wù)器上的一個云端的做例子，在嵌入式端的話，做嵌入式的influence，其實也是類似，因為有芯片有很多種吧，有這種。

帶NPU的，不帶NPU的可能是便宜的貴的等等這些，其實很多人這個實際上就要求很多時候你就實要去開發(fā)或優(yōu)化一個高性能的一個，呃，AI的推理框架，這里邊你可以去自源，或者說基于開源的改，或者說是你可能直接開源的滿足需求，這個里邊，這里邊就會涉及到要做這種高性能的這種的算子實現(xiàn)，包括什么卷積的實現(xiàn)呀，石化的實現(xiàn)呀，然后可能還有很多這種心情算子實現(xiàn)，然后支持這種的算子的融合呀，圖優(yōu)化這些相關(guān)的技術(shù)啊，然后要支持多精度啊，就是比如說有些可能是可以跑FP16，或者跑INT8或者甚至INT4，如果是有硬件支持啥，然后還有一些對于這個異購加速器的支持。等等的很多這種方面都是你需要做的這部分的開發(fā)任務(wù)，這上是我舉的一個以AI為主的一個呃例子，如果說是在一個呃AI算法公司，這個對高清計算工程師的很多的需求，很多時候都會涉及到這些呃模型的部署上做的工作，而且這是你具體要做的事情。