INTEL x86服務(wù)器體系架構(gòu)（三）

雪瀑牽裳

IT 老棒槌

關(guān)注他

64 人贊同了該文章

關(guān)于知識(shí)體系。

2019年西方新年的伊始，本來(lái)是想先從Linux 內(nèi)核系列寫(xiě)起，按照內(nèi)核stack寫(xiě)一個(gè)從上至下的系列，當(dāng)寫(xiě)到最底層，就自然而然的操作系統(tǒng)進(jìn)入了Intel x86架構(gòu)?？墒莍ntel 寄存器、intel架構(gòu)的參考資料，以及學(xué)習(xí)筆記就在手邊，腦子里的相關(guān)的思路也比較清晰，所以就以X86服務(wù)器intel架構(gòu)開(kāi)篇吧，爽一下朋友圈里還玩技術(shù)的兄弟們。

不要問(wèn)我文章是不是原創(chuàng)了——肯定是原創(chuàng)。若不是原創(chuàng)也不好意思發(fā)出來(lái)，若不是原創(chuàng)也不好意思評(píng)論某些產(chǎn)品的優(yōu)缺點(diǎn)。

可是正是原創(chuàng)，所以在文檔中難免會(huì)存在錯(cuò)誤。

要知道，相關(guān)的這些內(nèi)容，我目前所在的某司是沒(méi)有這種系統(tǒng)培訓(xùn)的。所以，我也沒(méi)有捷徑從其他大神那里直接獲得正確的知識(shí)。我不得不靠一些工作中的關(guān)系以及平日積累的文檔，自己默默躲在角落里啃骨頭。知識(shí)體系的建立過(guò)程，就像下面的方法論一樣：

學(xué)->立->破->學(xué)->立->破->學(xué)->立……

當(dāng)螺旋式的輪回個(gè)三圈， 我想我也能成為一個(gè)偽大神了吧。

洗腦的方法論

不算太久以前，我曾從redhat的一篇文檔里看到了一個(gè)抽象化的troubleshooting方法論，這副圖很好：

上面這副圖，仿佛又將我?guī)У搅四贻p時(shí)在夕陽(yáng)下奔跑的時(shí)代。只因這副圖居然和我在HP曾參加過(guò)的troubleshooting soft skill的內(nèi)容是一樣一樣的。——原來(lái)各個(gè)IT巨頭所使用的基礎(chǔ)方法論，都是一樣的，多年未變。

最近，我又從intel的文檔里又看到了intel的診斷思路方法論，這個(gè)圖更好：

——其實(shí)intel這副圖和上面redhat的這副圖，本質(zhì)是一樣的。intel這幅圖更好的地方在于：明確了如果假設(shè)不成立的情況，我們的思維路徑。

這一部分的內(nèi)容，本想放到后面 intel skyX cpu 寄存器診斷里講。在這里先引用一下，首先是表明我是做苦逼售后出身。然后想說(shuō)，我的學(xué)習(xí)過(guò)程從過(guò)去到現(xiàn)在乃至到將來(lái)，按照上面的這兩幅思維導(dǎo)圖：

1、 自己看資料和琢磨相當(dāng)于“信息收集”。

2、 而目前所寫(xiě)下的技術(shù)文檔，相當(dāng)于“確定假設(shè)”、也就相當(dāng)于“立”。

我一直認(rèn)為：“假設(shè)”可能會(huì)錯(cuò)，但確立假設(shè)畢竟是認(rèn)知過(guò)程的里程碑，總比一直混沌迷糊腦中空空要強(qiáng)好多?！鐏喞锸慷嗟碌暮枚唷凹僭O(shè)”，從現(xiàn)在的高度來(lái)看都是錯(cuò)的，甚至是可笑的，但是總不能掩蓋這些“假設(shè)”在那個(gè)時(shí)代的里程碑意義。

3、 將來(lái)我肯定會(huì)發(fā)現(xiàn)里面存在的錯(cuò)誤；或是已走在前面的大神們，在看文檔的時(shí)候，能發(fā)現(xiàn)我的“假設(shè)”有錯(cuò)，請(qǐng)指出、并幫我破而再立，跪謝。就如同intel debug方法論中向上反饋的那個(gè)箭頭(if it is no, Formulate New hypothesis) 。

Intel 服務(wù)器Xeon cpu的歷史

一說(shuō)到某某的體系架構(gòu)，一般都是從Long long ago, 從祖墳當(dāng)年的那根草開(kāi)始。原因無(wú)外乎兩點(diǎn)，第一點(diǎn)，大家都喜歡聽(tīng)故事，一個(gè)枯燥的Topic多半要從講歷史故事開(kāi)始，才能多吸引一些人氣。否則，一開(kāi)始就開(kāi)始講枯燥無(wú)味的技術(shù)，說(shuō)到半截，寥寥幾個(gè)聽(tīng)眾卻都跑去看旁邊的鋼管舞，講的人多少有些尷尬。另一點(diǎn)，有時(shí)是為了給自己一些信心，裝作德高望重的樣子，字里行間暗示自己是個(gè)老不死，呃，老衲是你師傅的戰(zhàn)友……

可是摸著良心說(shuō)，我真的不能算和x86服務(wù)器很相熟。畢竟從前我是搞小機(jī)和存儲(chǔ)的。就借著之前的高度和相通的一些經(jīng)驗(yàn)來(lái)看待x86 intel架構(gòu)吧。

我曾經(jīng)聽(tīng)過(guò)司內(nèi)一些人講intel 的xeon cpu的發(fā)展，我覺(jué)得bra bra一通擺活，還不如下面這副圖來(lái)的痛快：

上圖所謂的 haswell，broadwell,skylake等等就是intel Xeon的cpu代號(hào)；

Grantley,Purley,whitley 是intel 平臺(tái)代號(hào)；

CPU代號(hào)，代表著某一代CPU；

平臺(tái)代號(hào)，代表搭配某一代CPU的主板chipset結(jié)構(gòu)；

主板Chipset結(jié)構(gòu)，以PCH的型號(hào)為主要代表;比如，Purley平臺(tái)的PCH是c620，外號(hào)Lewisburg；（Grantley 平臺(tái)的PCH是c610 外號(hào)Wellsburg）；

上圖后面的紅框，明顯畫(huà)的很糙，對(duì)，那是我后畫(huà)的。因?yàn)樗坪鮅ntel從14nm到10nm生產(chǎn)工藝升級(jí)的過(guò)程中，出現(xiàn)了很多故事，后面的路線圖也變來(lái)變?nèi)?。例如，網(wǎng)上某論壇有說(shuō)，從Intel skylake 14nm往后，intel 想直接推10nm，結(jié)果好像制程除了點(diǎn)問(wèn)題（“晶體管做太小確實(shí)會(huì)加重量子隧穿效應(yīng)導(dǎo)致漏電？”——網(wǎng)上的傳言不明覺(jué)厲）,所以臨時(shí)改了后面的路線圖。我根據(jù)各種信息補(bǔ)畫(huà)了后面的圖，補(bǔ)充的內(nèi)容究竟是對(duì)錯(cuò)，要看未來(lái)產(chǎn)品發(fā)展。

CPU的指標(biāo)里常說(shuō)的，具體某款cpu的型號(hào)，多少核，多少線程，多少M(fèi)hz，多少功率；各種平臺(tái)的指標(biāo)里還有CPU sock接口類型，多少針等等。這些指標(biāo)還是查表吧，我背不下來(lái)啊。

我接觸X86架構(gòu)的時(shí)間點(diǎn)，沾了點(diǎn)Grantley 尾巴，重點(diǎn)是在purley平臺(tái)，所以后面的內(nèi)容基本都是基于purley平臺(tái)+skylake CPU的范圍。偶爾出現(xiàn)一些Grantley平臺(tái)+haswell的內(nèi)容，也是為了和skylake做個(gè)對(duì)比。

啥叫PCH

PCH全稱為Platform Controller Hub。

不知從哪一代開(kāi)始，intel xeon CPU就將快速IO設(shè)備例如內(nèi)存控制器（IMC）和PCIE root port（IIO root port）等部件集成到了cpu內(nèi)部，intel稱為 cpu uncore modules；——也有人將以上內(nèi)容說(shuō)為：目前的intel cpu集成了北橋。

而一些慢速設(shè)備，例如sata磁盤接口，usb接口，主板集成網(wǎng)卡等io設(shè)備，一股腦的扔給了PCH上。PCH作為中控，直接連接這些慢速設(shè)備——所以也有人說(shuō)PCH就是傳統(tǒng)的南橋。（當(dāng)然PCH本質(zhì)上也可以認(rèn)為是多個(gè)PCIE Lanes，所以也可以有PCIE root port）。

打個(gè)比方，intel CPU就相當(dāng)于中央朝廷，PCH就相當(dāng)于安西都護(hù)府。

皇帝看著順眼的(速度快的IO)放在朝廷里（CPU uncore部分）任職；

皇帝看著不順眼的（速度慢的IO）就發(fā)配到安西都護(hù)府（PCH），由安西都護(hù)府負(fù)責(zé)，然后安西都護(hù)府定期給朝廷打個(gè)報(bào)告。而安西都護(hù)府和朝廷之間的溝通通道，就是DMI3——相當(dāng)于PCIE3x4 lanes（以后描述里，就把lanes這個(gè)詞省了吧，每次寫(xiě)都累）。

（當(dāng)然PCH安西都護(hù)府也并不是一直處于邊緣地位，要知道biosMe也是連接到PCH上的；BMC（ipmitool）是連接到PCH上的。）

以后若有時(shí)間，要將PCH的坑補(bǔ)上，畢竟是26個(gè)lanes。

PCIE

服務(wù)器資源三大類：CPU（注意這里是指core），Mem，IO。我個(gè)人認(rèn)為最復(fù)雜和最重要的（體驗(yàn)）是IO。說(shuō)起服務(wù)器的IO，肯定聊一聊服務(wù)器的PCIE。

如果我們從PCIE角度看，那么一臺(tái)服務(wù)器的PCIE從拓?fù)溥B接上又分成了兩類：

1、 CPU uncore module里連出來(lái)的，圈兒里有人稱為直通式PCIE；

2、 PCH 連出來(lái)的，圈里有人稱為非直通式PCIE、或叫繞路PCIE；

所以在相同的PCIE Gen、相同的PCIE lanes數(shù)的條件下，理論上說(shuō)，非直通式PCIE口有可能出現(xiàn)性能不如直通式PCIE的情況。

什么是PCIE lane？”車道”也。具體的說(shuō)明查百度吧。

另外，PCIE的長(zhǎng)相，自己查百度吧?！乙恢笔遣幌嘈砰L(zhǎng)相，因?yàn)槊髅髦荒芴峁㎝ lanes 卻做成N lanes的長(zhǎng)相，這種事兒好像也在市面上出現(xiàn)過(guò)的。

tips擴(kuò)展想象：所以，若某些客戶，片面的要求所有的PCIE槽位都配置快速的PCIE設(shè)備（例如GPU運(yùn)算卡），如果服務(wù)器設(shè)計(jì)不嚴(yán)，有沒(méi)有可能出現(xiàn)性能問(wèn)題？。。。。。。

另外關(guān)于PCIE標(biāo)準(zhǔn)協(xié)議的分層以及三大空間的詳細(xì)說(shuō)明，將放到后續(xù)的intel x86 寄存器診斷中講吧。

操作系統(tǒng)/BMC/BIOS如何確定某個(gè)PCIE的地址？使用俗稱的BDF或B/D/F來(lái)表明某個(gè)PCIE的地址。即： BUS,DEV,FUN。

——所謂的BDF，牽扯到三個(gè)方面：

1、 PCI協(xié)議定義

2、 CPU內(nèi)部bus結(jié)構(gòu)

3、 BIOS對(duì)bus的運(yùn)算編址，（目前看，在bios預(yù)先給root bus分配完CPUBUSNO以后， BIOS還是基于最左優(yōu)化的方式來(lái)分配下面的BUSNO的）。

后續(xù)的題目再展開(kāi)。

Intel X86最簡(jiǎn)單的邏輯圖

綜合以上說(shuō)明，一個(gè)最簡(jiǎn)單的intel x86 架構(gòu)如下：

上圖是網(wǎng)上某intel 消費(fèi)級(jí)平臺(tái)的架構(gòu)圖，將上面圖中的intel 100 chipset換成C620，差不多就是X86服務(wù)器了。

說(shuō)說(shuō)知識(shí)體系

我還記得早年在HP時(shí)，頭上有位老板Mr. Lv。他在review一位初級(jí)技術(shù)員工時(shí)曾問(wèn)過(guò)這樣的問(wèn)題：請(qǐng)問(wèn)你會(huì)通過(guò)什么樣的方法來(lái)提高專業(yè)技術(shù)知識(shí)能力？

員工答：我會(huì)每天看公司案例庫(kù)的案例，通過(guò)案例學(xué)習(xí)來(lái)提高自己的專業(yè)技術(shù)知識(shí)。

老板點(diǎn)評(píng)：你這個(gè)回答我不是太滿意。案例庫(kù)里的案例只是前人的經(jīng)驗(yàn)和一些技巧。如果只學(xué)習(xí)案例庫(kù)，那么你僅僅是成為了一個(gè)熟練工，知其然卻不知所以然。作為一個(gè)新人，你應(yīng)該盡快完成理論學(xué)習(xí)和培訓(xùn)資料的學(xué)習(xí)，盡快建立自己的知識(shí)體系，這樣才能有更高的發(fā)展。

（——啊啊，我發(fā)誓那個(gè)員工不是我，我當(dāng)時(shí)是在老板邊上打醬油的。）

體系，泛指一定范圍內(nèi)或同類的事物按照一定的秩序和內(nèi)部聯(lián)系組合而成的整體。知識(shí)體系往往分層表示，底層為共性的理論基礎(chǔ)，為“內(nèi)”，上層是實(shí)際的技術(shù)應(yīng)用技巧，為“外”。

1、所以在我淺薄的認(rèn)知里，理想的X86服務(wù)器制造公司的知識(shí)體系應(yīng)該是這樣的：

藍(lán)色區(qū)域，代表著Intel的架構(gòu)基礎(chǔ)。褐色區(qū)域，代表著某司的服務(wù)器產(chǎn)品的特征。

而實(shí)際的某司的知識(shí)體系卻是這樣的：

所以，曾經(jīng)出現(xiàn)一個(gè)怪現(xiàn)象：新入職的員工參加產(chǎn)品培訓(xùn)，十多個(gè)服務(wù)器型號(hào)，依次每天講一種型號(hào)。填鴨式的兩周，學(xué)員最后學(xué)的是又累又一團(tuán)漿糊。沒(méi)辦法，沒(méi)有基礎(chǔ)的新人，搞不清多個(gè)服務(wù)器型號(hào)之間的架構(gòu)共同點(diǎn)。當(dāng)然，沒(méi)有體系化的基礎(chǔ)知識(shí)，他們也沒(méi)有那個(gè)能力去歸納總結(jié)。

2、在我的認(rèn)知里，服務(wù)器的研發(fā)部門對(duì)服務(wù)部門的知識(shí)交接應(yīng)該是這樣的：

藍(lán)色的部分相當(dāng)于研發(fā)部門和服務(wù)部門之間的共同的平臺(tái)語(yǔ)言。褐色，代表著產(chǎn)品技術(shù)特征。

上面這副圖，如果左邊蛋換成“廠商”、右邊蛋換成“客戶”，兩個(gè)蛋底向下扎入的平臺(tái)“purley eds”換成 itil，那么這副新圖仿佛又帶我回到了年輕時(shí)代。

那時(shí)hp要求現(xiàn)場(chǎng)工程師必須要通過(guò)itil認(rèn)證。

而工程師覺(jué)得學(xué)這種虛頭八腦的方法論屁用沒(méi)有。

但后來(lái)有個(gè)老板說(shuō)過(guò)這么一句話：其實(shí)itil是it管理的理想化模型，國(guó)內(nèi)幾乎沒(méi)有公司能照搬實(shí)現(xiàn)。但是你們學(xué)習(xí)這門課的實(shí)際意義是，你們?cè)诤凸酒渌块T或者客戶溝通的時(shí)候，能夠在同一個(gè)理論平臺(tái)上，用同類的話術(shù)，來(lái)聊服務(wù)那些破事兒。

那我們?cè)俜祷氐疆?dāng)前這幅圖。兩個(gè)蛋蛋扎在同一個(gè)平臺(tái)知識(shí)體系的意義也就不言而喻了：雙方能用共同的、你懂我也懂得話術(shù)，來(lái)完成知識(shí)資料的交接。

當(dāng)服務(wù)器產(chǎn)品研發(fā)部門向服務(wù)部門傳遞產(chǎn)品知識(shí)的時(shí)候：

首先要將intel 的架構(gòu)與服務(wù)器的邏輯圖進(jìn)行一一對(duì)應(yīng)。

然后再將服務(wù)器的邏輯圖與服務(wù)器的物理圖進(jìn)行一一對(duì)應(yīng)。

然后再介紹該服務(wù)器產(chǎn)品的產(chǎn)品特點(diǎn)，再通過(guò)該產(chǎn)品所面向的客戶群體，再一次突出產(chǎn)品特點(diǎn)。

而實(shí)際的某司的知識(shí)交接卻是這樣的：

所以，講的人照本宣科，聽(tīng)的人例行公事。

客服部門心里想：你就講這點(diǎn)東西，誰(shuí)能聽(tīng)懂?。?/p>

研發(fā)部門心里想：給你講多了，你能懂么？

所以現(xiàn)實(shí)中不可避免的現(xiàn)象：最后在客戶那里，除了日志明確指向了某部件……呃，服務(wù)部門拉通研發(fā)部門的黃繼光是第一要?jiǎng)?wù)。

當(dāng)然費(fèi)心力的扎進(jìn)平臺(tái)知識(shí)體系，確實(shí)沒(méi)法用最傻白甜的管理指標(biāo)“投入產(chǎn)出比”來(lái)衡量。就如同我等草民又怎能用工時(shí)價(jià)值體系來(lái)衡理論物理科學(xué)家是否有投入產(chǎn)出比？

3、 個(gè)人的知識(shí)體系建立有兩條路：

左邊一條從上到下的綠色箭頭，即從外到內(nèi)，格物致知：

右邊一條從下到上的綠色箭頭，即從內(nèi)到外，知行合一；

究竟是格物致知還是知行合一？儒家斗了數(shù)百年也沒(méi)爭(zhēng)出個(gè)1，2，3來(lái)。

這里只是應(yīng)用取其一種說(shuō)法：

朱程理學(xué)推崇“格物致知”，其中的一種解釋：不斷琢磨外在的東西，最終獲得內(nèi)在的道理。

王陽(yáng)明心學(xué)推崇“知行合一”，其中的一種解釋：理在心中。先知理，再通過(guò)實(shí)踐驗(yàn)證理。

只想隱晦的說(shuō)，有一類公司只讓技術(shù)員工走格物致知這條路，但是卻不給員工提供后續(xù)的知識(shí)體系層次。所以最后技術(shù)員工一直在那里格物，格物，格物，格物，格物，格物……

——故意還是無(wú)意？

再舉個(gè)例子：

一家之主，

是讓孩子們稍有勞動(dòng)力就低頭在田里耕地？

還是讓孩子們先上個(gè)農(nóng)業(yè)大學(xué)再投身農(nóng)業(yè)？

——地主對(duì)佃戶選擇前者。而家長(zhǎng)對(duì)親生子女選擇后者。

難道古代人治的本質(zhì)就是愚民？

Skylake CPU內(nèi)部結(jié)構(gòu)

下篇進(jìn)入skyX CPU的內(nèi)部，詳細(xì)說(shuō)明這些部件。

Cores

CHA

IIO

IMC

UBOX

PCU

MSR

CSR

其實(shí)，我認(rèn)為CPU里最好玩的還是PCI BUS，關(guān)于這方面連intel都說(shuō)的云里霧里的，甚至intel文檔里都出現(xiàn)了閉著眼抄以前的文檔以致抄錯(cuò)的情況。

以上一二三篇，嘗試著寫(xiě)意，只因總有人說(shuō)技術(shù)的層次太low。

接下來(lái)的四五六篇，將會(huì)進(jìn)行枯燥的SKX CPU內(nèi)部一日游。

發(fā)布于 2019-03-25 17:10