手機(jī)站首頁散文詩歌雜文隨筆日記小小說

散文網(wǎng) » 科技 »學(xué)習(xí) » 十年開發(fā)大佬總結(jié)學(xué)習(xí)Linux內(nèi)核經(jīng)驗（含學(xué)習(xí)路線、與資料~）

十年開發(fā)大佬總結(jié)學(xué)習(xí)Linux內(nèi)核經(jīng)驗（含學(xué)習(xí)路線、與資料~）

2022-06-28 19:57 作者:補(bǔ)給站Linux內(nèi)核 0人讀過 | 我要投稿

開篇

學(xué)習(xí)內(nèi)核，每個人都有自己的學(xué)習(xí)方法，仁者見仁智者見智。以下是我在學(xué)習(xí)過程中總結(jié)出來的東西，對自身來說，我認(rèn)為比較有效率，拿出來跟大家交流一下。
內(nèi)核學(xué)習(xí)，一偏之見；疏漏難免，懇請指正。

為什么寫這篇博客

剛開始學(xué)內(nèi)核的時候，不要執(zhí)著于一個方面，不要專注于一個子系統(tǒng)就一頭扎到實際的代碼行中去，因為這樣的話，牽涉的面會很廣，會碰到很多困難，容易產(chǎn)生挫敗感，一個函數(shù)體中（假設(shè)剛開始的時候正在學(xué)習(xí)某個方面的某個具體的功能函數(shù)）很可能摻雜著其他各個子系統(tǒng)方面設(shè)計理念（多是大量相關(guān)的數(shù)據(jù)結(jié)構(gòu)或者全局變量，用于支撐該子系統(tǒng)的管理工作）下相應(yīng)的代碼實現(xiàn)，這個時候看到這些東西，紛繁蕪雜，是沒有頭緒而且很不理解的，會產(chǎn)生很多很多的疑問，（這個時候如果對這些疑問糾纏不清，刨根問底，那么事實上就是在學(xué)習(xí)當(dāng)前子系統(tǒng)的過程中頻繁的去涉足其他子系統(tǒng)，這時候注意力就分散了），而事實上等了解了各個子系統(tǒng)后再回頭看這些東西的話，就簡單多了，而且思路也會比較清晰。所以，要避免 “只見樹木，不見森林”，不要急于深入到底層代碼中去，不要過早研究底層代碼。
我在大二的時候剛開始接觸內(nèi)核，就犯了這個錯誤，一頭扎到內(nèi)存管理里頭，去看非常底層的實現(xiàn)代碼，雖然也是建立在內(nèi)存管理的設(shè)計思想的基礎(chǔ)上，但是相對來說，比較孤立，因為此時并沒有學(xué)習(xí)其它子系統(tǒng)，應(yīng)該說無論是視野還是思想，都比較狹隘，所以代碼中牽涉到的其它子系統(tǒng)的實現(xiàn)我都直接跳過了，這一點還算聰明，當(dāng)然也是迫不得已的。

我的學(xué)習(xí)方法

剛開始，我認(rèn)為主要的問題在于你知道不知道，而不是理解不理解，某個子系統(tǒng)的實現(xiàn)采用了某種策略、方法，而你在學(xué)習(xí)中需要做的就是知道有這么一回事兒，然后才是理解所描述的策略或者方法。
根據(jù)自己的學(xué)習(xí)經(jīng)驗，剛開始學(xué)習(xí)內(nèi)核的時候，我認(rèn)為要做的是在自己的腦海中建立起內(nèi)核的大體框架，理解各個子系統(tǒng)的設(shè)計理念和構(gòu)建思想，這些理念和思想會從宏觀上呈獻(xiàn)給你清晰的脈絡(luò)，就像一個去除了枝枝葉葉的大樹的主干，一目了然；當(dāng)然，肯定還會涉及到具體的實現(xiàn)方法、函數(shù)，但是此時接觸到的函數(shù)或者方法位于內(nèi)核實現(xiàn)的較高的層次，是主（要）函數(shù)，已經(jīng)了解到這些函數(shù)，針對的是哪些設(shè)計思想，實現(xiàn)了什么樣的功能，達(dá)成了什么樣的目的，混個臉熟的說法在這兒也是成立的。至于該主函數(shù)所調(diào)用的其它的輔助性函數(shù)就等同于枝枝葉葉了，不必太早就去深究。此時，也就初步建立起了內(nèi)核子系統(tǒng)框架和代碼實現(xiàn)之間的關(guān)聯(lián)，關(guān)聯(lián)其實很簡單，比如一看到某個函數(shù)名字，就想起這個函數(shù)是針對哪個子系統(tǒng)的，實現(xiàn)了什么功能。
我認(rèn)為此時要看的就是LKD3，這本書算是泛泛而談，主要就是從概念，設(shè)計，大的實現(xiàn)方法上描述各個子系統(tǒng)，而對于具體的相關(guān)的函數(shù)實現(xiàn)的代碼講解很少涉及(對比于ULK3，此書主要就是關(guān)于具體函數(shù)代碼的具體實現(xiàn)的深入分析，當(dāng)然，你也可以看，但是過早看這本書，會感覺很痛苦，很枯燥無味，基本上都是函數(shù)的實現(xiàn))，很少，但不是沒有，這就很好，滿足我們當(dāng)前的需求，還避免我們過早深入到實際的代碼中去。而且本書在一些重要的點上還給出了寫程序時的注意事項，算是指導(dǎo)性建議。主要的子系統(tǒng)包括：內(nèi)存管理，進(jìn)程管理和調(diào)度，系統(tǒng)調(diào)用，中斷和異常，內(nèi)核同步，時間和定時器管理，虛擬文件系統(tǒng)，塊I/O層，設(shè)備和模塊。（這里的先后順序其實就是LKD3的目錄的順序）。
我學(xué)習(xí)的時候是三本書交叉著看的，先看LKD3，專于一個子系統(tǒng)，主要就是了解設(shè)計的原理和思想，當(dāng)然也會碰到對一些主要函數(shù)的介紹，但大多就是該函數(shù)基于前面介紹的思想和原理完成了什么樣的功能，該書并沒有就函數(shù)本身的實現(xiàn)進(jìn)行深入剖析。然后再看ULK3和PLKA上看同樣的子系統(tǒng)，但是并不仔細(xì)分析底層具體函數(shù)的代碼，只是粗略地、不求甚解地看，甚至不看。因為，有些時候，在其中一本書的某個點上，卡殼了，不是很理解了，在另外的書上你可能就碰到對同一個問題的不同角度的描述，說不準(zhǔn)哪句話就能讓你豁然開朗，如醍醐灌頂。我經(jīng)常碰到這種情況。

并不是說學(xué)習(xí)過程中對一些函數(shù)體的實現(xiàn)完全就忽略掉，只要自己想徹底了解其代碼實現(xiàn)，沒有誰會阻止你。我是在反復(fù)閱讀過程中慢慢深入的。比如VFS中文件打開需要對路徑進(jìn)行分析，需要考慮的細(xì)節(jié)不少(.././之類的)，但是其代碼實現(xiàn)是很好理解的。再比如，CFS調(diào)度中根據(jù)shedule latency、隊列中進(jìn)程個數(shù)及其nice值(使用的是動態(tài)優(yōu)先級)計算出分配給進(jìn)程的時間片，沒理由不看的，這個太重要了，而且也很有意思。
ULK3也會有設(shè)計原理與思想之類的概括性介紹，基本上都位于某個主題的開篇段落。但是更多的是對支持該原理和思想的主要函數(shù)實現(xiàn)的具體分析，同樣在首段，一句話綜述函數(shù)的功能，然后對函數(shù)的實現(xiàn)以1、2、3，或者a、b、c步驟的形式進(jìn)行講解。我只是有選擇性的看，有時候?qū)φ罩胹ource insight打開的源碼，確認(rèn)一下代碼大體上確實是按書中所描述的步驟實現(xiàn)的，就當(dāng)是增加感性認(rèn)識。由于步驟中摻雜著各種針對不同實現(xiàn)目的安全性、有效性檢查，如果不理解就先跳過。這并不妨礙你對函數(shù)體功能實現(xiàn)的整體把握。
PLKA介于LKD3和ULK3之間。我覺得PLKA的作者（看照片，真一德國帥小伙，技術(shù)如此了得）肯定看過ULK，無論他的本意還是有意，總之PLKA還是跟ULK有所不同，對函數(shù)的仔細(xì)講解都做補(bǔ)充說明，去掉函數(shù)體中邊邊角角的情況，比如一些特殊情況的處理，有效性檢查等，而不妨礙對整個函數(shù)體功能的理解，這些他都有所交代，做了聲明；而且，就像LKD3一樣，在某些點上也給出了指導(dǎo)性編程建議。作者們甚至對同一個主要函數(shù)的講解的著重點都不一樣。這樣的話，對我們學(xué)習(xí)的人而言，有助于加深理解。另外，我認(rèn)為很重要的一點就是PLKA針對的2.6.24的內(nèi)核版本，而ULK是2.6.11，LKD3是2.6.34。在某些方面PLKA比較接近現(xiàn)代的實現(xiàn)。其實作者們之所以分別選擇11或者24，都是因為在版本發(fā)行樹中，這兩個版本在某些方面都做了不小的變動，或者說是具有標(biāo)志性的轉(zhuǎn)折點（這些信息大多是在書中的引言部分介紹的，具體的細(xì)節(jié)我想不起來了）。
Intel V3，針對X86的CPU，本書自然是系統(tǒng)編程的權(quán)威。內(nèi)核部分實現(xiàn)都可以在本書找到其根源。所以，在讀以上三本書某個子系統(tǒng)的時候，不要忘記可以在V3中相應(yīng)章節(jié)找到一些基礎(chǔ)性支撐信息。

文末有學(xué)習(xí)路線參考！

【文章福利】小編推薦自己的Linux內(nèi)核技術(shù)交流群:【891587639】整理了一些個人覺得比較好的學(xué)習(xí)書籍、視頻資料共享在群文件里面，有需要的可以自行添加哦?。。。ê曨l教程、電子書、實戰(zhàn)項目及代碼)? ? ?

在讀書過程中，會產(chǎn)生相當(dāng)多的疑問，這一點是確信無疑的。大到搞不明白一個設(shè)計思想，小到不理解某行代碼的用途。各個方面，各種疑問，你完全可以把不理解的地方都記錄下來(不過，我并沒有這么做，沒有把疑問全部記下來，只標(biāo)記了很少一部分我認(rèn)為很關(guān)鍵的幾個問題)，專門寫到一張紙上，不對，一個本上，我確信會產(chǎn)生這么多的疑問，不然內(nèi)核相關(guān)的論壇早就可以關(guān)閉了。其實，大部分的問題（其中很多問題都是你知道不知道有這么一回事的問題）都可以迎刃而解，只要你肯回頭再看，書讀百遍，其義自現(xiàn)。多看幾遍，前前后后的聯(lián)系明白個七七八八是沒有問題的。我也這么做了，針對某些子系統(tǒng)也看了好幾遍，切身體會。
當(dāng)你按順序?qū)W習(xí)這些子系統(tǒng)的時候，前面的章節(jié)很可能會引用后面的章節(jié)，就像PLKA的作者說的那樣，完全沒有向后引用是不可能的，他能做的只是盡量減少這種引用而又不損害你對當(dāng)前問題的理解。不理解，沒關(guān)系，跳過就行了。后面的章節(jié)同樣會有向前章節(jié)的引用，不過這個問題就簡單一些了，你可以再回頭去看相應(yīng)的介紹，當(dāng)時你不太理解的東西，很可能這個時候就知道了它的設(shè)計的目的以及具體的應(yīng)用。不求甚解只是暫時的。比如說，內(nèi)核各個子系統(tǒng)之間的交互和引用在代碼中的體現(xiàn)就是實現(xiàn)函數(shù)穿插調(diào)用，比如你在內(nèi)存管理章節(jié)學(xué)習(xí)了的內(nèi)存分配和釋放的函數(shù)，而你是了解內(nèi)存在先的，在學(xué)習(xí)驅(qū)動或者模塊的時候就會碰到這些函數(shù)的調(diào)用，這樣也就比較容易接受，不至于太過茫然；再比如，你了解了系統(tǒng)時間和定時器的管理，再回頭看中斷和異常中bottom half的調(diào)度實現(xiàn)，你對它的理解就會加深一層。
子系統(tǒng)進(jìn)行管理工作需要大量的數(shù)據(jù)結(jié)構(gòu)。子系統(tǒng)之間交互的一種方式就是各個子系統(tǒng)各自的主要數(shù)據(jù)結(jié)構(gòu)通過指針成員相互引用。學(xué)習(xí)過程中，參考書上在講解某個子系統(tǒng)的時候會對數(shù)據(jù)結(jié)構(gòu)中主要成員的用途解釋一下，但肯定不會覆蓋全部（成員比較多的情況，例如task_struct），對其它子系統(tǒng)基于某個功能實現(xiàn)的引用可能解釋了，也可能沒做解釋，還可能說這個變量在何處會做進(jìn)一步說明。所以，不要糾結(jié)于一個不理解的點上，暫且放過，回頭還可以看的。之間的聯(lián)系可以在對各個子系統(tǒng)都有所了解之后再建立起來。其實，我仍然在強(qiáng)調(diào)先理解概念和框架的重要性。
等我們完成了建立框架這一步，就可以選擇一個比較感興趣的子系統(tǒng)，比如驅(qū)動、網(wǎng)絡(luò)，或者文件系統(tǒng)之類的。這個時候你再去深入了解底層代碼實現(xiàn)，相較于一開始就鉆研代碼，更容易一些，而且碰到了不解之處，或者忘記了某個方面的實現(xiàn)，此時你完全可以找到相應(yīng)的子系統(tǒng)，因為你知道在哪去找，查漏補(bǔ)缺，不僅完成了對當(dāng)前函數(shù)的鉆研，而且可以回顧、溫習(xí)以前的內(nèi)容，融會貫通的時機(jī)就在這里了。
《深入理解linux虛擬內(nèi)存》(2.4內(nèi)核版本)，LDD3，《深入理解linux網(wǎng)絡(luò)技術(shù)內(nèi)幕》，幾乎每一個子系統(tǒng)都需要一本書的容量去講解，所以說，剛開始學(xué)習(xí)不宜對某個模塊太過深入，等對各個子系統(tǒng)都有所了解了，再有針對性的去學(xué)習(xí)一個特定的子系統(tǒng)。這時候?qū)ζ渌到y(tǒng)的援引都可以讓我們不再感到茫然、復(fù)雜，不知所云。
比如，LDD3中的以下所列章節(jié)：構(gòu)造和運行模塊，并發(fā)和競態(tài)，時間、延遲及延緩操作,分配內(nèi)存，中斷處理等，都屬于驅(qū)動開發(fā)的支撐性子系統(tǒng)，雖說本書對這些子系統(tǒng)都專門開辟一個章節(jié)進(jìn)行講解，但是詳細(xì)程度怎么能比得上PLKA，ULK3，LKD3這三本書，看完這三本書，你會發(fā)現(xiàn)讀LDD3這些章節(jié)的時候簡直跟喝白開水一樣，太隨意了，因為LDD3的講解比之LKD3更粗略。打好了基礎(chǔ)，PCI、USB、TTY驅(qū)動，塊設(shè)備驅(qū)動，網(wǎng)卡驅(qū)動，需要了解和學(xué)習(xí)的東西就比較有針對性了。這些子系統(tǒng)就屬于通用子系統(tǒng)，了解之后，基于這些子系統(tǒng)的子系統(tǒng)的開發(fā)---驅(qū)動(需進(jìn)一步針對硬件特性)和網(wǎng)絡(luò)(需進(jìn)一步理解各種協(xié)議)---相對而言，其學(xué)習(xí)難度大大降低，學(xué)習(xí)進(jìn)度大大加快，學(xué)習(xí)效率大大提升。說著容易做來難。達(dá)到這樣一種效果的前提就是：必須得靜下心來，認(rèn)真讀書，要看得進(jìn)去，PLKA，ULK3厚得都跟磚頭塊兒一樣，令人望之生畏，如果沒有興趣，沒有熱情，沒有毅力，無論如何都是不行，因為需要時間，需要很長時間。我并不是說必須打好了基礎(chǔ)才可以進(jìn)行驅(qū)動開發(fā)，只是說打好了基礎(chǔ)的情況下進(jìn)行開發(fā)會更輕松，更有效率，而且自己對內(nèi)核代碼的駕馭能力會更強(qiáng)大。這只是我個人見解，我自己的學(xué)習(xí)方式，僅供參考。

語言

PLKA是個德國人用德語寫的，后來翻譯成英文，又從英文翻譯成中文，我在網(wǎng)上書店里沒有找到它的紙質(zhì)英文版，所以就買了中文版的。ULK3和LKD3都是英文版的。大牛們寫的書，遣詞造句真的是簡潔，易懂，看原版對我們學(xué)習(xí)計算機(jī)編程的程序員來說完全不成問題，最好原汁原味。如果一本書確實翻譯地很好，我們當(dāng)然可以看中文版的，用母語進(jìn)行學(xué)習(xí)，理解速度和學(xué)習(xí)進(jìn)度當(dāng)然是很快的，不作他想?？从⑽牡臅r候不要腦子里想著把他翻譯成中文，沒必要。

API感想

“比起知道你所用技術(shù)的重要性，成為某一個特別領(lǐng)域的專家是不重要的。知道某一個具體API調(diào)用一點好處都沒有，當(dāng)你需要他的時候只要查詢下就好了?！边@句話源于我看到的一篇翻譯過來的博客。我想強(qiáng)調(diào)的就是，這句話針應(yīng)用型編程再合適不過，但是內(nèi)核API就不完全如此。
內(nèi)核相當(dāng)復(fù)雜，學(xué)習(xí)起來很不容易，但是當(dāng)你學(xué)習(xí)到一定程度，你會發(fā)現(xiàn)，如果自己打算寫內(nèi)核代碼，到最后要關(guān)注的仍然是API接口，只不過這些API絕大部分是跨平臺的，滿足可移植性。內(nèi)核黑客基本上已經(jīng)標(biāo)準(zhǔn)化、文檔化了這些接口，你所要做的只是調(diào)用而已。當(dāng)然，在使用的時候，最好對可移植性這一話題在內(nèi)核中的編碼約定爛熟于心，這樣才會寫出可移植性的代碼。就像應(yīng)用程序一樣，可以使用開發(fā)商提供的動態(tài)庫API，或者使用開源API。同樣是調(diào)用API，不同點在于使用內(nèi)核API要比使用應(yīng)用API了解的東西要多出許多。
當(dāng)你了解了操作系統(tǒng)的實現(xiàn)---這些實現(xiàn)可都是對應(yīng)用程序的基礎(chǔ)性支撐啊---你再去寫應(yīng)用程序的時候，應(yīng)用程序中用到的多線程，定時器，同步鎖機(jī)制等等等等，使用共享庫API的時候，聯(lián)系到操作系統(tǒng)，從而把對該API的文檔描述同自己所了解到的這些方面在內(nèi)核中的相應(yīng)支撐性實現(xiàn)結(jié)合起來進(jìn)行考慮，這會指導(dǎo)你選擇使用哪一個API接口，選出效率最高的實現(xiàn)方式。對系統(tǒng)編程頗有了解的話，對應(yīng)用編程不無益處，甚至可以說是大有好處。

設(shè)計實現(xiàn)的本質(zhì)，知道還是理解

操作系統(tǒng)是介于底層硬件和應(yīng)用軟件之間的接口，其各個子系統(tǒng)的實現(xiàn)很大程度上依賴于硬件特性。書上介紹這些子系統(tǒng)的設(shè)計和實現(xiàn)的時候，我們讀過了，也就知道了，如果再深入考慮一下，為什么整體架構(gòu)要按照這種方式組織，為什么局部函數(shù)要遵循這樣的步驟處理，知其然，知其所以然，如果你知道了某個功能的實現(xiàn)是因為芯片就是這么設(shè)計的，CPU就是這么做的，那么你的疑問也就基本上到此為止了。再深究，就是芯片架構(gòu)方面的設(shè)計與實現(xiàn)，對于程序員來講，無論是系統(tǒng)還是應(yīng)用程序員，足跡探究到這里，已經(jīng)解決了很多疑問，因為我們的工作性質(zhì)偏軟，而這些東西實在是夠硬。
比如，ULK3中講解的中斷和異常的實現(xiàn)，究其根源，那是因為Intel x86系列就是這么設(shè)計的，去看看Intel V3手冊中相應(yīng)章節(jié)介紹，都可以為ULK3中描述的代碼實現(xiàn)方式找到注解。還有時間和定時器管理，同樣可以在Intel V3 對APIC的介紹中獲取足夠的信息，操作系統(tǒng)就是依據(jù)這些硬件特性來實現(xiàn)軟件方法定義的。
又是那句話，不是理解不理解的問題，而是知道不知道的問題。有時候，知道了，就理解了。在整個學(xué)習(xí)過程中，知道，理解，知道，理解，知道……，交叉反復(fù)。為什么開始和結(jié)尾都是知道，而理解只是中間步驟呢？世界上萬事萬物自有其規(guī)律，人類只是發(fā)現(xiàn)而已，實踐是第一位的，實踐就是知道的過程，實踐產(chǎn)生經(jīng)驗，經(jīng)驗的總結(jié)就是理論，理論源于實踐，理論才需要理解。我們學(xué)習(xí)內(nèi)核，深入研究，搞來搞去，又回到了芯片上，芯片是物質(zhì)的，芯片的功用基于自然界中物質(zhì)本有的物理和電子特性。追本溯源，此之謂也。

動手寫代碼

紙上得來終覺淺，絕知此事要躬行。只看書是絕對不行的，一定要結(jié)合課本給出的編程建議自己敲代碼。剛開始就以模塊形式測試好了，或者自己編譯一個開發(fā)版本的內(nèi)核。一臺機(jī)器的話，使用UML方式調(diào)試，內(nèi)核控制路走到哪一步，單步調(diào)試看看程序執(zhí)行過程，比書上的講解更直觀明了。一定要動手實際操作。