說明：

1. Kernel版本：4.14

2. ARM64處理器，Contex-A53，雙核

3. 使用工具：Source Insight 3.5， Visio

1. 概述

吹起并發(fā)機(jī)制研究的進(jìn)攻號(hào)角了！

作為第一篇文章，應(yīng)該提綱挈領(lǐng)的介紹下并發(fā)。什么是并發(fā)，并發(fā)就是：你有兩個(gè)兒子，同時(shí)搶一個(gè)玩具玩，你一巴掌打在你大兒子手上，小兒子拿到了玩具。并發(fā)是指多個(gè)執(zhí)行流訪問同一個(gè)資源，并發(fā)引起競(jìng)態(tài)。

來張圖吧：

圖中每一種顏色代表一種競(jìng)態(tài)情況，主要?dú)w結(jié)為三類：

1. 進(jìn)程與進(jìn)程之間：?jiǎn)魏松系膿屨?，多核上的SMP；

2. 進(jìn)程與中斷之間：中斷又包含了上半部與下半部，中斷總是能打斷進(jìn)程的執(zhí)行流；

3. 中斷與中斷之間：外設(shè)的中斷可以路由到不同的CPU上，它們之間也可能帶來競(jìng)態(tài)；

目前內(nèi)核中提供了很多機(jī)制來處理并發(fā)問題，spinlock就是其中一種。

spinlock，就是大家熟知的自旋鎖，它的特點(diǎn)是自旋鎖保護(hù)的區(qū)域不允許睡眠，可以用在中斷上下文中。自旋鎖獲取不到時(shí)，CPU會(huì)忙等待，并循環(huán)測(cè)試等待條件。自旋鎖一般用于保護(hù)很短的臨界區(qū)。

下文將進(jìn)一步揭開神秘的面紗。

2. spinlock原理分析

2.1?spin_lock/spin_unlock

先看一下函數(shù)調(diào)用流程：

• spin_lock操作中，關(guān)閉了搶占，也就是其他進(jìn)程無法再來搶占當(dāng)前進(jìn)程了；

• spin_lock函數(shù)中，關(guān)鍵邏輯需要依賴于體系結(jié)構(gòu)的實(shí)現(xiàn)，也就是arch_spin_lock函數(shù)；

• spin_unlock函數(shù)中，關(guān)鍵邏輯需要依賴于體系結(jié)構(gòu)的實(shí)現(xiàn)，也就是arch_spin_unlock函數(shù)；

直接看ARM64中這個(gè)arch_spin_lock/arch_spin_unlock函數(shù)的實(shí)現(xiàn)吧：

spinlock的核心思想是基于tickets的機(jī)制：

1. 每個(gè)鎖的數(shù)據(jù)結(jié)構(gòu)arch_spinlock_t中維護(hù)兩個(gè)字段：next和owner，只有當(dāng)next和owner相等時(shí)才能獲取鎖；

2. 每個(gè)進(jìn)程在獲取鎖的時(shí)候，next值會(huì)增加，當(dāng)進(jìn)程在釋放鎖的時(shí)候owner值會(huì)增加；

3. 如果有多個(gè)進(jìn)程在爭(zhēng)搶鎖的時(shí)候，看起來就像是一個(gè)排隊(duì)系統(tǒng)，FIFO ticket spinlock；

上邊的代碼中，核心邏輯在于asm volatile()內(nèi)聯(lián)匯編中，有點(diǎn)迷糊嗎？把核心邏輯翻譯成C語言，類似于下邊：

• asm volatile內(nèi)聯(lián)匯編中，有很多獨(dú)占的操作指令，只有基于指令的獨(dú)占操作，才能保證軟件上的互斥，簡(jiǎn)單介紹如下：

1. ldaxr：Load-Acquire Exclusive Register derives an address from a base register value, loads a 32-bit word or 64-bit doubleword from memory, and writes it to a register，從內(nèi)存地址中讀取值到寄存器中，獨(dú)占訪問；

2. stxr：Store Exclusive Register stores a 32-bit or a 64-bit doubleword from a register to memory if the PE has exclusive access to the memory address，將寄存器中的值寫入到內(nèi)存中，并需要返回是否獨(dú)占訪問成功；

3. eor：Bitwise Exclusive OR，執(zhí)行獨(dú)占的按位或操作；

4. ldadda：Atomic add on word or doubleword in memory atomically loads a 32-bit word or 64-bit doubleword from memory, adds the value held in a register to it, and stores the result back to memory，原子的將內(nèi)存中的數(shù)據(jù)進(jìn)行加值處理，并將結(jié)果寫回到內(nèi)存中；

• 此外，還需要提醒一點(diǎn)的是，在arch_spin_lock中，當(dāng)自旋等待時(shí)，會(huì)執(zhí)行WFE指令，這條指令會(huì)讓CPU處于低功耗的狀態(tài)，其他CPU可以通過SEV指令來喚醒當(dāng)前CPU。

如果說了這么多，你還是沒有明白，那就再來一張圖吧：

【文章福利】小編推薦自己的Linux內(nèi)核技術(shù)交流群:【749907784】整理了一些個(gè)人覺得比較好的學(xué)習(xí)書籍、視頻資料共享在群文件里面，有需要的可以自行添加哦?。。。ê曨l教程、電子書、實(shí)戰(zhàn)項(xiàng)目及代碼)??

2.2?spin_lock_irq/spin_lock_bh

自旋鎖還有另外兩種形式，那就是在持有鎖的時(shí)候，不僅僅關(guān)掉搶占，還會(huì)把本地的中斷關(guān)掉，或者把下半部關(guān)掉（本質(zhì)上是把軟中斷關(guān)掉）。這種鎖用來保護(hù)臨界資源既會(huì)被進(jìn)程訪問，也會(huì)被中斷訪問的情況。

看一下調(diào)用流程圖：

• 可以看到這兩個(gè)函數(shù)中，實(shí)際鎖的機(jī)制實(shí)現(xiàn)跟spin_lock是一樣的；

• 額外提一句，spin_lock_irq還有一種變種形式spin_lock_irqsave，該函數(shù)會(huì)將當(dāng)前處理器的硬件中斷狀態(tài)保存下來；

__local_bh_disable_ip是怎么實(shí)現(xiàn)的呢，貌似也沒有看到關(guān)搶占？有必要前情回顧一下了，如果看過之前的文章的朋友，應(yīng)該見過下邊這張圖片：

• thread_info->preempt_count值就維護(hù)了各種狀態(tài)，針對(duì)該值的加減操作，就可以進(jìn)行狀態(tài)的控制；

3. rwlock讀寫鎖

• 讀寫鎖是自旋鎖的一種變種，分為讀鎖和寫鎖，有以下特點(diǎn)：

1. 可以多個(gè)讀者同時(shí)進(jìn)入臨界區(qū)；

2. 讀者與寫者互斥；

3. 寫者與寫者互斥；

先看流程分析圖：

看一下arch_read_lock/arch_read_unlock/arch_write_lock/arch_write_unlock源代碼：

知道你們不愛看匯編代碼，那么翻譯成C語言的偽代碼看看吧：

• 讀寫鎖數(shù)據(jù)結(jié)構(gòu)arch_rwlock_t中只維護(hù)了一個(gè)字段：volatile unsigned int lock，其中bit[31]用于寫鎖的標(biāo)記，bit[30:0]用于讀鎖的統(tǒng)計(jì)；

• 讀者在獲取讀鎖的時(shí)候，高位bit[31]如果為1，表明正有寫者在訪問臨界區(qū)，這時(shí)候會(huì)進(jìn)入自旋的狀態(tài)，如果沒有寫者訪問，那么直接去自加rw->lock的值，從邏輯中可以看出，是支持多個(gè)讀者同時(shí)訪問的；

• 讀者在釋放鎖的時(shí)候，直接將rw->lock自減1即可；

• 寫者在獲取鎖的時(shí)候，判斷rw->lock的值是否為0，這個(gè)條件顯得更為苛刻，也就是只要有其他讀者或者寫者訪問，那么都將進(jìn)入自旋，沒錯(cuò)，它確實(shí)很霸道，只能自己一個(gè)人持有；

• 寫者在釋放鎖的時(shí)候，很簡(jiǎn)單，直接將rw->lock值清零即可；

• 缺點(diǎn)：由于讀者的判斷條件很苛刻，假設(shè)出現(xiàn)了接二連三的讀者來訪問臨界區(qū)，那么rw->lock的值將一直不為0，也就是會(huì)把寫者活活的氣死，噢，是活活的餓死。

讀寫鎖當(dāng)然也有類似于自旋鎖的關(guān)中斷、關(guān)底半部的形式：read_lock_irq/read_lock_bh/write_lock_irq/write_lock_bh，原理都類似，不再贅述了。

4. seqlock順序鎖

• 順序鎖也區(qū)分讀鎖與寫鎖，它的優(yōu)點(diǎn)是讀者不會(huì)把寫者給餓死。

來看一下流程圖：

• 順序鎖的讀鎖有三種形式：

1. 無加鎖訪問，讀者在讀臨界區(qū)之前，先讀取序列號(hào)，退出臨界區(qū)操作后再讀取序列號(hào)進(jìn)行比較，如果發(fā)現(xiàn)不相等，說明被寫者更新內(nèi)容了，需要重新再讀取臨界區(qū)，所以這種情況下可能給讀者帶來的開銷會(huì)大一些；

2. 加鎖訪問，實(shí)際是spin_lock/spin_unlock，僅僅是接口包裝了一下而已，因此對(duì)讀和寫都是互斥的；

3. 在形式1和形式2中動(dòng)態(tài)選擇，如果有寫者在寫臨界區(qū)，讀者化身為自旋鎖，沒有寫者在寫臨界區(qū)，則化身為順序無鎖訪問；

• 順序鎖的寫鎖，只有一種形式，本質(zhì)上是用自旋鎖來保護(hù)臨界區(qū)，然后再把序號(hào)值自加處理；

• 順序鎖也有一些局限的地方，比如采用讀者的形式1的話，臨界區(qū)中存在地址（指針）操作，如果寫者把地址進(jìn)行了修改，那就可能造成訪問錯(cuò)誤了；

• 說明一下流程圖中的smp_rmb/smp_wmb，這兩個(gè)函數(shù)是內(nèi)存屏障操作，作用是告訴編譯器內(nèi)存中的值已經(jīng)改變，之前對(duì)內(nèi)存的緩存（緩存到寄存器）都需要拋棄，屏障之后的內(nèi)存操作需要重新從內(nèi)存load，而不能使用之前寄存器緩存的值，內(nèi)存屏障就像是代碼中一道不可逾越的屏障，屏障之前的load/store指令不能跑到屏障的后邊，同理，后邊的也不能跑到前邊；

• 順序鎖也同樣存在關(guān)中斷和關(guān)下半部的形式，原理基本都是一致的，不再啰嗦了。

最近在項(xiàng)目中，遇到了RCU Stall的問題，下一個(gè)topic就先來看看RCU吧，其他的并發(fā)機(jī)制都會(huì)在路上，Just keep growing and fuck everthing else，收工！

原文作者：LoyenWang