教你解決Linux進(jìn)程調(diào)度-組調(diào)度及帶寬控制
說明：
Kernel版本：4.14
ARM64處理器，Contex-A53，雙核
使用工具：Source Insight 3.5， Visio
1. 概述
組調(diào)度（task_group）是使用Linux?cgroup(control group)的cpu子系統(tǒng)來實(shí)現(xiàn)的，可以將進(jìn)程進(jìn)行分組，按組來分配CPU資源等。比如，看一個(gè)實(shí)際的例子：A和B兩個(gè)用戶使用同一臺(tái)機(jī)器，A用戶16個(gè)進(jìn)程，B用戶2個(gè)進(jìn)程，如果按照進(jìn)程的個(gè)數(shù)來分配CPU資源，顯然A用戶會(huì)占據(jù)大量的CPU時(shí)間，這對(duì)于B用戶是不公平的。組調(diào)度就可以解決這個(gè)問題，分別將A、B用戶進(jìn)程劃分成組，并將兩組的權(quán)重設(shè)置成占比50%即可。
帶寬（bandwidth）控制，是用于控制用戶組（task_group）的CPU帶寬，通過設(shè)置每個(gè)用戶組的限額值，可以調(diào)整CPU的調(diào)度分配。在給定周期內(nèi)，當(dāng)用戶組消耗CPU的時(shí)間超過了限額值，該用戶組內(nèi)的任務(wù)將會(huì)受到限制。
由于組調(diào)度和帶寬控制緊密聯(lián)系，因此本文將探討這兩個(gè)主題，本文的討論都基于CFS調(diào)度器，開始吧。
2. task_group
組調(diào)度，在內(nèi)核中是通過
struct task_group來組織的，task_group本身支持cfs組調(diào)度和rt組調(diào)度，本文主要分析cfs組調(diào)度。CFS調(diào)度器管理的是
sched_entity調(diào)度實(shí)體，task_struct（代表進(jìn)程）和task_group（代表進(jìn)程組）中分別包含sched_entity，進(jìn)而來參與調(diào)度；
關(guān)于組調(diào)度的相關(guān)數(shù)據(jù)結(jié)構(gòu)，組織如下：
內(nèi)核維護(hù)了一個(gè)全局鏈表
task_groups，創(chuàng)建的task_group會(huì)添加到這個(gè)鏈表中；內(nèi)核定義了
root_task_group全局結(jié)構(gòu)，充當(dāng)task_group的根節(jié)點(diǎn)，以它為根構(gòu)建樹狀結(jié)構(gòu)；struct task_group的子節(jié)點(diǎn)，會(huì)加入到父節(jié)點(diǎn)的siblings鏈表中；每個(gè)
struct task_group會(huì)分配運(yùn)行隊(duì)列數(shù)組和調(diào)度實(shí)體數(shù)組（以CFS為例，RT調(diào)度類似），其中數(shù)組的個(gè)數(shù)為系統(tǒng)CPU的個(gè)數(shù)，也就是為每個(gè)CPU都分配了運(yùn)行隊(duì)列和調(diào)度實(shí)體；
對(duì)應(yīng)到實(shí)際的運(yùn)行中，如下：
struct cfs_rq包含了紅黑樹結(jié)構(gòu)，sched_entity調(diào)度實(shí)體參與調(diào)度時(shí)，都會(huì)掛入到紅黑樹中，task_struct和task_group都屬于被調(diào)度對(duì)象；task_group會(huì)為每個(gè)CPU再維護(hù)一個(gè)cfs_rq，這個(gè)cfs_rq用于組織掛在這個(gè)任務(wù)組上的任務(wù)以及子任務(wù)組，參考圖中的Group A；調(diào)度器在調(diào)度的時(shí)候，比如調(diào)用
pick_next_task_fair時(shí)，會(huì)從遍歷隊(duì)列，選擇sched_entity，如果發(fā)現(xiàn)sched_entity對(duì)應(yīng)的是task_group，則會(huì)繼續(xù)往下選擇；由于
sched_entity結(jié)構(gòu)中存在parent指針，指向它的父結(jié)構(gòu)，因此，系統(tǒng)的運(yùn)行也能從下而上的進(jìn)行遍歷操作，通常使用函數(shù)walk_tg_tree_from進(jìn)行遍歷；
【文章福利】小編推薦自己的Linux內(nèi)核技術(shù)交流群:【749907784】整理了一些個(gè)人覺得比較好的學(xué)習(xí)書籍、視頻資料共享在群文件里面，有需要的可以自行添加哦！?。。ê曨l教程、電子書、實(shí)戰(zhàn)項(xiàng)目及代碼)? ?
2.2 task_group權(quán)重
進(jìn)程或進(jìn)程組都有權(quán)重的概念，調(diào)度器會(huì)根據(jù)權(quán)重來分配CPU的時(shí)間。
進(jìn)程組的權(quán)重設(shè)置，可以通過
/sys文件系統(tǒng)進(jìn)行設(shè)置，比如操作/sys/fs/cgoup/cpu/A/shares；
調(diào)用流程如下圖：
sched_group_set_shares來完成最終的設(shè)置；task_group為每個(gè)CPU都分配了一個(gè)sched_entity，針對(duì)當(dāng)前sched_entity設(shè)置更新完后，往上對(duì)sched_entity->parent設(shè)置更新，直到根節(jié)點(diǎn)；shares的值計(jì)算與load相關(guān)，因此也需要調(diào)用update_load_avg進(jìn)行更新計(jì)算；
看一下實(shí)際的效果圖吧：
寫節(jié)點(diǎn)操作可以通過
echo XXX > /sys/fs/cgroup/cpu/A/B/cpu.shares；橙色的線代表傳入?yún)?shù)指向的對(duì)象；
紫色的線代表每次更新涉及到的對(duì)象，包括三個(gè)部分；
處理完
sched_entity后，繼續(xù)按同樣的流程處理sched_entity->parent；
3. cfs_bandwidth
先看一下/sys/fs/cgroup/cpu下的內(nèi)容吧：
有兩個(gè)關(guān)鍵的字段：
cfs_period_us和cfs_quota_us，這兩個(gè)與cfs_bandwidth息息相關(guān)；period表示周期，quota表示限額，也就是在period期間內(nèi)，用戶組的CPU限額為quota值，當(dāng)超過這個(gè)值的時(shí)候，用戶組將會(huì)被限制運(yùn)行（throttle），等到下一個(gè)周期開始被解除限制（unthrottle）；
來一張圖直觀理解一下：
在每個(gè)周期內(nèi)限制在
quota的配額下，超過了就throttle，下一個(gè)周期重新開始；
3.1 數(shù)據(jù)結(jié)構(gòu)
內(nèi)核中使用struct cfs_bandwidth來描述帶寬，該結(jié)構(gòu)包含在struct task_group中。此外，struct cfs_rq中也有與帶寬控制相關(guān)的字段。還是來看一下代碼吧：
period：周期值；
quota：限額值；
runtime：記錄限額剩余時(shí)間，會(huì)使用quota值來周期性賦值；
hierarchical_quota：層級(jí)管理任務(wù)組的限額比率；
runtime_expires：每個(gè)周期的到期時(shí)間；
idle：空閑狀態(tài)，不需要運(yùn)行時(shí)分配；
period_active：周期性計(jì)時(shí)已經(jīng)啟動(dòng)；
period_timer：高精度周期性定時(shí)器，用于重新填充運(yùn)行時(shí)間消耗；
slack_timer：延遲定時(shí)器，在任務(wù)出列時(shí)，將剩余的運(yùn)行時(shí)間返回到全局池里；
throttled_cfs_rq：限流運(yùn)行隊(duì)列列表；
nr_periods/nr_throttled/throttled_time：統(tǒng)計(jì)值；
struct cfs_rq結(jié)構(gòu)中相關(guān)字段如下：
runtime_enabled：周期計(jì)時(shí)器使能；
runtime_expires：周期計(jì)時(shí)器到期時(shí)間；
runtime_remaining：剩余的運(yùn)行時(shí)間；
3.2 流程分析
3.2.1 初始化流程
先看一下初始化的操作，初始化函數(shù)init_cfs_bandwidth本身比較簡(jiǎn)單，完成的工作就是將struct cfs_bandwidth結(jié)構(gòu)體進(jìn)程初始化。
注冊(cè)兩個(gè)高精度定時(shí)器：
period_timer和slack_timer；period_timer定時(shí)器，用于在時(shí)間到期時(shí)重新填充關(guān)聯(lián)的任務(wù)組的限額，并在適當(dāng)?shù)臅r(shí)候unthrottlecfs運(yùn)行隊(duì)列；slack_timer定時(shí)器，slack_period周期默認(rèn)為5ms，在該定時(shí)器函數(shù)中也會(huì)調(diào)用distribute_cfs_runtime從全局運(yùn)行時(shí)間中分配runtime；start_cfs_bandwidth和start_cfs_slack_bandwidth分別用于啟動(dòng)定時(shí)器運(yùn)行，其中可以看出在dequeue_entity的時(shí)候會(huì)去利用slack_timer，將運(yùn)行隊(duì)列的剩余時(shí)間返回給tg->cfs_b這個(gè)runtime pool；unthrottle_cfs_rq函數(shù)，會(huì)將throttled_list中的對(duì)應(yīng)cfs_rq刪除，并且從下往上遍歷任務(wù)組，針對(duì)每個(gè)任務(wù)組調(diào)用tg_unthrottle_up處理，最后也會(huì)根據(jù)cfs_rq對(duì)應(yīng)的sched_entity從下往上遍歷處理，如果sched_entity不在運(yùn)行隊(duì)列上，那就重新enqueue_entity以便參與調(diào)度運(yùn)行，這個(gè)也就完成了解除限制的操作；
do_sched_cfs_period_timer函數(shù)與do_sched_cfs_slack_timer()函數(shù)都調(diào)用了distrbute_cfs_runtime()，該函數(shù)用于分發(fā)tg->cfs_b的全局運(yùn)行時(shí)間runtime，用于在該task_group中平衡各個(gè)CPU上的cfs_rq的運(yùn)行時(shí)間runtime，來一張示意圖：
系統(tǒng)中兩個(gè)CPU，因此
task_group針對(duì)每個(gè)cpu都維護(hù)了一個(gè)cfs_rq，這些cfs_rq來共享該task_group的限額運(yùn)行時(shí)間；CPU0上的運(yùn)行時(shí)間，淺黃色模塊表示超額了，那么在下一個(gè)周期的定時(shí)器點(diǎn)上會(huì)進(jìn)行彌補(bǔ)處理；
3.2.2 用戶設(shè)置流程
用戶可以通過操作/sys中的節(jié)點(diǎn)來進(jìn)行設(shè)置：
操作
/sys/fs/cgroup/cpu/下的cfs_quota_us/cfs_period_us節(jié)點(diǎn)，最終會(huì)調(diào)用到tg_set_cfs_bandwidth函數(shù)；tg_set_cfs_bandwidth會(huì)從root_task_group根節(jié)點(diǎn)開始，遍歷組調(diào)度樹，并逐個(gè)設(shè)置限額比率 ；更新
cfs_bandwidth的runtime信息；如果使能了
cfs_bandwidth功能，則啟動(dòng)帶寬定時(shí)器；遍歷
task_group中的每個(gè)cfs_rq隊(duì)列，設(shè)置runtime_remaining值，如果cfs_rq隊(duì)列限流了，則需要進(jìn)行解除限流操作；
3.2.3?throttle限流操作
cfs_rq運(yùn)行隊(duì)列被限制，是在throttle_cfs_rq函數(shù)中實(shí)現(xiàn)的，其中調(diào)用關(guān)系如下圖：
調(diào)度實(shí)體
sched_entity入列時(shí)，進(jìn)行檢測(cè)是否運(yùn)行時(shí)間已經(jīng)達(dá)到限額，達(dá)到則進(jìn)行限制處理；pick_next_task_fair/put_prev_task_fair在選擇任務(wù)調(diào)度時(shí)，也需要進(jìn)行檢測(cè)判斷；
3.2.4 總結(jié)
總體來說，帶寬控制的原理就是通過task_group中的cfs_bandwidth來管理一個(gè)全局的時(shí)間池，分配給屬于這個(gè)任務(wù)組的運(yùn)行隊(duì)列，當(dāng)超過限額的時(shí)候則限制隊(duì)列的調(diào)度。同時(shí)，cfs_bandwidth維護(hù)兩個(gè)定時(shí)器，一個(gè)用于周期性的填充限額并進(jìn)行時(shí)間分發(fā)處理，一個(gè)用于將未用完的時(shí)間再返回到時(shí)間池中，大抵如此。
原文作者：LoyenWang
