Part1Linux性能優(yōu)化

1性能優(yōu)化

性能指標(biāo)

高并發(fā)和響應(yīng)快對(duì)應(yīng)著性能優(yōu)化的兩個(gè)核心指標(biāo)：吞吐和延時(shí)

• 應(yīng)用負(fù)載角度：直接影響了產(chǎn)品終端的用戶體驗(yàn)

• 系統(tǒng)資源角度：資源使用率、飽和度等

性能問(wèn)題的本質(zhì)就是系統(tǒng)資源已經(jīng)到達(dá)瓶頸，但請(qǐng)求的處理還不夠快，無(wú)法支撐更多的請(qǐng)求。性能分析實(shí)際上就是找出應(yīng)用或系統(tǒng)的瓶頸，設(shè)法去避免或緩解它們。

• 選擇指標(biāo)評(píng)估應(yīng)用程序和系統(tǒng)性能

• 為應(yīng)用程序和系統(tǒng)設(shè)置性能目標(biāo)

• 進(jìn)行性能基準(zhǔn)測(cè)試

• 性能分析定位瓶頸

• 性能監(jiān)控和告警

對(duì)于不同的性能問(wèn)題要選取不同的性能分析工具。下面是常用的Linux Performance Tools以及對(duì)應(yīng)分析的性能問(wèn)題類型。

到底應(yīng)該怎么理解"平均負(fù)載"

平均負(fù)載：?jiǎn)挝粫r(shí)間內(nèi)，系統(tǒng)處于可運(yùn)行狀態(tài)和不可中斷狀態(tài)的平均進(jìn)程數(shù)，也就是平均活躍進(jìn)程數(shù)。它和我們傳統(tǒng)意義上理解的CPU使用率并沒(méi)有直接關(guān)系。

其中不可中斷進(jìn)程是正處于內(nèi)核態(tài)關(guān)鍵流程中的進(jìn)程（如常見(jiàn)的等待設(shè)備的I/O響應(yīng)）。不可中斷狀態(tài)實(shí)際上是系統(tǒng)對(duì)進(jìn)程和硬件設(shè)備的一種保護(hù)機(jī)制。

平均負(fù)載多少時(shí)合理

實(shí)際生產(chǎn)環(huán)境中將系統(tǒng)的平均負(fù)載監(jiān)控起來(lái)，根據(jù)歷史數(shù)據(jù)判斷負(fù)載的變化趨勢(shì)。當(dāng)負(fù)載存在明顯升高趨勢(shì)時(shí)，及時(shí)進(jìn)行分析和調(diào)查。當(dāng)然也可以當(dāng)設(shè)置閾值（如當(dāng)平均負(fù)載高于CPU數(shù)量的70%時(shí)）

現(xiàn)實(shí)工作中我們會(huì)經(jīng)?；煜骄?fù)載和CPU使用率的概念，其實(shí)兩者并不完全對(duì)等：

• CPU密集型進(jìn)程，大量CPU使用會(huì)導(dǎo)致平均負(fù)載升高，此時(shí)兩者一致

• I/O密集型進(jìn)程，等待I/O也會(huì)導(dǎo)致平均負(fù)載升高，此時(shí)CPU使用率并不一定高

• 大量等待CPU的進(jìn)程調(diào)度會(huì)導(dǎo)致平均負(fù)載升高，此時(shí)CPU使用率也會(huì)比較高

平均負(fù)載高時(shí)可能是CPU密集型進(jìn)程導(dǎo)致，也可能是I/O繁忙導(dǎo)致。具體分析時(shí)可以結(jié)合mpstat/pidstat工具輔助分析負(fù)載來(lái)源

2CPU

CPU上下文切換(上)

CPU上下文切換，就是把前一個(gè)任務(wù)的CPU上下文（CPU寄存器和PC）保存起來(lái)，然后加載新任務(wù)的上下文到這些寄存器和程序計(jì)數(shù)器，最后再跳轉(zhuǎn)到程序計(jì)數(shù)器所指的位置，運(yùn)行新任務(wù)。其中，保存下來(lái)的上下文會(huì)存儲(chǔ)在系統(tǒng)內(nèi)核中，待任務(wù)重新調(diào)度執(zhí)行時(shí)再加載，保證原來(lái)的任務(wù)狀態(tài)不受影響。

按照任務(wù)類型，CPU上下文切換分為：

• 進(jìn)程上下文切換

• 線程上下文切換

• 中斷上下文切換

進(jìn)程上下文切換

Linux進(jìn)程按照等級(jí)權(quán)限將進(jìn)程的運(yùn)行空間分為內(nèi)核空間和用戶空間。從用戶態(tài)向內(nèi)核態(tài)轉(zhuǎn)變時(shí)需要通過(guò)系統(tǒng)調(diào)用來(lái)完成。

一次系統(tǒng)調(diào)用過(guò)程其實(shí)進(jìn)行了兩次CPU上下文切換：

• CPU寄存器中用戶態(tài)的指令位置先保存起來(lái)，CPU寄存器更新為內(nèi)核態(tài)指令的位置，跳轉(zhuǎn)到內(nèi)核態(tài)運(yùn)行內(nèi)核任務(wù)；

• 系統(tǒng)調(diào)用結(jié)束后，CPU寄存器恢復(fù)原來(lái)保存的用戶態(tài)數(shù)據(jù)，再切換到用戶空間繼續(xù)運(yùn)行。

系統(tǒng)調(diào)用過(guò)程中并不會(huì)涉及虛擬內(nèi)存等進(jìn)程用戶態(tài)資源，也不會(huì)切換進(jìn)程。和傳統(tǒng)意義上的進(jìn)程上下文切換不同。因此系統(tǒng)調(diào)用通常稱為特權(quán)模式切換。

進(jìn)程是由內(nèi)核管理和調(diào)度的，進(jìn)程上下文切換只能發(fā)生在內(nèi)核態(tài)。因此相比系統(tǒng)調(diào)用來(lái)說(shuō)，在保存當(dāng)前進(jìn)程的內(nèi)核狀態(tài)和CPU寄存器之前，需要先把該進(jìn)程的虛擬內(nèi)存，棧保存下來(lái)。再加載新進(jìn)程的內(nèi)核態(tài)后，還要刷新進(jìn)程的虛擬內(nèi)存和用戶棧。

進(jìn)程只有在調(diào)度到CPU上運(yùn)行時(shí)才需要切換上下文，有以下幾種場(chǎng)景：CPU時(shí)間片輪流分配，系統(tǒng)資源不足導(dǎo)致進(jìn)程掛起，進(jìn)程通過(guò)sleep函數(shù)主動(dòng)掛起，高優(yōu)先級(jí)進(jìn)程搶占時(shí)間片，硬件中斷時(shí)CPU上的進(jìn)程被掛起轉(zhuǎn)而執(zhí)行內(nèi)核中的中斷服務(wù)。

線程上下文切換

線程上下文切換分為兩種：

• 前后線程同屬于一個(gè)進(jìn)程，切換時(shí)虛擬內(nèi)存資源不變，只需要切換線程的私有數(shù)據(jù)，寄存器等；

• 前后線程屬于不同進(jìn)程，與進(jìn)程上下文切換相同。

同進(jìn)程的線程切換消耗資源較少，這也是多線程的優(yōu)勢(shì)。

中斷上下文切換

中斷上下文切換并不涉及到進(jìn)程的用戶態(tài)，因此中斷上下文只包括內(nèi)核態(tài)中斷服務(wù)程序執(zhí)行所必須的狀態(tài)（CPU寄存器，內(nèi)核堆棧，硬件中斷參數(shù)等）。

中斷處理優(yōu)先級(jí)比進(jìn)程高，所以中斷上下文切換和進(jìn)程上下文切換不會(huì)同時(shí)發(fā)生

【文章福利】小編推薦自己的Linux內(nèi)核技術(shù)交流群:【749907784】整理了一些個(gè)人覺(jué)得比較好的學(xué)習(xí)書(shū)籍、視頻資料共享在群文件里面，有需要的可以自行添加哦！?。。ê曨l教程、電子書(shū)、實(shí)戰(zhàn)項(xiàng)目及代碼)? ? ?

零聲白金VIP體驗(yàn)卡（含基礎(chǔ)架構(gòu)/高性能存儲(chǔ)/golang/QT/音視頻/Linux內(nèi)核）課程：

CPU上下文切換(下)

通過(guò)vmstat可以查看系統(tǒng)總體的上下文切換情況

• cs （context switch） 每秒上下文切換次數(shù)

• in （interrupt） 每秒中斷次數(shù)

• r （runnning or runnable）就緒隊(duì)列的長(zhǎng)度，正在運(yùn)行和等待CPU的進(jìn)程數(shù)

• b （Blocked） 處于不可中斷睡眠狀態(tài)的進(jìn)程數(shù)

要查看每個(gè)進(jìn)程的詳細(xì)情況，需要使用pidstat來(lái)查看每個(gè)進(jìn)程上下文切換情況

• cswch 每秒自愿上下文切換次數(shù) （進(jìn)程無(wú)法獲取所需資源導(dǎo)致的上下文切換）

• nvcswch 每秒非自愿上下文切換次數(shù) （時(shí)間片輪流等系統(tǒng)強(qiáng)制調(diào)度）

說(shuō)明運(yùn)行/等待CPU的進(jìn)程過(guò)多，導(dǎo)致大量的上下文切換，上下文切換導(dǎo)致系統(tǒng)的CPU占用率高

從結(jié)果中看出是sysbench導(dǎo)致CPU使用率過(guò)高，但是pidstat輸出的上下文次數(shù)加起來(lái)也并不多。分析sysbench模擬的是線程的切換，因此需要在pidstat后加-t參數(shù)查看線程指標(biāo)。

另外對(duì)于中斷次數(shù)過(guò)多，我們可以通過(guò)/proc/interrupts文件讀取

發(fā)現(xiàn)次數(shù)變化速度最快的是重調(diào)度中斷（RES），該中斷用來(lái)喚醒空閑狀態(tài)的CPU來(lái)調(diào)度新的任務(wù)運(yùn)行。分析還是因?yàn)檫^(guò)多任務(wù)的調(diào)度問(wèn)題，和上下文切換分析一致。

某個(gè)應(yīng)用的CPU使用率達(dá)到100%，怎么辦？

Linux作為多任務(wù)操作系統(tǒng)，將CPU時(shí)間劃分為很短的時(shí)間片，通過(guò)調(diào)度器輪流分配給各個(gè)任務(wù)使用。為了維護(hù)CPU時(shí)間，Linux通過(guò)事先定義的節(jié)拍率，觸發(fā)時(shí)間中斷，并使用全局變了jiffies記錄開(kāi)機(jī)以來(lái)的節(jié)拍數(shù)。時(shí)間中斷發(fā)生一次該值+1.

CPU使用率，除了空閑時(shí)間以外的其他時(shí)間占總CPU時(shí)間的百分比。可以通過(guò)/proc/stat中的數(shù)據(jù)來(lái)計(jì)算出CPU使用率。因?yàn)?proc/stat時(shí)開(kāi)機(jī)以來(lái)的節(jié)拍數(shù)累加值，計(jì)算出來(lái)的是開(kāi)機(jī)以來(lái)的平均CPU使用率，一般意義不大?？梢蚤g隔取一段時(shí)間的兩次值作差來(lái)計(jì)算該段時(shí)間內(nèi)的平均CPU使用率。性能分析工具給出的都是間隔一段時(shí)間的平均CPU使用率，要注意間隔時(shí)間的設(shè)置。

CPU使用率可以通過(guò)top 或 ps來(lái)查看。分析進(jìn)程的CPU問(wèn)題可以通過(guò)perf，它以性能事件采樣為基礎(chǔ)，不僅可以分析系統(tǒng)的各種事件和內(nèi)核性能，還可以用來(lái)分析指定應(yīng)用程序的性能問(wèn)題。

perf top / perf record / perf report （-g 開(kāi)啟調(diào)用關(guān)系的采樣）

發(fā)現(xiàn)此時(shí)每秒可承受請(qǐng)求給長(zhǎng)少，此時(shí)將測(cè)試的請(qǐng)求數(shù)從100增加到10000。在另外一個(gè)終端運(yùn)行top查看每個(gè)CPU的使用率。發(fā)現(xiàn)系統(tǒng)中幾個(gè)php-fpm進(jìn)程導(dǎo)致CPU使用率驟升。

接著用perf來(lái)分析具體是php-fpm中哪個(gè)函數(shù)導(dǎo)致該問(wèn)題。

發(fā)現(xiàn)其中sqrt和add_function占用CPU過(guò)多， 此時(shí)查看源碼找到原來(lái)是sqrt中在發(fā)布前沒(méi)有刪除測(cè)試代碼段，存在一個(gè)百萬(wàn)次的循環(huán)導(dǎo)致。將該無(wú)用代碼刪除后發(fā)現(xiàn)nginx負(fù)載能力明顯提升

系統(tǒng)的CPU使用率很高，為什么找不到高CPU的應(yīng)用？

實(shí)驗(yàn)結(jié)果中每秒請(qǐng)求數(shù)依舊不高，我們將并發(fā)請(qǐng)求數(shù)降為5后，nginx負(fù)載能力依舊很低。

此時(shí)用top和pidstat發(fā)現(xiàn)系統(tǒng)CPU使用率過(guò)高，但是并沒(méi)有發(fā)現(xiàn)CPU使用率高的進(jìn)程。

出現(xiàn)這種情況一般時(shí)我們分析時(shí)遺漏的什么信息，重新運(yùn)行top命令并觀察一會(huì)。發(fā)現(xiàn)就緒隊(duì)列中處于Running狀態(tài)的進(jìn)行過(guò)多，超過(guò)了我們的并發(fā)請(qǐng)求次數(shù)5. 再仔細(xì)查看進(jìn)程運(yùn)行數(shù)據(jù)，發(fā)現(xiàn)nginx和php-fpm都處于sleep狀態(tài)，真正處于運(yùn)行的卻是幾個(gè)stress進(jìn)程。

下一步就利用pidstat分析這幾個(gè)stress進(jìn)程，發(fā)現(xiàn)沒(méi)有任何輸出。用ps aux交叉驗(yàn)證發(fā)現(xiàn)依舊不存在該進(jìn)程。說(shuō)明不是工具的問(wèn)題。再top查看發(fā)現(xiàn)stress進(jìn)程的進(jìn)程號(hào)變化了，此時(shí)有可能時(shí)以下兩種原因?qū)е拢?/p>

• 進(jìn)程不停的崩潰重啟（如段錯(cuò)誤/配置錯(cuò)誤等），此時(shí)進(jìn)程退出后可能又被監(jiān)控系統(tǒng)重啟；

• 短時(shí)進(jìn)程導(dǎo)致，即其他應(yīng)用內(nèi)部通過(guò)exec調(diào)用的外面命令，這些命令一般只運(yùn)行很短時(shí)間就結(jié)束，很難用top這種間隔較長(zhǎng)的工具來(lái)發(fā)現(xiàn)

可以通過(guò)pstree來(lái)查找 stress的父進(jìn)程，找出調(diào)用關(guān)系。

發(fā)現(xiàn)是php-fpm調(diào)用的該子進(jìn)程，此時(shí)去查看源碼可以看出每個(gè)請(qǐng)求都會(huì)調(diào)用一個(gè)stress命令來(lái)模擬I/O壓力。之前top顯示的結(jié)果是CPU使用率升高，是否真的是由該stress命令導(dǎo)致的，還需要繼續(xù)分析。代碼中給每個(gè)請(qǐng)求加了verbose=1的參數(shù)后可以查看stress命令的輸出，在中斷測(cè)試該命令結(jié)果顯示stress命令運(yùn)行時(shí)存在因權(quán)限問(wèn)題導(dǎo)致的文件創(chuàng)建失敗的bug。

此時(shí)依舊只是猜測(cè)，下一步繼續(xù)通過(guò)perf工具來(lái)分析。性能報(bào)告顯示確實(shí)時(shí)stress占用了大量的CPU，通過(guò)修復(fù)權(quán)限問(wèn)題來(lái)優(yōu)化解決即可.

系統(tǒng)中出現(xiàn)大量不可中斷進(jìn)程和僵尸進(jìn)程怎么辦？

進(jìn)程狀態(tài)

• R Running/Runnable，表示進(jìn)程在CPU的就緒隊(duì)列中，正在運(yùn)行或者等待運(yùn)行；

• D Disk Sleep，不可中斷狀態(tài)睡眠，一般表示進(jìn)程正在跟硬件交互，并且交互過(guò)程中不允許被其他進(jìn)程中斷；

• Z Zombie，僵尸進(jìn)程，表示進(jìn)程實(shí)際上已經(jīng)結(jié)束，但是父進(jìn)程還沒(méi)有回收它的資源；

• S Interruptible Sleep，可中斷睡眠狀態(tài)，表示進(jìn)程因?yàn)榈却硞€(gè)事件而被系統(tǒng)掛起，當(dāng)?shù)却录l(fā)生則會(huì)被喚醒并進(jìn)入R狀態(tài)；

• I Idle，空閑狀態(tài)，用在不可中斷睡眠的內(nèi)核線程上。該狀態(tài)不會(huì)導(dǎo)致平均負(fù)載升高；

• T Stop/Traced，表示進(jìn)程處于暫停或跟蹤狀態(tài)（SIGSTOP/SIGCONT， GDB調(diào)試）；

• X Dead，進(jìn)程已經(jīng)消亡，不會(huì)在top/ps中看到。

對(duì)于不可中斷狀態(tài)，一般都是在很短時(shí)間內(nèi)結(jié)束，可忽略。但是如果系統(tǒng)或硬件發(fā)生故障，進(jìn)程可能會(huì)保持不可中斷狀態(tài)很久，甚至系統(tǒng)中出現(xiàn)大量不可中斷狀態(tài)，此時(shí)需注意是否出現(xiàn)了I/O性能問(wèn)題。

僵尸進(jìn)程一般多進(jìn)程應(yīng)用容易遇到，父進(jìn)程來(lái)不及處理子進(jìn)程狀態(tài)時(shí)子進(jìn)程就提前退出，此時(shí)子進(jìn)程就變成了僵尸進(jìn)程。大量的僵尸進(jìn)程會(huì)用盡PID進(jìn)程號(hào)，導(dǎo)致新進(jìn)程無(wú)法建立。

磁盤(pán)O_DIRECT問(wèn)題

可以看到此時(shí)有多個(gè)app進(jìn)程運(yùn)行，狀態(tài)分別時(shí)Ss+和D+。其中后面s表示進(jìn)程是一個(gè)會(huì)話的領(lǐng)導(dǎo)進(jìn)程，+號(hào)表示前臺(tái)進(jìn)程組。

其中進(jìn)程組表示一組相互關(guān)聯(lián)的進(jìn)程，子進(jìn)程是父進(jìn)程所在組的組員。會(huì)話指共享同一個(gè)控制終端的一個(gè)或多個(gè)進(jìn)程組。

用top查看系統(tǒng)資源發(fā)現(xiàn)：1）平均負(fù)載在逐漸增加，且1分鐘內(nèi)平均負(fù)載達(dá)到了CPU個(gè)數(shù)，說(shuō)明系統(tǒng)可能已經(jīng)有了性能瓶頸；2）僵尸進(jìn)程比較多且在不停增加；3）us和sys CPU使用率都不高，iowait卻比較高；4）每個(gè)進(jìn)程CPU使用率也不高，但有兩個(gè)進(jìn)程處于D狀態(tài)，可能在等待IO。

分析目前數(shù)據(jù)可知：iowait過(guò)高導(dǎo)致系統(tǒng)平均負(fù)載升高，僵尸進(jìn)程不斷增長(zhǎng)說(shuō)明有程序沒(méi)能正確清理子進(jìn)程資源。

用dstat來(lái)分析，因?yàn)樗梢酝瑫r(shí)查看CPU和I/O兩種資源的使用情況，便于對(duì)比分析。

可以看到當(dāng)wai（iowait）升高時(shí)磁盤(pán)請(qǐng)求read都會(huì)很大，說(shuō)明iowait的升高和磁盤(pán)的讀請(qǐng)求有關(guān)。接下來(lái)分析到底時(shí)哪個(gè)進(jìn)程在讀磁盤(pán)。

之前top查看的處于D狀態(tài)的進(jìn)程號(hào)，用pidstat -d -p XXX 展示進(jìn)程的I/O統(tǒng)計(jì)數(shù)據(jù)。發(fā)現(xiàn)處于D狀態(tài)的進(jìn)程都沒(méi)有任何讀寫(xiě)操作。在用pidstat -d 查看所有進(jìn)程的I/O統(tǒng)計(jì)數(shù)據(jù)，看到app進(jìn)程在進(jìn)行磁盤(pán)讀操作，每秒讀取32MB的數(shù)據(jù)。進(jìn)程訪問(wèn)磁盤(pán)必須使用系統(tǒng)調(diào)用處于內(nèi)核態(tài)，接下來(lái)重點(diǎn)就是找到app進(jìn)程的系統(tǒng)調(diào)用。

報(bào)錯(cuò)沒(méi)有權(quán)限，因?yàn)橐呀?jīng)時(shí)root權(quán)限了。所以遇到這種情況，首先要檢查進(jìn)程狀態(tài)是否正常。ps命令查找該進(jìn)程已經(jīng)處于Z狀態(tài)，即僵尸進(jìn)程。

這種情況下top pidstat之類的工具無(wú)法給出更多的信息，此時(shí)像第5篇一樣，用perf record -d和perf report進(jìn)行分析，查看app進(jìn)程調(diào)用棧。

看到app確實(shí)在通過(guò)系統(tǒng)調(diào)用sys_read()讀取數(shù)據(jù)，并且從new_sync_read和blkdev_direct_IO看出進(jìn)程時(shí)進(jìn)行直接讀操作，請(qǐng)求直接從磁盤(pán)讀，沒(méi)有通過(guò)緩存導(dǎo)致iowait升高。

通過(guò)層層分析后，root cause是app內(nèi)部進(jìn)行了磁盤(pán)的直接I/O。然后定位到具體代碼位置進(jìn)行優(yōu)化即可。

僵尸進(jìn)程

上述優(yōu)化后iowait顯著下降，但是僵尸進(jìn)程數(shù)量仍舊在增加。首先要定位僵尸進(jìn)程的父進(jìn)程，通過(guò)pstree -aps XXX，打印出該僵尸進(jìn)程的調(diào)用樹(shù)，發(fā)現(xiàn)父進(jìn)程就是app進(jìn)程。

查看app代碼，看看子進(jìn)程結(jié)束的處理是否正確（是否調(diào)用wait()/waitpid(),有沒(méi)有注冊(cè)SIGCHILD信號(hào)的處理函數(shù)等）。

碰到iowait升高時(shí)，先用dstat pidstat等工具確認(rèn)是否存在磁盤(pán)I/O問(wèn)題，再找是哪些進(jìn)程導(dǎo)致I/O，不能用strace直接分析進(jìn)程調(diào)用時(shí)可以通過(guò)perf工具分析。

對(duì)于僵尸問(wèn)題，用pstree找到父進(jìn)程，然后看源碼檢查子進(jìn)程結(jié)束的處理邏輯即可。

CPU性能指標(biāo)

• CPU使用率

• 用戶CPU使用率, 包括用戶態(tài)(user)和低優(yōu)先級(jí)用戶態(tài)(nice). 該指標(biāo)過(guò)高說(shuō)明應(yīng)用程序比較繁忙.

• 系統(tǒng)CPU使用率, CPU在內(nèi)核態(tài)運(yùn)行的時(shí)間百分比(不含中斷). 該指標(biāo)高說(shuō)明內(nèi)核比較繁忙.

• 等待I/O的CPU使用率, iowait, 該指標(biāo)高說(shuō)明系統(tǒng)與硬件設(shè)備I/O交互時(shí)間比較長(zhǎng).

• 軟/硬中斷CPU使用率, 該指標(biāo)高說(shuō)明系統(tǒng)中發(fā)生大量中斷.

• steal CPU / guest CPU, 表示虛擬機(jī)占用的CPU百分比.

• 平均負(fù)載

  理想情況下平均負(fù)載等于邏輯CPU個(gè)數(shù),表示每個(gè)CPU都被充分利用. 若大于則說(shuō)明系統(tǒng)負(fù)載較重.

• 進(jìn)程上下文切換

  包括無(wú)法獲取資源的自愿切換和系統(tǒng)強(qiáng)制調(diào)度時(shí)的非自愿切換. 上下文切換本身是保證Linux正常運(yùn)行的一項(xiàng)核心功能. 過(guò)多的切換則會(huì)將原本運(yùn)行進(jìn)程的CPU時(shí)間消耗在寄存器,內(nèi)核占及虛擬內(nèi)存等數(shù)據(jù)保存和恢復(fù)上

• CPU緩存命中率

  CPU緩存的復(fù)用情況,命中率越高性能越好. 其中L1/L2常用在單核,L3則用在多核中

性能工具

• 平均負(fù)載案例

• 先用uptime查看系統(tǒng)平均負(fù)載

• 判斷負(fù)載在升高后再用mpstat和pidstat分別查看每個(gè)CPU和每個(gè)進(jìn)程CPU使用情況.找出導(dǎo)致平均負(fù)載較高的進(jìn)程.

• 上下文切換案例

• 先用vmstat查看系統(tǒng)上下文切換和中斷次數(shù)

• 再用pidstat觀察進(jìn)程的自愿和非自愿上下文切換情況

• 最后通過(guò)pidstat觀察線程的上下文切換情況

• 進(jìn)程CPU使用率高案例

• 先用top查看系統(tǒng)和進(jìn)程的CPU使用情況,定位到進(jìn)程

• 再用perf top觀察進(jìn)程調(diào)用鏈,定位到具體函數(shù)

• 系統(tǒng)CPU使用率高案例

• 先用top查看系統(tǒng)和進(jìn)程的CPU使用情況,top/pidstat都無(wú)法找到CPU使用率高的進(jìn)程

• 重新審視top輸出

• 從CPU使用率不高,但是處于Running狀態(tài)的進(jìn)程入手

• perf record/report發(fā)現(xiàn)短時(shí)進(jìn)程導(dǎo)致 (execsnoop工具)

• 不可中斷和僵尸進(jìn)程案例

• 先用top觀察iowait升高,發(fā)現(xiàn)大量不可中斷和僵尸進(jìn)程

• strace無(wú)法跟蹤進(jìn)程系統(tǒng)調(diào)用

• perf分析調(diào)用鏈發(fā)現(xiàn)根源來(lái)自磁盤(pán)直接I/O

• 軟中斷案例

• top觀察系統(tǒng)軟中斷CPU使用率高

• 查看/proc/softirqs找到變化速率較快的幾種軟中斷

• sar命令發(fā)現(xiàn)是網(wǎng)絡(luò)小包問(wèn)題

• tcpdump找出網(wǎng)絡(luò)幀的類型和來(lái)源, 確定SYN FLOOD攻擊導(dǎo)致

根據(jù)不同的性能指標(biāo)來(lái)找合適的工具:

在生產(chǎn)環(huán)境中往往開(kāi)發(fā)者沒(méi)有權(quán)限安裝新的工具包,只能最大化利用好系統(tǒng)中已經(jīng)安裝好的工具. 因此要了解一些主流工具能夠提供哪些指標(biāo)分析.

先運(yùn)行幾個(gè)支持指標(biāo)較多的工具, 如top/vmstat/pidstat,根據(jù)它們的輸出可以得出是哪種類型的性能問(wèn)題. 定位到進(jìn)程后再用strace/perf分析調(diào)用情況進(jìn)一步分析. 如果是軟中斷導(dǎo)致用/proc/softirqs

CPU優(yōu)化

• 應(yīng)用程序優(yōu)化

• 編譯器優(yōu)化: 編譯階段開(kāi)啟優(yōu)化選項(xiàng), 如gcc -O2

• 算法優(yōu)化

• 異步處理: 避免程序因?yàn)榈却硞€(gè)資源而一直阻塞,提升程序的并發(fā)處理能力. (將輪詢替換為事件通知)

• 多線程代替多進(jìn)程: 減少上下文切換成本

• 善用緩存: 加快程序處理速度

• 系統(tǒng)優(yōu)化

• CPU綁定: 將進(jìn)程綁定要1個(gè)/多個(gè)CPU上,提高CPU緩存命中率,減少CPU調(diào)度帶來(lái)的上下文切換

• CPU獨(dú)占: CPU親和性機(jī)制來(lái)分配進(jìn)程

• 優(yōu)先級(jí)調(diào)整:使用nice適當(dāng)降低非核心應(yīng)用的優(yōu)先級(jí)

• 為進(jìn)程設(shè)置資源顯示: cgroups設(shè)置使用上限,防止由某個(gè)應(yīng)用自身問(wèn)題耗盡系統(tǒng)資源

• NUMA優(yōu)化: CPU盡可能訪問(wèn)本地內(nèi)存

• 中斷負(fù)載均衡: irpbalance,將中斷處理過(guò)程自動(dòng)負(fù)載均衡到各個(gè)CPU上

• TPS、QPS、系統(tǒng)吞吐量的區(qū)別和理解

• QPS(TPS)

• 并發(fā)數(shù)

• 響應(yīng)時(shí)間

  QPS(TPS)=并發(fā)數(shù)/平均相應(yīng)時(shí)間

• 用戶請(qǐng)求服務(wù)器

• 服務(wù)器內(nèi)部處理

• 服務(wù)器返回給客戶

  QPS類似TPS,但是對(duì)于一個(gè)頁(yè)面的訪問(wèn)形成一個(gè)TPS,但是一次頁(yè)面請(qǐng)求可能包含多次對(duì)服務(wù)器的請(qǐng)求,可能計(jì)入多次QPS

• QPS (Queries Per Second)每秒查詢率,一臺(tái)服務(wù)器每秒能夠響應(yīng)的查詢次數(shù).

• TPS (Transactions Per Second)每秒事務(wù)數(shù),軟件測(cè)試的結(jié)果.

• 系統(tǒng)吞吐量, 包括幾個(gè)重要參數(shù):

3內(nèi)存

Linux內(nèi)存是怎么工作的

內(nèi)存映射

大多數(shù)計(jì)算機(jī)用的主存都是動(dòng)態(tài)隨機(jī)訪問(wèn)內(nèi)存(DRAM)，只有內(nèi)核才可以直接訪問(wèn)物理內(nèi)存。Linux內(nèi)核給每個(gè)進(jìn)程提供了一個(gè)獨(dú)立的虛擬地址空間，并且這個(gè)地址空間是連續(xù)的。這樣進(jìn)程就可以很方便的訪問(wèn)內(nèi)存(虛擬內(nèi)存)。

虛擬地址空間的內(nèi)部分為內(nèi)核空間和用戶空間兩部分，不同字長(zhǎng)的處理器地址空間的范圍不同。32位系統(tǒng)內(nèi)核空間占用1G，用戶空間占3G。64位系統(tǒng)內(nèi)核空間和用戶空間都是128T，分別占內(nèi)存空間的最高和最低處，中間部分為未定義。

并不是所有的虛擬內(nèi)存都會(huì)分配物理內(nèi)存，只有實(shí)際使用的才會(huì)。分配后的物理內(nèi)存通過(guò)內(nèi)存映射管理。為了完成內(nèi)存映射，內(nèi)核為每個(gè)進(jìn)程都維護(hù)了一個(gè)頁(yè)表，記錄虛擬地址和物理地址的映射關(guān)系。頁(yè)表實(shí)際存儲(chǔ)在CPU的內(nèi)存管理單元MMU中，處理器可以直接通過(guò)硬件找出要訪問(wèn)的內(nèi)存。

當(dāng)進(jìn)程訪問(wèn)的虛擬地址在頁(yè)表中查不到時(shí)，系統(tǒng)會(huì)產(chǎn)生一個(gè)缺頁(yè)異常，進(jìn)入內(nèi)核空間分配物理內(nèi)存，更新進(jìn)程頁(yè)表，再返回用戶空間恢復(fù)進(jìn)程的運(yùn)行。

MMU以頁(yè)為單位管理內(nèi)存，頁(yè)大小4KB。為了解決頁(yè)表項(xiàng)過(guò)多問(wèn)題Linux提供了多級(jí)頁(yè)表和HugePage的機(jī)制。

虛擬內(nèi)存空間分布

用戶空間內(nèi)存從低到高是五種不同的內(nèi)存段：

• 只讀段?代碼和常量等

• 數(shù)據(jù)段?全局變量等

• 堆?動(dòng)態(tài)分配的內(nèi)存，從低地址開(kāi)始向上增長(zhǎng)

• 文件映射?動(dòng)態(tài)庫(kù)、共享內(nèi)存等，從高地址開(kāi)始向下增長(zhǎng)

• 棧?包括局部變量和函數(shù)調(diào)用的上下文等，棧的大小是固定的。一般8MB

內(nèi)存分配與回收

分配

malloc對(duì)應(yīng)到系統(tǒng)調(diào)用上有兩種實(shí)現(xiàn)方式：

• brk()?針對(duì)小塊內(nèi)存(<128K)，通過(guò)移動(dòng)堆頂位置來(lái)分配。內(nèi)存釋放后不立即歸還內(nèi)存，而是被緩存起來(lái)。

• **mmap()**針對(duì)大塊內(nèi)存(>128K)，直接用內(nèi)存映射來(lái)分配，即在文件映射段找一塊空閑內(nèi)存分配。

前者的緩存可以減少缺頁(yè)異常的發(fā)生，提高內(nèi)存訪問(wèn)效率。但是由于內(nèi)存沒(méi)有歸還系統(tǒng)，在內(nèi)存工作繁忙時(shí)，頻繁的內(nèi)存分配/釋放會(huì)造成內(nèi)存碎片。

后者在釋放時(shí)直接歸還系統(tǒng)，所以每次mmap都會(huì)發(fā)生缺頁(yè)異常。在內(nèi)存工作繁忙時(shí)，頻繁內(nèi)存分配會(huì)導(dǎo)致大量缺頁(yè)異常，使內(nèi)核管理負(fù)擔(dān)增加。

上述兩種調(diào)用并沒(méi)有真正分配內(nèi)存，這些內(nèi)存只有在首次訪問(wèn)時(shí)，才通過(guò)缺頁(yè)異常進(jìn)入內(nèi)核中，由內(nèi)核來(lái)分配

回收

內(nèi)存緊張時(shí)，系統(tǒng)通過(guò)以下方式來(lái)回收內(nèi)存：

• 回收緩存：LRU算法回收最近最少使用的內(nèi)存頁(yè)面；

• 回收不常訪問(wèn)內(nèi)存：把不常用的內(nèi)存通過(guò)交換分區(qū)寫(xiě)入磁盤(pán)

• 殺死進(jìn)程：OOM內(nèi)核保護(hù)機(jī)制 （進(jìn)程消耗內(nèi)存越大oom_score越大，占用CPU越多oom_score越小，可以通過(guò)/proc手動(dòng)調(diào)整oom_adj）

如何查看內(nèi)存使用情況

free來(lái)查看整個(gè)系統(tǒng)的內(nèi)存使用情況

top/ps來(lái)查看某個(gè)進(jìn)程的內(nèi)存使用情況

• VIRT?進(jìn)程的虛擬內(nèi)存大小

• RES?常駐內(nèi)存的大小，即進(jìn)程實(shí)際使用的物理內(nèi)存大小，不包括swap和共享內(nèi)存

• SHR?共享內(nèi)存大小，與其他進(jìn)程共享的內(nèi)存，加載的動(dòng)態(tài)鏈接庫(kù)以及程序代碼段

• %MEM?進(jìn)程使用物理內(nèi)存占系統(tǒng)總內(nèi)存的百分比

怎樣理解內(nèi)存中的Buffer和Cache？

buffer是對(duì)磁盤(pán)數(shù)據(jù)的緩存，cache是對(duì)文件數(shù)據(jù)的緩存，它們既會(huì)用在讀請(qǐng)求也會(huì)用在寫(xiě)請(qǐng)求中

如何利用系統(tǒng)緩存優(yōu)化程序的運(yùn)行效率

緩存命中率

緩存命中率是指直接通過(guò)緩存獲取數(shù)據(jù)的請(qǐng)求次數(shù)，占所有請(qǐng)求次數(shù)的百分比。命中率越高說(shuō)明緩存帶來(lái)的收益越高，應(yīng)用程序的性能也就越好。

安裝bcc包后可以通過(guò)cachestat和cachetop來(lái)監(jiān)測(cè)緩存的讀寫(xiě)命中情況。

安裝pcstat后可以查看文件在內(nèi)存中的緩存大小以及緩存比例

dd緩存加速

O_DIRECT選項(xiàng)繞過(guò)系統(tǒng)緩存

但是憑感覺(jué)可知如果緩存命中讀速度不應(yīng)如此慢，讀次數(shù)時(shí)1024，頁(yè)大小為4K，五秒的時(shí)間內(nèi)讀取了1024*4KB數(shù)據(jù)，即每秒0.8MB，和結(jié)果中32MB相差較大。說(shuō)明該案例沒(méi)有充分利用緩存，懷疑系統(tǒng)調(diào)用設(shè)置了直接I/O標(biāo)志繞過(guò)系統(tǒng)緩存。因此接下來(lái)觀察系統(tǒng)調(diào)用.

這就解釋了為什么讀32MB數(shù)據(jù)那么慢，直接從磁盤(pán)讀寫(xiě)肯定遠(yuǎn)遠(yuǎn)慢于緩存。找出問(wèn)題后我們?cè)倏窗咐脑创a發(fā)現(xiàn)flags中指定了直接IO標(biāo)志。刪除該選項(xiàng)后重跑，驗(yàn)證性能變化。

內(nèi)存泄漏，如何定位和處理？

對(duì)應(yīng)用程序來(lái)說(shuō)，動(dòng)態(tài)內(nèi)存的分配和回收是核心又復(fù)雜的一個(gè)邏輯功能模塊。管理內(nèi)存的過(guò)程中會(huì)發(fā)生各種各樣的“事故”：

• 沒(méi)正確回收分配的內(nèi)存，導(dǎo)致了泄漏

• 訪問(wèn)的是已分配內(nèi)存邊界外的地址，導(dǎo)致程序異常退出

內(nèi)存的分配與回收

虛擬內(nèi)存分布從低到高分別是只讀段，數(shù)據(jù)段，堆，內(nèi)存映射段，棧五部分。其中會(huì)導(dǎo)致內(nèi)存泄漏的是：

• 堆：由應(yīng)用程序自己來(lái)分配和管理，除非程序退出這些堆內(nèi)存不會(huì)被系統(tǒng)自動(dòng)釋放。

• 內(nèi)存映射段：包括動(dòng)態(tài)鏈接庫(kù)和共享內(nèi)存，其中共享內(nèi)存由程序自動(dòng)分配和管理

內(nèi)存泄漏的危害比較大，這些忘記釋放的內(nèi)存，不僅應(yīng)用程序自己不能訪問(wèn)，系統(tǒng)也不能把它們?cè)俅畏峙浣o其他應(yīng)用。?內(nèi)存泄漏不斷累積甚至?xí)谋M系統(tǒng)內(nèi)存.

如何檢測(cè)內(nèi)存泄漏

預(yù)先安裝systat，docker，bcc

可以看到free在不斷下降，buffer和cache基本保持不變。說(shuō)明系統(tǒng)的內(nèi)存一致在升高。但并不能說(shuō)明存在內(nèi)存泄漏。此時(shí)可以通過(guò)memleak工具來(lái)跟蹤系統(tǒng)或進(jìn)程的內(nèi)存分配/釋放請(qǐng)求

從memleak輸出可以看到，應(yīng)用在不停地分配內(nèi)存，并且這些分配的地址并沒(méi)有被回收。通過(guò)調(diào)用?？吹绞莊ibonacci函數(shù)分配的內(nèi)存沒(méi)有釋放。定位到源碼后查看源碼來(lái)修復(fù)增加內(nèi)存釋放函數(shù)即可.

為什么系統(tǒng)的Swap變高

系統(tǒng)內(nèi)存資源緊張時(shí)通過(guò)內(nèi)存回收和OOM殺死進(jìn)程來(lái)解決。其中可回收內(nèi)存包括：

• 緩存/緩沖區(qū)，屬于可回收資源，在文件管理中通常叫做文件頁(yè)

• 在應(yīng)用程序中通過(guò)fsync將臟頁(yè)同步到磁盤(pán)

• 交給系統(tǒng)，內(nèi)核線程pdflush負(fù)責(zé)這些臟頁(yè)的刷新

• 被應(yīng)用程序修改過(guò)暫時(shí)沒(méi)寫(xiě)入磁盤(pán)的數(shù)據(jù)(臟頁(yè))，要先寫(xiě)入磁盤(pán)然后才能內(nèi)存釋放

• 內(nèi)存映射獲取的文件映射頁(yè)，也可以被釋放掉，下次訪問(wèn)時(shí)從文件重新讀取

對(duì)于程序自動(dòng)分配的堆內(nèi)存，也就是我們?cè)趦?nèi)存管理中的匿名頁(yè)，雖然這些內(nèi)存不能直接釋放，但是Linux提供了Swap機(jī)制將不常訪問(wèn)的內(nèi)存寫(xiě)入到磁盤(pán)來(lái)釋放內(nèi)存，再次訪問(wèn)時(shí)從磁盤(pán)讀取到內(nèi)存即可。

Swap原理

Swap本質(zhì)就是把一塊磁盤(pán)空間或者一個(gè)本地文件當(dāng)作內(nèi)存來(lái)使用，包括換入和換出兩個(gè)過(guò)程：

• 換出：將進(jìn)程暫時(shí)不用的內(nèi)存數(shù)據(jù)存儲(chǔ)到磁盤(pán)中，并釋放這些內(nèi)存

• 換入：進(jìn)程再次訪問(wèn)內(nèi)存時(shí)，將它們從磁盤(pán)讀到內(nèi)存中

Linux如何衡量?jī)?nèi)存資源是否緊張？

• 直接內(nèi)存回收?新的大塊內(nèi)存分配請(qǐng)求，但剩余內(nèi)存不足。此時(shí)系統(tǒng)會(huì)回收一部分內(nèi)存；

• kswapd0?內(nèi)核線程定期回收內(nèi)存。為了衡量?jī)?nèi)存使用情況，定義了pages_min,pages_low,pages_high三個(gè)閾值，并根據(jù)其來(lái)進(jìn)行內(nèi)存的回收操作。

• 剩余內(nèi)存 < pages_min，進(jìn)程可用內(nèi)存耗盡了，只有內(nèi)核才可以分配內(nèi)存

• pages_min < 剩余內(nèi)存 < pages_low,內(nèi)存壓力較大，kswapd0執(zhí)行內(nèi)存回收，直到剩余內(nèi)存 > pages_high

• pages_low < 剩余內(nèi)存 < pages_high，內(nèi)存有一定壓力，但可以滿足新內(nèi)存請(qǐng)求

• 剩余內(nèi)存 > pages_high，說(shuō)明剩余內(nèi)存較多，無(wú)內(nèi)存壓力

  pages_low = pages_min?5 / 4 pages_high = pages_min?3 / 2

NUMA 與 SWAP

很多情況下系統(tǒng)剩余內(nèi)存較多，但SWAP依舊升高，這是由于處理器的NUMA架構(gòu)。

在NUMA架構(gòu)下多個(gè)處理器劃分到不同的Node，每個(gè)Node都擁有自己的本地內(nèi)存空間。在分析內(nèi)存的使用時(shí)應(yīng)該針對(duì)每個(gè)Node單獨(dú)分析

內(nèi)存三個(gè)閾值可以通過(guò)/proc/zoneinfo來(lái)查看，該文件中還包括活躍和非活躍的匿名頁(yè)/文件頁(yè)數(shù)。

當(dāng)某個(gè)Node內(nèi)存不足時(shí)，系統(tǒng)可以從其他Node尋找空閑資源，也可以從本地內(nèi)存中回收內(nèi)存。通過(guò)/proc/sys/vm/zone_raclaim_mode來(lái)調(diào)整。

• 0表示既可以從其他Node尋找空閑資源，也可以從本地回收內(nèi)存

• 1，2，4表示只回收本地內(nèi)存，2表示可以會(huì)回臟數(shù)據(jù)回收內(nèi)存，4表示可以用Swap方式回收內(nèi)存。

swappiness

在實(shí)際回收過(guò)程中Linux根據(jù)/proc/sys/vm/swapiness選項(xiàng)來(lái)調(diào)整使用Swap的積極程度，從0-100，數(shù)值越大越積極使用Swap，即更傾向于回收匿名頁(yè)；數(shù)值越小越消極使用Swap，即更傾向于回收文件頁(yè)。

注意：這只是調(diào)整Swap積極程度的權(quán)重，即使設(shè)置為0，當(dāng)剩余內(nèi)存+文件頁(yè)小于頁(yè)高閾值時(shí)，還是會(huì)發(fā)生Swap。

Swap升高時(shí)如何定位分析

說(shuō)明剩余內(nèi)存和緩沖區(qū)的波動(dòng)變化正是由于內(nèi)存回收和緩存再次分配的循環(huán)往復(fù)。有時(shí)候Swap用的多，有時(shí)候緩沖區(qū)波動(dòng)更多。此時(shí)查看swappiness值為60，是一個(gè)相對(duì)中和的配置，系統(tǒng)會(huì)根據(jù)實(shí)際運(yùn)行情況來(lái)選去合適的回收類型.

如何“快準(zhǔn)狠”找到系統(tǒng)內(nèi)存存在的問(wèn)題

內(nèi)存性能指標(biāo)

系統(tǒng)內(nèi)存指標(biāo)

• 已用內(nèi)存/剩余內(nèi)存

• 共享內(nèi)存 （tmpfs實(shí)現(xiàn)）

• 可用內(nèi)存：包括剩余內(nèi)存和可回收內(nèi)存

• 緩存：磁盤(pán)讀取文件的頁(yè)緩存，slab分配器中的可回收部分

• 緩沖區(qū)：原始磁盤(pán)塊的臨時(shí)存儲(chǔ)，緩存將要寫(xiě)入磁盤(pán)的數(shù)據(jù)

進(jìn)程內(nèi)存指標(biāo)

• 虛擬內(nèi)存：5大部分

• 常駐內(nèi)存：進(jìn)程實(shí)際使用的物理內(nèi)存，不包括Swap和共享內(nèi)存

• 共享內(nèi)存：與其他進(jìn)程共享的內(nèi)存，以及動(dòng)態(tài)鏈接庫(kù)和程序的代碼段

• Swap內(nèi)存：通過(guò)Swap換出到磁盤(pán)的內(nèi)存

缺頁(yè)異常

• 可以直接從物理內(nèi)存中分配，次缺頁(yè)異常

• 需要磁盤(pán)IO介入(如Swap)，主缺頁(yè)異常。此時(shí)內(nèi)存訪問(wèn)會(huì)慢很多

內(nèi)存性能工具

根據(jù)不同的性能指標(biāo)來(lái)找合適的工具:

內(nèi)存分析工具包含的性能指標(biāo):

如何迅速分析內(nèi)存的性能瓶頸

通常先運(yùn)行幾個(gè)覆蓋面比較大的性能工具，如free，top，vmstat，pidstat等

• 先用free和top查看系統(tǒng)整體內(nèi)存使用情況

• 再用vmstat和pidstat，查看一段時(shí)間的趨勢(shì)，從而判斷內(nèi)存問(wèn)題的類型

• 最后進(jìn)行詳細(xì)分析，比如內(nèi)存分配分析，緩存/緩沖區(qū)分析，具體進(jìn)程的內(nèi)存使用分析等

常見(jiàn)的優(yōu)化思路：

• 最好禁止Swap，若必須開(kāi)啟則盡量降低swappiness的值

• 減少內(nèi)存的動(dòng)態(tài)分配，如可以用內(nèi)存池，HugePage等

• 盡量使用緩存和緩沖區(qū)來(lái)訪問(wèn)數(shù)據(jù)。如用堆棧明確聲明內(nèi)存空間來(lái)存儲(chǔ)需要緩存的數(shù)據(jù)，或者用Redis外部緩存組件來(lái)優(yōu)化數(shù)據(jù)的訪問(wèn)

• cgroups等方式來(lái)限制進(jìn)程的內(nèi)存使用情況，確保系統(tǒng)內(nèi)存不被異常進(jìn)程耗盡

• /proc/pid/oom_adj調(diào)整核心應(yīng)用的oom_score，保證即使內(nèi)存緊張核心應(yīng)用也不會(huì)被OOM殺死

vmstat使用詳解

vmstat命令是最常見(jiàn)的Linux/Unix監(jiān)控工具，可以展現(xiàn)給定時(shí)間間隔的服務(wù)器的狀態(tài)值,包括服務(wù)器的CPU使用率，內(nèi)存使用，虛擬內(nèi)存交換情況,IO讀寫(xiě)情況。可以看到整個(gè)機(jī)器的CPU,內(nèi)存,IO的使用情況，而不是單單看到各個(gè)進(jìn)程的CPU使用率和內(nèi)存使用率(使用場(chǎng)景不一樣)。

pidstat 使用詳解

pidstat主要用于監(jiān)控全部或指定進(jìn)程占用系統(tǒng)資源的情況,如CPU,內(nèi)存、設(shè)備IO、任務(wù)切換、線程等。

使用方法：

• pidstat –d interval times 統(tǒng)計(jì)各個(gè)進(jìn)程的IO使用情況

• pidstat –u interval times 統(tǒng)計(jì)各個(gè)進(jìn)程的CPU統(tǒng)計(jì)信息

• pidstat –r interval times 統(tǒng)計(jì)各個(gè)進(jìn)程的內(nèi)存使用信息

• pidstat -w interval times 統(tǒng)計(jì)各個(gè)進(jìn)程的上下文切換

• p PID 指定PID

1、統(tǒng)計(jì)IO使用情況

• UID

• PID

• kB_rd/s: 每秒進(jìn)程從磁盤(pán)讀取的數(shù)據(jù)量 KB 單位 read from disk each second KB

• kB_wr/s: 每秒進(jìn)程向磁盤(pán)寫(xiě)的數(shù)據(jù)量 KB 單位 write to disk each second KB

• kB_ccwr/s: 每秒進(jìn)程向磁盤(pán)寫(xiě)入，但是被取消的數(shù)據(jù)量，This may occur when the task truncates some dirty pagecache.

• iodelay: Block I/O delay, measured in clock ticks

• Command: 進(jìn)程名 task name

2、統(tǒng)計(jì)CPU使用情況

• UID

• PID

• %usr: 進(jìn)程在用戶空間占用 cpu 的百分比

• %system: 進(jìn)程在內(nèi)核空間占用 CPU 百分比

• %guest: 進(jìn)程在虛擬機(jī)占用 CPU 百分比

• %wait: 進(jìn)程等待運(yùn)行的百分比

• %CPU: 進(jìn)程占用 CPU 百分比

• CPU: 處理進(jìn)程的 CPU 編號(hào)

• Command: 進(jìn)程名

3、統(tǒng)計(jì)內(nèi)存使用情況

• UID

• PID

• Minflt/s : 每秒次缺頁(yè)錯(cuò)誤次數(shù) （minor page faults），虛擬內(nèi)存地址映射成物理內(nèi)存地址產(chǎn)生的 page fault 次數(shù)

• Majflt/s : 每秒主缺頁(yè)錯(cuò)誤次數(shù) (major page faults), 虛擬內(nèi)存地址映射成物理內(nèi)存地址時(shí)，相應(yīng) page 在 swap 中

• VSZ virtual memory usage : 該進(jìn)程使用的虛擬內(nèi)存 KB 單位

• RSS : 該進(jìn)程使用的物理內(nèi)存 KB 單位

• %MEM : 內(nèi)存使用率

• Command : 該進(jìn)程的命令 task name

4、查看具體進(jìn)程使用情況

轉(zhuǎn)載作者：一起學(xué)嵌入式