導(dǎo)語

epoll接口是為解決Linux內(nèi)核處理大量文件描述符而提出的方案。該接口屬于Linux下多路I/O復(fù)用接口中select/poll的增強。其經(jīng)常應(yīng)用于Linux下高并發(fā)服務(wù)型程序，特別是在大量并發(fā)連接中只有少部分連接處于活躍下的情況 (通常是這種情況)，在該情況下能顯著的提高程序的CPU利用率。本篇詳細解讀了epoll的用法，希望大家能有所收獲！

正文

設(shè)想一個場景：有100萬用戶同時與一個進程保持著TCP連接，而每一時刻只有幾十個或幾百個TCP連接是活躍的(接收TCP包)，也就是說在每一時刻進程只需要處理這100萬連接中的一小部分連接。那么，如何才能高效的處理這種場景呢？進程是否在每次詢問操作系統(tǒng)收集有事件發(fā)生的TCP連接時，把這100萬個連接告訴操作系統(tǒng)，然后由操作系統(tǒng)找出其中有事件發(fā)生的幾百個連接呢？實際上，在 Linux2.4 版本以前，那時的select 或者 poll 事件驅(qū)動方式是這樣做的。

這里有個非常明顯的問題，即在某一時刻，進程收集有事件的連接時，其實這100萬連接中的大部分都是沒有事件發(fā)生的。因此如果每次收集事件時，都把100萬連接的套接字傳給操作系統(tǒng)（這首先是用戶態(tài)內(nèi)存到內(nèi)核態(tài)內(nèi)存的大量復(fù)制），而由操作系統(tǒng)內(nèi)核尋找這些連接上有沒有未處理的事件，將會是巨大的資源浪費，然后select和poll就是這樣做的，因此它們最多只能處理幾千個并發(fā)連接。而epoll不這樣做，它在Linux內(nèi)核中申請了一個簡易的文件系統(tǒng)，把原先的一個select或poll調(diào)用分成了3部分：

1、調(diào)用 epoll_create 建立一個 epoll 對象（在epoll文件系統(tǒng)中給這個句柄分配資源）；
2、調(diào)用 epoll_ctl 向 epoll 對象中添加這100萬個連接的套接字；
3、調(diào)用 epoll_wait 收集發(fā)生事件的連接。

這樣只需要在進程啟動時建立 1 個 epoll 對象，并在需要的時候向它添加或刪除連接就可以了，因此，在實際收集事件時，epoll_wait 的效率就會非常高，因為調(diào)用 epoll_wait 時并沒有向它傳遞這100萬個連接，內(nèi)核也不需要去遍歷全部的連接。

一、epoll原理詳解

當(dāng)某一進程調(diào)用 epoll_create 方法時，Linux 內(nèi)核會創(chuàng)建一個 eventpoll 結(jié)構(gòu)體，這個結(jié)構(gòu)體中有兩個成員與epoll的使用方式密切相關(guān)，如下所示：

我們在調(diào)用 epoll_create 時，內(nèi)核除了幫我們在 epoll 文件系統(tǒng)里建了個 file 結(jié)點，在內(nèi)核 cache 里建了個紅黑樹用于存儲以后 epoll_ctl 傳來的 socket 外，還會再建立一個 rdllist 雙向鏈表，用于存儲準備就緒的事件，當(dāng) epoll_wait 調(diào)用時，僅僅觀察這個 rdllist 雙向鏈表里有沒有數(shù)據(jù)即可。有數(shù)據(jù)就返回，沒有數(shù)據(jù)就sleep，等到 timeout 時間到后即使鏈表沒數(shù)據(jù)也返回。所以epoll_wait 非常高效。

所有添加到epoll中的事件都會與設(shè)備(如網(wǎng)卡)驅(qū)動程序建立回調(diào)關(guān)系，也就是說相應(yīng)事件的發(fā)生時會調(diào)用這里的回調(diào)方法。這個回調(diào)方法在內(nèi)核中叫做ep_poll_callback，它會把這樣的事件放到上面的rdllist雙向鏈表中。

在epoll中對于每一個事件都會建立一個epitem結(jié)構(gòu)體，如下所示：

當(dāng)調(diào)用 epoll_wait 檢查是否有發(fā)生事件的連接時，只是檢查eventpoll對象中的rdllist雙向鏈表是否有epitem元素而已，如果rdllist鏈表不為空，則這里的事件復(fù)制到用戶態(tài)內(nèi)存（使用共享內(nèi)存提高效率）中，同時將事件數(shù)量返回給用戶。因此epoll_waitx效率非常高。epoll_ctl在向epoll對象中添加、修改、刪除事件時，從rbr紅黑樹中查找事件也非?？欤簿褪钦fepoll是非常高效的，它可以輕易地處理百萬級別的并發(fā)連接。

?

?

【總結(jié)】：

一顆紅黑樹，一張準備就緒句柄鏈表，少量的內(nèi)核cache，就幫我們解決了大并發(fā)下的socket處理問題.

• 執(zhí)行epoll_create() 時，創(chuàng)建了紅黑樹和就緒鏈表;

• 執(zhí)行 epoll_ctl() 時，如果增加 socket 句柄，則檢查在紅黑樹中是否存在，存在立即返回，不存在則添加到樹干上，然后向內(nèi)核注冊回調(diào)函數(shù)，用于當(dāng)中斷事件來臨時向準備就緒鏈表中插入數(shù)據(jù);

• 執(zhí)行 epoll_wait() 時立刻返回準備就緒鏈表里的數(shù)據(jù)即可。

二、epoll 的兩種觸發(fā)模式

epoll有EPOLLLT和EPOLLET兩種觸發(fā)模式，LT是默認的模式，ET是“高速”模式。

• LT（水平觸發(fā)）模式下，只要這個文件描述符還有數(shù)據(jù)可讀，每次 epoll_wait都會返回它的事件，提醒用戶程序去操作；

• ET（邊緣觸發(fā)）模式下，在它檢測到有 I/O 事件時，通過 epoll_wait 調(diào)用會得到有事件通知的文件描述符，對于每一個被通知的文件描述符，如可讀，則必須將該文件描述符一直讀到空，讓 errno 返回 EAGAIN 為止，否則下次的 epoll_wait 不會返回余下的數(shù)據(jù)，會丟掉事件。

如果ET模式不是非阻塞的，那這個一直讀或一直寫勢必會在最后一次阻塞。

還有一個特點是，epoll使用“事件”的就緒通知方式，通過epoll_ctl注冊fd，一旦該fd就緒，內(nèi)核就會采用類似callback的回調(diào)機制來激活該fd，epoll_wait便可以收到通知。

【epoll為什么要有ET觸發(fā)模式？】：

如果采用 EPOLLLT 模式的話，系統(tǒng)中一旦有大量你不需要讀寫的就緒文件描述符，它們每次調(diào)用epoll_wait都會返回，這樣會大大降低處理程序檢索自己關(guān)心的就緒文件描述符的效率.。而采用EPOLLET這種邊緣觸發(fā)模式的話，當(dāng)被監(jiān)控的文件描述符上有可讀寫事件發(fā)生時，epoll_wait()會通知處理程序去讀寫。如果這次沒有把數(shù)據(jù)全部讀寫完(如讀寫緩沖區(qū)太小)，那么下次調(diào)用epoll_wait()時，它不會通知你，也就是它只會通知你一次，直到該文件描述符上出現(xiàn)第二次可讀寫事件才會通知你！??！這種模式比水平觸發(fā)效率高，系統(tǒng)不會充斥大量你不關(guān)心的就緒文件描述符。

【總結(jié)】：

ET模式（邊緣觸發(fā)）

• 只有數(shù)據(jù)到來才觸發(fā)，不管緩存區(qū)中是否還有數(shù)據(jù)，緩沖區(qū)剩余未讀盡的數(shù)據(jù)不會導(dǎo)致epoll_wait返回；

• 邊沿觸發(fā)模式很大程度上降低了同一個epoll事件被重復(fù)觸發(fā)的次數(shù)，所以效率更高；

• 對于讀寫的connfd，邊緣觸發(fā)模式下，必須使用非阻塞IO，并要一次性全部讀寫完數(shù)據(jù)。

• ET的編程可以做到更加簡潔，某些場景下更加高效，但另一方面容易遺漏事件，容易產(chǎn)生bug；

LT 模式（水平觸發(fā)，默認）

• 只要有數(shù)據(jù)都會觸發(fā)，緩沖區(qū)剩余未讀盡的數(shù)據(jù)會導(dǎo)致epoll_wait返回；

• LT比ET多了一個開關(guān)EPOLLOUT事件(系統(tǒng)調(diào)用消耗，上下文切換）的步驟；

• 對于監(jiān)聽的sockfd，最好使用水平觸發(fā)模式（參考nginx），邊緣觸發(fā)模式會導(dǎo)致高并發(fā)情況下，有的客戶端會連接不上，LT適合處理緊急事件；

• 對于讀寫的connfd，水平觸發(fā)模式下，阻塞和非阻塞效果都一樣，不過為了防止特殊情況，還是建議設(shè)置非阻塞；

• LT的編程與poll/select接近，符合一直以來的習(xí)慣，不易出錯；

總之，各有優(yōu)缺點，需要根據(jù)業(yè)務(wù)場景選擇最合適的模式。

【文章福利】小編推薦自己的Linux內(nèi)核技術(shù)交流群:【749907784】整理了一些個人覺得比較好的學(xué)習(xí)書籍、視頻資料共享在群文件里面，有需要的可以自行添加哦?。。。ê曨l教程、電子書、實戰(zhàn)項目及代碼)? ?

零聲白金VIP體驗卡（含基礎(chǔ)架構(gòu)/高性能存儲/golang/QT/音視頻/Linux內(nèi)核）課程：?

三、epoll反應(yīng)堆模型

【epoll模型原來的流程】：

【epoll反應(yīng)堆模型的流程】：

?

【Demo】：

最后學(xué)習(xí)epoll一些建議

• 需要深入理解epoll LT和ET方式下的讀寫差別，怎么優(yōu)雅地處理各種錯誤；

• 需要關(guān)注多線程負載均衡，驚群效應(yīng)等問題，要用 epoll 實現(xiàn)負載均衡并且避免數(shù)據(jù)競爭，必須掌握好 EPOLLONESHOT 和 EPOLLEXCLUSIVE 這兩個標志；

• 理解epoll不足之處：

  1.定時的精度不夠，只到5ms級別，select可以到0.1ms；

  2.當(dāng)連接數(shù)少并且連接都十分活躍的情況下，select和poll的性能可能比epoll好；

  3.epoll_ctrl每次只能夠修改一個fd（kevent可以一次改多個，每次修改，epoll需要一個系統(tǒng)調(diào)用，不能 batch 操作，可能會影響性能）。

  4.可能會在定時到期之前返回，導(dǎo)致還需要下一個epoll_wait調(diào)用。

原文作者：極客重生