前言

這是一個有關(guān)計算機網(wǎng)絡(luò)協(xié)議的故事。一家之言，不必當(dāng)真。

一、我佛造經(jīng)傳極樂

話說我佛如來為度化天下蒼生，有三藏真經(jīng)，可勸人為善。

就如圖中所示，真經(jīng)所藏之處，在于云端。佛祖所管轄之下，有四個區(qū)域Region，稱為四大部洲， 一是東勝神洲，二是南贍部洲，三是西牛賀洲，四是北俱盧洲。

我佛所在西牛賀洲，是主站點。

在每個區(qū)域Region，為保證真經(jīng)永固，設(shè)置多個藏經(jīng)樓，稱為可用區(qū)（Available Zone）。

每個藏經(jīng)樓里面是一排一排的柜子，稱為機柜，里面有一排一排的格子，稱為服務(wù)器，經(jīng)文就擺放在格子中。

在藏經(jīng)樓中，柜子根據(jù)經(jīng)文分門別類的組織起來，由不同的神仙進行管理，管理一個柜子的經(jīng)文的神仙，訪問這里面經(jīng)文的鑰匙就在他手里，稱為接入層神仙（接入層交換機）。

多個接入層神仙被一組匯聚層神仙（匯聚層交換機）管著，多個匯聚層的神仙被一組核心層神仙（核心交換機）管著。

神仙體系組織嚴格，層次分明，不同的接入層神仙交換經(jīng)文，要通過匯聚層神仙同意，不同的匯聚層神仙交換經(jīng)文，需要核心層神仙同意。

經(jīng)文的看守要萬無一失，因而每一層都是分組看護，互相監(jiān)督，互相備份，稱為堆疊。

雖說每個柜子里面放滿了經(jīng)文，為了防止經(jīng)文被偷聽偷看，經(jīng)文的內(nèi)容是被仙術(shù)封裝在一個虛擬的私密空間里面，雖然有人可能會偷到物質(zhì)的經(jīng)文，但是沒有仙術(shù)打開這個私密空間，看到的經(jīng)文如同空白的一樣。這個虛擬的私密空間稱為VPC。

要解讀經(jīng)文，需要使用每一格中一個不起眼的法寶，就是稱為Openvswitch的虛擬交換機，顧名思義就是起到經(jīng)文在虛擬私密空間和物理空間之間的轉(zhuǎn)換作用。

Openvswitch如何轉(zhuǎn)換呢？使用的是一種稱為VXLAN的封裝技術(shù)，但是必須要事先知道芝麻開門的ID，也即VXLAN ID，才能看到經(jīng)文的真正內(nèi)容。

在虛擬的空間中，放著真正可以解讀的真經(jīng)。

真經(jīng)有法一藏，談天；論一藏，說地；經(jīng)一藏，度鬼；三藏共計三十五部，該一萬五千一百四十四卷，乃是修真之徑，正善之門。

看來已經(jīng)前中后臺分離，分為基礎(chǔ)服務(wù)層，組合服務(wù)層，Controller層，共三十五個模塊，一萬五千多個服務(wù)，真是微服務(wù)架構(gòu)啊。

如何能夠不要迷失在這個一萬五千卷經(jīng)文中，也是很有挑戰(zhàn)的事情，需要一個索引和指南，這就是常說的RPC框架和服務(wù)注冊與發(fā)現(xiàn)中心。

為了方便諸多僧侶前來取經(jīng)，靈山腳下會有一個統(tǒng)一的入口地址，這里有一個神仙，稱為金頂大仙，專門來接應(yīng)取經(jīng)人的。

由于前來取經(jīng)的人很多，同時經(jīng)文也很多，所以金頂大仙多起到負載均衡的作用，將不同的取經(jīng)人引領(lǐng)到不同的藏經(jīng)樓，訪問不同的經(jīng)文。

金頂大仙所在的靈山腳下，是一個世界知名的地址，稱為外網(wǎng)IP地址，這個地址是全球可定位的，所有的取經(jīng)人都先到這個地方，金頂大仙通過NAT規(guī)則，將外網(wǎng)IP地址，變成藏經(jīng)樓的私有IP地址，例如2號藏經(jīng)樓三樓，4號藏經(jīng)樓五樓等。在靈山藏經(jīng)樓里面，是通過私有IP地址定位的。

真經(jīng)已經(jīng)準備好，就差東土取經(jīng)人了。

-

二、觀音奉旨上長安

可是佛祖愁啊，是這樣說的：我待要送上東土，叵耐那方眾生愚蠢，毀謗真言，不識我法門之要旨，怠慢了瑜迦之正宗。怎么得一個有法力的，去東土尋一個善信．教他苦歷千山，遠經(jīng)萬水，到我處求取真經(jīng)，永傳東土，勸他眾生，卻乃是個山大的福緣，海深的善慶、誰肯去走一遭來？

真經(jīng)就在靈山，可以東土之人愚鈍，不知道靈山咋辦呢？要一個法力無邊的人告訴他們呀。而且最好能夠告訴全世界，靈山這里有真經(jīng)。

好在有觀音菩薩，道：“弟子不才，愿上東土尋一個取經(jīng)人來也。”，觀音菩薩有什么法力呢？當(dāng)然是BGP協(xié)議了。

剛才那張圖畫的是一個可用區(qū)的情況，對于多個可用區(qū)的情況，我們可以隱去計算節(jié)點的情況，將外網(wǎng)訪問區(qū)域放大。

外網(wǎng)IP是放在虛擬網(wǎng)關(guān)的外網(wǎng)網(wǎng)口上的，這個IP如何讓全世界知道呢？在核心交換外面是安全設(shè)備，然后就是邊界路由器。邊界路由器會和多個運營商連接，從而每個運營商都能夠訪問到這個網(wǎng)站。邊界路由器可以通過BGP協(xié)議，將自己數(shù)據(jù)中心里面的外網(wǎng)IP向外廣播，也就是告訴全世界，如果要訪問這些外網(wǎng)IP，都來我這里。

每個運營商也有很多的路由器、很多的點，于是就可以將如何到達這些IP地址的路由信息，廣播到全國乃至全世界。

厲害吧，這是我佛如來告訴觀音菩薩的：“這一去。要踏看路道，不許在霄漢中行，須是要半云半霧；目過山水，謹記程途遠近之?dāng)?shù)，叮嚀那取經(jīng)人。“

就是說你去東土的路上，經(jīng)過了哪些道路，要記住路徑，要記住遠近，才能告訴取經(jīng)人這一路應(yīng)該怎么走。

-

三、玄奘秉誠建大會

當(dāng)觀音菩薩來到東土大唐，正看到玄奘法師正坐在高臺上，帶領(lǐng)眾人誦經(jīng)，念一會《受生度亡經(jīng)》，談一會《安邦天寶篆》，又宣一會《勸修功卷》。

菩薩近前來，叫道：“那和尚，你只會談小乘教法，可會談大乘么？”玄奘聞言，心中大喜，翻身跳下臺來，對菩薩起手道：“老師父，弟子失瞻，多罪。見前的蓋眾僧人，都講的是小乘教法，卻不知大乘教法如何?！逼兴_道：“你這小乘教法，度不得亡者超升，只可渾俗和光而已。我有大乘佛法三藏，能超亡者升天，能度難人脫苦，能修無量壽身，能作無來無去。”

你看，在西方極樂凈土，我佛已經(jīng)有了更牛的佛經(jīng)，遙遠的東方，還在讀本土的僧人早期從西方傳過來的經(jīng)。

這種模式，稱為CDN。

我們部署應(yīng)用的時候，一般會把靜態(tài)資源保存在兩個地方，一個是nginx后面的varnish緩存里面，一般是靜態(tài)頁面；對于比較大的、不經(jīng)常更新的靜態(tài)圖片，會保存在對象存儲里面。這兩個地方的靜態(tài)資源都會配置CDN，將資源下發(fā)到邊緣節(jié)點。

最初佛祖?zhèn)鹘?jīng)，都是口口相傳，經(jīng)文都會記在高僧大德的心里，隨著高僧云游天下，隨著廟宇遍布天下，佛經(jīng)從而遍布天下。這就相當(dāng)于將佛經(jīng)緩存在邊緣節(jié)點。

配置了CDN之后，權(quán)威DNS服務(wù)器上，會為靜態(tài)資源設(shè)置一個CNAME別名，指向另外一個域名cdn.com，返回給本地DNS服務(wù)器。

當(dāng)本地DNS服務(wù)器拿到這個新的域名時，需要繼續(xù)解析這個新的域名。這個時候，再訪問的時候就不是原來的權(quán)威DNS服務(wù)器了，而是 cdn.com 的權(quán)威DNS服務(wù)器。這是CDN自己的權(quán)威DNS服務(wù)器。

在這個服務(wù)器上，還是會設(shè)置一個CNAME，指向另外一個域名，也即CDN網(wǎng)絡(luò)的全局負載均衡器。

本地DNS服務(wù)器去請求CDN的全局負載均衡器解析域名，全局負載均衡器會為用戶選擇一臺合適的緩存服務(wù)器提供服務(wù)，將IP返回給客戶端，客戶端去訪問這個邊緣節(jié)點，下載資源。緩存服務(wù)器響應(yīng)用戶請求，將用戶所需內(nèi)容傳送到用戶終端。

如果這臺緩存服務(wù)器上并沒有用戶想要的內(nèi)容，那么這臺服務(wù)器就要向它的上一級緩存服務(wù)器請求內(nèi)容，直至追溯到網(wǎng)站的源服務(wù)器，將內(nèi)容拉到本地。

CDN的全局負載均衡策略，就相當(dāng)于當(dāng)僧人們想讀佛經(jīng)的時候，不必要都去西天，而是可以就近去問，周圍有沒有廟宇，然后向廟宇的師傅去請教佛經(jīng)。

然而緩存的佛經(jīng)當(dāng)然是比不上西天取到的經(jīng)文更新，所以東土由于離西天較遠，緩存的還是小乘佛教，要讀大乘佛教，就要去西天取經(jīng)，稱為回源。

-

四、觀音顯像化金蟬

觀音菩薩打算度化玄奘法師，回源去西天取經(jīng)。

可是怎么去呢，地址在哪里呢？玄奘法師只聽說西天，不知道具體的地址，這就要問觀音菩薩了。

這個時候，大家才知道，西天在靈山大雷音寺，距此十萬八千里。

這個過程稱為DNS解析。

當(dāng)在手機上面打開一個App的時候，首先要做的事情就是解析這個網(wǎng)站的域名。

在手機運營商所在的互聯(lián)網(wǎng)區(qū)域里，有一個本地的DNS，手機會向這個DNS請求解析DNS。當(dāng)這個DNS本地有緩存，則直接返回；如果沒有緩存，本地DNS才需要遞歸地從根DNS服務(wù)器，查到.com的頂級域名服務(wù)器，最終查到權(quán)威DNS服務(wù)器。

如果你使用云平臺的時候，配置了智能DNS和全局負載均衡，在權(quán)威DNS服務(wù)中，一般是通過配置CNAME的方式，我們可以起一個別名，例如 vip.yourcomany.com ，然后告訴本地DNS服務(wù)器，讓它請求GSLB解析這個域名，GSLB就可以在解析這個域名的過程中，通過自己的策略實現(xiàn)負載均衡。

GSLB通過查看請求它的本地DNS服務(wù)器所在的運營商和地址，就知道用戶所在的運營商和地址，然后將距離用戶位置比較近的Region里面，將三個本地負載均衡的公網(wǎng)IP地址，返回給本地DNS服務(wù)器。本地DNS解析器將結(jié)果緩存后，返回給客戶端。

對于手機APP來說，可以繞過剛才的傳統(tǒng)DNS解析機制，直接只要HTTPDNS服務(wù)，通過直接調(diào)用HTTPDNS服務(wù)器，得到這三個本地負載均衡的公網(wǎng)IP地址。

這個公網(wǎng)IP地址，就是金頂大仙所在的位置。其實這個時候，金頂大仙已經(jīng)在等待了。

這個時候，李世民突然開始說話了，曰：“誰肯領(lǐng)朕旨意，上西天拜佛求經(jīng)？“ 并愿意買下觀音手中的兩件寶物，“錦瀾袈裟”一領(lǐng)，“九環(huán)錫杖”一根，佛祖說過：”若有取經(jīng)人堅心來此，穿我的袈裟，免墮輪回；持我的錫枚，不遭毒害。“

玄奘法師回答：“貧僧不才，愿效犬馬之勞，與陛下求取真經(jīng)，祈保我王江山永固。”

這個時候，菩薩說了：“西天路遠，更多虎豹妖魔。只怕有去無回，難保身命?！?/p>

玄奘道：“我已發(fā)了弘誓大愿，不取真經(jīng)，永墮沉淪地獄。“

其實這里的對話是很有意思的，玄奘法師回復(fù)李世民的和回復(fù)觀音菩薩的不同。

這個時候，李世民作為世俗的君王，已經(jīng)想求取真經(jīng)了，也就是東土大唐作為客戶端，要發(fā)起對于服務(wù)端的請求了。但是玄奘法師知道，唐王李世民去取經(jīng)，求的是江山永固。所以李世民的請求是應(yīng)用層的，發(fā)起的是HTTP的協(xié)議，在HTTP的請求正文中，怕是寫的“江山永固”四個字。

而玄奘法師回復(fù)觀音菩薩的時候，說的就不同了，是一種對于真經(jīng)和佛法本身的堅持。所以玄奘法師是TCP層的，TCP是面向連接的，TCP 是靠譜的協(xié)議，但是這不能說明它面臨的網(wǎng)絡(luò)環(huán)境好。從 IP 層面來講，如果網(wǎng)絡(luò)狀況的確那么差，是沒有任何可靠性保證的，而作為 IP 的上一層 TCP 也無能為力，唯一能做的就是更加努力，不斷重傳，通過各種算法保證。也就是說，對于 TCP 來講，IP 層你丟不丟包，我管不著，但是我在我的層面上，會努力保證可靠性。

這一點在流沙河有了驗證。觀音菩薩度化沙悟凈的時候，沙悟凈說：“菩薩，我在此間吃人無數(shù)，向來有幾次取經(jīng)人來，都被我吃了。凡吃的人頭，拋落流沙，竟沉水底(這個水，鵝毛也不能浮)，惟有九個取經(jīng)人的骷髏，浮在水面，再不能沉。我以為異物，將索兒穿在一處，閑時拿來頑耍，這去，但恐取經(jīng)人不得到此，卻不是反誤了我的前程也？”菩薩日：“豈有不到之理？你可將骷髏地掛在頭頂下，等候取經(jīng)入，自有用處。”

所以沙悟凈脖子上這九個骷髏，是唐三藏的前九輩子，一旦吃了，就不斷的重試。

為了能夠?qū)崿F(xiàn)重試，實現(xiàn)TCP的可靠性，客戶端和服務(wù)器需要建立連接。

HTTPS協(xié)議是基于TCP協(xié)議的，因而要先建立TCP的連接。在這個例子中，TCP的連接是從手機上的App和負載均衡器SLB之間的。也就是唐僧和金頂大仙之間，到了金頂大仙，就不怕了，會指引到佛祖那里的。

盡管中間要經(jīng)過很多的路由器和交換機，但是TCP的連接是端到端的。TCP這一層和更上層的HTTPS無法看到中間的包的過程。盡管建立連接的時候，所有的包都逃不過在這些路由器和交換機之間的轉(zhuǎn)發(fā)，轉(zhuǎn)發(fā)的細節(jié)我們放到那個下單請求的發(fā)送過程中詳細解讀，這里只看端到端的行為。

對于TCP連接來講，需要通過三次握手建立連接，為了維護這個連接，雙方都需要在TCP層維護一個連接的狀態(tài)機。

一開始，客戶端和服務(wù)端都處于CLOSED狀態(tài)。服務(wù)端先是主動監(jiān)聽某個端口，處于LISTEN狀態(tài)。然后客戶端主動發(fā)起連接SYN，之后處于SYN-SENT狀態(tài)。服務(wù)端收到發(fā)起的連接，返回SYN，并且ACK客戶端的SYN，之后處于SYN-RCVD狀態(tài)。

客戶端收到服務(wù)端發(fā)送的SYN和ACK之后，發(fā)送ACK的ACK，之后處于ESTABLISHED狀態(tài)。這是因為，它一發(fā)一收成功了。服務(wù)端收到ACK的ACK之后，處于ESTABLISHED狀態(tài)，因為它的一發(fā)一收也成功了。

當(dāng)TCP層的連接建立完畢之后，接下來輪到HTTPS層建立連接了，在HTTPS的交換過程中，TCP層始終處于ESTABLISHED。

對于HTTPS，客戶端會發(fā)送Client Hello消息到服務(wù)器，用明文傳輸TLS版本信息、加密套件候選列表、壓縮算法候選列表等信息。另外，還會有一個隨機數(shù)，在協(xié)商對稱密鑰的時候使用。

然后，服務(wù)器會返回Server Hello消息，告訴客戶端，服務(wù)器選擇使用的協(xié)議版本、加密套件、壓縮算法等。這也有一個隨機數(shù)，用于后續(xù)的密鑰協(xié)商。

然后，服務(wù)器會給你一個服務(wù)器端的證書，然后說：“Server Hello Done，我這里就這些信息了。”

客戶端當(dāng)然不相信這個證書，于是你從自己信任的CA倉庫中，拿CA的證書里面的公鑰去解密電商網(wǎng)站的證書。如果能夠成功，則說明電商網(wǎng)站是可信的。這個過程中，你可能會不斷往上追溯CA、CA的CA、CA的CA的CA，反正直到一個授信的CA，就可以了。

其實觀音菩薩手里的錫杖和袈裟，就相當(dāng)于佛祖辦法的證書，保證西行路上的安全，玄奘法師這個網(wǎng)絡(luò)包別被別人吃了，或者篡改。

就像誤入小雷音一集中，白眉老佛想吃了唐僧肉，自己披上袈裟，西天取經(jīng)，求得正果。

當(dāng)然，一開始觀音菩薩拿出錫杖和袈這個證書的時候，大家也不相信，所以需要觀音菩薩現(xiàn)出真身，作為CA，證明給客戶端，唐王李世民和玄奘法師才下拜。

證書驗證完畢之后，覺得這個服務(wù)端是可信的，于是客戶端計算產(chǎn)生隨機數(shù)字Pre-master，發(fā)送Client Key Exchange，用證書中的公鑰加密，再發(fā)送給服務(wù)器，服務(wù)器可以通過私鑰解密出來。

接下來，無論是客戶端還是服務(wù)器，都有了三個隨機數(shù)，分別是：自己的、對端的，以及剛生成的Pre-Master隨機數(shù)。通過這三個隨機數(shù)，可以在客戶端和服務(wù)器產(chǎn)生相同的對稱密鑰。

有了對稱密鑰，客戶端就可以說：“Change Cipher Spec，咱們以后都采用協(xié)商的通信密鑰和加密算法進行加密通信了?！?/p>

然后客戶端發(fā)送一個Encrypted Handshake Message，將已經(jīng)商定好的參數(shù)等，采用協(xié)商密鑰進行加密，發(fā)送給服務(wù)器用于數(shù)據(jù)與握手驗證。

同樣，服務(wù)器也可以發(fā)送Change Cipher Spec，說：“沒問題，咱們以后都采用協(xié)商的通信密鑰和加密算法進行加密通信了”，并且也發(fā)送Encrypted Handshake Message的消息試試。

當(dāng)雙方握手結(jié)束之后，就可以通過對稱密鑰進行加密傳輸了。

-

五、唐王素酒送三藏

玄奘這個網(wǎng)絡(luò)包要發(fā)出了。

太宗設(shè)朝，聚集文武，要去送行。李世民送給玄奘三個東西。

上一節(jié)說了太宗是應(yīng)用層，關(guān)注保大唐江山永固，玄奘是TCP層，要通過堅定的意志到達西天。

李世民給的第一個東西是通關(guān)文牒，這個是IP層的，將來要通過這個文牒通過一個個城關(guān)。

第二個東西是紫金缽盂，這個用于玄奘法師到了某個城市里面化齋，同時打聽路的時候使用，這個是一個MAC層的。

第三個東西是白馬一匹，作為遠程腳力，這個是物理層的。

最后，太宗敬了玄奘一杯素酒，言道：寧戀本鄉(xiāng)一捻土，莫愛他鄉(xiāng)萬兩金。三藏方悟捻土之意，復(fù)謝恩飲盡，辭謝出關(guān)而去。

當(dāng)客戶端和服務(wù)端之間建立了連接后，接下來就要發(fā)送下單請求的網(wǎng)絡(luò)包了。

在用戶層發(fā)送的是HTTP的網(wǎng)絡(luò)包，因為服務(wù)端提供的是RESTful API，因而HTTP層發(fā)送的就是一個請求。

POST /purchaseOrder HTTP/1.1 Host: www.geektime.com Content-Type: application/json; charset=utf-8 Content-Length: nnn { "order": { "date": "2018-07-01", "className": "趣談網(wǎng)絡(luò)協(xié)議", "Author": "劉超", "price": "68" } }

HTTP的報文大概分為三大部分。第一部分是請求行，第二部分是請求的首部，第三部分才是請求的正文實體。

在請求行中，URL就是 www.geektime.com/purchaseOrder ，版本為HTTP 1.1。

請求的類型叫作POST，它需要主動告訴服務(wù)端一些信息，而非獲取。需要告訴服務(wù)端什么呢？一般會放在正文里面。正文可以有各種各樣的格式，常見的格式是JSON。

請求行下面就是我們的首部字段。首部是key value，通過冒號分隔。

Content-Type是指正文的格式。例如，我們進行POST的請求，如果正文是JSON，那么我們就應(yīng)該將這個值設(shè)置為JSON。

接下來是正文，這里是一個JSON字符串，里面通過文本的形式描述了，要買一個課程，作者是誰，多少錢。

這樣，HTTP請求的報文格式就拼湊好了。接下來瀏覽器或者移動App會把它交給下一層傳輸層。

怎么交給傳輸層呢？也是用Socket進行程序設(shè)計。如果用的是瀏覽器，這些程序不需要你自己寫，有人已經(jīng)幫你寫好了；如果在移動APP里面，一般會用一個HTTP的客戶端工具來發(fā)送，并且?guī)湍惴庋b好。

HTTP協(xié)議是基于TCP協(xié)議的，所以它使用面向連接的方式發(fā)送請求，通過Stream二進制流的方式傳給對方。當(dāng)然，到了TCP層，它會把二進制流變成一個的報文段發(fā)送給服務(wù)器。

在TCP頭里面，會有源端口號和目標端口號，目標端口號一般是服務(wù)端監(jiān)聽的端口號，源端口號在手機端，往往是隨機分配一個端口號。這個端口號在客戶端和服務(wù)端用于區(qū)分請求和返回，發(fā)給那個應(yīng)用。

在IP頭里面，都需要加上自己的地址（即源地址）和它想要去的地方（即目標地址）。當(dāng)一個手機上線的時候，PGW會給這個手機分配一個IP地址，這就是源地址，而目標地址則是云平臺的負載均衡器的外網(wǎng)IP地址。

在IP層，客戶端需要查看目標地址和自己是否是在同一個局域網(wǎng)，計算是否是同一個網(wǎng)段，往往需要通過CIDR子網(wǎng)掩碼來計算。

對于這個下單場景，目標IP和源IP不會在同一個網(wǎng)段，因而需要發(fā)送到默認的網(wǎng)關(guān)。一般通過DHCP分配IP地址的時候，也會同時配置默認網(wǎng)關(guān)的IP地址。

但是客戶端不會直接使用默認網(wǎng)關(guān)的IP地址，而是發(fā)送ARP協(xié)議，來獲取網(wǎng)關(guān)的MAC地址，然后將網(wǎng)關(guān)MAC作為目標MAC，自己的MAC作為源MAC，放入MAC頭，發(fā)送出去。

一個完整的網(wǎng)絡(luò)包的格式是這樣的。

接下來，網(wǎng)絡(luò)包就正式發(fā)出了。

如果你是用手機打開APP，下單購物發(fā)送網(wǎng)絡(luò)包，一般通過手機運營商的網(wǎng)絡(luò)。

客戶的手機開機以后，在附近尋找基站eNodeB，發(fā)送請求，申請上網(wǎng)?；緦⒄埱蟀l(fā)給MME，MME對手機進行認證和鑒權(quán)，還會請求HSS看有沒有錢，看看是在哪里上網(wǎng)。

當(dāng)MME通過了手機的認證之后，開始建立隧道，建設(shè)的數(shù)據(jù)通路分兩段路，其實是兩個隧道。一段是從eNodeB到SGW，第二段是從SGW到PGW，在PGW之外，就是互聯(lián)網(wǎng)。

PGW會為手機分配一個IP地址，手機上網(wǎng)都是帶著這個IP地址的。

對于手機來講，默認的網(wǎng)關(guān)在PGW上。在移動網(wǎng)絡(luò)里面，從手機到SGW，到PGW是有一條隧道的。在這條隧道里面，會將上面的這個包作為隧道的乘客協(xié)議放在里面，外面SGW和PGW在核心網(wǎng)機房的IP地址。網(wǎng)絡(luò)包直到PGW（PGW是隧道的另一端）才將里面的包解出來，轉(zhuǎn)發(fā)到外部網(wǎng)絡(luò)。

所以，從手機發(fā)送出來的時候，網(wǎng)絡(luò)包的結(jié)構(gòu)為：

源MAC：手機也即UE的MAC；

目標MAC：網(wǎng)關(guān)PGW上面的隧道端點的MAC；

源IP：UE的IP地址；

目標IP：SLB的公網(wǎng)IP地址。

進入隧道之后，要封裝外層的網(wǎng)絡(luò)地址，因而網(wǎng)絡(luò)包的格式為：

外層源MAC：E-NodeB的MAC；

外層目標MAC：SGW的MAC；

外層源IP：E-NodeB的IP；

外層目標IP：SGW的IP；

內(nèi)層源MAC：手機也即UE的MAC；

內(nèi)層目標MAC：網(wǎng)關(guān)PGW上面的隧道端點的MAC；

內(nèi)層源IP：UE的IP地址；

內(nèi)層目標IP：SLB的公網(wǎng)IP地址。

當(dāng)隧道在SGW的時候，切換了一個隧道，為從SGW到PGW的隧道，因而網(wǎng)絡(luò)包的格式為：

外層源MAC：SGW的MAC；

外層目標MAC：PGW的MAC；

外層源IP：SGW的IP；

外層目標IP：PGW的IP；

內(nèi)層源MAC：手機也即UE的MAC；

內(nèi)層目標MAC：網(wǎng)關(guān)PGW上面的隧道端點的MAC；

內(nèi)層源IP：UE的IP地址；

內(nèi)層目標IP：SLB的公網(wǎng)IP地址。

在PGW的隧道端點將包解出來，轉(zhuǎn)發(fā)出去的時候，一般在PGW出外部網(wǎng)絡(luò)的路由器上，會部署NAT服務(wù)，將手機的IP地址轉(zhuǎn)換為公網(wǎng)IP地址，當(dāng)請求返回的時候，再NAT回來。

因而在PGW之后，相當(dāng)于做了一次歐洲十國游型的轉(zhuǎn)發(fā)，網(wǎng)絡(luò)包的格式為：

源MAC：PGW出口的MAC；

目標MAC：NAT網(wǎng)關(guān)的MAC；

源IP：UE的IP地址；

目標IP：SLB的公網(wǎng)IP地址。

在NAT網(wǎng)關(guān)，相當(dāng)于做了一次玄奘西游型的轉(zhuǎn)發(fā)，網(wǎng)絡(luò)包的格式變成：

源MAC：NAT網(wǎng)關(guān)的MAC；

目標MAC：A2路由器的MAC；

源IP：UE的公網(wǎng)IP地址；

目標IP：SLB的公網(wǎng)IP地址。

在手機運營商的網(wǎng)絡(luò)里面，網(wǎng)絡(luò)狀況是比較好的。

對于玄奘法師，在大唐國境之內(nèi)，還是比較平安的。原文說：們行了數(shù)日，到了鞏州城。早有鞏州合屬官吏人等，迎接入城中。安歇一夜，次早出城前去。一路饑餐渴飲，夜住曉行，兩三日，又至河州衛(wèi)。早有鎮(zhèn)邊的總兵與本處僧道，聞得是欽差御弟法師上西方見佛，無不恭敬，接至里面供給了，著僧綱請往福原寺安歇。本寺僧人，一一參見，安排晚齋。齋畢，吩咐二從者飽喂馬匹，天不明就行。

真的是有接有送。

行經(jīng)半日，只見對面處，有一座大山，真?zhèn)€是高接青霄，崔巍險峻。此山喚做兩界山，東半邊屬我大唐所管，西半邊乃是韃靼的地界。過了這座山，就不是大唐的土地了。

-

六、歷經(jīng)千山與萬險

離開大唐的國土，接下來的路應(yīng)該怎么走呢？

好在此去西天，要經(jīng)過一個個國家，每個國家有一個個城關(guān)，玄奘法師只要到處問路，只要這些城關(guān)的守門人知道大概路怎么走，就能一個個國家的走下去，如果遇到國家，還有通關(guān)文牒，還能保護玄奘法師在國內(nèi)的安全。

這里有兩個問題要解決，第一個是每個城關(guān)的守門人和每個國家，是怎么知道去西天怎么走的。第二個問題是玄奘如何問路，如何走。

我們先第一個問題，這個觀音菩薩從西天來東土的時候，已經(jīng)通過一種法術(shù)告訴這些國家和城關(guān)了。

菩薩的法術(shù)主要分兩種情況，一種情況是在一個國家內(nèi)部如何走，另一種情況在國家之間，在野外如何走的問題。

在一個國家內(nèi)部，菩薩主要遵循最短路徑原則，就是走得路越少越好，道路越短越好。

但是國家之間，菩薩不但要考慮遠近的問題，還要考慮政策的問題。例如有的國家路近，但是路過的國家看不慣僧人，見了僧人就抓。例如滅法國，連光頭都要抓。這樣的情況即便路近，也最好繞遠點走。

菩薩的法術(shù)是什么呢？咱們在大學(xué)里面學(xué)習(xí)計算機網(wǎng)絡(luò)與數(shù)據(jù)結(jié)構(gòu)的時候，知道求最短路徑常用的有兩種方法，一種是 Bellman-Ford 算法，一種是 Dijkstra 算法。在計算機網(wǎng)絡(luò)中基本也是用這兩種方法計算的。

距離矢量路由（distance vector routing），它是基于 Bellman-Ford 算法的。

鏈路狀態(tài)路由（link state routing），基于 Dijkstra 算法。

最常用的兩種路由協(xié)議：

OSPF（Open Shortest Path First，開放式最短路徑優(yōu)先）就是這樣一個基于鏈路狀態(tài)路由協(xié)議，廣泛應(yīng)用在數(shù)據(jù)中心中的協(xié)議，稱為內(nèi)部網(wǎng)關(guān)協(xié)議（Interior Gateway Protocol，簡稱IGP）

BGP 協(xié)議使用的算法是路徑矢量路由協(xié)議（path-vector protocol）。它是距離矢量路由協(xié)議的升級版，稱為外網(wǎng)路由協(xié)議（Border Gateway Protocol，簡稱BGP）

路由協(xié)議是城關(guān)之間相互溝通到哪里應(yīng)該怎么走的協(xié)議。

第二個問題，也就是玄奘如何問路，如何走。這就是IP協(xié)議。

這就要靠通關(guān)文牒了，里面寫著貧僧來自東土大唐（就是源IP地址），欲往西天拜佛求經(jīng)（指的是目標IP地址）。路過寶地，借宿一晚，明日啟行，請問接下來該怎么走?。?/p>

在解決第一個問題的時候，每個城關(guān)已經(jīng)通過菩薩的法術(shù)，和鄰近的城關(guān)進行溝通，知道了下面的信息。

這個叫路由表，根據(jù)這個表格，可以告訴唐僧怎么走。

接下來我們看完整故事。

出了NAT網(wǎng)關(guān)，就從核心網(wǎng)到達了互聯(lián)網(wǎng)。在網(wǎng)絡(luò)世界，每一個運營商的網(wǎng)絡(luò)成為自治系統(tǒng)AS。每個自治系統(tǒng)都有邊界路由器，通過它和外面的世界建立聯(lián)系。

對于云平臺來講，它可以被稱為Multihomed AS，有多個連接連到其他的AS，但是大多拒絕幫其他的AS傳輸包。例如一些大公司的網(wǎng)絡(luò)。對于運營商來說，它可以被稱為Transit AS，有多個連接連到其他的AS，并且可以幫助其他的AS傳輸包，比如主干網(wǎng)。

如何從出口的運營商到達云平臺的邊界路由器？在路由器之間需要通過BGP協(xié)議實現(xiàn)，BGP又分為兩類，eBGP和iBGP。自治系統(tǒng)間，邊界路由器之間使用eBGP廣播路由。內(nèi)部網(wǎng)絡(luò)也需要訪問其他的自治系統(tǒng)。

邊界路由器如何將BGP學(xué)習(xí)到的路由導(dǎo)入到內(nèi)部網(wǎng)絡(luò)呢？通過運行iBGP，使內(nèi)部的路由器能夠找到到達外網(wǎng)目的地最好的邊界路由器。

網(wǎng)站的SLB的公網(wǎng)IP地址早已經(jīng)通過云平臺的邊界路由器，讓全網(wǎng)都知道了。于是這個下單的網(wǎng)絡(luò)包選擇了下一跳是A2，也即將A2的MAC地址放在目標MAC地址中。

到達A2之后，從路由表中找到下一跳是路由器C1，于是將目標MAC換成C1的MAC地址。到達C1之后，找到下一跳是C2，將目標MAC地址設(shè)置為C2的MAC。到達C2后，找到下一跳是云平臺的邊界路由器，于是將目標MAC設(shè)置為邊界路由器的MAC地址。

你會發(fā)現(xiàn)，這一路，都是只換MAC，不換目標IP地址。這就是所謂下一跳的概念。

在云平臺的邊界路由器，會將下單的包轉(zhuǎn)發(fā)進來，經(jīng)過核心交換，匯聚交換，到達外網(wǎng)網(wǎng)關(guān)節(jié)點上的SLB的公網(wǎng)IP地址。

我們可以看到，手機到SLB的公網(wǎng)IP，是一個端到端的連接，連接的過程發(fā)送了很多包。所有這些包，無論是TCP三次握手，還是HTTPS的密鑰交換，都是要走如此復(fù)雜的過程到達SLB的，當(dāng)然每個包走的路徑不一定一致。

當(dāng)網(wǎng)絡(luò)包走在這個復(fù)雜的道路上，很可能一不小心就丟了，怎么辦？這就需要借助TCP的機制重新發(fā)送。

既然TCP要對包進行重傳，就需要維護一個Sequence Number，看哪些包到了，哪些沒到，哪些需要重傳，傳輸?shù)乃俣葢?yīng)該控制到多少，這就是TCP的滑動窗口協(xié)議。

整個TCP的發(fā)送，一開始會協(xié)商一個Sequence Number，從這個Sequence Number開始，每個包都有編號。滑動窗口將接收方的網(wǎng)絡(luò)包分成四個部分：

已經(jīng)接收，已經(jīng)ACK，已經(jīng)交給應(yīng)用層的包；

已經(jīng)接收，已經(jīng)ACK，未發(fā)送給應(yīng)用層；

已經(jīng)接收，尚未發(fā)送ACK；

未接收，尚有空閑的緩存區(qū)域。

對于TCP層來講，每一個包都有ACK。ACK需要從SLB回復(fù)到手機端，將上面的那個過程反向來一遍，當(dāng)然路徑不一定一致，可見ACK也不是那么輕松的事情。

如果發(fā)送方超過一定的時間沒有收到ACK，就會重新發(fā)送。只有TCP層ACK過的包，才會發(fā)給應(yīng)用層，并且只會發(fā)送一份，對于下單的場景，應(yīng)用層是HTTP層。

你可能會問了，TCP老是重復(fù)發(fā)送，會不會導(dǎo)致一個單下了兩遍？是否要求服務(wù)端實現(xiàn)冪？從TCP的機制來看，是不會的。只有收不到ACK的包才會重復(fù)發(fā)，發(fā)到接收端，在窗口里面只保存一份，所以在同一個TCP連接中，不用擔(dān)心重傳導(dǎo)致二次下單。

但是TCP連接會因為某種原因斷了，例如手機信號不好，這個時候手機把所有的動作重新做一遍，建立一個新的TCP連接，在HTTP層調(diào)用兩次RESTful API。這個時候可能會導(dǎo)致兩遍下單的情況，因而RESTful API需要實現(xiàn)冪等。

當(dāng)ACK過的包發(fā)給應(yīng)用層之后，TCP層的緩存就空了出來，這會導(dǎo)致上面圖中的大三角，也即接收方能夠容納的總緩存，整體順時針滑動。小的三角形，也即接收方告知發(fā)送方的窗口總大小，也即還沒有完全確認收到的緩存大小，如果把這些填滿了，就不能再發(fā)了，因為沒確認收到，所以一個都不能扔。

-

七、功成行滿見真如

唐僧經(jīng)歷九九八十一難，終于到達了西天。發(fā)現(xiàn)金頂大仙已經(jīng)在等他們了。

網(wǎng)絡(luò)包從手機端經(jīng)歷千難萬險，終于到了SLB的公網(wǎng)IP所在的公網(wǎng)網(wǎng)口。由于匹配上了MAC地址和IP地址，因而將網(wǎng)絡(luò)包收了進來。

到了西天，唐僧度過最后一條河凌云仙渡的時候，發(fā)現(xiàn)滾浪飛流，約有八九里寬闊，四無人跡。好不容易盼來一條船，還沒有底。原來駕船的是接引佛祖，玄奘法師的肉體隨著河水飄走，從而脫胎換骨，成就金身。

在虛擬網(wǎng)關(guān)節(jié)點的外網(wǎng)網(wǎng)口上，會有一個NAT規(guī)則，將公網(wǎng)IP地址轉(zhuǎn)換為VPC里面的私網(wǎng)IP地址，這個私網(wǎng)IP地址就是SLB的HAProxy所在的虛擬機的私網(wǎng)IP地址。

從而網(wǎng)絡(luò)包也脫胎換骨，實現(xiàn)公網(wǎng)IP到私有網(wǎng)絡(luò)IP的轉(zhuǎn)換。

當(dāng)然為了承載比較大的吞吐量，虛擬網(wǎng)關(guān)節(jié)點會有多個，物理網(wǎng)絡(luò)會將流量分發(fā)到不同的虛擬網(wǎng)關(guān)節(jié)點。同樣HAProxy也會是一個大的集群，虛擬網(wǎng)關(guān)會選擇某個負載均衡節(jié)點，將某個請求分發(fā)給它，負載均衡之后是Controller層，也是部署在虛擬機里面的。

當(dāng)網(wǎng)絡(luò)包里面的目標IP變成私有IP地址地址之后，虛擬路由會查找路由規(guī)則，將網(wǎng)絡(luò)包從下方的私網(wǎng)網(wǎng)口發(fā)出來。這個時候包的格式為：

源MAC：網(wǎng)關(guān)MAC；

目標MAC：HAProxy虛擬機的MAC；

源IP：UE的公網(wǎng)IP；

目標IP：HAProxy虛擬機的私網(wǎng)IP。

在第一部分，我們 說佛經(jīng)是存放在一個虛擬空間里面的，要打開這個虛擬空間，解讀經(jīng)文，需要一個芝麻開門的ID。接引佛祖會給玄奘法師一個ID。

在虛擬路由節(jié)點上，也會有OVS，將網(wǎng)絡(luò)包封裝在VXLAN隧道里面，VXLAN ID就是給你的租戶創(chuàng)建VPC的時候分配的。VXLAN ID就是VPC虛擬空間的ID，OVS就是那個能夠封裝和解開私密空間的法寶。

包的格式為：

外層源MAC：網(wǎng)關(guān)物理機MAC；

外層目標MAC：物理機A的MAC；

外層源IP：網(wǎng)關(guān)物理機IP；

外層目標IP：物理機A的IP；

內(nèi)層源MAC：網(wǎng)關(guān)MAC；

內(nèi)層目標MAC：HAProxy虛擬機的MAC；

內(nèi)層源IP：UE的公網(wǎng)IP；

內(nèi)層目標IP：HAProxy虛擬機的私網(wǎng)IP。

在物理機A上，OVS會將包從VXLAN隧道里面解出來，發(fā)給HAProxy所在的虛擬機。HAProxy所在的虛擬機發(fā)現(xiàn)MAC地址匹配，目標IP地址匹配，就根據(jù)TCP端口，將包發(fā)給HAProxy進程，因為HAProxy是在監(jiān)聽這個TCP端口的。因而HAProxy就是這個TCP連接的服務(wù)端，客戶端是手機。對于TCP的連接狀態(tài)，滑動窗口等，都是在HAProxy上維護的。

在這里HAProxy是一個四層負載均衡，也即他只解析到TCP層，里面的HTTP協(xié)議他不關(guān)心，就將請求轉(zhuǎn)發(fā)給后端的多個Controller層的一個。

HAProxy發(fā)出去的網(wǎng)絡(luò)包就認為HAProxy是客戶端了，看不到手機端了。網(wǎng)絡(luò)包格式如下：

源MAC：HAProxy所在虛擬機的MAC；

目標MAC：Controller層所在虛擬機的MAC；

源IP：HAProxy所在虛擬機的私網(wǎng)IP；

目標IP：Controller層所在虛擬機的私網(wǎng)IP。

當(dāng)然這個包發(fā)出去之后，還是會被物理機上的OVS放入VXLAN隧道里面，網(wǎng)絡(luò)包格式為：

外層源MAC：物理機A的MAC；

外層目標MAC：物理機B的MAC；

外層源IP：物理機A的IP；

外層目標IP：物理機B的IP；

內(nèi)層源MAC：HAProxy所在虛擬機的MAC；

內(nèi)層目標MAC：Controller層所在虛擬機的MAC；

內(nèi)層源IP：HAProxy所在虛擬機的私網(wǎng)IP；

內(nèi)層目標IP：Controller層所在虛擬機的私網(wǎng)IP。

在物理機B上，OVS會將包從VXLAN隧道里面解出來，發(fā)給Controller層所在的虛擬機。Controller層所在的虛擬機發(fā)現(xiàn)MAC地址匹配，目標IP地址匹配，就根據(jù)TCP端口，將包發(fā)給Controller層的進程，因為他是在監(jiān)聽這個TCP端口的。

在HAProxy和Controller層之間，維護一個TCP的連接。

Controller層收到包之后，他是關(guān)心HTTP里面是什么的，于是解開HTTP的包，發(fā)現(xiàn)是一個POST請求，內(nèi)容是下單購買一個課程。

-

八、取得真經(jīng)成金身

玄奘法師終于到達西天大雷音寺，見到了我佛如來。

佛祖愿意傳經(jīng)給玄奘，于是讓玄奘去藏經(jīng)樓取經(jīng)文，誰知道西天也有西天的規(guī)矩，如果不懂這里的規(guī)矩，就很難和管理經(jīng)文的人溝通，取不到真經(jīng)。

同理，在電商服務(wù)里面，往往在組合服務(wù)層會有一個專門管理下單的服務(wù)，Controller層雖然對外暴露的是標準的RESTful協(xié)議，但是對內(nèi)會通過RPC協(xié)議調(diào)用這個組合服務(wù)層。如果不懂這個協(xié)議，就沒法通信。

假設(shè)我們使用的是Dubbo，則Controller層需要讀取注冊中心，將下單服務(wù)的進程列表拿出來，選出一個來調(diào)用。

Dubbo中默認的RPC協(xié)議是Hessian2。Hessian2將下單的遠程調(diào)用序列化為二進制進行傳輸。

Netty是一個非阻塞的基于事件的網(wǎng)絡(luò)傳輸框架。Controller層和下單服務(wù)之間，使用了Netty的網(wǎng)絡(luò)傳輸框架。有了Netty，就不用自己編寫復(fù)雜的異步Socket程序了。Netty使用的方式，就是咱們講Socket編程的時候，一個項目組支撐多個項目（IO多路復(fù)用，從派人盯著到有事通知）這種方式。

Netty還是工作在Socket這一層的，發(fā)送的網(wǎng)絡(luò)包還是基于TCP的。在TCP的下層，還是需要封裝上IP頭和MAC頭。如果跨物理機通信，還是需要封裝的外層的VXLAN隧道里面。當(dāng)然底層的這些封裝，Netty都不感知，它只要做好它的異步通信即可。

在Netty的服務(wù)端，也即下單服務(wù)中，收到請求后，先用Hessian2的格式進行解壓縮。然后將請求分發(fā)到線程中進行處理，在線程中，會調(diào)用下單的業(yè)務(wù)邏輯。

玄奘師徒好在后來碰到了懂得內(nèi)情的注冊中心——彌勒佛，從而會到靈山，還是按照人家的規(guī)矩辦了，才將無字經(jīng)文，換成有字經(jīng)文。

下單的業(yè)務(wù)邏輯比較復(fù)雜，往往要調(diào)用基礎(chǔ)服務(wù)層里面的庫存服務(wù)、優(yōu)惠券服務(wù)等，將多個服務(wù)調(diào)用完畢，才算下單成功。下單服務(wù)調(diào)用庫存服務(wù)和優(yōu)惠券服務(wù)，也是通過Dubbo的框架，通過注冊中心拿到庫存服務(wù)和優(yōu)惠券服務(wù)的列表，然后選一個調(diào)用。

調(diào)用的時候，統(tǒng)一使用Hessian2進行序列化，使用Netty進行傳輸，底層如果跨物理機，仍然需要通過VXLAN的封裝和解封裝。

咱們以庫存為例子的時候，講述過冪等的接口實現(xiàn)的問題。因為如果扣減庫存，僅僅是誰調(diào)用誰減一。這樣存在的問題是，如果扣減庫存因為一次調(diào)用失敗，而多次調(diào)用，這里指的不是TCP多次重試，而是應(yīng)用層調(diào)用的多次重試，就會存在庫存扣減多次的情況。

這里常用的方法是，使用樂觀鎖（Compare and Set，簡稱CAS）。CAS要考慮三個方面，當(dāng)前的庫存數(shù)、預(yù)期原來的庫存數(shù)和版本，以及新的庫存數(shù)。在操作之前，查詢出原來的庫存數(shù)和版本，真正扣減庫存的時候，判斷如果當(dāng)前庫存的值與預(yù)期原值和版本相匹配，則將庫存值更新為新值，否則不做任何操作。

這是一種基于狀態(tài)而非基于動作的設(shè)計，符合REST的架構(gòu)設(shè)計原則。這樣的設(shè)計有利于高并發(fā)場景。當(dāng)多個線程嘗試使用CAS同時更新同一個變量時，只有其中一個線程能更新變量的值，而其它線程都失敗，失敗的線程并不會被掛起，而是被告知這次競爭中失敗，并可以再次嘗試。

最終，當(dāng)下單更新到分布式數(shù)據(jù)庫中之后，整個下單過程才算真正告一段落。

當(dāng)然，這個下單調(diào)用要返回一個結(jié)果。

我們下單成功啦?。。。。?！

如果你依然在編程的世界里迷茫，不知道自己的未來規(guī)劃，亦或你想更好的提升你的編程能力，好好學(xué)習(xí)C/C++編程知識的話！那么你很幸運~

另外，UP在主頁上傳了一些學(xué)習(xí)C/C++編程的視頻教程，有興趣或者正在學(xué)習(xí)的小伙伴一定要去看一看哦！會對你有幫助的~

分享（源碼、項目實戰(zhàn)視頻、項目筆記，基礎(chǔ)入門教程）

歡迎轉(zhuǎn)行和學(xué)習(xí)編程的伙伴，利用更多的資料學(xué)習(xí)成長比自己琢磨更快哦！