691億次春晚紅包互動(dòng)與京東云的648小時(shí)
走完勤懇低調(diào)的牛年，人們對(duì)虎年抱有更美好的期望。
對(duì)于太多中國人來說，虎年春節(jié)是太特別的一個(gè)。
許多人選擇“就地過年”，不能返鄉(xiāng)的年輕人湊在一起，學(xué)著備年貨，學(xué)著包餃子，做出一桌像模像樣的年夜飯，在視頻連線與搶紅包中傳遞著年味。
因?yàn)橐咔榉揽貓?jiān)守在崗位上的一線醫(yī)務(wù)人員與基層工作人員，則逆行而上，筑起一道道抗疫防線。城市暫時(shí)安靜，內(nèi)心卻火熱溫暖。
而對(duì)京東的工程師們來說，這個(gè)春節(jié)則特殊在，他們用自己的方式參與了央視春晚，用互聯(lián)網(wǎng)與云計(jì)算的力量為億萬觀眾的互動(dòng)體驗(yàn)保駕護(hù)航……
4個(gè)多小時(shí)的春晚，一場全民的狂歡、億萬家庭的溫暖春節(jié)、691 億次手機(jī)互動(dòng)，背后是上萬名京東人除夕的堅(jiān)守，幾十萬京東人648小時(shí)的協(xié)同。
新春伊始，我們記錄下 15 億京東春晚紅包背后的故事，將默默守護(hù)你搶紅包的中國工程師故事，講給你聽。
緊鑼密鼓
”從昨天零點(diǎn)起，我們就進(jìn)入狀態(tài)了，基本睡不著覺，特別激動(dòng)?！?/p>
2 月 1 日00：21分，央視虎年春晚的最后一輪紅包互動(dòng)順利結(jié)束，負(fù)責(zé)春晚項(xiàng)目京東云技術(shù)保障的李爽顧不上吃口餃子，只想在原地興奮地大叫幾聲。“我們的努力沒有白費(fèi)！”
和李爽一樣在公司度過除夕夜的工程師有近 2000人，為了這一夜億萬觀眾能順暢地邊看節(jié)目、邊搶紅包，他們已經(jīng)奮戰(zhàn)了 27 天。
給全國人民發(fā)紅包，是件驕傲的事，更是件有挑戰(zhàn)的事。
而京東的這一戰(zhàn)，時(shí)間緊、任務(wù)重。
央視春晚作為一年一度最受關(guān)注的全國性晚會(huì)，紅包互動(dòng)參與量大、覆蓋范圍廣泛，以往各家合作伙伴均需數(shù)月準(zhǔn)備，往屆春晚僅紅包互動(dòng)一項(xiàng)，就已是對(duì)云廠商的一次大考，今年的春晚互動(dòng)的鏈路更長、場景也更復(fù)雜，觀眾一邊搶紅包、一邊逛好物，與此同時(shí)在線下，物流供應(yīng)也得保障。
每一個(gè)鏈路環(huán)節(jié)的增加，對(duì)春晚場景的復(fù)雜度和應(yīng)對(duì)難度都是指數(shù)級(jí)的增長，從前端網(wǎng)站、訂單、結(jié)算、支付、搜索、推薦，到后端的倉儲(chǔ)、配送、客服、售后各種業(yè)務(wù)系統(tǒng)都面臨著前所未有的挑戰(zhàn)。
而許多京東人在元旦假期結(jié)束后的第一天，才得知有可能與春晚合作，他們一秒也不敢耽擱，火速成立項(xiàng)目組開始籌備。因?yàn)闀r(shí)間緊迫而任務(wù)難度太大，京東投入了比常規(guī)大促更多三、四倍的人員與精力。
常亮獲得這一消息的時(shí)間，比大多數(shù)京東人稍早一些。
那時(shí)，他正在京郊長陽的滑雪場與家人跨年?！拔医拥诫娫挘f第二天早上到公司緊急開會(huì)，都沒說什么事，跟家人說你們接著玩，我就自己開車回公司總部來了?！背Ａ潦沁@次京東春晚項(xiàng)目IDC基礎(chǔ)保障的1號(hào)位，主要負(fù)責(zé)春晚項(xiàng)目數(shù)據(jù)中心及服務(wù)器運(yùn)維等管理，也是春晚項(xiàng)目組負(fù)責(zé)京東云資源調(diào)度的核心負(fù)責(zé)人之一。
合作正式宣布的第一時(shí)間，常亮就與家人分享了這個(gè)好消息。“家人都特別理解和支持，雖然春晚當(dāng)天可能沒法團(tuán)聚，但是實(shí)際上家人打開 App，能順暢地把紅包搖出來，就是我們一起完成過年的儀式感了?！?/strong>
一場真正的戰(zhàn)斗從 1 月 5 日正式打響。
“對(duì)于技術(shù)人來說，春晚（紅包）項(xiàng)目是很有誘惑的。”常亮說，“你很難碰到這么頂級(jí)的流量，其實(shí)京東 618、京東11.11的流量已經(jīng)很大了，但是春晚互動(dòng)的流量則遠(yuǎn)超其他時(shí)刻?！?/strong>
“誘惑”的同時(shí)，焦慮也隨之出現(xiàn)。
在得到消息后的一周時(shí)間里，研發(fā)部門對(duì)項(xiàng)目進(jìn)行了非常謹(jǐn)慎的反復(fù)評(píng)估。
對(duì)于團(tuán)隊(duì)來說，最大的挑戰(zhàn)就是在現(xiàn)有的資源配置下，應(yīng)對(duì)全球觀眾同時(shí)參與紅包互動(dòng)、線上購物同時(shí)并發(fā)的流量洪峰。
初步的判斷并不樂觀。“我們盤點(diǎn)了一下自己的資源，距離去支撐這種規(guī)模的流量洪峰尚存在差距?！?/strong>如何在短時(shí)間內(nèi)填補(bǔ)上這不小的差距，就是展示技術(shù)儲(chǔ)備的時(shí)候了。
京東云擁有全球最大規(guī)模云原生實(shí)踐，依托云原生數(shù)字基礎(chǔ)設(shè)施和混合多云操作系統(tǒng)云艦，秒級(jí)調(diào)度近300萬個(gè)容器、超1000萬核算力資源。
“用戶每一次訪問我們都會(huì)精確地去判斷他對(duì)我們系統(tǒng)的消耗，”在 19 天的籌備期里，京東云艦團(tuán)隊(duì)將“開源節(jié)流”四個(gè)字發(fā)揮到了極致：“我們要做到是去壓榨每一個(gè)CPU的時(shí)間片的計(jì)算資源，同時(shí)我們會(huì)去壓縮在網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)包，讓我們數(shù)據(jù)包盡量的小，不浪費(fèi)一個(gè)字節(jié)的網(wǎng)絡(luò)帶寬，這樣才能做到從云的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)三個(gè)方面都最大化的利用現(xiàn)有的資源?！?/p>
騰挪
京東是個(gè)典型的長跑選手，很多技術(shù)項(xiàng)目經(jīng)歷了10年以上的持續(xù)研發(fā)和優(yōu)化，打磨出真正卓越的技術(shù)成果。
樊建剛就是這樣的長跑選手，見證著京東從蘇州街銀豐大廈僅占半層的辦公室、迅速擴(kuò)張到一層、兩層、三層，后來到北辰世紀(jì)中心、朝林大廈，再到現(xiàn)在的亦莊總部。
春晚紅包項(xiàng)目，則是樊建剛在京東見證的又一大型里程碑。
遇到需要大型算力的時(shí)間節(jié)點(diǎn)，提前預(yù)估需求、新增算力資源是常見的做法，最萬無一失的做法就是準(zhǔn)備大量服務(wù)器甚至冗余。而面對(duì)數(shù)億觀眾瞬間涌入京東 App 的流量潮，京東采用的是并不那么傳統(tǒng)的方法備戰(zhàn)——“騰挪”。
“考慮到現(xiàn)實(shí)供應(yīng)鏈緊張以及春晚結(jié)束后的資源利用情況，京東云最后的決定是在幾乎不增加服務(wù)器資源的情況下獨(dú)自支持春晚，避免為單個(gè)項(xiàng)目投入大量硬件成本?！狈▌傊毖裕诩瘓F(tuán)各個(gè)業(yè)務(wù)間想盡辦法“騰挪”，是一個(gè)以云技術(shù)為底座的科技公司能做也應(yīng)該做的。
這也是對(duì)云艦產(chǎn)品乃至整個(gè)京東云技術(shù)實(shí)力的一次空前大考。
具體而言，春晚開始之前，京東云需要完成超千萬核資源的籌備，為春晚紅包場景臨時(shí)搭建數(shù)字底座。而春晚開始之后，伴隨著主持人每一次口播紅包互動(dòng)，京東云需要在京東 App 完成從購物模式到紅包互動(dòng)再到購物模式的切換，分毫不能差。
對(duì)于底層資源的調(diào)度，京東在一年又一年的京東 618、京東11.11中持續(xù)歷練，但像春晚這樣高密度、高精度的調(diào)度，京東還是第一次正面迎戰(zhàn)。“搖紅包就一分鐘，很多資源要求秒級(jí)要到位，之后還要秒級(jí)釋放給其他應(yīng)用?！?/strong>也就是說，云艦不僅僅要保證每一個(gè)用戶都能夠快速搶到紅包，而每一個(gè)在這之后切換去瀏覽商品頁面、下單購買的用戶體驗(yàn)，也都要能夠保證。
常亮介紹說，光是京東內(nèi)部光騰挪、整合、縮擴(kuò)容就大概整出了數(shù)十萬核，如果折算成實(shí)體服務(wù)器，就相當(dāng)于接近一萬臺(tái)機(jī)器。
回頭看來，這次春晚互動(dòng)項(xiàng)目不僅僅是一場京東技術(shù)實(shí)力的展示，也是一次中國云技術(shù)進(jìn)展的展示。
“如果說以前使用云，就好像使用自來水，讓大家可以共享我們的算力資源、存儲(chǔ)資源、網(wǎng)絡(luò)資源，但資源永遠(yuǎn)是有限的，我們不可能為了一次十倍、或五倍的峰值一直儲(chǔ)備對(duì)應(yīng)的資源，峰值過去之后就讓資源在那里睡大覺?！背Ａ琳f，“這個(gè)時(shí)候云的特性，也就是資源的彈性使用和縮擴(kuò)容，就完美地體現(xiàn)出來了?！?/p>
關(guān)于常亮口中的“資源的彈性使用”，支持京東春晚項(xiàng)目快速研發(fā)的京東云 T-PaaS 及中間件的張金柱感觸最深。
云原生技術(shù)強(qiáng)調(diào)的彈性、多租戶、按需使用、按量付費(fèi)的能力，是云技術(shù)的進(jìn)一步發(fā)展，這些能力賦予了業(yè)務(wù)開發(fā)更強(qiáng)的敏捷性。“業(yè)務(wù)研發(fā)人員不用擔(dān)心底層資源的管理和技術(shù)的復(fù)雜性等問題，從而將更多的精力放在應(yīng)用研發(fā)上，對(duì)研發(fā)的效率提升大有裨益?！彼f。
他所負(fù)責(zé)的部分簡單來說，就是將那些暫時(shí)閑置的資源，快速擴(kuò)容到整個(gè)系統(tǒng)當(dāng)中。
如果將紅包項(xiàng)目比作一個(gè)需要讓數(shù)以億計(jì)的觀眾快速進(jìn)入到一個(gè)場館來觀看比賽的話，中間件其實(shí)就相當(dāng)于場館的各個(gè)通道，配合著資源調(diào)度系統(tǒng)，張金柱需要帶領(lǐng)團(tuán)隊(duì)快速、合理地打開這些通道，承接涌入的人流，保證大家有序、可控的進(jìn)入到自己的座位觀看比賽?！耙簿褪潜ＷC大家能夠順利的參與到紅包的活動(dòng)中來。”他說，“這樣才能夠真正實(shí)現(xiàn)整個(gè)系統(tǒng)的彈性，如果只是將應(yīng)用做到彈性，而中間件和數(shù)據(jù)庫等沒有對(duì)應(yīng)的彈性能力的話，系統(tǒng)還是無法應(yīng)對(duì)如此大的流量的?！?/p>
?
把“人算”做到極致，
迎接“天算”的考驗(yàn)
歷年春晚都經(jīng)過反復(fù)彩排，而在京東備戰(zhàn)的 19 天（1 月 5 日-1 月 23 日）里，工程師們也同樣為春晚紅包項(xiàng)目“彩排”了七次。
在技術(shù)人的字典里，這樣的“彩排”有一個(gè)專有名詞——壓測。
第一次壓測從 1 月 6 日就開始，直到 1 月 24 日第七次壓測完成，常亮帶領(lǐng)春晚保障團(tuán)隊(duì)度過了幾乎不眠不休的技術(shù)攻堅(jiān)。
在春晚開始前三天，常亮說京東云的春晚保障目標(biāo)是想“把人算做到極致，去迎接天算的考驗(yàn)”。
“人算”是指通過極致的測算、數(shù)據(jù)驅(qū)動(dòng)，包括組織保障、流程機(jī)制預(yù)演等，將所有的需求控制在一個(gè)大家都可以接受和控制的范圍之內(nèi)。
理論上來說，這樣一來，壓測做一次和做十次結(jié)果都有一樣。“用計(jì)算機(jī)學(xué)的術(shù)語就是系統(tǒng)越趨近于冪等性，所得的結(jié)果都可預(yù)期?！?/p>
而應(yīng)對(duì)那些“天算”——那些突發(fā)的未知情況，快速響應(yīng)機(jī)制和完備的組織、決策機(jī)制則是為之兜底的方案。
為了更好地解決應(yīng)急挑戰(zhàn)，京東首創(chuàng)了“應(yīng)急劇本預(yù)案”模式，重點(diǎn)排查和預(yù)防TOP 級(jí)困難，從前臺(tái)、中臺(tái)、后臺(tái)三大塊為春晚設(shè)計(jì)了應(yīng)急演練劇本。通過一次次真實(shí)劇本演練，團(tuán)隊(duì)對(duì)整個(gè)春晚系統(tǒng)的情況有了形象的預(yù)測認(rèn)知。
智能客服“搶”下的時(shí)間
在京東春晚項(xiàng)目一個(gè)個(gè)打磨的劇本里，智能客服有著其特殊的位置。
一個(gè)鏈條上，所有業(yè)務(wù)都是聯(lián)動(dòng)的，牽一發(fā)動(dòng)全身，報(bào)警精確到秒，從而能夠快速反應(yīng)。常亮舉了個(gè)例子，“比如運(yùn)營之前配了一萬個(gè)紅包，現(xiàn)在因?yàn)楣艿雷兗?xì)了，減到三千，客服一下子有大量的客戶問詢，怎么辦？靠智能客服系統(tǒng)，能處理 95%?！?/p>
這 95%?就是京東智能客服團(tuán)隊(duì)運(yùn)用前沿的多模態(tài)交互技術(shù)為人工客服搶下的時(shí)間?！巴ㄟ^客服系統(tǒng)把這個(gè)一秒鐘內(nèi)發(fā)生的警報(bào)，變成三秒，那就變成三分之一壓力，能變成十秒就更好，就變成十分之一的壓力?！?/p>
在京東經(jīng)歷了十年長跑，京東 618、京東 11.11 對(duì)于智能客服產(chǎn)品部前臺(tái)負(fù)責(zé)人劉丹來說已經(jīng)是“家常便飯”，但在得知要與央視春晚合作時(shí)，他也還是難掩興奮與緊張。
興奮在于，“不是所有大廠都有機(jī)會(huì)在春晚舞臺(tái)上將產(chǎn)品、技術(shù)、經(jīng)驗(yàn)、能力展現(xiàn)給全國人民”，緊張則在于，團(tuán)隊(duì)對(duì)于服務(wù)流量是“京東 11.11 十余倍”的估計(jì)。
“為什么紅包搶到的這么少？為什么我這次沒有搶到？什么時(shí)候可以再搶？搶到了在哪里查看、怎么用？這些問題，客戶都會(huì)在第一時(shí)間通過智能客服來咨詢，普通用戶可能就問一句話，但十幾億觀眾就可能會(huì)有上百種問法。”劉丹說，“這都給智能客服帶來了新的挑戰(zhàn)?！?/p>
挑戰(zhàn)很大，但因?yàn)榇蟠佟俺B(tài)化、日常化”，智能客服團(tuán)隊(duì)常年有一支備戰(zhàn)小組。這一次，智能客服產(chǎn)品線又在備戰(zhàn)小組的基礎(chǔ)上成立了一支快速響應(yīng)小隊(duì)，針對(duì)各個(gè)系統(tǒng)、各個(gè)模塊、各個(gè)業(yè)務(wù)單元進(jìn)行梳理和監(jiān)控。“就像火箭發(fā)射成功一樣，不能保證任何東西都是 100%，但是必須做出 200%的努力來保證成功，”劉丹說?！斑@會(huì)是我們在職場度過的一個(gè)相對(duì)來說、很難忘的春節(jié)，也希望能給全國人民一個(gè)好的答卷。”
“一切順利，超出預(yù)期！”
幸運(yùn)地是，在春晚當(dāng)天，一切都比想象中順利。
服務(wù)器扛住了一次次流量洪峰，寫在“劇本”里的那些突發(fā)狀況并未發(fā)生。
李爽懸了好多天的心，在春晚第三輪紅包發(fā)完的那一刻，也漸漸放了下來。
如樊建剛所總結(jié)的，整個(gè)春晚四小時(shí)之間，京東 App 會(huì)在交易模式和紅包互動(dòng)模式完成了十多次切換，挑戰(zhàn)了極限資源不同場景的切換。
一次、兩次、三次、四次……一次次順利的場景切換，意味著離春晚項(xiàng)目的順利完成更進(jìn)一步。
從春晚保障團(tuán)隊(duì)所在的會(huì)議室眺望出去，北京的萬家燈火盡在眼里。家家戶戶吃年夜飯、等待春晚開始的時(shí)間里，聚集了上百人的會(huì)議室?guī)缀貘f雀無聲，人人對(duì)著面前的電腦，偶爾抬頭看一眼會(huì)議室前方的作戰(zhàn)大屏。“大家都非常集中精力去看自己的系統(tǒng)，確保今晚的春晚互動(dòng)活動(dòng)能夠順利進(jìn)行?！?/strong>
氛圍最緊張的是前三輪紅包互動(dòng)的時(shí)候?！耙?yàn)榍捌诘膲毫y試、對(duì)于現(xiàn)場容量和彈性有了很好的準(zhǔn)備，京東云和各個(gè)模塊配合非常流暢，才能保證今天這么順利的完成。”李爽總結(jié)道。
也是在那之后，工程師們才有心思看一樣春晚的內(nèi)容，李爽則抽空點(diǎn)擊了家人發(fā)來的紅包分享頁面——“我?guī)退c(diǎn)一下，她就能多領(lǐng)一次紅包?！?/strong>
在那一刻，在京東總部為系統(tǒng)提供的支持保障的工程師，與看著春晚的家人，在“搶紅包”這件事上隔空交匯了。
如今，春晚紅包互動(dòng)已經(jīng)進(jìn)入到第 7 個(gè)年頭，經(jīng)過僅僅 19 天的綜合備戰(zhàn)，京東云在幾乎不增加服務(wù)器資源的情況下獨(dú)自支持春晚，經(jīng)受住了春晚史上最長的紅包互動(dòng)和最復(fù)雜應(yīng)用場景的嚴(yán)酷考驗(yàn)。
春晚是一次技術(shù)大考，參與春晚紅包活動(dòng)對(duì)一家公司的技術(shù)實(shí)力是一次不小的考驗(yàn)。在物質(zhì)匱乏的年代，春晚是企業(yè)的名利場。而在云技術(shù)蓬勃發(fā)展的年代，春晚是科技公司最好的練兵場，也是云在各行各業(yè)應(yīng)用能力的一次生動(dòng)展示。
虎年剛剛開始，這個(gè)好頭，京東成功地開了。
更好的未來，在云之上。
