差不多在五年前，分布式系統(tǒng)已經(jīng)成熟，微服務(wù)架構(gòu)尚未普及，可觀測(cè)問(wèn)題就已經(jīng)在桎梏技術(shù)團(tuán)隊(duì)的工作效率。一個(gè)To C的軟件使用問(wèn)題可能由客服發(fā)起，整條支撐鏈路的所有技術(shù)部門，都要逐一排查接口和日志，流程非常原始，也非常低效。如果業(yè)務(wù)到達(dá)一個(gè)量級(jí)，支撐系統(tǒng)變多，兩名研發(fā)查上兩三個(gè)星期也是常事。

微服務(wù)架構(gòu)普及后，問(wèn)題變得更加嚴(yán)峻。一個(gè)服務(wù)被拆分成數(shù)個(gè)黑盒的、虛擬的微服務(wù)，故障排除徹底成為一種折磨。這一切都使業(yè)務(wù)的可觀測(cè)性成為2022年技術(shù)人必須關(guān)注的話題。

近日，博睿數(shù)據(jù)創(chuàng)始人兼CTO孟曦東做客InfoQ《極客有約》，與大家一起聊聊可觀測(cè)技術(shù)究竟是什么？

以下為訪談實(shí)錄：

InfoQ：微服務(wù)架構(gòu)的普及對(duì)可觀測(cè)帶來(lái)了一些挑戰(zhàn)，這些挑戰(zhàn)又讓運(yùn)維領(lǐng)域發(fā)生了怎樣的變化？

孟曦東：可觀測(cè)不是一個(gè)新名詞。2018 年，CNCF 將其正式引入 IT 世界，該理論的出現(xiàn)則可以追溯至 2014 年前后，主要來(lái)自于控制學(xué)，希望通過(guò)外部輸出推斷內(nèi)部的狀態(tài)變化。如今，技術(shù)棧發(fā)生了巨大變化，微服務(wù)可能構(gòu)建在容器之上，容器又構(gòu)建在虛擬機(jī)上，虛擬機(jī)則在物理機(jī)上，包括更復(fù)雜的網(wǎng)絡(luò)支持，這讓定位排障遇到了前所未有的困難。CNCF 之所以將可觀測(cè)性帶到微服務(wù)領(lǐng)域也是希望能有更好的能力控制系統(tǒng)的運(yùn)行狀態(tài)。

與傳統(tǒng)的監(jiān)控相比，可觀測(cè)性的核心點(diǎn)還是有所區(qū)別的。監(jiān)控可能更多在看現(xiàn)實(shí)狀態(tài)的變化，很直接，但并沒有表現(xiàn)出問(wèn)題的核心點(diǎn)在哪。我們認(rèn)為可觀測(cè)性是對(duì)現(xiàn)今技術(shù)架構(gòu)非常好的適應(yīng)，可以用另外一種模型來(lái)判斷風(fēng)險(xiǎn)所在位置，能更好地預(yù)防故障發(fā)生而不是簡(jiǎn)單地降級(jí)、限流。

InfoQ：如今，大部分企業(yè)還停留在粗暴的降級(jí)階段，還是有意識(shí)做全局可監(jiān)控？

孟曦東：可以分成兩類，一類是發(fā)展靠前的企業(yè)，在業(yè)務(wù)體驗(yàn)或者用戶感知能力上面要求較高，內(nèi)部對(duì)此有很多 KPI，比如出現(xiàn)問(wèn)題需要一分鐘內(nèi)發(fā)現(xiàn)，十分鐘內(nèi)解決等；另一類是農(nóng)林牧副漁等領(lǐng)域的傳統(tǒng)企業(yè)，目前手段還比較初級(jí)，只做到了單體的簡(jiǎn)單監(jiān)控，整個(gè)上層的應(yīng)用體系還沒有完整建立起來(lái)。

InfoQ：具體到技術(shù)層面，可觀測(cè)問(wèn)題可以分為四類，分布式鏈路追蹤、APM、NPM、RUM，方便介紹下這四者的核心思想嗎？

孟曦東：從可觀測(cè)性的建設(shè)體系來(lái)看，需要有三種類型的數(shù)據(jù)。RUM 可能更多關(guān)心的是用戶側(cè)，比如用戶到底在使用瀏覽器、APP 還是小程序，使用體驗(yàn)如何或者整個(gè)運(yùn)行過(guò)程中的數(shù)據(jù)能力是如何表現(xiàn)出來(lái)的；NPM 可能更多在描述鏈路層面，因?yàn)檫@是必備通道，是建立從前端到后臺(tái)連接的必備過(guò)程，在描述整個(gè)數(shù)據(jù)流向的時(shí)候，流量數(shù)據(jù)又是什么樣的表現(xiàn)；APM 把物理設(shè)備層面的能力提升到了以應(yīng)用代碼級(jí)為主，可以看最詳細(xì)的代碼狀態(tài)，或者依賴的中間件以及 JVM 狀態(tài)變化。整個(gè)鏈路追蹤分段做數(shù)據(jù)采集，數(shù)據(jù)來(lái)源可能不同，但模型的核心是構(gòu)建出一套完整的數(shù)據(jù)鏈條來(lái)幫助我們更好地判斷業(yè)務(wù)受損到底是由哪個(gè)環(huán)節(jié)產(chǎn)生的問(wèn)題。

InfoQ：APM 做到代碼級(jí)別之后，還有進(jìn)一步的改進(jìn)空間嗎？

孟曦東：改進(jìn)空間肯定還是有的。第一，全鏈路可觀測(cè)性需要了解代碼的整體邏輯，這樣才能更好地知道版本迭代時(shí)前后接口的變化；第二，我們也需要知道彼此之間的依賴項(xiàng)是什么，從技術(shù)內(nèi)部來(lái)看，鏈路是非常多樣化的，尤其是引用了容器云之后，隨著 Pod 的增加和減少，鏈路變得錯(cuò)綜復(fù)雜并且更加動(dòng)態(tài)，我們需要有更完整的信息數(shù)據(jù)來(lái)支撐我們做故障定位。

InfoQ：國(guó)內(nèi)外目前在可觀測(cè)領(lǐng)域的技術(shù)發(fā)展現(xiàn)狀大概是什么樣的？

孟曦東：相對(duì)于國(guó)外來(lái)說(shuō)，國(guó)內(nèi)起步稍晚，我們可以看到國(guó)外有很多優(yōu)秀的友商，在可觀測(cè)能力的構(gòu)建上已經(jīng)非常成熟，他們還與 DevOps 做融合，加強(qiáng)安全方面的能力等。我認(rèn)為國(guó)內(nèi)在可觀測(cè)性領(lǐng)域?qū)儆谄鸩诫A段，以博睿數(shù)據(jù)為例，我們今年才真正構(gòu)建所謂的一體化全棧解決方案。

InfoQ：如何快速低成本地構(gòu)建業(yè)務(wù)系統(tǒng)的可觀測(cè)性？

孟曦東：構(gòu)建一個(gè)所謂的可觀測(cè)性系統(tǒng)有三個(gè)要素，一是要有數(shù)據(jù)；二是背后有一個(gè)強(qiáng)大的異構(gòu)能力的數(shù)據(jù)引擎；三是需要有高效的查詢。最直接經(jīng)濟(jì)的方案是看現(xiàn)在的情況是什么樣的，哪些需要采購(gòu)商業(yè)化的產(chǎn)品，哪些選擇開源項(xiàng)目或者自研，最終對(duì)整體進(jìn)行拼湊，這種方式會(huì)高效一些。

InfoQ：能否聊一下目前建設(shè)可觀測(cè)體系通常的路徑，比如說(shuō)什么類型，或者什么規(guī)模的企業(yè)？

孟曦東：大體分為三類，第一類是自研的，比如頭部的互聯(lián)網(wǎng)公司，自己的研發(fā)實(shí)力或者研發(fā)資源非常多，在公司的發(fā)展過(guò)程中沉淀了很多有價(jià)值的東西；第二類是基于開源做二次構(gòu)建，比如腰部的公司，打磨出一個(gè)可能適合自己或者組織規(guī)模的模型，或許 APM 就可以，不一定是可觀測(cè)的解決方案；第三類是全部采買三方軟件，通過(guò)這種方式構(gòu)建可觀測(cè)的能力平臺(tái)。

InfoQ：目前市場(chǎng)上提供這種可觀測(cè)的商用產(chǎn)品是不是也不多？

孟曦東：國(guó)外的產(chǎn)品不少，因?yàn)榻衲?Gartner 的 APM 領(lǐng)域調(diào)研報(bào)告也增加了可觀測(cè)性象限，其中列出了一些新型公司。談到可觀測(cè)性需要解決的核心問(wèn)題，也就是數(shù)據(jù)來(lái)源、對(duì)數(shù)據(jù)的理解以及分析利用，國(guó)內(nèi)市場(chǎng)能完整覆蓋的方案少之又少，國(guó)外在該領(lǐng)域的純商業(yè)化公司更多一些。

InfoQ：大家比較熟知的項(xiàng)目 SkyWalking 是否適合微服務(wù)的架構(gòu)？

孟曦東：SkyWalking 本身應(yīng)該定義在 APM 領(lǐng)域更合適。如果是微服務(wù)，對(duì)探針端的能力是有要求的，據(jù)我們現(xiàn)在看到的，SkyWalking 還沒有真正做到類似商業(yè)公司的探針技術(shù)，還做不到全智能的基于 K8s 的直接部署，動(dòng)態(tài)探針以及自動(dòng)命名。

InfoQ：可觀測(cè)性技術(shù)在解決數(shù)據(jù)孤島方面的作用是什么？

孟曦東：大多數(shù)用戶的監(jiān)控系統(tǒng)還是比較多的，可能有幾套到十幾套不等，因?yàn)楸O(jiān)控系統(tǒng)也有可能是由于不同的組織內(nèi)部不同的部門構(gòu)建的，這樣就勢(shì)必會(huì)造成一個(gè)問(wèn)題，因?yàn)闆]有從上層做統(tǒng)籌安排，把這些系統(tǒng)真正有機(jī)地組成在一起，供所有業(yè)務(wù)方去真正消費(fèi)，孤島問(wèn)題就比較嚴(yán)重。我們希望能把數(shù)據(jù)從相互割裂的體系里面抽取出來(lái)，做一個(gè)統(tǒng)一的描述的模型，然后供不同的業(yè)務(wù)方去消費(fèi)。不管是報(bào)警場(chǎng)景，還是運(yùn)維場(chǎng)景，都可以落地到實(shí)際的業(yè)務(wù)場(chǎng)景里面，這樣才能真正拉通。我們有一個(gè)很重要的特性就是三方數(shù)據(jù)的開放性或者兼容性，可以把現(xiàn)有的標(biāo)準(zhǔn)集成到一個(gè)平臺(tái)里面，做統(tǒng)一的標(biāo)準(zhǔn)化，統(tǒng)一的模型建設(shè)，統(tǒng)一的落盤，然后再拋掉上層做不同場(chǎng)景的消費(fèi)能力的支持。

InfoQ：AI 在監(jiān)控領(lǐng)域的作用？

孟曦東：AI 賦能到監(jiān)控領(lǐng)域分為幾大方面的作用：第一也是最重要的是根因分析的能力，基礎(chǔ)是建立一體化的數(shù)據(jù)平臺(tái)；第二是希望可以做自動(dòng)化的框架，不管是第三方的還是商業(yè)化的，通過(guò)我們的判斷觸發(fā)一些信息讓業(yè)務(wù)做更有價(jià)值的動(dòng)作，讓人力可以得到釋放。

InfoQ：如何看待國(guó)內(nèi)可觀測(cè)廠商 SaaS 發(fā)展的一個(gè)前景？

孟曦東：很多人都提出國(guó)內(nèi)的 SaaS 發(fā)展與北美差異較大，我個(gè)人認(rèn)為有幾個(gè)要素：一是國(guó)內(nèi)的市場(chǎng)環(huán)境或者技術(shù)棧還未到一定程度，北美也是從基礎(chǔ)監(jiān)控、做日志、做 APM 慢慢累積到現(xiàn)在這個(gè)程度的，美國(guó)云計(jì)算的發(fā)展領(lǐng)先中國(guó)五六年的時(shí)間，所以北美很多業(yè)務(wù)應(yīng)用更習(xí)慣于放在幾大云上；第二，國(guó)內(nèi)存在一些行業(yè)政策的監(jiān)管要求，比如金融領(lǐng)域可能有一些數(shù)據(jù)方面的安全要求，這也就限制了公有云標(biāo)準(zhǔn)化 SaaS 能力的交付；第三，產(chǎn)品能力，這個(gè)問(wèn)題不該回避，國(guó)內(nèi)的可觀測(cè)能力確實(shí)還在起步階段，在整個(gè)能力構(gòu)建圖譜上還有差距，如果產(chǎn)品沒有打磨好或者沒有特別好的能力價(jià)值輸出，就會(huì)影響客戶的買單意愿。

InfoQ：OpenTelemetry 項(xiàng)目目前在可觀測(cè)領(lǐng)域比較受歡迎，這是為什么？

孟曦東：首先，OpenTelemetry 將原來(lái)部分定義的標(biāo)準(zhǔn)真正體系化了。我們很早就有了 OpenTracing ，但那只是定義了追蹤數(shù)據(jù)的標(biāo)準(zhǔn)格式。任何企業(yè)或組織的技術(shù)人員，都希望能把某些能力標(biāo)準(zhǔn)化，這樣不管是兼容第三方，還是自我迭代都會(huì)有一致性或者維護(hù)成本方面的好處。其次，該項(xiàng)目提供了非常豐富的 SDK 和 API 能力，可以讓開發(fā)者和企業(yè)快速使用。最后，該項(xiàng)目基于 CNCF 基金會(huì)，其中有很多優(yōu)秀的人物制訂了標(biāo)準(zhǔn)。

InfoQ：在生產(chǎn)環(huán)境當(dāng)中，如何選出靠譜的工具去解決可觀測(cè)性的問(wèn)題？

孟曦東：在生產(chǎn)中，環(huán)境是多樣的，我們首先要找到能與當(dāng)前業(yè)務(wù)發(fā)展情況較好匹配的工具，畢竟每一款工具或者平臺(tái)都不是萬(wàn)能的，企業(yè)會(huì)有很多個(gè)性化的要求。對(duì)于企業(yè)級(jí)服務(wù)，是不是真的有一些標(biāo)準(zhǔn)或者制度可以約束出來(lái)，提供給 IT 人員做問(wèn)題定位。在整個(gè)工作流里面，QA 測(cè)試完以后是否能覆蓋到所有場(chǎng)景。

我們認(rèn)為，對(duì)任何企業(yè)或者 IT 組織來(lái)講，APM 工具都是必備的，因?yàn)榭梢园巡煌巧娜擞猛环N話術(shù)連接在一起。我們做運(yùn)維、研發(fā)，或者業(yè)務(wù) Owner，需要一個(gè)平臺(tái)把這些標(biāo)準(zhǔn)融合在一起，避免大家產(chǎn)生不必要的糾紛。在 APM 之外，用戶肯定還會(huì)再構(gòu)建更完整的能力平臺(tái)，因?yàn)椴荒苤豢吹絻?nèi)部，還要看到除了數(shù)據(jù)中心以外的人的反應(yīng)。因?yàn)檫@部分可能還會(huì)需要依托互聯(lián)網(wǎng)，依托前端業(yè)務(wù)應(yīng)用場(chǎng)景定位可能產(chǎn)生的問(wèn)題，我認(rèn)為這是一個(gè)有機(jī)的組合，根據(jù)不同的階段以及人群使用場(chǎng)景構(gòu)建出一套自己的體系。

InfoQ：博睿數(shù)據(jù)前段時(shí)間也在可觀測(cè)這部分做了一些事情，發(fā)布了一體化智能可觀測(cè)平臺(tái) ONE，我們?cè)趺蠢斫膺@里面的“一體化和智能可觀測(cè)”？

孟曦東：一體化，我們認(rèn)為就是要全面，數(shù)據(jù)能力要能覆蓋到整個(gè)系統(tǒng)的云管邊端的全數(shù)據(jù)鏈條。第一步是用三方能力接入或者博睿數(shù)據(jù)提供自己的數(shù)據(jù)采集能力把它構(gòu)建起來(lái)。第二步體系化或者標(biāo)準(zhǔn)化的過(guò)程，真實(shí)構(gòu)建一個(gè)立體的組織模型，否則會(huì)導(dǎo)致治理或者定義指標(biāo)能力時(shí)出現(xiàn)混亂。第三步，我們認(rèn)為一體化也是為 AI 提供一個(gè)底座，我們認(rèn)為未來(lái) AI 的價(jià)值不可或缺，在主動(dòng)巡檢、過(guò)程中的異常監(jiān)測(cè)以及后面的根因分析，AI 技術(shù)在其中發(fā)揮了很大的價(jià)值。

InfoQ：國(guó)內(nèi)目前可觀測(cè)市場(chǎng)的未來(lái)發(fā)展技術(shù)方向是什么？博睿數(shù)據(jù)后續(xù)有什么規(guī)劃？

孟曦東：如果我們認(rèn)為 IT 運(yùn)維是為了業(yè)務(wù)做服務(wù)或者做支撐，不是成本中心，IT 本身就會(huì)離業(yè)務(wù)越來(lái)越近，這肯定是一個(gè)必不可少的發(fā)展路徑。反過(guò)來(lái)想，希望 IT 輸出的價(jià)值可能也會(huì)發(fā)生改變，所以我們認(rèn)為可觀測(cè)性本身的核心定義就是 Google 談的定位問(wèn)題。如果業(yè)務(wù)是敏捷的，某個(gè)時(shí)間點(diǎn)的彈性或者高可靠無(wú)法代表全局。隨著業(yè)務(wù)規(guī)模的逐漸膨脹，可觀測(cè)性需要真正把沖突從根上解決，因?yàn)樽罱K還是要定位問(wèn)題，通過(guò)定位到的問(wèn)題做好事前的風(fēng)險(xiǎn)防范、事中的問(wèn)題排障以及事后的反思。我認(rèn)為可觀測(cè)性肯定是未來(lái)，不管是由于云計(jì)算還是其他技術(shù)的發(fā)展。

博睿數(shù)據(jù)今年希望先把一體化做扎實(shí)，再在其上構(gòu)建其他的能力模塊。現(xiàn)在因?yàn)闇y(cè)試左移越來(lái)越流行，我們準(zhǔn)備將安全與 DevOps 結(jié)合在一起，同時(shí)在知識(shí)庫(kù)和其他一些 ITSM 工具的整合上面下功夫，希望能幫助到客戶做成一個(gè)有機(jī)的定位平臺(tái)。

在未來(lái)發(fā)展中，博睿數(shù)據(jù)將從可觀測(cè)性的廣度和深度兩個(gè)方面出發(fā)，不斷豐富標(biāo)準(zhǔn)化的數(shù)據(jù)。并基于此深化數(shù)據(jù)相關(guān)性，加之博睿數(shù)據(jù)自研的Swift-AI中臺(tái)賦能，從而給出更多更精準(zhǔn)的信息判斷，幫助客戶快速落地高效可持續(xù)的觀測(cè)--判斷--優(yōu)化閉環(huán)。