Wise 的平臺(tái)工程 KPI 探索之旅
作者｜Lambros Charissis
翻譯｜Seal軟件
鏈接｜https://medium.com/wise-engineering/platform-engineering-kpis-6a3215f0ee14
?
平臺(tái)即產(chǎn)品（PaaP）已經(jīng)成為軟件企業(yè)構(gòu)建內(nèi)部平臺(tái)的一種流行方式。在眾多軟件公司爭(zhēng)奪市場(chǎng)份額的同時(shí)，還有另一種更為微妙的競(jìng)爭(zhēng)正在興起，例如怎樣讓軟件工程師以最快的速度發(fā)布新功能？是否擁有最有效的內(nèi)部平臺(tái)？
?
在這篇文章中，我將分享 Wise 的平臺(tái)工程團(tuán)隊(duì)構(gòu)建 KPI 樹的方法。從產(chǎn)品開發(fā)過程開始，是如何塑造平臺(tái)愿景，從而產(chǎn)生一組可操作的 KPI，以及如何使用這些 KPI 來識(shí)別平臺(tái)最大的問題并持續(xù)衡量平臺(tái)的性能。
?
產(chǎn)品開發(fā)流程
KPI 樹的目的是幫助我們實(shí)施基于假設(shè)驅(qū)動(dòng)的實(shí)驗(yàn)和驗(yàn)證學(xué)習(xí)[1]的產(chǎn)品開發(fā)流程。雖然有大量關(guān)于實(shí)施產(chǎn)品開發(fā)流程的文獻(xiàn)，但更困難的部分是確定適用于平臺(tái)工程領(lǐng)域的指標(biāo)。
?
如上圖所示，產(chǎn)品開發(fā)過程從平臺(tái)愿景和模型開始。這些是應(yīng)該不太會(huì)有改變的常量部分。模型是指標(biāo)及其相互關(guān)系的表示。KPI 樹是我們?cè)谶x擇后確定的模型表示類型。讓我們從定義我們的平臺(tái)愿景開始，該愿景最終會(huì)告知我們認(rèn)為平臺(tái)可以影響并負(fù)責(zé)的相關(guān)指標(biāo)或 KPI。
?
平臺(tái)愿景
平臺(tái)愿景構(gòu)成了我們的最高目標(biāo)，如果沒有平臺(tái)愿景，我們就不知道應(yīng)該衡量什么。特別是對(duì)于 Wise 的自治團(tuán)隊(duì)文化，愿景對(duì)于建立一致性和問責(zé)制至關(guān)重要。在我們的產(chǎn)品管理團(tuán)隊(duì)中，我們廣泛討論了我們的公司愿景是否可以作為我們的平臺(tái)愿景。
貨幣無國界——即時(shí)、方便、透明并免費(fèi)?
盡管 Wise 愿景（或使命）是最終激勵(lì)我們的因素，但我們得出的結(jié)論是，它作為平臺(tái)愿景并不能很好地為平臺(tái)服務(wù)。我們的平臺(tái)及團(tuán)隊(duì)做出的貢獻(xiàn)讓 Wise 更接近實(shí)現(xiàn)其愿景，但便利性與我們的平臺(tái)工程工作之間的聯(lián)系并不明顯。因此，我們決定定義一個(gè)更相關(guān)的愿景。
為 Wise 的穩(wěn)定性奠定基礎(chǔ)，使團(tuán)隊(duì)能夠比其他人更自信、更快、更高效地交付產(chǎn)品?
盡管這一愿景并非 Wise 特有，但它滿足了我們最重要的要求：這個(gè)愿景能夠有效激勵(lì)平臺(tái)工程團(tuán)隊(duì)，并明確了我們想要實(shí)現(xiàn)的結(jié)果。每個(gè)團(tuán)隊(duì)和小隊(duì)都應(yīng)該能夠認(rèn)同這一愿景，并且平臺(tái)工程師應(yīng)該清楚他們的日常工作如何促成這一愿景?；谶@些愿景和目標(biāo)，我們構(gòu)建了屬于平臺(tái)工程團(tuán)隊(duì)特有的 KPI，這些 KPI 將作為我們 KPI 樹的基礎(chǔ)。
?
平臺(tái) KPI 樹
如下所示，我們添加了一個(gè)額外的 KPI，為風(fēng)險(xiǎn) Risk。風(fēng)險(xiǎn)構(gòu)成了一種無形的約束，這意味著必須在保持在 Wise 的風(fēng)險(xiǎn)偏好范圍內(nèi)的同時(shí)實(shí)現(xiàn)生產(chǎn)力、穩(wěn)定性和效率。
?
根據(jù) KPI 樹的四大基礎(chǔ)，我們現(xiàn)在可以開始推導(dǎo)模型。如果我們的目標(biāo)是讓 Wise 更加穩(wěn)定，我們需要了解提高 Wise 可靠性的根據(jù)是什么。為了創(chuàng)建這些模型，我們依賴于現(xiàn)有框架以及圍繞開發(fā)人員生產(chǎn)力和 SRE 的研究。以下是我們列出的一些重要參考資料：
加速書籍和四個(gè)關(guān)鍵指標(biāo)[2]
開發(fā)人員生產(chǎn)力的 SPACE 框架[3]
工程效能手冊(cè)[4]
谷歌 SRE 書籍[5]?
閱讀上述材料是一個(gè)很好的開端，但平臺(tái)工程領(lǐng)域沒有非常全面的相關(guān)示例。因此我們花了很多時(shí)間自己集思廣益和開發(fā)模型。通過分享我們的方法，希望我們可以幫助其他平臺(tái)團(tuán)隊(duì)加快這一過程。
?
注意事項(xiàng)
KPI 樹是模型，本質(zhì)上是不完美的。也許有更正式的方法來創(chuàng)建 KPI 樹，但對(duì)我們來說，如果一個(gè)指標(biāo)對(duì)其父指標(biāo)（Parent Metric）有重大影響，該指標(biāo)就可以成為一個(gè)單獨(dú)的分支。
好的指標(biāo)應(yīng)該是可操作的，具有可重現(xiàn)的結(jié)果，并準(zhǔn)確地反映現(xiàn)實(shí)。我們的幾個(gè)平臺(tái)工程 KPI 由我們的產(chǎn)品工程團(tuán)隊(duì)和平臺(tái)共同承擔(dān)責(zé)任，因此平臺(tái)有時(shí)無法做到可以復(fù)現(xiàn)結(jié)果。
在這里我分享的 只是 KPI 樹的一部分。本文中所分享的 KPI 已足夠傳達(dá)我們的方法并幫助您開始進(jìn)行類似 KPI 制定嘗試。
請(qǐng)注意，KPI 樹并不能取代用戶研究。指標(biāo)將幫助您確定值得調(diào)查的領(lǐng)域，從而實(shí)現(xiàn)有針對(duì)性和更有效的用戶研究。但是您仍然需要花時(shí)間采訪您的客戶，以補(bǔ)充您通過指標(biāo)獲得的見解。
接下來，我們將展示我們的平臺(tái)工程 North Star KPI 的 KPI 樹：生產(chǎn)力、穩(wěn)定性、效率和風(fēng)險(xiǎn)。
?
生產(chǎn)力
開發(fā)人員生產(chǎn)力是一個(gè)有爭(zhēng)議的話題，重要的是不要濫用指標(biāo)來衡量個(gè)人績(jī)效。生產(chǎn)力 KPI 樹有三個(gè)分支，它們分為單獨(dú)的部分以便于可視化：交付時(shí)間、部署頻率和開發(fā)人員滿意度。
?
交付時(shí)間
交付時(shí)間是我們認(rèn)為代碼更改與將此更改發(fā)布給我們的最終客戶之間的時(shí)間。這個(gè) KPI 樹主要衡量 CI/CD 過程中的摩擦。
?
部署頻率
簡(jiǎn)而言之，部署頻率 KPI 樹包含在進(jìn)行代碼更改之前捕獲摩擦的指標(biāo)。例如，在開發(fā)人員更改服務(wù)之前，他們需要閱讀文檔以了解其工作原理。
?
開發(fā)者滿意度
將開發(fā)人員的滿意度視為生產(chǎn)力的一部分可能很抽象。但事實(shí)證明開發(fā)人員生產(chǎn)力和開發(fā)人員滿意度是正相關(guān)且相互依賴的。一些人認(rèn)為，平臺(tái)工程作為一個(gè)領(lǐng)域?qū)﹂_發(fā)人員的幸福感沒有足夠的影響，因?yàn)槠脚_(tái)工程對(duì)薪酬或個(gè)人成長機(jī)會(huì)等因素沒有影響。事實(shí)上，盡管平臺(tái)工程無法完全將開發(fā)人員的滿意度作為一個(gè)單獨(dú)領(lǐng)域?qū)Υ脚_(tái)中的大部分工作都提升開發(fā)者體驗(yàn)和滿意度做出了貢獻(xiàn)。由于開發(fā)者滿意度與生產(chǎn)力密切相關(guān)，因此對(duì)該指標(biāo)密切關(guān)注至關(guān)重要。
?
穩(wěn)定性
快速交付通常只是工作的一部分。穩(wěn)定性 KPI 樹衡量?jī)?nèi)部平臺(tái)讓產(chǎn)品工程師能夠自信地進(jìn)行更改且不會(huì)破壞最終客戶體驗(yàn)的能力。它反映了 Wise 服務(wù)的整體可用性，并起到了應(yīng)對(duì)變化的平衡作用。內(nèi)部開發(fā)中平臺(tái)的穩(wěn)定性根據(jù)包括提供可靠的云原生平臺(tái)以及咨詢產(chǎn)品團(tuán)隊(duì)的護(hù)欄和最佳實(shí)踐。
?
效率
生產(chǎn)力的目標(biāo)是在輸入相同的情況下獲得更多的輸出，而效率的目標(biāo)是在保持相同輸出的同時(shí)減少輸入。在我們的方法中，效率 KPI 樹涵蓋與成本相關(guān)的指標(biāo)。這是云資源、基礎(chǔ)設(shè)施和許可證的成本，以及我們平臺(tái)工程團(tuán)隊(duì)的成本。
?
風(fēng)險(xiǎn)
作為金融服務(wù)提供商，風(fēng)險(xiǎn)管理是我們的首要任務(wù)之一。作為一個(gè)平臺(tái)工程組織，我們負(fù)責(zé) Wise 的基礎(chǔ)，并負(fù)有實(shí)施變更控制和適當(dāng)安全措施的特殊責(zé)任。我們還認(rèn)為我們的產(chǎn)品團(tuán)隊(duì)偏離最佳實(shí)踐和黃金路徑是風(fēng)險(xiǎn)的一部分。
?
KPI 樹級(jí)別
如注意事項(xiàng)中所述，出于本文的目的，我們僅描述了每個(gè)級(jí)別的 KPI 子集，并將深度限制為三到四個(gè)級(jí)別。為了展示 KPI 樹可以達(dá)到多深，您可以在下面看到交付時(shí)間這一分支下的垂直展開畫面。
?
現(xiàn)在我們對(duì)平臺(tái)領(lǐng)域的相關(guān)根據(jù)和指標(biāo)有了一定的理解，這是就需要使用到一些能夠收集和分析這些指標(biāo)信息的工具。在下一部分中，我將分享如何可視化 KPI 樹以使其可分析和操作。
?
平臺(tái) KPI 儀表板
在進(jìn)行 KPI 可視化時(shí)，我們需要牢記一點(diǎn)：平臺(tái) KPI 是產(chǎn)品團(tuán)隊(duì)和平臺(tái)工程團(tuán)隊(duì)共同的責(zé)任。下圖展示了平臺(tái)使用的全局工程視圖，當(dāng)然我們根據(jù)團(tuán)隊(duì)提供了篩選功能。平臺(tái)工程對(duì)比視圖可以為各個(gè)團(tuán)隊(duì)量身定制，幫助他們進(jìn)行基準(zhǔn)測(cè)試并最終優(yōu)化他們的績(jī)效和表現(xiàn)。
?
所有 KPI 樹的總范圍包括 200 多個(gè)不同的指標(biāo)，但我們并未對(duì)所有指標(biāo)無差別進(jìn)行衡量。我們會(huì)根據(jù)潛在影響來確定優(yōu)先級(jí)，這樣有助于我們決定將多少時(shí)間投入在哪一方面以獲得更好的成果。如上所示的線框圖以兩種方式為我們服務(wù)：首先，設(shè)定預(yù)期目標(biāo)，并以此作為與平臺(tái)外的利益相關(guān)者討論的基礎(chǔ)。然后，在實(shí)施團(tuán)隊(duì)內(nèi)部建立一致性并將 KPI 儀表盤可視化。
?
下一步
全面衡量總結(jié)出的 KPI 數(shù)能夠幫助你了解需要關(guān)注的領(lǐng)域并量化平臺(tái)工作的影響。目前我們對(duì) KPI 樹的上面兩層已經(jīng)有較好的理解了，但分支下的指標(biāo)覆蓋范圍仍不完整。這也意味著的 KPI 發(fā)生變化時(shí)，我們?nèi)狈ν茢嘣虻幕A(chǔ)數(shù)據(jù)。為了加快平臺(tái) KPI 的覆蓋范圍，我們需要讓平臺(tái)和產(chǎn)品團(tuán)隊(duì)更輕松地獲取數(shù)據(jù)并使其具有可操作性。
?
參考鏈接：
https://theleanstartup.com/principles
https://cloud.google.com/blog/products/devops-sre/using-the-four-keys-to-measure-your-devops-performance
https://queue.acm.org/detail.cfm?id=3454124
https://ee-handbook.io/
https://sre.google/books/
