編者注：在2023年2月25日舉辦的“2023 MeterSphere開源持續(xù)測試平臺城市遇見· 北京站”活動中，農(nóng)銀金融科技有限責(zé)任公司高級研發(fā)經(jīng)理齊嬋分享了題為《金融科技公司DevOps與持續(xù)測試應(yīng)用實(shí)踐分享》的主題演講。以下內(nèi)容根據(jù)本次演講整理而成。

農(nóng)銀金融科技有限責(zé)任公司（以下簡稱為農(nóng)銀金科），是農(nóng)銀集團(tuán)全資子公司，成立于時(shí)間2020年。作為農(nóng)銀集團(tuán)金融科技輸出的重要窗口和平臺，農(nóng)銀金科面向集團(tuán)內(nèi)外部客戶提供信息化建設(shè)服務(wù)、場景金融生態(tài)建設(shè)、科技輸出和創(chuàng)新技術(shù)研究等業(yè)務(wù)。

一、農(nóng)銀金科DevOps建設(shè)

為了打破研發(fā)、測試和運(yùn)維人員之間的溝通壁壘，讓公司的產(chǎn)品交互能夠更加地順暢和高效，農(nóng)銀金科內(nèi)部以DevOps的標(biāo)準(zhǔn)來踐行軟件交付相關(guān)的工作，以實(shí)現(xiàn)開發(fā)運(yùn)營一體化。其中，自動化測試是DevOps體系中的重要一環(huán)，這也成為了農(nóng)銀金科團(tuán)隊(duì)引入和應(yīng)用MeterSphere一站式開源持續(xù)測試平臺的原生動力。

■??DevOps工作流與工具鏈

依托DevOps平臺，農(nóng)銀金科落地了端到端的DevOps工作流，建立了覆蓋研發(fā)、測試、部署等全流程的工具鏈體系，全面實(shí)現(xiàn)工程管理的線上化、自動化。

■??打造產(chǎn)品版本管理中心

除了DevOps平臺中大家比較熟悉的需求管理和流水線功能以外，值得一提的就是農(nóng)銀金科團(tuán)隊(duì)還依托DevOps平臺打造了一個產(chǎn)品版本管理中心，建立了產(chǎn)品版本管理的機(jī)制，并將需求、測試計(jì)劃、流水線、代碼基線、制品、缺陷、測試報(bào)告、變更信息進(jìn)行集中管理，建立起全鏈路質(zhì)量追蹤的通道，有效追蹤研發(fā)過程度量數(shù)據(jù)的同時(shí)，融入了自動創(chuàng)建分支、自動收集質(zhì)量數(shù)據(jù)、自動部署等多種自動化能力，在企業(yè)里逐步樹立起了產(chǎn)品版本管理的意識。

二、MeterSphere開源持續(xù)平臺在農(nóng)銀金科的應(yīng)用

2.1 測試平臺選型

農(nóng)銀金科在成立之初，為了提升研發(fā)及測試的效率，讓研發(fā)過程更加規(guī)范，同時(shí)也考慮到需要去建設(shè)DevOps一體化的流程，就產(chǎn)生了引入一款自動化測試平臺的構(gòu)想，希望通過這個平臺去承載包括測試跟蹤、接口測試和性能測試等相關(guān)的工作。

在產(chǎn)品選型的過程中，農(nóng)銀金科主要考慮了以下幾個方面的能力：

■ DevOps的支持能力：能夠很好地融入到CI/CD的流程中；

■?一站式的能力：測試工作所需使用的測試管理、性能測試、接口測試等測試工具相對較為分散，不利于統(tǒng)一的資產(chǎn)管理，資產(chǎn)的后期管理與維護(hù)成本高，因此希望有個平臺能夠聚合多個工具，提供一站式的測試能力；

■?具備可拓展性：能夠提供API接口或者有良好的庫表結(jié)構(gòu)，便于組織進(jìn)行測試能力延伸，幫助測試人員去進(jìn)行數(shù)據(jù)分析等；

■?易用性強(qiáng)：平臺學(xué)習(xí)成本較低，能夠讓測試人員不需要經(jīng)過大量的培訓(xùn)，就可以快速投入使用。

基于以上這些考慮，農(nóng)銀金科進(jìn)行很多的工具調(diào)研及選型，包括一些開源工具和商業(yè)工具，比如JMeter等，最終選擇了MeterSphere開源持續(xù)測試平臺，并且成功地引入和全面應(yīng)用到了農(nóng)銀金科研發(fā)管理體系中。

2.2 一站式測試管理與執(zhí)行平臺

引入MeterSphere平臺以后，農(nóng)銀金科將MeterSphere平臺定位為了公司的一站式的測試管理和執(zhí)行平臺。

■?平臺承載農(nóng)銀金科測試過程中所有測試資產(chǎn)的管理工作，以項(xiàng)目維度去進(jìn)行統(tǒng)一的管理。

測試人員可以根據(jù)發(fā)版計(jì)劃創(chuàng)建版本測試計(jì)劃，并關(guān)聯(lián)相關(guān)的測試用例，再基于測試結(jié)果一鍵創(chuàng)建缺陷，實(shí)現(xiàn)需求/用例/缺陷之間的雙向可追溯。

■?全面落地測試左移，團(tuán)隊(duì)的工作協(xié)同度提升。

項(xiàng)目開始實(shí)施時(shí)，研發(fā)、測試人員通過迭代會盡早達(dá)成需求一致，測試人員提前開展功能測試用例的編寫工作，開發(fā)人員負(fù)責(zé)更新API定義并充分參與到接口測試工作中，接口的更新實(shí)時(shí)觸達(dá)測試人員。通過這樣的形式，測試人員能夠盡早地啟動測試，同時(shí)開發(fā)人員也參與到了部分測試工作中。

■ MeterSphere深度結(jié)合DevOps平臺流水線與產(chǎn)品版本管理，實(shí)現(xiàn)了自動化調(diào)起和自動化收集結(jié)果等功能。

可以看到在上圖中對應(yīng)的四套環(huán)境里面，各個項(xiàng)目會按需執(zhí)行不同的測試內(nèi)容。比如在DEV環(huán)境用戶可以通過流水線，自動觸發(fā)全量的接口自動化測試；在TEST環(huán)境，會由測試經(jīng)理去觸發(fā)整個測試計(jì)劃的自動執(zhí)行；進(jìn)入到PRE環(huán)境和PROD環(huán)境，測試人員可以選取關(guān)鍵、核心的用例進(jìn)行二次的驗(yàn)證。在每個環(huán)境之間，通過質(zhì)量門禁來卡控測試執(zhí)行的結(jié)果，以確保質(zhì)量的可控性。全流程通過產(chǎn)品版本管理來實(shí)現(xiàn)聯(lián)動，并實(shí)現(xiàn)質(zhì)量數(shù)據(jù)的自動采集。

2.3 MeterSphere平臺各模塊應(yīng)用情況

■?測試計(jì)劃管理

在測試計(jì)劃管理模塊，團(tuán)隊(duì)跟隨應(yīng)用版本計(jì)劃來創(chuàng)建測試計(jì)劃，并且在農(nóng)銀金科的DevOps平臺進(jìn)行關(guān)聯(lián)綁定，集中管理版本測試資產(chǎn)，直觀掌握測試進(jìn)度。

■?功能用例管理

測試人員按需采用表格/腦圖/在線編輯等方式，快速完成功能用例的編寫，項(xiàng)目團(tuán)隊(duì)可以在線評審用例。各個項(xiàng)目功能用例按模塊分類管理，對應(yīng)關(guān)聯(lián)到DevOps平臺上的需求，建立起了需求、用例、缺陷這三個測試關(guān)鍵要素的雙向追溯關(guān)系。

■?接口用例管理

在接口用例管理部分，是由開發(fā)人員去維護(hù)接口列表，測試人員進(jìn)行接口用例的更新，實(shí)現(xiàn)了高效信息共享與工作協(xié)同。目前農(nóng)銀金科內(nèi)部可以保證所有項(xiàng)目的接口在MeterSphere平臺得到100%的覆蓋。

■?UI測試用例

UI測試部分，農(nóng)銀金科在MeterSphere平臺的元素庫中將各個項(xiàng)目按照功能模塊進(jìn)行的拆分，集中管理便于維護(hù)。因?yàn)槠脚_已對腳本類操作做好了封裝，測試人員可以輕松完成UI測試用例的編寫。調(diào)試過程清晰可見，測試結(jié)果支持生成截圖與報(bào)告。

MeterSphere的UI測試功能具有低學(xué)習(xí)成本、低設(shè)計(jì)成本、低維護(hù)成本和高執(zhí)行效率的特點(diǎn)，可以有效補(bǔ)充到團(tuán)隊(duì)在接口測試方面沒有觸達(dá)的測試點(diǎn)。

■?性能測試

在性能測試方面，MeterSphere平臺可以基于接口用例直接一鍵生成性能用例。測試人員無需重復(fù)編寫腳本，只需要做一些參數(shù)的配置，比如說并發(fā)數(shù)、壓測時(shí)間等，就可以去調(diào)度壓測集群執(zhí)行相關(guān)任務(wù)了。同時(shí)MeterSphere平臺還支持實(shí)時(shí)查閱測試報(bào)告。

■?DevOps流水線

農(nóng)銀金科內(nèi)部是通過開發(fā)MeterSphere插件的形式來實(shí)現(xiàn)任務(wù)調(diào)度的。最終的實(shí)現(xiàn)效果是流水線可以按需靈活調(diào)起測試計(jì)劃、單接口、接口場景、UI場景等各種類型的自動化測試，實(shí)時(shí)輸出測試結(jié)果，與持續(xù)集成聯(lián)動實(shí)現(xiàn)部署即測試。

三、MeterSphere平臺落地效果

■?企業(yè)級的測試平臺，助力落地持續(xù)測試

農(nóng)銀金科運(yùn)用MeterSphere平臺，在內(nèi)部建立起了測試管理體系，形成了與DevOps平臺全面集成、覆蓋全測試類型的統(tǒng)一測試管理平臺。平臺全面承載公司測試計(jì)劃、接口定義、測試用例等關(guān)鍵資產(chǎn)的集中管理與自動化執(zhí)行工作，實(shí)現(xiàn)了測試工作的集中化、規(guī)范化、自動化，全面提升了公司的測試效率。

通過產(chǎn)品版本管理與流水線自動化測試相結(jié)合，有效落地了持續(xù)測試。推動實(shí)現(xiàn)測試工作的左移，測試資產(chǎn)的更新維護(hù)更加及時(shí)，開發(fā)人員和測試人員的協(xié)同更加高效，研發(fā)過程質(zhì)量自檢更加充分。

■?通過DevOps認(rèn)證評級

2022年7月，農(nóng)銀金科順利通過了信通院DevOps能力成熟度評估認(rèn)證，取得了DevOps能力成熟度持續(xù)交付三級、系統(tǒng)與工具（流水線部分）優(yōu)秀級雙項(xiàng)證書，成為業(yè)內(nèi)首個同時(shí)獲得工具和持續(xù)交付兩個標(biāo)準(zhǔn)評估的銀行系金融科技公司。

■?產(chǎn)品的質(zhì)量數(shù)據(jù)可追溯

MeterSphere平臺協(xié)助農(nóng)銀金科團(tuán)隊(duì)以產(chǎn)品版本管理為主線，建立起需求、測試計(jì)劃、測試用例、缺陷與需求、代碼版本、構(gòu)建、發(fā)布等要素之間的關(guān)聯(lián)關(guān)系，實(shí)現(xiàn)了數(shù)據(jù)全流程雙向可追溯，結(jié)合測試數(shù)據(jù)看板，幫助團(tuán)隊(duì)逐步形成全流程質(zhì)量內(nèi)建的意識。

在質(zhì)量數(shù)據(jù)可視化方面，團(tuán)隊(duì)還使用了FIT2CLOUD飛致云旗下的開源數(shù)據(jù)可視化分析工具DataEase，搭建了農(nóng)銀金科的測試質(zhì)量大屏，幫助團(tuán)隊(duì)直觀地了解當(dāng)前測試平臺的應(yīng)用情況，也給上層領(lǐng)導(dǎo)提供了更多的決策依據(jù)。

截至目前，MeterSphere平臺在農(nóng)銀金科已經(jīng)承載超過70個項(xiàng)目的用例的管理，在平臺創(chuàng)建了超過11萬個功能用例、15000多個接口用例，及25000多個接口和場景用例，在UI測試模塊的用例數(shù)量也接近1000個。

四、未來展望

在深度使用MeterSphere開源持續(xù)測試平臺的同時(shí)，農(nóng)銀金科還希望這個平臺能夠在未來不斷成長，尤其是在持續(xù)測試“一站式”的能力方面，希望能夠拓展新的功能疆界。

■?進(jìn)一步提升與DevOps平臺的集成能力

希望MeterSphere平臺能持續(xù)完善與DevOps平臺對接的相關(guān)能力，提供更加順暢的對接體驗(yàn)。例如，讓缺陷管理更加方便、信息對接更加實(shí)時(shí)、用戶體驗(yàn)更加絲滑等，探索更多的應(yīng)用可能；

■?擴(kuò)展UI測試能力

在UI測試方面，希望能夠持續(xù)豐富操作場景，提供MeterSphere專屬的界面錄制工具，UI測試支持資源池運(yùn)行，UI執(zhí)行場景支持實(shí)時(shí)視頻觀看等，持續(xù)提高UI測試的執(zhí)行效率和測試穩(wěn)定性；

■?擴(kuò)展數(shù)據(jù)統(tǒng)計(jì)、數(shù)據(jù)報(bào)表等能力

基于MeterSphere平臺打造更加多維、服務(wù)不同層級用戶的測試數(shù)據(jù)度量視圖，幫助企業(yè)高管、項(xiàng)目經(jīng)理、測試人員等角色從不同角度進(jìn)行測試進(jìn)度和測試質(zhì)量的跟蹤分析；

■?持續(xù)延伸測試平臺能力域

希望MeterSphere的研發(fā)團(tuán)隊(duì)探索移動端兼容性測試、安全測試等融入平臺的可能性，打造一個真正的集成全測試類型的統(tǒng)一平臺，讓用戶能夠聚焦在一個平臺完成所有測試工作。另外，還希望嘗試應(yīng)用精準(zhǔn)測試、AI技術(shù)融入等技術(shù)方向，讓測試更加精準(zhǔn)、自動和智能。