Dev for Dev 專欄全稱為 Developer for Developer，該專欄是聲網(wǎng)與 RTC 開發(fā)者社區(qū)共同發(fā)起的開發(fā)者互動創(chuàng)新實(shí)踐活動。透過工程師視角的技術(shù)分享、交流碰撞、項(xiàng)目共建等多種形式，匯聚開發(fā)者的力量，挖掘和傳遞最具價(jià)值的技術(shù)內(nèi)容和項(xiàng)目，全面釋放技術(shù)的創(chuàng)造力。

本文為專欄系列內(nèi)容，作者為聲網(wǎng)音視頻實(shí)驗(yàn)室工程師孫勇男。

測試自動化框架是為自動化測試用例或者腳本提供執(zhí)行環(huán)境而搭建的基礎(chǔ)設(shè)施。自動化測試框架為用戶提供了各種好處，可幫助他們有效地開發(fā)、執(zhí)行和報(bào)告自動化測試用例。自動化測試框架更像是專門為自動化測試而創(chuàng)建的一套系統(tǒng)。用一種非常簡單的語言，也可以說框架是各種編碼標(biāo)準(zhǔn)、測試過程、工作實(shí)踐、項(xiàng)目層次結(jié)構(gòu)、模塊化、報(bào)告機(jī)制、測試數(shù)據(jù)注入等支持自動化測試的功能的極大融合。

現(xiàn)在我們對自動化框架有了基本的了解，讓我們看一下現(xiàn)在流行的各種類型的測試自動化框架。這些框架可能基于對不同關(guān)鍵因素（例如驅(qū)動類型、可重用性、易于維護(hù)等）進(jìn)行自動化的支持而彼此不同。

●?基于模塊的自動化測試框架

●?倉庫架構(gòu)自動化測試框架

●?數(shù)據(jù)驅(qū)動自動化測試框架

●?關(guān)鍵字驅(qū)動自動化測試框架

●?黑盒混合自動化測試框架

●?行為驅(qū)動自動化測試框架

所謂黑盒，即提供給業(yè)務(wù)測試人員無需考慮程序內(nèi)部結(jié)構(gòu)和內(nèi)部特性的情況下，在程序接口輸入測試的參數(shù)并選擇輸出項(xiàng)，通過程序內(nèi)部混合測試框架得到相應(yīng)的結(jié)果，使用者只需關(guān)心輸入與輸出。

"自動化是為了更好的解放雙手，追求更高的效率"

與互聯(lián)網(wǎng)軟件(app、web)的測試有所不同的是，簡單來說實(shí)時(shí)視頻SDK測試幾乎不需要點(diǎn)點(diǎn)點(diǎn)，基本是通過自研自動化工具完成端與端間經(jīng)過自定義網(wǎng)絡(luò)損傷后的視頻通信，并采集端上 SDK log 作為測試產(chǎn)出數(shù)據(jù)，客觀測試數(shù)據(jù)即客觀測試結(jié)果。圍繞并以此通過結(jié)合實(shí)際業(yè)務(wù)需求，去離"Code based automation"，根據(jù)業(yè)務(wù)測試以平臺化、模塊化來提供解決方案，從而提供更多的測試維度、減少重復(fù)體力勞動和效率瓶頸問題。?

●?采用 CI 集群+測試工具及自動化測試框架 +數(shù)據(jù)平臺化

? 支撐 daily、發(fā)版測試、開發(fā)自測的測試工作

●?具體模塊功能簡述

●?多套測試節(jié)點(diǎn)支撐整個(gè)視頻客觀發(fā)版業(yè)務(wù)線

通常我們在做自動化測試過程中通常先完成“執(zhí)行測試”這一步驟，然而這只是相對自動化的一部分，我個(gè)人理解的自動化閉環(huán)優(yōu)點(diǎn)不局限于"輸入便捷性靈、測試覆蓋性全、測試避障性強(qiáng)、輸出聚合性高"，更多的站在整個(gè)鏈路逐步突破測試精準(zhǔn)性和效率瓶頸。

下面是我們在測試避障性和輸出聚合性模塊中的舉例:

在生活中使用聊天軟件視頻時(shí)，往往會因?yàn)榫W(wǎng)絡(luò)突發(fā)波動造成突然的卡頓或者或者畫面模糊，波動幅度和時(shí)間都具有不確定性，對于實(shí)時(shí)視頻 SDK 的測試也會遇到這樣的問題，雖然我們盡力保證網(wǎng)絡(luò)環(huán)境的穩(wěn)定，但是在長時(shí)間的測試過程中也經(jīng)常會遇到諸如此類問題，影響我們的測試數(shù)據(jù)。

如何在測試過程中降低因網(wǎng)絡(luò)波動造成的數(shù)據(jù)誤差？

●?利用漏斗式重跑篩選方式，簡要結(jié)構(gòu)如圖所示

即循環(huán)求值保證在設(shè)定誤差內(nèi)有效降低因?yàn)榫W(wǎng)絡(luò)波動影響 SDK 版本測試數(shù)據(jù)。

在完成自動化測試后對于測試版本間或者與 release 版本各項(xiàng)體驗(yàn)指標(biāo)數(shù)據(jù)上，一般是通過報(bào)告間數(shù)字的差異，但隨著體驗(yàn)指標(biāo)的增加，往往我們更迫切需要多個(gè)版本精確到端到端上某個(gè)指標(biāo)上的差異性感知質(zhì)量可視化。

●?后臺管理系統(tǒng)-客觀報(bào)告模塊

支持多版本報(bào)告對比的case、devices、體驗(yàn)指標(biāo)等求值動態(tài)視圖

目前這種客觀報(bào)告的視圖形式雖然暫時(shí)滿足了我們對自動化報(bào)告指標(biāo)數(shù)據(jù)上的取證對比需求，但是在數(shù)據(jù)的梳理和合成功能還需要更加切入業(yè)務(wù)的理解。

相對不同業(yè)務(wù)的框架并沒有什么官方的標(biāo)準(zhǔn)，而是緊貼實(shí)際業(yè)務(wù)需求，搭配適用性高的主流框架或者自研框架集成到整個(gè)測試架構(gòu)來提供解決方案。操作者可能為開發(fā)可能為測試，大家技術(shù)線有所不同，作為相對"黑盒"使用者暫不需要知道他的原理構(gòu)造，僅需清楚了解能為自己在最短時(shí)間解決工作上的問題即是黑盒測試框架的價(jià)值。