軟件測(cè)試 | 分析確定性能測(cè)試指標(biāo)
如表13-1所示為IT部門(mén)對(duì)業(yè)務(wù)部門(mén)承諾的關(guān)鍵功能(登錄系統(tǒng))的性能指標(biāo)。如何將寬泛的IT承諾指標(biāo)轉(zhuǎn)換測(cè)試人員可以使用的性能測(cè)試指標(biāo),這里有一定的技巧。

1.如何確定性能測(cè)試的并發(fā)虛擬用戶數(shù)
測(cè)試環(huán)境平均并發(fā)數(shù)=(高峰段用戶數(shù)×10%)/n
n是生產(chǎn)環(huán)境和測(cè)試環(huán)境服務(wù)器配置折算比,例如n=公倍數(shù)((生產(chǎn)Web服務(wù)器數(shù)/測(cè)試Web服務(wù)器數(shù)),(生產(chǎn)APP服務(wù)器/測(cè)試APP服務(wù)器數(shù)))×(生產(chǎn)服務(wù)器內(nèi)存/測(cè)試服務(wù)器內(nèi)存),一般算下來(lái)n=4。請(qǐng)注意n=4僅僅是一個(gè)經(jīng)驗(yàn)值,并不一定適用于測(cè)試人員所在的測(cè)試組織。
10%的含義是我們假定所有用戶中,只有10%的用戶在同一時(shí)刻做同一件事情,例如登錄系統(tǒng)。請(qǐng)注意10%僅僅是一個(gè)經(jīng)驗(yàn)值,并不一定適用于測(cè)試人員所在的測(cè)試組織。
2.如何確定性能測(cè)試的持續(xù)時(shí)長(zhǎng)
IT部門(mén)對(duì)業(yè)務(wù)部門(mén)承諾的系統(tǒng)可用時(shí)間段為:8:00~21:00,那么用戶的登錄操作是否平均分布在8:00~21:00這13個(gè)小時(shí)以內(nèi)呢?答案當(dāng)然是否定的。調(diào)研生產(chǎn)用戶習(xí)慣后,發(fā)現(xiàn)登錄操作集中發(fā)生在8:50~9:20這半個(gè)小時(shí)以內(nèi)。因此我們可能將性能測(cè)試的持續(xù)時(shí)長(zhǎng),確定為半個(gè)小時(shí)。
3.如何確定性能測(cè)試的存量數(shù)據(jù)
準(zhǔn)備性能測(cè)試的存量數(shù)據(jù)是一件復(fù)雜而具有挑戰(zhàn)性的工作。這項(xiàng)工作并沒(méi)有通用的模型可供參考,只能憑借測(cè)試人員的經(jīng)驗(yàn),它需要測(cè)試人員對(duì)系統(tǒng)架構(gòu)非常熟悉才行。本例中的存量數(shù)據(jù)就是23000個(gè)測(cè)試賬號(hào),即數(shù)據(jù)庫(kù)用戶表中應(yīng)該有23000條以上的記錄,而測(cè)試人員并不需要保證這23000條記錄每一條都能真實(shí)完成系統(tǒng)登錄。
4.如何確定測(cè)試人員重點(diǎn)觀察的性能指標(biāo)
從IT部門(mén)對(duì)業(yè)務(wù)部門(mén)承諾的關(guān)鍵功能(登錄系統(tǒng))的性能指標(biāo)中,我們可以找到兩個(gè)具體要求:
(1)平均響應(yīng)時(shí)長(zhǎng)<4s
(2)可接受最長(zhǎng)響應(yīng)時(shí)長(zhǎng)≤7s.
現(xiàn)在要做的就是將這兩個(gè)指標(biāo)與JMeter監(jiān)聽(tīng)器的統(tǒng)計(jì)口徑關(guān)聯(lián)起來(lái)。
(1)平均響應(yīng)時(shí)長(zhǎng)←→平均響應(yīng)時(shí)長(zhǎng)(JMeter聚合報(bào)告)
(2)可接受最長(zhǎng)響應(yīng)時(shí)長(zhǎng)←→90%閾值(JMeter聚合報(bào)告)
除了平均響應(yīng)時(shí)長(zhǎng)和90%閾值這兩項(xiàng)統(tǒng)計(jì)值之外,我們還需要關(guān)注哪幾項(xiàng)統(tǒng)計(jì)值呢?答案是吞吐率(每秒完成請(qǐng)求數(shù))和錯(cuò)誤率。在圖形結(jié)果中吞吐率應(yīng)該是先逐漸攀升最后趨于平穩(wěn)的一條曲線,而錯(cuò)誤率則應(yīng)該基本為0。
于是我們得出結(jié)論,本例中測(cè)試人員應(yīng)該重點(diǎn)關(guān)注4項(xiàng)JMeter監(jiān)聽(tīng)器的統(tǒng)計(jì)指標(biāo):
(1)平均響應(yīng)時(shí)長(zhǎng)(JMeter聚合報(bào)告)<4s
(2)90%閾值(JMeter聚合報(bào)告)≤7s
(3)吞吐率,應(yīng)該是先逐漸攀升最后趨于平穩(wěn)的一條曲線。
(4)錯(cuò)誤率,趨近于0,如果不為0,應(yīng)該認(rèn)真分析。
搜索微信公眾號(hào):TestingStudio霍格沃茲的干貨都很硬核