手機(jī)自動(dòng)化測試背景

伴隨著智能手機(jī)市場的迅速發(fā)展，移動(dòng)應(yīng)用已經(jīng)滲透到工作、教育、娛樂、購物、交通等各個(gè)方面中，而由于Android系統(tǒng)開源免費(fèi)的特性，導(dǎo)致大量應(yīng)用開發(fā)者均可將自己開發(fā)的軟件放在Android市場上，以至于手機(jī)軟件的可靠性面臨著巨大危機(jī)。軟件質(zhì)量保證成了一項(xiàng)十分艱巨的任務(wù)的今天，軟件測試愈發(fā)受人關(guān)注。在Android應(yīng)用市場競爭日趨激烈的今天，應(yīng)用的開發(fā)效率則成為了企業(yè)和個(gè)人搶占市場的關(guān)鍵因素。在應(yīng)用的開發(fā)周期中，測試往往占有很大比重，但在測試過程中存在幾個(gè)難點(diǎn)：(1)正確率低下。在以往的移動(dòng)應(yīng)用測試中，測試人員需要在每一次迭代時(shí)都進(jìn)行手動(dòng)操作，大量的重復(fù)操作使得測試人員易產(chǎn)生疲倦，導(dǎo)致漏測和誤測等問題。(2)問題難以復(fù)現(xiàn)。在測試移動(dòng)應(yīng)用時(shí)，根據(jù)操作流程的不同和特定情境的發(fā)生，可能會(huì)出現(xiàn)小概率的問題。這些問題手動(dòng)測試很難復(fù)現(xiàn)，可能導(dǎo)致問題無法定位和解決。(3)效率低下。對相似測試用例進(jìn)行大量的重復(fù)執(zhí)行會(huì)使測試人員產(chǎn)生慣性思維，無法有效地發(fā)現(xiàn)問題。過量重復(fù)執(zhí)行手動(dòng)操作致使測試人員感到乏味和反應(yīng)遲鈍，進(jìn)而降低測試效率。因此，通過自動(dòng)化測試來實(shí)現(xiàn)重復(fù)的和一致的測試內(nèi)容可以大大提高測試效率。相較于人工測試，自動(dòng)化測試比人工更快、可以在任何時(shí)間進(jìn)行、測試非常精確，同時(shí)自動(dòng)化可以用在幾乎所有的測試過程中并可以自動(dòng)創(chuàng)建報(bào)告。因此，自動(dòng)化測試可以大大縮短測試時(shí)間、節(jié)省人力資源、減少測試人員由于疏忽帶來的錯(cuò)誤，還可以充分利用空閑時(shí)間、空閑設(shè)備進(jìn)行不問斷測試。

自動(dòng)化測試在實(shí)際的智能終端產(chǎn)品開發(fā)過程中，成為了砍掉冗長繁瑣的測試流程的利刃。國外有學(xué)者做了一份對移動(dòng)端應(yīng)用發(fā)展的研究，結(jié)果表明，移動(dòng)端測試現(xiàn)在很大程度上仍然依賴人工測試，很少使用自動(dòng)化測試方案。在這種大環(huán)境下，如何更快，更好的完成自動(dòng)化測試就成為了各大廠商的一個(gè)重要待解決課題。此外，由于小型企業(yè)和個(gè)人開發(fā)者的開發(fā)成本有限，他們往往選擇進(jìn)行人工測試或者使用自動(dòng)化測試服務(wù)，自動(dòng)化測試服務(wù)包括使用自動(dòng)化測試工具和云測試平臺(tái)。無論是測試工具還是測試平臺(tái)，都需要具有很好的通用性，因此一個(gè)完善的自動(dòng)化測試解決方案需要滿足如下需求：(1)黑盒測試環(huán)境：當(dāng)測試作為一種服務(wù)提供時(shí)，需要支持不同種類的應(yīng)用，不能針對某一個(gè)應(yīng)用或某一類應(yīng)用，因此需要黑盒測試環(huán)境。(2)跨設(shè)備支持：當(dāng)對移動(dòng)應(yīng)用進(jìn)行功能測試時(shí)，跨設(shè)備支持可以提高腳本的復(fù)用率，同時(shí)可以測試應(yīng)用程序在不同設(shè)備的兼容性。(3)全面的測試能力：一個(gè)完善的測試服務(wù)應(yīng)該支持多種測試內(nèi)容，如功能測試、兼容性測試、穩(wěn)定性測試、性能測試等。

?

MTBF介紹

MTBF是衡量一個(gè)產(chǎn)品的可靠性指標(biāo)。它反映了產(chǎn)品的時(shí)間質(zhì)量，是體現(xiàn)產(chǎn)品在規(guī)定時(shí)間內(nèi)保持功能的一種能力。具體來說，是指相鄰兩次故障之間的平均工作時(shí)間，也稱為平均故障間隔。它僅適用于可維修產(chǎn)品。同時(shí)也規(guī)定產(chǎn)品在總的使用階段累計(jì)工作時(shí)間與故障次數(shù)的比值為MTBF。為了測試智能終端在連續(xù)工作狀態(tài)下，出現(xiàn)死機(jī)、重啟、凍屏、應(yīng)用程序強(qiáng)制關(guān)閉等嚴(yán)重故障的概率，通常采用將被測終端在一個(gè)周期內(nèi)通過自動(dòng)化方式反復(fù)執(zhí)行規(guī)定的用例，記錄測試過程中出現(xiàn)的故障數(shù)的測試方法。最終MTBF的測試結(jié)果可通過以下公式計(jì)算得出：MTBF=(測試設(shè)備數(shù)量木運(yùn)行天數(shù)木24)／(致命+嚴(yán)重問題)數(shù)目。

穩(wěn)定性方面的問題，主要可以分為兩類。軟件問題和硬件問題。手機(jī)部主要關(guān)注的是軟件方面的穩(wěn)定性問題。包括重啟、死機(jī)、卡屏、內(nèi)存滿、內(nèi)存低、應(yīng)用停止工作、進(jìn)程無響應(yīng)、斷開連接、打開網(wǎng)址亂碼、發(fā)送短／彩信及郵件超時(shí)等。其中，終端運(yùn)行過程中重啟和應(yīng)用進(jìn)程強(qiáng)制關(guān)閉是較常見的問題。前者的原因可能是對于原生Android代碼的修改，在相關(guān)指針方面的處理不是很完善，存在低概率的空指針異常導(dǎo)致的重啟問題。可通過優(yōu)化相關(guān)代碼邏輯來解決。

在移動(dòng)互聯(lián)網(wǎng)蓬勃發(fā)展的時(shí)代，隨著智能終端的迅速普及和移動(dòng)應(yīng)用的大量涌現(xiàn)，對終端工作的穩(wěn)定性也不容忽視。提高終端運(yùn)行的穩(wěn)定性，將大大提高用戶在使用中的體驗(yàn)，從而促進(jìn)移動(dòng)互聯(lián)網(wǎng)的發(fā)展。

MTBF自動(dòng)化測試需求怎么來的：

測試工作是一項(xiàng)十分艱苦并且耗時(shí)巨大的工作，所需時(shí)間需占軟件開發(fā)所需總時(shí)間的40％，對于某些對質(zhì)量要求很嚴(yán)格的軟件，這個(gè)比例更大。并且軟件測試具有一定的重復(fù)性。小米手機(jī)版本迭代速度很快，每次更新的版本都需要通過基礎(chǔ)測試用例，壓力測試和性能測試，需要的數(shù)量極多，手動(dòng)測試存在很大的局限性：

1．不能模擬大用戶量和大數(shù)據(jù)量并發(fā)的情況。

2．無法實(shí)現(xiàn)24小時(shí)連續(xù)測試。

3．測試過程使用的人工成本過高。

在小米，手機(jī)達(dá)到量產(chǎn)之前，所有手機(jī)都必須進(jìn)行MTBF測試，用于評定和改善版本質(zhì)量。MTBF為平均故障間隔時(shí)間，英文全稱是“Mean Time Between Failure”。是衡量一個(gè)產(chǎn)品(尤其是電器產(chǎn)品)的可靠性指標(biāo)。單位為“小時(shí)”。它反映了產(chǎn)品的時(shí)間質(zhì)量，是體現(xiàn)產(chǎn)品在規(guī)定時(shí)間內(nèi)保持功能的一種能力。具體來說，是指相鄰兩次故障之間的平均工作時(shí)間，也稱為平均故障間隔。MTBF測試通過對手機(jī)的基礎(chǔ)應(yīng)用進(jìn)行模擬用戶使用的操作，用于測試整機(jī)穩(wěn)定性。各個(gè)廠家手機(jī)版本涉及的最重要的基礎(chǔ)應(yīng)用：聯(lián)系人、撥號(hào)、短信、電子郵件、瀏覽器、日歷、鬧鐘、錄音機(jī)、音樂播放器、相機(jī)、圖庫、文件管理、桌面、設(shè)置、圖庫、鎖屏、負(fù)一屏等。

MTBF自動(dòng)化測試的分析

市面上存在一系列的測試工具和框架。目前對手機(jī)系統(tǒng)進(jìn)行MTBF自動(dòng)化測試的方式主要有兩種，第一種測試方式通過機(jī)械臂來點(diǎn)擊手機(jī)應(yīng)用的功能菜單，達(dá)到自動(dòng)化操作手機(jī)應(yīng)用的目的。第二種測試方式通過程序來發(fā)送命令實(shí)現(xiàn)點(diǎn)擊手機(jī)軟件的功能菜單。第二種方式在過去20多年里有了很大發(fā)展，最初的測試工具只提供簡單的捕捉／回放功能；記錄并播放鍵盤按鍵，然后捕捉和比較屏幕。這些測試方法容易應(yīng)用，但幾乎不可維護(hù)∞1。之后出現(xiàn)的自動(dòng)化測試框架定義了有假設(shè)、概念和制定工作平臺(tái)或?yàn)樽詣?dòng)化測試提供支持的實(shí)踐組成的集合，有效彌補(bǔ)了依靠單一測試工具帶來的缺陷，減少了實(shí)現(xiàn)和維護(hù)的成本。目前利用這種方式針對Android手機(jī)軟件的測試框架有：谷歌官方提供的UiAutomator、MonkeyRunner、Robotium、Appium等。

1．通過機(jī)械臂點(diǎn)擊應(yīng)用實(shí)現(xiàn)自動(dòng)化

這種方式通過機(jī)械臂來點(diǎn)擊手機(jī)應(yīng)用的功能菜單，達(dá)到自動(dòng)化操作手機(jī)應(yīng)用的目的。機(jī)械臂點(diǎn)擊的坐標(biāo)位置和操作序列通過腳本的方式實(shí)現(xiàn)進(jìn)行定義，在測試環(huán)節(jié)中按照預(yù)定義的腳本控制機(jī)械臂對手機(jī)軟件進(jìn)行操作。此種方式存在很明顯的缺陷：并行測試的手機(jī)數(shù)量嚴(yán)重受到機(jī)械臂數(shù)量的限制，無法大規(guī)模部署測試場景，同時(shí)增加了測試成本。而MTBF穩(wěn)定性測試需要測試手機(jī)長時(shí)間連續(xù)工作的穩(wěn)定性，通常采用多臺(tái)手機(jī)并行測試得到最終的穩(wěn)定性測試結(jié)果，如果采用這種測試方式明顯加大了實(shí)現(xiàn)難度。

2．通過程序發(fā)送命令點(diǎn)擊應(yīng)用實(shí)現(xiàn)自動(dòng)化

這種測試方式通過程序來發(fā)送命令實(shí)現(xiàn)點(diǎn)擊手機(jī)軟件的功能菜單。由于手機(jī)的操作系統(tǒng)支持接收遠(yuǎn)程命令來控制手機(jī)，在建立與手機(jī)系統(tǒng)的遠(yuǎn)程連接后，即可編寫測試腳本控制手機(jī)系統(tǒng)記性測試。這種測試方法與第一種測試方法相比，部署方式簡單，成本低廉。并且程序控制的方式在測試的執(zhí)行過程中更為高效，因此這種方式被廣泛使用。

自動(dòng)化測試框架為支持自動(dòng)化軟件測試設(shè)計(jì)了平臺(tái)架構(gòu)和最佳的實(shí)踐經(jīng)驗(yàn)。主要有四種基本框架結(jié)構(gòu)類型：腳本模塊化架構(gòu)，測試庫架構(gòu)，關(guān)鍵詞或表格驅(qū)動(dòng)架構(gòu)，數(shù)據(jù)驅(qū)動(dòng)架構(gòu)。

目前市場上針對Androi d的自動(dòng)化測試框架包含：UiAutomator谷歌官方提供，只能做原生APP的自動(dòng)化測試，支持java語言；MonkeyRunner可錄制，但腳本根據(jù)坐標(biāo)軸定位，兼容性差；Robotium使用的人比較多，文檔比較齊全，支持webview，但不支持跑進(jìn)程，支持語言java：Appium支持Hybrid app，也支持跨進(jìn)程，可以用眾多語言編寫腳本，目前不支持安卓toast的獲取。這些測試工具都有其適用的測試范圍。