摘要：隨著3G誘發(fā)的移動(dòng)互聯(lián)網(wǎng)時(shí)代的到來(lái)，移動(dòng)終端將深入社會(huì)生活的方方面面。在這種時(shí)代背景下形形色色的手機(jī)軟件瘋狂問(wèn)世，每個(gè)程序都期望成為QQ/Fetion。軟件所有者為了搶占廣闊的市場(chǎng)，在更短的時(shí)間內(nèi)提供更為優(yōu)質(zhì)的手機(jī)軟件產(chǎn)品，因而在這種形勢(shì)下?lián)碛懈咝?、便捷、快速等特點(diǎn)的自動(dòng)化測(cè)試將成為軟件測(cè)試中不可缺少的重要部分。

1 引言

近年來(lái)，隨著國(guó)內(nèi)IT行業(yè)的迅猛發(fā)展與日益規(guī)范，手機(jī)軟件產(chǎn)品的質(zhì)量越來(lái)越成為企業(yè)競(jìng)爭(zhēng)制勝的關(guān)鍵，企業(yè)領(lǐng)導(dǎo)者亦日趨理性并愈發(fā)重視軟件產(chǎn)品的質(zhì)量。在市場(chǎng)格局變化的今天，各運(yùn)營(yíng)商亦紛紛推出自己獨(dú)特的定制終端和定制業(yè)務(wù)，為了捍衛(wèi)自主品牌保證產(chǎn)品質(zhì)量，幾乎每個(gè)運(yùn)營(yíng)商的產(chǎn)品在發(fā)布前都需要進(jìn)行大量的質(zhì)量控制、回歸測(cè)試和壓力測(cè)試工作，然而這些工作必須投入大量的資金依靠具備嫻熟技能的專業(yè)測(cè)試人才來(lái)完成。那么是否有這樣一種革新的自動(dòng)化測(cè)試工具，它不但能夠降低測(cè)試難度、降低測(cè)試成本、縮短測(cè)試周期，而且能夠達(dá)到測(cè)試的預(yù)期效果呢？

2 手機(jī)軟件手工測(cè)試的缺陷

據(jù)統(tǒng)計(jì)資料表明，測(cè)試的工作量約占整個(gè)項(xiàng)目開(kāi)發(fā)工作量的40%左右，測(cè)試的工作量往往是其他階段的3～5倍。

就目前國(guó)內(nèi)的軟件開(kāi)發(fā)行業(yè)來(lái)看，幾乎所有的測(cè)試還是來(lái)自最原始的手工測(cè)試，對(duì)于自動(dòng)化測(cè)試的應(yīng)用還不普及。手工測(cè)試，顧名思義就是需要由人來(lái)動(dòng)手進(jìn)行測(cè)試。測(cè)試人員需要手腦并用，充分發(fā)揮聰明才智，才能設(shè)計(jì)出那些可以導(dǎo)致軟件失效或是符合軟件設(shè)計(jì)效果的真實(shí)場(chǎng)景。由測(cè)試人員來(lái)進(jìn)行手工測(cè)試，可以最大程度地發(fā)揮人的主觀能動(dòng)積極性，設(shè)計(jì)出真實(shí)的用戶情況，在真實(shí)的用戶環(huán)境中使用真實(shí)的用戶數(shù)據(jù)，同時(shí)可以識(shí)別出顯而易見(jiàn)的缺陷和難以察覺(jué)的缺陷。但以往的經(jīng)驗(yàn)告訴我們，單獨(dú)的手工測(cè)試無(wú)法保證軟件的質(zhì)量，因?yàn)槭止y(cè)試存在效率低，人力、時(shí)間投入大，壓力測(cè)試難以進(jìn)行，隱形問(wèn)題難以發(fā)現(xiàn)的缺點(diǎn)，在這種背景下應(yīng)運(yùn)而生了自動(dòng)測(cè)試。

3 Pilot AutoTest系列介紹

隨著移動(dòng)業(yè)務(wù)突飛猛進(jìn)地發(fā)展，傳統(tǒng)的手工測(cè)試已經(jīng)難以滿足業(yè)務(wù)增長(zhǎng)的需要，在業(yè)務(wù)高速擴(kuò)張的同時(shí)又要保證業(yè)務(wù)的質(zhì)量今天，珠海世紀(jì)鼎利通信科技股份有限公司針對(duì)手機(jī)軟件開(kāi)發(fā)出一套自動(dòng)化移動(dòng)業(yè)務(wù)測(cè)試及評(píng)估系統(tǒng)——Pilot AutoTest產(chǎn)品，它結(jié)合了測(cè)試工程師多年的經(jīng)驗(yàn)和最新研究成果。Pilot AutoTest系列產(chǎn)品包括Pilot AutoTest Enterprise，Pilot AutoTest Handse，Pilot AutoTest Web和Pilot AutoTest Cloud。

Pilot AutoTest系列是一套基于圖像識(shí)別原理開(kāi)發(fā)的自動(dòng)化業(yè)務(wù)測(cè)試及評(píng)估系統(tǒng)。目前已實(shí)現(xiàn)Android，Windows Mobile，Symbian等主流系統(tǒng)的終端測(cè)試。該系統(tǒng)通過(guò)終端模擬器進(jìn)行設(shè)備模擬，允許用戶通過(guò)系統(tǒng)模擬真實(shí)操作，程序自動(dòng)記錄用戶操作的所有過(guò)程。同時(shí)，引入圖像識(shí)別技術(shù)及文字識(shí)別技術(shù)，提供測(cè)試參考及判斷標(biāo)準(zhǔn)，可以更好地幫助加強(qiáng)操作的可執(zhí)行性，提高自動(dòng)化測(cè)試的可靠度及易用度。Pilot AutoTest提供了靈活的腳步編輯功能，包括：異常分支編輯、數(shù)據(jù)采集、自定義變量、元素修改等，便于用戶進(jìn)行快捷的腳步移植操作，最大限度的減少額外工作量。允許用戶任意指定執(zhí)行中的圖像對(duì)比元素(見(jiàn)圖1)。

     圖1 手機(jī)屏幕圖和對(duì)象圖

3.1 Pilot AutoTest Enterprise

企業(yè)級(jí)終端自動(dòng)測(cè)試系統(tǒng)，提供高效、專業(yè)、準(zhǔn)確的本地測(cè)試，自動(dòng)錄制命令，用戶自定義測(cè)試腳本，實(shí)現(xiàn)自動(dòng)化回歸測(cè)試。允許用戶連接任意終端、定制測(cè)試計(jì)劃、自動(dòng)運(yùn)行，并對(duì)運(yùn)行中的錯(cuò)誤進(jìn)行自動(dòng)截屏，幫助用戶更快發(fā)現(xiàn)程序異常，同時(shí)，壓力測(cè)試后的測(cè)試報(bào)告能更好地幫助用戶評(píng)估業(yè)務(wù)程序或終端的穩(wěn)定性。

Pilot AutoTest使用分布式系統(tǒng)部署，允許用戶進(jìn)行遠(yuǎn)程調(diào)度、數(shù)據(jù)集中管理，無(wú)論身處何地，都能實(shí)現(xiàn)自動(dòng)化測(cè)試(見(jiàn)圖2)。

     圖2 Pilot AutoTest Enterprise版拓?fù)鋱D

3.2 Pilot AutoTest Handset

便攜設(shè)備獨(dú)立自動(dòng)測(cè)試可以提供靈活、方便、終端獨(dú)立運(yùn)行的測(cè)試。終端內(nèi)置腳本執(zhí)行模塊，通過(guò)本地導(dǎo)入或遠(yuǎn)程Web端調(diào)度的方式獲取測(cè)試腳本，完成自動(dòng)化測(cè)試。終端界面的日志記錄、結(jié)果統(tǒng)計(jì)能幫助用戶更便捷地獲取第一時(shí)間的測(cè)試信息(見(jiàn)圖3)。

     圖3 Pilot AutoTest Handset版界面

3.3 Pilot AutoTest Web

中心調(diào)度及控制服務(wù)器，客戶端錄制測(cè)試腳本通過(guò)網(wǎng)絡(luò)上傳到服務(wù)器，并存儲(chǔ)到腳本用例庫(kù)中，用戶可通過(guò)Web接入中心調(diào)度及控制服務(wù)器進(jìn)行任務(wù)配置、調(diào)度、監(jiān)控，及結(jié)果匯總統(tǒng)計(jì)等。用戶通過(guò)Pilot AutoTest Enterprise或Pilot AutoTest Handset均可連接到Web端實(shí)現(xiàn)遠(yuǎn)程控制(見(jiàn)圖4)。

     圖4 Pilot AutoTest web版界面

3.4 Pilot AutoTest Cloud

終端云資源共享自動(dòng)測(cè)試，提供后端虛擬設(shè)備資源池。實(shí)現(xiàn)“不見(jiàn)其人，但聞其聲”的意境。用戶并不實(shí)際接觸終端，但通過(guò)Web訪問(wèn)可以控制終端實(shí)現(xiàn)任意模擬操作，包括開(kāi)/關(guān)機(jī)、程序安裝/卸載、業(yè)務(wù)測(cè)試等等，與真實(shí)操作完成一致。

AutoTest Cloud為程序開(kāi)發(fā)者提供了更便捷的測(cè)試方案，不僅成本節(jié)省了，而且也效率卻提高了，更為產(chǎn)品的上線縮短了周期。

4 Pilot AutoTest Enterprise的用途和優(yōu)點(diǎn)

4.1 Pilot auto Test Enterprise的用途(見(jiàn)圖5)

     圖5 Pilot AutoTest的應(yīng)用

(1)Pilot AutoTest是一套針對(duì)手機(jī)軟件的自動(dòng)化測(cè)試工具，它能夠自動(dòng)加載設(shè)備并根據(jù)腳本實(shí)現(xiàn)業(yè)務(wù)回顧測(cè)試。腳本執(zhí)行完畢后會(huì)自動(dòng)生成一份統(tǒng)計(jì)報(bào)表，此報(bào)表包括執(zhí)行測(cè)腳本的次數(shù)、每個(gè)動(dòng)作的執(zhí)行次數(shù)、腳本的成功率、每個(gè)動(dòng)作的成功率等相關(guān)參數(shù)。若由于某種原因?qū)е虏僮魇∵€可以提供相應(yīng)的信息日志以供查看。對(duì)于網(wǎng)絡(luò)交互的相關(guān)動(dòng)作，AutoTest結(jié)合世紀(jì)鼎利Walktour產(chǎn)品，還可以在日志中顯示與網(wǎng)絡(luò)交互的相關(guān)信令、參數(shù)、時(shí)延等信息。
     (2)可運(yùn)用于手機(jī)軟件開(kāi)發(fā)商，幫助其提高測(cè)試效率、縮短測(cè)試周期。
     (3)可運(yùn)用于電信運(yùn)營(yíng)商的入網(wǎng)檢測(cè)、大會(huì)戰(zhàn)、定制業(yè)務(wù)等方面，能夠準(zhǔn)確、高效、直觀的呈現(xiàn)測(cè)試結(jié)果。

4.2 Pilot auto Test Enterprise的優(yōu)點(diǎn)

(1)測(cè)試更便捷。由于回歸測(cè)試的動(dòng)作和用例是完全設(shè)計(jì)好的，期望的結(jié)果也是可以預(yù)料的，自動(dòng)運(yùn)行可以提高測(cè)試的效率，縮短測(cè)試的時(shí)間。
     (2)可以運(yùn)行更多更繁瑣的測(cè)試執(zhí)行一些手工測(cè)試不能進(jìn)行或者困難的測(cè)試，比如，對(duì)于大量用戶的壓力測(cè)試，不可能同時(shí)讓足夠多的測(cè)試人員同時(shí)進(jìn)行測(cè)試，但是卻可以通過(guò)自動(dòng)化測(cè)試模擬同時(shí)有許多用戶，從而達(dá)到測(cè)試的目的并降低項(xiàng)目投資成本。
     (3)更好地利用資源。將繁瑣的任務(wù)自動(dòng)化，可以提高準(zhǔn)確性和測(cè)試人員的積極性，將測(cè)試技術(shù)人員解脫出來(lái)投入更多精力設(shè)計(jì)更好的測(cè)試用例。有些測(cè)試不適合自動(dòng)測(cè)試，僅適合于手工測(cè)試，將可自動(dòng)測(cè)試的測(cè)試自動(dòng)化后，可以讓測(cè)試人員專注于手工測(cè)試部分，提高手工測(cè)試的效率。
     (4)重復(fù)測(cè)試，每一個(gè)測(cè)試腳本都可重復(fù)利用，幾次、幾十次、幾百次都由用戶指定。
     (5)測(cè)試的復(fù)用性。Pilot AutoTest進(jìn)行了專業(yè)的腳本編輯設(shè)計(jì)，具有良好的移植性，從一個(gè)終端到另一個(gè)終端的測(cè)試，用戶只需要修改部分腳本或部分圖片元素就可以進(jìn)行測(cè)試。
     (6)增加軟件信任度。由于測(cè)試是自動(dòng)執(zhí)行的，所以不存在執(zhí)行過(guò)程中人為的主觀判斷或疏忽，杜絕了測(cè)試中人為錯(cuò)誤。一旦軟件通過(guò)了壓力測(cè)試后，軟件的信任度就會(huì)增加。

5 結(jié)束語(yǔ)

本文分析了當(dāng)前手機(jī)軟件手動(dòng)測(cè)試的缺陷，介紹新一代自動(dòng)測(cè)產(chǎn)品——Pilot AutoTest。目的是為了使手機(jī)軟件開(kāi)發(fā)商、電信運(yùn)營(yíng)商等廠商能夠通過(guò)此產(chǎn)品提高測(cè)試的效率、縮短測(cè)試的周期、解放測(cè)試人員和降低測(cè)試的投資。誠(chéng)然，Pilot AutoTest也不是一款全能的自動(dòng)化測(cè)試系統(tǒng)，在比如聲音、震動(dòng)、流媒體、游戲等需要主觀判斷或人機(jī)交互上的測(cè)試還很有局限，但最大限度的實(shí)現(xiàn)功能性自動(dòng)化測(cè)試是Pilot AutoTest的努力方向。