移動多端自動化測試平臺建設

【摘要】? ? 本文介紹了移動多端自動化測試平臺的建設思路，該平臺實現了對國內移動政務服務應用的自動化真機在線測試和智能化測試結果在線分析，替代傳統人工測試。提供給各級政府在政務服務APP、H5、支付寶小程序、微信小程序等移動渠道研發、上線、運維過程中，對功能、性能、兼容性、穩定性、安全性等全維度測試的能力，并提高軟件質量和市場競爭力。文章對自動化測試平臺進行概述，分析了自動化平臺結構設計理念，闡述了自動化平臺設計和實現思路。

【關鍵詞】? ? 自動化? ? 在線測試? ? 軟件質量? ? 市場競爭力

一、測試平臺需要解決的問題

目前市場上有部分移動政務APP應用在安裝、啟動、卸載時存在耗時較長，使用過程中出現閃退、卡死等常見的問題;同時，一些軟件病毒、惡意插件、漏洞和敏感數據也在嚴重影響用戶信息安全。因此用戶對移動政務服務應用在兼容性、性能、穩定性、安全性上面提出了更高的要求。自動化云測平臺可以協助人工提供這方面的測試能力，很好的彌補了當前測試階段存在幾個典型的痛點：

1.人工測試為主，效率低下：目前政務服務App質量團隊的測試手段依然以手工測試為主，人工成本較高。

2.缺乏安全滲透測試技術：政務服務領域內研發團隊主要以面向政務業務為主，缺乏自動化安全測試的專業技術。

3.適配機型復雜：傳統測試方式下，無法覆蓋市面上眾多的手機型號。

二、測試平臺功能矩陣

為了解決移動政務服務應用在“性能”、“安全性”、“穩定性”、“兼容性”以及功能上的問題，規范建設者們在移動政務應用建設前、中、后期的專項測試標準，讓不同技術實力的開發者所開發的移動政務應用均按統一標準進行測試，為全國移動政務應用開發領域的健康發展提供規范化、自動化的品控服務。測試平臺主要功能矩陣如下：

2.1性能測試

在APP的安裝啟動卸載過程中，檢測APP的安裝卸載時長，啟動時長;在APP運行過程中，實時檢測APP的前端性能數據，例如：FPS，流量，電量，內存，CPU，上行流量，下行流量等性能。測試人員拿到獲取到的性能可以實時的分析此款APP在測試過程中可能會存在的哪些問題，例如：內存泄漏，加載時長過長，流暢度較差，加載圖片過大等一系列問題。移動終端應用，不管是Native還是WebView的應用，對性能要求都非常高，主要是卡頓、耗電、速度這幾個常見關鍵性的指標，而這類測試重復性強，指標路徑固定，自動化測試可以更快捷地完成性能測試任務。

2.2兼容性測試

不同的業務可能會有不同的適配要求，一般情況下平臺能提供幾百甚至上千臺機器進行測試，包括在不同操作系統（android、ios、鴻蒙，每個還包含多個版本）、不同廠家手機（華為、小米和蘋果等）、不同屏幕尺寸和不同帶寬等方面的測試。

2.3穩定性測試

APP的穩定性一般通過閃退率、卡頓等可用性指標來衡量。需要通過一定時間內的持續使用或暴力測試來發現問題。

提到穩定性測試大家都會想到用系統自帶的Monkey工具進行測試，此工具既易上手也實用，但運用起來有非常多的講究和技巧，簡單的Monkey工具不一定能完成使命，不能完全測試出應用的穩定性情況。很多時候，需要測試開發人員按照一定規則自定義智能探索腳本，最大限度覆蓋APP的功能，保證穩定性測試的全面性。

2.4功能測試

功能測試一般會通過運行自動測試用例來檢測功能是否符合預期。往往測試結果是和業務緊密相關的。

關于功能測試的爭議比較多，因為產品都需要快速迭代，而腳本的穩定性、實現時間等成本開銷大，真正發揮作用也需要不斷地打磨，并且還有很多后期維護成本，所以比較折中的辦法是做一些BVT測試和持續集成配合，在開發編譯新的build后直接運行這些核心的BVT用例，以免出現嚴重的Regression/Block問題，日常的工作中選定較小范圍的用例及適合的框架一般就可以解決問題。

2.5安全測試

隨著互聯網的發展，手機移動端的普及，移動APP風險漏洞也逐漸暴露出來。

所謂的風險漏洞一般來說是應用代碼編寫過程中出現的安全漏洞、編碼隱患、甚至業務邏輯上的缺陷。APP風險漏洞往往帶來很多危害，諸如應用內信息泄露、本地拒絕服務等多種安全問題，嚴重的可能影響應用正常運行，更為嚴重的是用戶信息泄漏、業務數據被篡改等。

針對以上可能存在的安全問題，APP客戶端內部進行了一系列的安全處理機制，用于保障APP的安全使用，保護用戶的個人信息，保證業務委托的安全可靠。

自動化測試平臺對APP進行基礎信息、數據、代碼、組件四個維度的安全測試，可多緯度發現APP的安全問題。

2.6線上監控測試

線上監控測試通過對全網渠道的各類APP進行盜版仿冒、惡意違規等唯獨的監測，分析采集的數據，精確識別出有問題的應用。

這塊測試方向不應該直接歸屬于傳統的自動化測試范疇，因為它不需要常規情況下提到的自動化測試框架支持，也不需要開發測試用例腳本，這里主要是對線上測試數據的監控，并且利用大數據分析進行“自動化”測試，在互聯網產品中極為適用而且能非常直接地體現產品的質量。舉個簡單的例子，通過瀏覽器的網頁瀏覽功能，可以監控用戶在瀏覽網頁時有多少個404的頁面;出現瀏覽失敗的網站的地域/DNS是什么等。如此層層過濾，縮小問題排查范圍，提高安全防范效率。

三、系統架構

移動多端自動化測試平臺系統架構由以下幾部分組成：

1.機柜層：為平臺提供必要的硬件支撐，由若干PC主機連接多臺手機設備組成。

2.環境配置層：手機和物理主機使用USB接口進行連接，通信過程中依賴 JDK環境和SDK環境，完成對手機的調試工作。

3.框架工具層：Appium是一個移動端自動化測試底層框架，可以測試原生應用以及移動端web項目，該框架是跨平臺的，可以運行在osx、windows以及linux桌面系統上。

4.基礎服務層：基于Pycharm腳本語言封裝了一系列的基礎服務組件，如“服務日志”、“文件儲存”、“數據儲存”等基礎服務，為上層應用提供能力支撐。

5.能力框架層：該層統一管理自動化測試用戶腳本，實現了多機并行操作，并監控手機的空閑狀態，通過智能遍歷腳本運行獲取過程指標，然后經過實時計算輸出業務層需要的結果數據。

6.業務能力層：業務能力層包括性能測試、兼容性測試、功能測試、安全測試、穩定性測試、線上監控測試，另外該層向上提供相關能力的openAPI，自動生成詳細的可視化測試報告。

四、應用場景

移動多端自動化測試平臺被應用的場景有很多，覆蓋政企、金融、教育、電商等多個行業。其中自動化成為大家共性的需求，安全性測試視安全等級要求而定，一般金融行業要求比較高，會涉及到要求人為滲透測試，并借助三方的一些加固工具進行加固。

可以預見未來移動多端自動化測試平臺應用的場景通常解決用戶的需求包括：

4.1用戶挑戰

· 手工測試無法完成量級龐大的測試內容;

· 缺乏有效的測試管理流程以及測試效果的把控;

· 缺乏實用易讀的測試報告以及圖形化的管理工具;

· 每次發布要執行的回歸案例量巨大，投入成本高;

· 手機設備沒有有效的管理;

· 客戶需要一套移動端自動化測試用例體系。

4.2用戶收益

· 通過客戶端自動化測試工具，提升測試效率，增加測試覆蓋率;

· 降低大量重復的人力，將有限的精力放在重要的功能測試上;

· 持續的本地化服務，使得服務質量提升;

· 隨著測試需求的復雜度的提升及測試范圍的擴大，可快速完成完整的功能性測試執行。

五、結束語

綜上，本文對移動多端自動化測試平臺的建設背景、相關的功能矩陣及系統架構做了簡要的介紹。隨著互聯網的快速發展，移動化的普及，以及各種應用場景的訴求提出，自動化測試平臺的建設將在用戶不斷的摸索和實踐過程中得到不斷的優化和提升，最終發揮重要的作用。

參? 考? 文? 獻

[1] 《軟件自動化測試開發》，2017年1月電子工業出版社出版;作者鄒輝

[2] 《高效自動化測試平臺：設計與開發實戰》，2020年6月電子工業出版社出版;作者徐德晨，茹炳晟

[3] 《Python自動化測試實戰》，2019年電子工業出版社出版;作者無涯

[4] 《全棧自動化測試實戰――基于TestNG、HttpClient、Selenium和Appium》，2020年4月電子工業出版社出版;作者盧家濤

[5] 《軟件性能測試、分析與調優實踐之路》，2020年7月1日清華大學出版社出版;作者張永清

王知明（1975.06），男，漢族，江蘇鹽城，大學本科，研究方向：自然語音處理，數據挖掘，深度學習;自動化測試技術。