自動化測試在DevOps體系中的應用初探

肖嬋嬋

自動化測試在DevOps體系中的應用初探

肖嬋嬋

（中國移動（深圳）有限公司，廣東 深圳 518048）

為了實現DevOps流水中持續集成測試的實現，通過分析在線計費的業務場景，研究并采用基于Robot Framework測試框架，在該框架下實現了自動化測試在DevOps體系中的成功實踐應用，覆蓋實時交易接口、清結算接口、WEB UI頁面三個方面的自動化測試，從測試方法、測試應用、實踐效果等多個方面探索和驗證了該實踐的可行性及優勢。

DevOps 自動化測試 Robot Framework WEB UI

1 引言

隨著軟件迭代發布的頻率越來越高，傳統的瀑布型模式已經不能滿足快速交付的需求。2009年左右DevOps應運而生，DevOps（Development和Operations的組合）是軟件開發和交付的過程，強調產品管理、軟件開發和專業運營人員之間的溝通與協作。通過自動化和監控軟件開發、測試，部署基礎架構變更的過程，建立一種快速、頻繁且可靠地開發、測試、發布軟件的文化和環境。簡單地說，就是打破開發、測試、運維之間的壁壘，實現開發運維的一體化，通過高度自動化工具與流程來使得軟件構建、測試、發布更加快捷、頻繁和可靠。通過編排DevOps工具鏈過程，打造標準化、可重復和高度自動化流水目標。但是一味追求開發、部署、升級、擴展、維護、測試、監測、安全和策略管理等全面的自動化可能導致自動化泛濫。自動化部署Chef或Puppet腳本庫的無序增長、自動化測試腳本隨著項目增多呈現急劇膨脹、IT資源浪費等都是自動化泛濫導致的惡果，可通過集中審查和調整進行管控以規避此類問題。在這個過程中，自動化測試作為測試部分，是實現DevOps的重要一環。自動化測試主要用于持續的自動化回歸測試，是穩定、快速交付版本質量的重要保障。DevOps體系流程如圖1所示：

圖1 DevOps體系流程

目前，自動化測試在DevOps中的實踐應用一直是探究熱點，是促進DevOps落地的重要抓手。在DevOps中持續測試（CT）是對持續集成（CI）進行及時驗證的手段，是實現有效的持續交付（CD）的必備環節。自動化測試能夠保證開發的代碼質量盡快得到反饋，盡早發現代碼中潛在的問題并及時進行修復，并且盡可能避免人為失誤且保證整個DevOps流程的高效、可重復。自動化測試的應用類型包括WEB UI自動化測試、接口自動化測試、移動端自動化測試、云平臺自動化測試等，針對不同的應用類型，采取不同的測試策略和方法。

本文在分析和探討已存在的自動化測試工具基礎上，通過應用分析和實踐探索，結合業務應用場景，實現了將測試框架Robot Framework成功應用于符合業務特點的實時消息接口、清結算接口、WEB UI頁面自動化測試。首先通過自動化測試工具分析與選項，選定了采用的測試框架。其次，針對業務自身特點，給出了采用Robot Framework測試框架實現自動化測試的詳細過程。然后，從實時交易接口、清結算接口、WEB UI頁面自動化測試以及與DevOps體系流程的集成四個方面進行了分析。最后，對基于Robot Framework測試框架的自動化測試實踐應用效果進行了分析，從經濟效益、降低風險和品牌效應三個方面驗證了基于Robot Framework測試框架的自動化測試方法的有效性和優越性。

2 自動化測試設計

2.1 工具分析與選型

通過頭腦風暴搜索業內主流的自動化測試工具Java+Selenium、QTP、Robot Framework，從易用性、經濟成本、可擴展性、適用性、報表出具多個維度進行分析比對（如表1所示），并進行了實際試用，最終選定Robot Framework測試框架作為自動化測試開展的工具，并攻克難點完成框架的搭建，完成雛形的驗證。

從表1的分析比對可以看出，Robot Framework測試框架具有易于使用、開源和擴展性良好、適用性全面、報表詳細等優勢，能夠切合自動化測試對工具的需求。鑒于此，選定Robot Framework測試框架作為最終的選擇。

表1 業內主流自動化測試工具比對

2.2 自動化測試實踐流程

整個自動化測試實現過程包括前期的環境準備、需求分析、測試框架規劃與搭建、案例腳本編寫、測試執行、執行結果通報及腳本維護共計7項關鍵活動，具體如圖2所示：

圖2 自動化測試實踐流程

（1）環境準備

在開展自動化測試之前，環境準備是不可或缺的前提條件，包括自動化測試開發的環境和被測系統的測試環境。針對自動化測試開發環境，主要是環境機器資源的申請、對環境的配置，使其符合開發要求。針對被測系統的測試環境，直接借用驗收測試的測試環境，主要是訪問網絡策略的開通申請與驗證。

（2）需求分析

對于各個業務的自動化測試需求，根據業務內容和場景、提供的測試案例進行需求分析，完成自動化測試功能點的提取分析，輸出測試框架的規劃，為后續框架搭建和關鍵字的開發做鋪墊。

（3）測試框架搭建

根據需求分析階段提取的自動化測試功能點提取分析結果，完成符合業務場景要求的功能關鍵字的開發，完成自動化測試框架的搭建。

（4）案例腳本編寫

在搭建的測試框架下，依據測試案例的場景和測試步驟，組裝各個功能關鍵字，實現符合業務場景的正常和異常場景的測試案例腳本編寫和調試，完成各個測試案例的開發。

（5）自動化測試執行

將完成開發的自動化測試案例交付給驗收測試人員進行回歸測試執行，支持全量回歸和增量回歸。

（6）執行結果通報

驗收測試人員完成每輪回歸測試之后，通報回歸測試結果（包括測試報告和測試日志）給相關干系人，失敗問題提交問題單給自動化測試人員進行協助定位與解決。

（7）腳本維護

自動化腳本完成開發后需進行持續維護，主要體現在需求變更和腳本優化。對于需求變更的情況，需要針對發布的變更信息及時完成腳本的變更。對于腳本優化，主要是腳本性能、健壯性、異常情況的優化。

2.3 應用場景選擇分析

在線計費項目作為提升全網計費類業務支撐水平及能力的重點建設項目，被納入DevOps體系建設中作為試點DevOps項目，以促進DevOps框架體系落地，確保DevOps體系的建設質量。在DevOps框架體系流程的測試環節中，在線計費涉及的測試模塊包括實時交易消息接口、清結算文件類接口、管控臺。應用的業務類型包括：

（1）實時交易消息接口：實時扣費、實時扣費撤銷、用戶投訴退費、交易狀態查詢、簽到簽退共計5個接口。

（2）清結算文件類接口：包括對賬、核減、日結算和月結算共計4個接口。

（3）WEB UI頁面管控臺：業務展示、業務控制、報表出具共計3個模塊。

對于以上測試場景的選擇，主要從自動化測試的必要性、DevOps體系應用、可擴展性進行分析：

伏立康唑是一種對念珠菌屬、曲霉菌屬以及其它絲狀真菌表現出優異的體內外抗菌活性的三唑類抗真菌藥物[1]。作為其口服制劑，伏立康唑片因高效低毒的優點備受臨床青睞，廣泛用于治療敏感菌所致的感染以及免疫功能低下患者中進行性的、可能威脅生命的感染[2]。某院腎臟科患者因大多長期應用糖皮質激素和免疫抑制劑而普遍使用伏立康唑片，但目前并無該藥在腎臟病患者中使用的相關“指南”。故筆者對該院腎臟科一時間段使用伏立康唑片的出院病歷進行處方點評，旨在提高該藥物應用的合理性。

（1）自動化測試必要性分析

整個項目的測試接口共計9個，測試案例多達371個，平均每個案例的字段檢測點222.5個，數據庫表字段檢測點90.5個，每個迭代版本的回歸測試工作量繁重，對人力和時間成本提出了更高的要求。

（2）DevOps體系應用分析

DevOps項目實現頻繁且可靠地進行交付，自動化測試是確保無差錯發布的關鍵因素。特別是在有限的人力成本下短時間內完成持續的全量回歸測試，手工測試已無法滿足DevOps體系的要求。測試高度的自動化能夠讓回歸測試變得輕松，快速響應版本交付質量。

（3）全網可拓展性分析

作為某運營商，全網數據運營系統涉及基于HTTP+XML格式的聯機交易、基于新一代DCC協議的實時計費類業務、基于FTP協議傳輸的文件類業務，在全網應用業務范圍廣。本文自動化測試實踐場景均覆蓋到三類業務模塊，在全網存在很大的可擴展空間。

隨著信息化、互聯網、移動化、云計算的不斷發展，全網WEB應用平臺建設需求越來越多，WEB UI自動化測試需求也相應會不斷增加，該自動化測試方法和策略也具備較高的可借鑒性。

2.4 自動化測試應用分析

（1）實時交易接口應用

實時消息接口應用主要是對實時交易類型業務中的消息報文的測試，報文格式包括XML格式和DCC協議的CCR和CCA消息格式。

主要的操作包括各類消息報文的組裝和生成，報文的發送，報文內容獲取，報文解析，報文字段校驗，數據庫入庫記錄的獲取與校驗，日志內容的獲取與校驗等。

腳本整體的框架如圖3所示：

圖3 實時交易自動化測試腳本框架

（2）清結算接口應用

清結算接口應用主要是對話單文件處理進行測試，文件類型包括普通文件、gz壓縮格式文件。

主要的操作包括各類測試文件的構造與生成，文件的上傳與下載，文件存在性校驗，文件內容獲取與校驗，數據庫入庫記錄獲取與校驗，日志文件內容獲取與校驗，服務進程的啟停，配置文件修改等。

腳本整體的框架如圖4所示：

圖4 清結算自動化測試腳本框架

（3）WEB UI頁面應用

WEB UI頁面應用主要是對在線計費管控臺應用的測試，主要是實現對頁面各個元素和控件的定位、操作與校驗，以判斷是否符合預期要求。

腳本整體的框架如圖5所示：

圖5 管控臺自動化測試腳本結構

2.5 集成DevOps流程

將如上所述的自動化測試應用于DevOps流程中，主要通過Robot Framework測試框架與jenkins的集成實現在DevOps體系中的實踐應用。

以清結算接口測試的構建進行示例說明，構建結果分別如圖6、圖7、圖8所示。

構建結果報告整體展示了本次測試構建的執行結果，包括構建的總案例數、失敗案例數、通過案例數、通過百分比及趨勢圖。

控制臺輸出打印了本次構建過程的詳細過程日志信息以及每個案例的執行結果。

圖6 構建結果報告

圖7 控制臺輸出

圖8 Robot Results輸出

Robot Results輸出信息包括本次構建案例總數、失敗案例數、失敗案例詳細信息、測試成功與失敗趨勢圖、構建執行時間趨勢圖、所有測試套件執行結果匯總。

3 實踐效果分析

通過將基于Robot Framework框架的自動化測試應用于DevOps中，節省了測試人員的人力和時間成本，提升了回歸測試效率，能夠快速反饋代碼問題，促進缺陷的及時修復，保障開發版本質量，促使DevOps的流程更加高效。

自動化測試在DevOps體系的應用實踐效果主要體現在經濟效益、風險降低和品牌效應三個方面。

（1）經濟效益

通過自動化測試，實時交易接口單個案例平均執行耗時由原來的9.5分鐘下降為45秒，減少了92%的時間；清結算接口單個案例平均執行耗時由原來的11分鐘下降為2分鐘，減少了81%的時間。分別如圖9和圖10所示。

圖9 實時交易單個案例平均測試時間比對圖

圖10 清結算單個案例平均測試時間比對圖

圖11 是DevOps流程中執行全量測試耗時比對圖，可以看出，在DevOps流程中在線計費項目實時交易執行全量233個案例的測試耗時提升效率達12倍，清結算執行全量138個案例的測試耗時提升效率達5.5倍。相應版本質量反饋速度分別提升12倍和5.5倍，助力項目交付頻率的提升。

圖11 DevOps流程中執行全量測試耗時比對圖

（2）風險降低

自動化測試應用于DevOps流程中能夠有效降低缺陷遺漏風險，主要體現在其測試的可重復性和質量可見性。

自動化測試能夠將測試流程和校驗點固化，確保構建測試的可重復，能夠有效避免人為出錯率。

質量可見性指快速的自動化測試能夠及時收集測試過程數據，有利于缺陷的定位與排查，有較充分的數據支持，減少質量假定，增加項目健康狀況的可見性。

（3）品牌效應

◆拓展與開發合作更多新項目或者新業務的DevOps流程實踐，促進流程的落地。

◆助力驗收測試人員多項業務的回歸測試。

◆在整個部門內開展多次自動化測試的實踐經驗分享活動，推廣應用范圍。

4 結束語

本文在探究基于Robot Framework測試框架的自動化測試基礎上，通過分析現有業務場景和自動化測試需求，實現了基于Robot Framework測試框架的消息接口、清結算接口和WEB UI頁面自動化測試實踐應用，并成功將該實踐成果應用于DevOps體系的應用中。通過實踐，驗證了該實踐應用方法的可行性和優勢性，并根據實踐效果，從經濟效益、風險降低和品牌效應三個方面分別進行了總結分析。

本文的不足之處主要是對安全方面的測試有所欠缺，主要包括兩方面，首先是對采用的Robot Framework框架和集成工具jenkins缺少充分的安全性掃描和測試；其次本文只涉及集成功能測試，對于該自動化測試的應用涉及的安全問題方面測試（例如網絡安全、信息安全測試等）未納入到持續集成和應用交付過程中，這將作為后續開展研究的目標。

[1] John Fer guson Smart. jenkins權威指南[M]. 北京: 電子工業出版社, 2016.

[2] 齊濤. R obot Framework自動化測試修煉寶典[M]. 北京:電子工業出版社, 2015.

[3] 亨布爾,法利. 持續交付：發布可靠軟件的系統方法[M]. 北京: 人民郵電出版社, 2011.

[4] 侯勇,張海林. 自動化測試中的關鍵字驅動腳本技術[J].電子科技, 2006(2): 51-54.

[5] 接卉,蘭雨晴,駱沛. 一種關鍵字驅動的自動化測試框架[J]. 計算機應用研究, 2009,26(3): 927-929.

[6] 馮玉才,唐艷,周淳. 關鍵字驅動自動化測試的原理和實現[J]. 計算機應用, 2004,24(8): 140-142.

[7] 朱菊,王志堅,楊雪. 基于數據驅動的軟件自動化測試框架[J]. 計算機技術與發展, 2006,16(5): 68-70.

[8] 張少博,羅省賢. 自動化測試腳本運行控制方法研究[J].電子測試, 2008(6): 19-23.

[9] 馮振華,高菊,曾紅衛. Web應用自動化測試的研究[J]. 計算機工程與設計, 2010,31(1): 175-178.

[10] 劉曉丹,武君勝,劉博. 基于數據驅動的自動化測試平臺設計[J]. 科學技術與工程, 2008,8(3): 779-782.★

The Application of Automated Testing in the DevOps System

XIAO Chanchan
(China Mobile (Shenzhen) Limited, Shenzhen 518048, China)

In order to realize the continuous integration testing in the pipeline of DevOps, the business scenario of the online billing was analyzed and the testing framework of Robot Framework was adopted based on which the practical application of the automated testing in the DevOps system was successfully implemented. The real-time transaction interface, clear settlement interface and WEB UI page were covered. From aspects of testing methods, testing applications and practice effect, the feasibility and advantage of the practice were explored and validated.

DevOps automated testing Robot Framework WEB UI

10.3969/j.issn.1006-1010.2017.22.015

TP311

A

1006-1010(2017)22-0077-07

肖嬋嬋. 自動化測試在DevOps體系中的應用初探[J]. 移動通信, 2017,41(22): 77-83.

2017-09-10

劉妙 liumiao@mbcom.cn

肖嬋嬋：軟件測試工程師，碩士畢業于南京郵電大學，現任職于中國移動（深圳）有限公司，主要從事功能自動化測試的相關工作，主要研究方向為自動化測試在DevOps體系中的應用。