軟件眾測服務(wù)模式探索與實踐

黃靜旋 尹玨賢 林怡坤

摘? 要： 隨著軟件測試的需求不斷提高，軟件眾測服務(wù)模式應運而生，實現(xiàn)企業(yè)、測評機構(gòu)、測試人員之間互聯(lián)互動，以群體協(xié)作和數(shù)據(jù)智能雙輪驅(qū)動，實現(xiàn)資源共享、任務(wù)共同協(xié)作。本文對眾測服務(wù)模式進行探索與實踐，提出了眾測服務(wù)模式、眾測服務(wù)業(yè)務(wù)流程和眾測服務(wù)應用場景，概括了眾測服務(wù)面臨的挑戰(zhàn)并設(shè)計相應解決方案。從群智眾測平臺的實際眾測服務(wù)情況看，眾測服務(wù)模式可以滿足多樣性需求，且高效完成測試任務(wù)。

關(guān)鍵詞： 眾測服務(wù)； 軟件測試； 群體協(xié)作； 群智

中圖分類號：TP317? ? ? ? ? 文獻標識碼：A? ? ? ?文章編號：1006-8228（2023）06-110-04

Exploration and practice of software crowdsourced testing service model

Huang Jingxuan， Yin Juexian， Lin Yikun

（Guangdong Tops Soft-park Co，.LTD， Guangzhou， Guangdong 510663， China）

Abstract： With the increasing demand for software testing， the software crowdsourced testing service model has emerged. It realizes the interconnection and interaction among enterprises， evaluation institutions and testers， and achieves resource sharing and task collaboration with the two wheels drive of group cooperation and data intelligence. In this paper， we explore and practice the crowdsourced testing service model， propose its business process and application scenarios， summarize the challenges faced by crowdsourced testing service and design the corresponding solutions. From the actual situation of a real crowd testing platform， it is clear that the crowdsourced testing service model can meet diverse needs and complete testing tasks efficiently.

Key words： crowdsourced testing service; software testing; group cooperation; group intelligence

0 引言

近年來，隨著信息技術(shù)的發(fā)展，軟件的更新速度逐漸加快，軟件測試周期隨之不斷縮減。傳統(tǒng)軟件測試通常由單一測評機構(gòu)實施，測試資源有限，測試效率有待提高。軟件測試的需求方通常希望得到高效的、大量的、高質(zhì)量的測試反饋以迅速提升軟件產(chǎn)品的質(zhì)量，傳統(tǒng)軟件測試或無法滿足日益增長的測試需求。眾測服務(wù)模式為解決上述問題提供了新思路。眾測模式是企業(yè)、測評機構(gòu)、測試人員之間互聯(lián)互動，實現(xiàn)閑置富余資源匯聚和有效配置的一種實現(xiàn)路徑。

1 眾測服務(wù)模式探索

1.1 眾測服務(wù)模式

眾包測試[1]（簡稱“眾測”）依托互聯(lián)網(wǎng)技術(shù)，利用共享經(jīng)濟的特性，采用分布、協(xié)作的方式組織實施[2]，協(xié)同測試資源，將原來由固定專職測試人員完成的測試任務(wù)遷移到平臺上，按需通過臨時招募非確定的、數(shù)量眾多的測評機構(gòu)或測試人員，利用大眾的碎片時間在短期內(nèi)共同協(xié)作完成一項測試任務(wù)。

眾測服務(wù)模式的主體包括眾測服務(wù)平臺、軟件制造企業(yè)、測評機構(gòu)、測試人員。眾測服務(wù)平臺將軟件制造企業(yè)、測評機構(gòu)、測試人員聯(lián)合起來，把測試環(huán)境、測試設(shè)備、測試工具、通用測試軟件以及服務(wù)能力等資源匯聚起來并有效地配置。通過人員高效協(xié)作和測試資源融合，實現(xiàn)資源共享、任務(wù)共同協(xié)作。

1.2 眾測服務(wù)平臺建設(shè)

眾測服務(wù)平臺是眾測服務(wù)模式中的關(guān)鍵角色，為眾測服務(wù)的各參與方提供在線平臺[3]。眾測服務(wù)平臺建設(shè)示意圖如圖1所示。

眾測服務(wù)平臺實現(xiàn)多層次多角度的集成化[4]。在資源方面，將多方眾測資源進行柔性集成，如服務(wù)器、數(shù)據(jù)庫、支持軟件、測試工具等；在平臺方面，將現(xiàn)有的測試平臺和科技平臺進行集成，如慕測平臺、北斗測試平臺、Web云測平臺等；在工具方面，將課題研究技術(shù)和工具集成，如任務(wù)監(jiān)控與決策支持工具、眾測任務(wù)規(guī)劃與調(diào)度工具、眾測服務(wù)質(zhì)量評估工具等；在測試流程方面，實現(xiàn)閉環(huán)眾測服務(wù)一體化集成，從企業(yè)發(fā)包方提交測試任務(wù)到測試結(jié)束后分發(fā)獎勵，實現(xiàn)測試過程全生命周期的一體化集成。

眾測服務(wù)平臺旨在提供可測、可評、可信的在線眾測服務(wù)[5]。“可測”體現(xiàn)在平臺形成面向多領(lǐng)域的、適應多種測試對象的、適配多種測試類型的眾測服務(wù)。“可評”體現(xiàn)在平臺對機構(gòu)、人員、產(chǎn)品、服務(wù)多維度的質(zhì)量評價。“可信”體現(xiàn)在過程可管控，數(shù)據(jù)可溯源，結(jié)果可信任。此外，在眾測服務(wù)過程中，實現(xiàn)了智能化數(shù)據(jù)融合及賦能，平臺具備眾測任務(wù)與眾測人員推薦與匹配、缺陷報告自動融合、測試報告自動生成等功能。

1.3 眾測服務(wù)業(yè)務(wù)流程

眾測服務(wù)業(yè)務(wù)流程如圖2所示。企業(yè)發(fā)包方在平臺發(fā)布任務(wù)、測試需求，可以選擇定向發(fā)布、區(qū)域發(fā)布或廣場發(fā)布。隨后測評機構(gòu)在平臺接包，進行測試任務(wù)建模與任務(wù)規(guī)劃，完成測試任務(wù)設(shè)計。眾測平臺根據(jù)任務(wù)設(shè)計在測試資源池中按需申請并構(gòu)建資源，再將任務(wù)發(fā)布給對應群體。接下來，根據(jù)任務(wù)推薦機制招募人員，眾測人員可以進行任務(wù)接包，執(zhí)行眾測任務(wù)并生成測試報告[6]，在平臺上提交測試結(jié)果。眾測平臺將多方提交的測試結(jié)果融合并自動生成測試報告，發(fā)包方接收并查看測試報告。最后，進行接包機構(gòu)質(zhì)量評價、眾測服務(wù)質(zhì)量評價和產(chǎn)品質(zhì)量評價，根據(jù)評價結(jié)果完成費用核算，并將費用發(fā)放給眾測人員。

1.4 眾測服務(wù)應用場景

眾測服務(wù)覆蓋了對互聯(lián)網(wǎng)應用、移動APP應用、智能終端、傳感器和科技服務(wù)等眾多測試對象的測試。在服務(wù)互聯(lián)網(wǎng)方面，面向移動政務(wù)、金融服務(wù)、醫(yī)療衛(wèi)生交通出行、生活服務(wù)等各類移動應用程序在設(shè)計開發(fā)測試、運營服務(wù)等階段的功能、性能、兼容性、易用性、安全分析、數(shù)據(jù)質(zhì)量評估、系統(tǒng)調(diào)優(yōu)與故障定位等。在科技服務(wù)平臺方面，面向科技服務(wù)平臺如創(chuàng)業(yè)孵化平臺、科技咨詢、檢驗檢測認證、綜合科技服務(wù)科技信息管理服務(wù)平臺等設(shè)計開發(fā)平臺建設(shè)、運營服務(wù)各階段的兼容性易用性、穩(wěn)定性等測試、及用戶訪問等行為數(shù)據(jù)監(jiān)控。在集成電路和智能傳感器方面，面向芯片在設(shè)計、運營服務(wù)階段的功能測試、穩(wěn)定性和可靠性測試；面向北斗不同模組構(gòu)成的北斗導航、精準授時等智能傳感器、智能醫(yī)療、輔助駕駛等智能傳感器和服務(wù)的功能性、接口、性能兼容性、可靠性等測試。

現(xiàn)列舉一些典型的眾測應用場景：

● 功能性測試：主要包括基于需求的功能測試、探索式測試；

● 兼容性測試：主要包括環(huán)境兼容性、瀏覽器兼容性測試；

● 用戶體驗測試：主要包括跨地域環(huán)境、真實用戶使用環(huán)境和場景、真實用戶操作習慣/時序、多種應用切換和交叉測試；

● 性能測試：其主要特點是網(wǎng)絡(luò)環(huán)境復雜、執(zhí)行環(huán)境多樣、訪問路徑隨機、并發(fā)用戶量大；

● 滲透測試/漏洞挖掘：其主要特點是利用眾多滲透測試人員、發(fā)揮其各自特長、經(jīng)驗實踐、預測判斷和掌握的相關(guān)工具，從不同角度挖掘潛漏洞；

● 適配性測試：其主要特點是目標終端廣泛、品牌多樣、操作系統(tǒng)多樣、異構(gòu)環(huán)境差異、支持軟件復雜。

2 眾測服務(wù)面臨的挑戰(zhàn)及應對方案

目前眾測服務(wù)尚在探索階段，仍面臨許多挑戰(zhàn)，例如數(shù)據(jù)篩選、質(zhì)量評估、準入門檻等。為應對上述挑戰(zhàn)，本文提出相應的解決方案。

挑戰(zhàn)1 眾測人員提交的數(shù)據(jù)存在大量重復或相似，如何從中篩選最有價值的數(shù)據(jù)？如何有效進行審核？

應對方案1 眾測人員在線編寫測試用例、提交缺陷報告，平臺方對測試結(jié)果進行結(jié)構(gòu)化處理，在線審核眾測結(jié)果。基于文本相似性、圖片相似性及標注分析技術(shù)，對高相似度的缺陷分組進行信息完整度判定，優(yōu)選同組缺陷中的主缺陷報告，確定輔缺陷報告。基于專家經(jīng)驗及判斷，對主、輔缺陷報告進行審核和優(yōu)化調(diào)整。主/輔缺陷報告互換、轉(zhuǎn)移、獨立、升降級，專家審核缺陷并進行自助評分，隨后自動生成測試報告，完成缺陷報告的自動融合。

挑戰(zhàn)2 眾測是一種弱組織的非確定性的臨時人員組合，眾測服務(wù)質(zhì)量、產(chǎn)品質(zhì)量、接包方質(zhì)量該如何評價？

應對方案2 對眾測服務(wù)質(zhì)量進行評價，設(shè)計眾測服務(wù)質(zhì)量度量體系，建立眾測服務(wù)質(zhì)量評價標準。對眾測接包方質(zhì)量進行評價，實現(xiàn)面向接包方機構(gòu)的評價模型，為發(fā)包方對接包方機構(gòu)的選擇提供了依據(jù)。對眾測產(chǎn)品質(zhì)量進行評估，基于服務(wù)質(zhì)量和接包方質(zhì)量對產(chǎn)品質(zhì)量屬性進行可信度評價，實現(xiàn)基于眾測結(jié)果、過程、主體質(zhì)量度量結(jié)果的產(chǎn)品質(zhì)量多維融合評價。

挑戰(zhàn)3 測試的專業(yè)性較強，眾測人員群體中可能包含非專業(yè)的測試人員，如何降低眾測準入門檻？

應對方案3 眾測服務(wù)平臺集成大量的眾測資源構(gòu)建工具，實現(xiàn)了眾測云環(huán)境構(gòu)建，分為基礎(chǔ)物理資源、眾測虛擬化資源池、眾測資源管理平臺、眾測環(huán)境構(gòu)建平臺四個部分。平臺能夠構(gòu)建各種服務(wù)器、桌面終端、測試工具、網(wǎng)絡(luò)環(huán)境、操作系統(tǒng)、數(shù)據(jù)庫、中間件以及支持軟件等環(huán)境，眾測接包人員可直接在環(huán)境上開展測試工作。平臺可提供測試環(huán)境的動態(tài)生成、測試工具云化集成、運行狀態(tài)監(jiān)視控制等功能。眾測資源構(gòu)建能夠提升資源利用率，降低眾測人員的測試門檻。

3 眾測服務(wù)實踐案例

基于上文設(shè)計的眾測服務(wù)模式，構(gòu)建了群智眾測服務(wù)平臺（www.cofortest.com）。該平臺是國家重點研發(fā)計劃項目“信息產(chǎn)品及科技服務(wù)集成化眾測服務(wù)平臺研發(fā)與應用（2018YFB1403400）”的成果應用推廣服務(wù)平臺，在聚集第三方評測機構(gòu)的基礎(chǔ)上，采用標準驅(qū)動與檢測認證相結(jié)合的服務(wù)模式提供開放共享和協(xié)作共贏的集成化眾測服務(wù)，從技術(shù)體系、質(zhì)量體系、運營體系三個維度建立了可持續(xù)匯聚其他測試服務(wù)機構(gòu)的持續(xù)發(fā)展機制。群智眾測平臺自推出以來，為很多企業(yè)、機構(gòu)提供了眾測服務(wù)，吸引了海量注冊用戶，完成了諸多測試任務(wù)，現(xiàn)以某在線教育平臺測試項目為例，簡要介紹眾測服務(wù)實踐案例。

某在線教育平臺測試項目的需求包含三個類別，分別是功能性測試、瀏覽器兼容性測試和性能眾測。其中，功能性測試要求在Web端和小程序端均展開覆蓋教育平臺全功能的測試；瀏覽器兼容性測試要求在Web端的Chrome瀏覽器、360瀏覽器、QQ瀏覽器、Firefox瀏覽器、Edge瀏覽器和Safari瀏覽器開展測試；性能眾測要求在Web端和小程序端完成簽到、課程學習（在線視頻點播）、課后評價、作業(yè)提交的測試，用戶數(shù)量要求在200個以上。性能測試中，有200臺以上的設(shè)備同時發(fā)起視頻點播，覆蓋多樣化環(huán)境。測試時用戶流量大對帶寬要求高，常常無法評估實時播放的畫面、畫質(zhì)、音視頻同步情況以及終端上的顯示效果。

在該項目的測試過程中，線上接包人數(shù)達166人，參與測試的接入終端達到259個，最高同時在線210余臺設(shè)備，眾測人員廣泛分布于全國12個省市。測試執(zhí)行時長達1h，眾測人員在48h內(nèi)提交測試結(jié)果，包含測試用例、測試結(jié)果記錄及缺陷情況。最終有136名眾測人員（259個測試終端）提交測試結(jié)果，其中，測試用例共計1286個，缺陷共計106個，每名用戶提交的測試用例最多達到34個，每名用戶發(fā)現(xiàn)缺陷最多達到6個。實踐表明，眾測服務(wù)模式可以滿足發(fā)包方的多樣需求，以高效協(xié)作的方式完成測試任務(wù)。

4 結(jié)束語

軟件眾測服務(wù)模式為信息時代的軟件測試提供了新思路，以群體協(xié)作和數(shù)據(jù)智能雙輪驅(qū)動，實現(xiàn)資源共享、任務(wù)共同協(xié)作。本文對眾測服務(wù)模式進行了簡要介紹，提出了完整的眾測服務(wù)業(yè)務(wù)流程以及眾測服務(wù)應用場景。針對眾測服務(wù)目前面臨的挑戰(zhàn)設(shè)計了相應的解決方案。最后以群智眾測平臺為例，介紹了某具體測試項目的實踐情況。眾測服務(wù)模式實現(xiàn)了多方互聯(lián)互動，匯聚群智[7]，高效利用資源，具有廣泛的應用前景。

參考文獻（References）：

[1] 章曉芳，馮洋，劉頔，等.眾包軟件測試技術(shù)研究進展[J].軟件

學報，2018，29（1）：69-88

[2] 馮劍紅，李國良，馮建華.眾包技術(shù)研究綜述[J].計算機學報，

2015，38（9）：1713-1726

[3] 王青，王崇駿，葉東升，等.信息產(chǎn)品及科技服務(wù)集成化眾測

服務(wù)研究[J].中國基礎(chǔ)科學，2020，22（2）：43-48，62

[4] 陳淥萍，范兆霞.面向新一代信息技術(shù)產(chǎn)品的集成化眾測

技術(shù)研發(fā)與實踐[J].工業(yè)技術(shù)創(chuàng)新，2022，9（2）：75-83

[5] 熊強，肖廣濤.基于臨時團隊的信息安全眾測平臺知識共享

演化博弈研究[J].科技管理研究，2020，40（11）：134-141

[6] 蔡婧璇，吳江，王誠坤.基于深度學習的眾測報告有用性預測

研究[J].數(shù)據(jù)分析與知識發(fā)現(xiàn)，2020，4（11）：102-111

[7] 徐立鑫，吳化堯.基于群體智能的軟件工程方法綜述[J].計算

機研究與發(fā)展，2020，57（3）：487-512