光寬終端智能化管理的實現與應用

［鐘秀梅］

1 引言

截止2020 年12 月底，廣東電信家庭網絡終端用戶已超過2 000 萬，位居集團前三，寬帶及視頻用戶的量級亦處于全國領先地位。目前寬帶故障40%定位為終端問題，主要是終端管理規范化不足導致。基于光寬業務發展迅猛的前提下，2017 年，廣東電信開始對光寬終端進行智能化管理，打造了一套能對光寬終端入網版本進行自動測試、軟硬件版本歸一化管理的光貓墻系統。

2 光貓墻系統的引入背景

OLT 類型包括華為、中興、烽火、貝爾在內的7 類OLT 設備。光寬終端設備種類則更多，僅廠家就包括華為、中興、烽火、四川天邑等12 個，型號數量200 個以上，版本數量在800 個以上，具體分布如圖1 所示。傳統的人工測試，無論在新終端/新版本入網選型、到貨檢測、現網問題復現等環節，都存在測試效率低、占用大量人力與時間成本、部分概率性或穩定性問題無法復現、定位難等問題。

圖1 光寬終端分布圖

光貓墻系統的投入使用，基本能解決有關問題。這里我們簡單介紹一下光貓墻系統的架構，如圖2 所示。

圖2 光貓墻系統架構示意圖

光貓墻測試系統主要包括以下幾部分。

（1）管理服務器：提供WEB 管理入口，實現光寬終端管理、測試策略管理、測試任務管理、測試報告管理、系統管理等，管理服務器為該系統的核心管理模塊，測試工程師的絕大部分工作都是在該WEB 界面完成。

（2）執行服務器：通過交換機上聯管理服務器、下聯光寬終端設備，接收管理服務器下發的各類測試任務，執行測試腳本。

（3）腳本編寫環境：該系統封裝了常用的測試接口，采用Python 腳本實現了所有業務測試的腳本，簡單易學。

（4）語音測試服務器：該設備為輔助測試設備，配合光寬終端的語音業務測試。

2.1 技術實現方式

系統使用python 3 作為腳本程序主體語言，利用Selenium 和 Webdriver 技術驅動網頁程序，實現對光貓注冊管理、寬帶測速、QoE 探針、ITMS 網管系統、天翼高清播放、語音電話撥測的自動化操作，并通過自動化接口對接 ITMS、終端探針、天翼高清SQM 等業務質量管理系統，實現測試結果的全自動獲取，自動生成報告，解決以往人工測試需手工記錄、易錯漏與耗時長等問題。通過自動化的手段模擬人工進行光貓的功能、性能、穩定性以及光貓和OLT 的兼容性測試。

2.2 應用場景

2.2.1 功能自動化測試

重點實現以下主要測試用例功能自動化測試。

（1）光寬終端自動化注冊。

（2）光寬終端和網管平臺交互測試。

（3）三大主要業務IPTV、寬帶、語音測試。

（4）IPV6 業務測試。

（5）光寬終端版本升降級。

（6）光寬終端恢復出廠測試。

2.2.2 性能專項測試

按照光寬終端的測試規范標準，進行光寬帶吞吐量性能測試。

2.2.3 7*24 小時長時間穩定性測試

對光寬終端基本功能進行7*24 小時的MTBF 測試，保障終端長時間運行過程中基本功能穩定，使用質量高，提升用戶感知。

2.2.4 其它使用場景

將光寬終端自動化測試系統與現有的測試業務流程結合，可以支持：（1）新光寬終端入網、入庫測試。（2）光寬終端版本升降級驗證測試。（3）用戶現場偶現問題的復現定位測試。（4）固定光寬終端，可測試上聯網絡設備。

3 光寬終端自動化測試實施方案

基于以往光寬終端人工測試弊端的分析，廣東電信調整現有的測試策略，優化現有的測試流程，結合現有的測試能力，引入更高效的自動化測試手段和工具。

（1）測試策略調整：采取人工測試+自動化測試結合的方式，來更好的把控終端質量，提升測試的效率。其中：人工測試主要關注配件、外觀、常規的配合和功能測試等，自動化測試主要關注性能、長時間穩定性、并發穩定性等。

（2）測試流程優化：在新終端/新版本入網測試前，廠商需要按照廣東電信的標準，提供完整的自測報告，以保證終端自身的功能、性能、穩定性，而廣東電信則把測試重點放在終端和本省網絡結合之后的性能、穩定性上。

（3）引入高效的測試工具和手段：如上述（1）中所述，需要引入自動化手段和工具，基于現網100%網絡接入環境，開發覆蓋各類實際業務場景的自動化測試任務流，100%模擬以往需大量人手操作執行的各類測試驗證工作，提升測試效率，釋放人力投入更具價值的生產創新工作。

4 系統現網應用情況

4.1 全網光寬終端版實現版本歸一升級目標

廣東電信在綜合考慮現網情況后，明確工作目標：對現網1 200 萬主流光寬終端進行版本歸一。版本歸一是指：將同一型號同一硬件版本的終端統一升級到一個軟件版本；可以通過主流終端版本歸一率來進行直觀呈現：（同一型號同一硬件版本歸一版本終端數量）/（同一型號同一硬件版本的在網總數）*100%；在與各部門進行溝通交流后，針對現網版本歸一工作的各個階段規劃推動并進行全網升級，如圖3 所示。

圖3 階段推進圖

（1）歸一版本開發：廣東電信督促終端廠家開發歸一版本，解決現網版本存在的業務問題；

（2）歸一版本入網測試：廣東電信對歸一版本進行入網測試，在歸一升級期間共對93 個軟件版本進行了相關入網測試，測試內容包括業務能力、平臺交互性、技術節點、QOE、零配置等；

（3）地市穿測：廣東電信發布歸一版本，地市進行本地驗證，確保現網兼容性；

（4）全網升級批次：廣東電信結合穿測結果，進行小批量試點確認后，制定現網版本升級計劃；

（5）廣東電信在2020 年歷時10 個月后，利用光貓墻系統累計完成1 100 萬的光寬終端升級優化，全省的主流終端版本歸一率從4%提升到95%，完成了全網終端歸一升級，如圖4 所示。

圖4 2020 年版本歸一指標演進圖

4.2 創新技術的引入

從現網環境出發，搭建了AI 終端測試機器人來實現終端測試的全自動化檢測，完全模擬現網環境，保證測試環境的穩定性，同時編寫自動化測試腳本，代替手工測試，極大提高運營效率。

4.2.1 現網部署

如圖5 所示，在廣州電信通信數據樓進行部署，接入現網7 大類OLT，覆蓋現網所有OLT 環境，下聯主流光寬終端，在真實現網環境下，對終端進行功能、性能、穩定性、兼容性等測試。

圖5 廣州機樓機架圖

4.2.2 自動化測試

編寫腳本，實現多臺終端的并行測試，從終端注冊開始，到業務驗證、QOE 探針檢測、IPV6、云網超寬等新業務全方位自動化測試的支撐，涵蓋現網接入側環境，注冊、測試、恢復三大環節完全做到和現網環境一致，如圖6 所示。

圖6 系統功能模塊圖

4.2.3 深度壓力測試

通過AI 終端測試機器人，極大地提高了測試效率，降低了人工成本，同時深度挖掘，長時間模擬用戶使用情況，在7*24 小時不關機的情況下循環遍歷測試用例，截止2021 年第一季度，已循環執行測試用例33 萬余次，主動發現隱患全省地市共性問題500 多個，并提前解決問題，提升運營效率，降低故障率。

5 成效

5.1 終端歸一升級提升終端質量

實施終端版本升級優化以來，故障工單數全年壓降25%共計約9.6萬單，按裝維師傅上門一次50元成本計算，運維直接效益提升480 萬元，光寬質量提升方面被集團公司評審為優秀案列，已在全國推廣。

（1）通過全省終端版本歸一升級，完成全省1 200萬主流終端版本簡化及終端能力提升工作，主流版本從181 種簡化至93 種，歸一率從4.1%提升至95.6%，全網版本部署效率提升3 倍。

（2）通過版本歸一升級，將性能參差不齊的老舊版本升級到最新、最穩定的版本，優化傳統業務穩定性，提升終端性能，解決隱患，降低故障率；故障率環比上半年下降30%，故障工單數整體壓降25%，如圖7 所示。

圖7 2020 年故障趨勢圖

（3）提升全省智能插件部署，QOE 探針部署率從年初的57.9%提升至84%，智能探針總數從200 萬提升至1 500 萬，豐富了裝維人員的支撐手段，對于客戶質量感知獲得了極大提升。

5.2 AI 終端測試機器人提升運營效率

通過AI 終端測試機器人，累計測試33 萬次，主動攔截終端共性問題500 多個，涉及問題終端超百萬臺，按每次處理成本50 元計算，節省人工維護成本超過500 萬。

（1）AI 終端測試機器人上線以來，打通了ITMS平臺、QOE 系統、SQM 系統，實現了終端業務性能自動化全流程測試，屬于全國首個自動化測試平臺。

（2）自動化測試系統的測試效率對比手工測試，測試效率提高了80%，累計測試33 萬次，極大地壓縮了人力物力成本，節約的人力可投入到分公司本地的業務運營裝維支撐上。

（3）深度壓力測試，主動發現共性問題500 多個，預檢預修，在故障發生前解決問題。

6 結束語

光貓墻系統在2017 年引入并應用，通過三年來的擴容及完善，已實現廣東電信全省光寬終端的智能化管理，無論從人力成本還是時間成本上已完成預定的壓縮目標，用戶感知得到極大的提升。2021 年起廣東電信將重點發展天翼智慧家庭業務，智能網關、天翼高清、小翼管家等業務會全面普及，光貓墻也會根據各類新設備增加相應的測試功能及智能化管理功能，為后續光寬業務用戶的發展奠定了堅實的基礎。