基于大數(shù)據(jù)賦能的PCDN業(yè)務(wù)識別技術(shù)研發(fā)

摘要：隨著寬帶中國、三千兆改造、提速降費等戰(zhàn)略部署，河南聯(lián)通家寬用戶上行帶寬不斷提高，部分投機商戶利用業(yè)務(wù)漏洞采用匯聚捆綁等技術(shù)手段，通過路由器、智能網(wǎng)絡(luò)盒子等帶有PCDN功能的設(shè)備，為抖音、嗶哩嗶哩、京東等廠家提供邊緣計算加速服務(wù)，賺取帶寬租賃的收益。文章基于大數(shù)據(jù)賦能實現(xiàn)PCDN業(yè)務(wù)識別技術(shù)研發(fā)，實現(xiàn)對大規(guī)模匯聚捆綁帶寬干擾網(wǎng)絡(luò)良性發(fā)展行為的管控。

關(guān)鍵詞：PCDN；DNS；數(shù)據(jù)建模；匯聚捆綁；寬帶速率稽查

Research and Development of PCDN Business Identification Technology Based on Big Data Empowerment

XIANG Chaojun， DUAN Junna， LIU Qian， LUO Wangdong， BAI Jie， WEI Lipeng

（China Unicom Henan Branch， Zhengzhou 450045， China）

Abstract： With the national strategic deployment of \"broadband China\"， \"three gigabit transformation\"， \"speed increase and fee reduction\"， Henan Unicom's broadband users' uplink bandwidth has been continuously improved. Some speculative merchants use business loopholes to provide edge computing acceleration services for manufacturers such as Tiktok， bilibili， JD， etc. through routers， intelligent network boxes and other devices with PCDN functions by means of convergence bundling and other technical means， so as to earn profits from bandwidth leasing. This article is based on the empowerment of big data to develop PCDN business identification technology， and to control the benign development behavior of large-scale aggregation and bundling bandwidth interference networks.

Key words： PCDN; DNS; data modeling; gathering and bundling; broadband speed inspection

0" 引言

河南聯(lián)通存在大量的PCDN違規(guī)運營業(yè)務(wù)，嚴重拉低了運營商IDC資費水平，消耗大量的網(wǎng)絡(luò)上行流量。由于PCDN承載的業(yè)務(wù)內(nèi)容不受監(jiān)管，網(wǎng)絡(luò)和信息安全方面風(fēng)險極大[1]。本項目基于大數(shù)據(jù)賦能實現(xiàn)運營商對PCDN賬戶的發(fā)現(xiàn)、承載業(yè)務(wù)的標簽、違規(guī)捆綁小區(qū)的識別、寬帶業(yè)務(wù)的稽核，提升了信息安全事件的回溯監(jiān)管能力，為前臺市場部門提供數(shù)字化支撐手段。

1" "家寬PCDN業(yè)務(wù)識別思路

河南聯(lián)通建設(shè)了統(tǒng)一的PCDN業(yè)務(wù)識別分析系統(tǒng)，具備分權(quán)分域功能通過大數(shù)據(jù)技術(shù)對全省寬帶用戶的違規(guī)行為進行識別、分析。

1.1 PCDN用戶的識別

河南聯(lián)通寬帶用戶規(guī)模超1 000萬，每日產(chǎn)生海量的域名解析數(shù)據(jù)、寬帶認證日志、BSS信息。系統(tǒng)通過算法設(shè)計和數(shù)據(jù)建模，構(gòu)造了PCDN賬戶識別模型，通過設(shè)定合理閾值，識別全省家寬用戶中有PCDN行為的賬戶。

1.2 PCDN業(yè)務(wù)的標記

系統(tǒng)分析市場上多種終端用戶盒子的DNS域名特征，建立PCDN業(yè)務(wù)標簽庫[1]，結(jié)合寬帶認證信息關(guān)聯(lián)用戶賬戶，通過對用戶的標簽?zāi)芰υ鰪娏讼到y(tǒng)識別的準確性。

1.3 匯聚小區(qū)的識別

根據(jù)已識別的PCDN用戶，結(jié)合BSS信息數(shù)據(jù)，建立多個寬帶帳戶匯聚算法模型，對全省PCDN賬戶進行捆綁匯聚分析，重點識別小區(qū)級多線路匯聚的違規(guī)運營行為，增強了對各市寬帶帳戶行為的核查、管控能力。

1.4 寬帶賬戶的稽核

建立用戶帶寬利用率違規(guī)統(tǒng)計算法模型，實現(xiàn)對全省寬帶用戶的多撥行為、管理人員私改寬帶接入速率等行為的稽查能力。系統(tǒng)從寬帶資源安全角度出發(fā)，對寬帶賬戶的歷史流量數(shù)據(jù)進行分析，形成了賬戶帶寬利用率的智能畫像，在出現(xiàn)寬帶實際使用速率超簽約速率的情況時，方便主動支撐前臺市場部門開展稽核，對違規(guī)用戶及時關(guān)停和追責(zé)。

1.5 數(shù)據(jù)可視化

系統(tǒng)通過表格和多種圖形化方式展現(xiàn)PCDN用戶、PCDN業(yè)務(wù)標簽、匯聚PCDN小區(qū)、寬帶利用率違規(guī)分布的情況，展示維度包括違規(guī)賬戶數(shù)據(jù)詳情、地市分布情況、數(shù)量變化情況、PCDN業(yè)務(wù)標簽情況等。

2" "PCDN行為識別算法模型設(shè)計

基于大數(shù)據(jù)分析技術(shù)的PCDN識別系統(tǒng)是根據(jù)用戶的DNS請求數(shù)量、上行流量用量、特征域名解析IP匹配（PCDN業(yè)務(wù)標簽）、小區(qū)信息綜合匹配的（寬帶賬號捆綁匯聚分析），通過多維度的數(shù)據(jù)建模，準確地對用戶行為進行畫像，滿足河南全省聯(lián)通家寬的PCDN行為識別需求。另外，系統(tǒng)根據(jù)帶寬利用率信息，綜合匯總出帶寬利用率超100%用戶，此類用戶可能存在多撥或其他違規(guī)情況。

2.1 PCDN賬戶識別算法模型

根據(jù)PCDN賬戶業(yè)務(wù)特性，此類賬戶會先緩存PCDN業(yè)務(wù)資源至“路由器”或“盒子”，在本地區(qū)其他正常用戶有訪問PCDN業(yè)務(wù)資源需求時，PCDN管理端調(diào)度本地緩存資源提供服務(wù)，此類PCDN賬戶的重要特征為日上傳流量特別大、DNS解析量少。通過對河南聯(lián)通活躍寬帶賬戶實際使用行為特征進行統(tǒng)計分析，選定兩個維度數(shù)據(jù)：日DNS解析量、日上行流量總量，設(shè)定相應(yīng)閾值，作為識別PCDN賬戶判斷依據(jù)[2]。

2.2 PCDN業(yè)務(wù)標簽識別模型

在通常情況下，域名解析結(jié)果IP會落到IDC業(yè)務(wù)IP段、阿里云、騰訊云等云廠商服務(wù)地址段，而承載PCDN業(yè)務(wù)時，某些域名解析結(jié)果IP會是家寬IP地址段。例如，抖音xxxx.idouyinvod.com，該域名解析結(jié)果IP為河南聯(lián)通某家寬公網(wǎng)IP地址，可以確定此家寬公網(wǎng)IP背后某賬戶承載抖音PCDN業(yè)務(wù)，結(jié)合具體的時間、公網(wǎng)IP的端口號，可以找出具體承載某項PCDN業(yè)務(wù)的寬帶賬戶，并給該賬戶打上對應(yīng)業(yè)務(wù)標簽。

2.3 帶賬號捆綁匯聚分析

同一小區(qū)用戶通過終端接入設(shè)備OLT，統(tǒng)一接入河南聯(lián)通家庭寬帶網(wǎng)絡(luò)，在BSS日志中nas ip、slot、port、svlan字段相同的寬帶賬戶，可認定為在同一小區(qū)，根據(jù)此信息建立算法模型，可對有PCDN行為的賬戶分析處理，找出在同一小區(qū)匯聚捆綁的PCDN賬戶列表。

2.4 寬帶利用率違規(guī)識別模型

根據(jù)PCDN業(yè)務(wù)標簽識別模型中“周期內(nèi)流量使用量算法”，可參考得出日、周（特定時間段內(nèi)）流量使用總量，對周期內(nèi)帶寬使用速率超簽約值行為進行監(jiān)控，統(tǒng)計出周級別賬戶違規(guī)天數(shù)詳單，每日實際上行帶寬使用率等情況[2]。

3" "系統(tǒng)的設(shè)計和實現(xiàn)

基于大數(shù)據(jù)分析技術(shù)的PCDN識別系統(tǒng)，通過寬帶用戶DNS訪問日志信息、AAA日志信息、BSS日志信息對用戶行為進行深度挖掘分析，建立PCDN行為特征識別庫。現(xiàn)已識別并學(xué)習(xí)到約30種PCDN特征域名信息，已內(nèi)置進分析系統(tǒng)，后期可通過繼續(xù)自動學(xué)習(xí)和手工設(shè)置PCDN域名及標簽，來分析更多PCDN承載業(yè)務(wù)。

系統(tǒng)通過有機地融合自行研發(fā)的查詢引擎和分布式系統(tǒng)架構(gòu)，提供對PCDN用戶的快速定位能力和寬帶用戶上網(wǎng)行為的詳細統(tǒng)計分析匯總報表展示。

基礎(chǔ)數(shù)據(jù)模塊通過探針采集的方式從DNS服務(wù)節(jié)點上采集DNS日志，SFTP方式接收聯(lián)創(chuàng)廠家傳送的AAA日志、BSS日志，并將采集到的數(shù)據(jù)傳送給數(shù)據(jù)存儲模塊。

數(shù)據(jù)存儲模塊將采集到的信息通過數(shù)據(jù)處理按照統(tǒng)一格式保存在分布式文件系統(tǒng)內(nèi)。在數(shù)據(jù)保存前，需要進行重復(fù)數(shù)據(jù)的清理、增量數(shù)據(jù)保存、垃圾數(shù)據(jù)清理、備份策略制定等步驟，保證數(shù)據(jù)的更新和準確。

云資源管理及協(xié)作平臺從DNS端采集數(shù)據(jù)，結(jié)合AAA日志信息、BSS日志信息，通過分布式計算平臺的任務(wù)調(diào)度和分析系統(tǒng)查詢引擎對核心數(shù)據(jù)進行檢索、分析、數(shù)據(jù)挖掘和定位等處理，按照不同的分析模式對相關(guān)數(shù)據(jù)進行統(tǒng)計分析，并將分析結(jié)果保存到雙活的CLICKHOUSE數(shù)據(jù)庫，同時負責(zé)分布式環(huán)境中各服務(wù)器的資源調(diào)度及管理。

自學(xué)習(xí)云計算框架將系統(tǒng)預(yù)置的定期分析任務(wù)或用戶界面下發(fā)的分析要求，根據(jù)分析原語翻譯為機器語言及代碼，并將執(zhí)行代碼下發(fā)到分布式計算環(huán)境中進行處理，以便獲取最終的分析結(jié)果。

擴展接口模塊提供多種協(xié)議的開放接口，最大限度地提升與第三方系統(tǒng)的聯(lián)動能力，其他系統(tǒng)可方便地通過這些接口獲取所需的分析數(shù)據(jù)、及時得到缺陷通知等。

4" "系統(tǒng)的應(yīng)用

基于大數(shù)據(jù)分析技術(shù)的PCDN識別系統(tǒng)目前已推廣至全省18個市分公司使用，成為河南聯(lián)通寬帶網(wǎng)絡(luò)維護、資源管理、運維稽查工作中的重要支撐手段，取得了良好的效果。

系統(tǒng)通過算法設(shè)計和數(shù)據(jù)建模，對河南聯(lián)通1 000多萬活躍寬帶賬戶進行分析，日均交叉處理分析約4 000億條DNS日志、AAA日志和BSS日志信息。經(jīng)過算法模型匹配，每周匹配閾值的異常PCDN賬戶約13 000多個，匯聚的PCDN賬戶約9 000多個，全省匯聚捆綁的小區(qū)約600個，匹配業(yè)務(wù)標簽的PCDN賬戶數(shù)約4 000個。寬帶利用率超限的違規(guī)賬戶每周提取1 400多個。

4.1 PCDN賬戶分析

系統(tǒng)對全省寬帶用戶PCDN行為進行深度分析，通過設(shè)置篩選條件查詢選定范圍內(nèi)的所有寬帶用戶詳單信息，詳單信息中包括的數(shù)據(jù)有賬號、地市、解析量（DNS）、上行流量、上行帶寬、上行帶寬利用率、下行流量、下行帶寬、下行帶寬利用率、是否為PCDN賬戶、是否為捆綁行為用戶、匹配到的業(yè)務(wù)標簽、日期、匹配到的捆綁小區(qū)，可導(dǎo)出有PCDN行為的賬戶詳單至本地。

4.2 PCDN小區(qū)分析

系統(tǒng)通過設(shè)置篩選條件查詢選定范圍內(nèi)的所有PCDN小區(qū)詳單信息，根據(jù)匯聚分析算法可以分析出具體的PCDN小區(qū)詳單，詳單信息中包括的數(shù)據(jù)有小區(qū)IP、槽位（slot）、端口（port）、svlan、地市、小區(qū)內(nèi)PCDN賬號數(shù)量（點擊可跳轉(zhuǎn)賬號詳單）、捆綁的寬帶賬號數(shù)（點擊可跳轉(zhuǎn)賬號詳單）、小區(qū)內(nèi)匹配到承載業(yè)務(wù)標簽的PCDN賬號數(shù)（點擊可跳轉(zhuǎn)賬號詳單）、該小區(qū)的PCDN業(yè)務(wù)標簽匯總集合、日期，可導(dǎo)出有PCDN行為的小區(qū)詳單至本地。

4.3 寬帶速率稽核

從河南聯(lián)通寬帶賬戶帶寬資源使用率角度出發(fā)，對全量寬帶賬戶的上行速率進行監(jiān)控，統(tǒng)計一周時間段內(nèi)出現(xiàn)上行帶寬利用率超100%的違規(guī)記錄。通過設(shè)置篩選條件，查詢選定范圍內(nèi)的所有上行帶寬使用率違規(guī)用戶，詳單信息中包括的數(shù)據(jù)有賬號、地市、一周時間段內(nèi)違規(guī)天數(shù)、查詢時間段內(nèi)每日的上行帶寬利用率詳細數(shù)值，可導(dǎo)出寬帶速率稽查詳單至本地。

4.4 違規(guī)業(yè)務(wù)識別

根據(jù)對市面常規(guī)的PCDN運營盒子和全省寬帶用戶的域名解析分析，系統(tǒng)已識別發(fā)現(xiàn)30多種承載PCDN業(yè)務(wù)運營的標簽，內(nèi)置系統(tǒng)違規(guī)識別數(shù)據(jù)庫。各市運維人員也可以根據(jù)在實際稽核檢查中發(fā)現(xiàn)的新特征域名，手工添加至違規(guī)監(jiān)測識別數(shù)據(jù)庫，實現(xiàn)對新PCDN業(yè)務(wù)的迭代更新，監(jiān)測域名支持模糊查詢手動錄入、同時支持Excel表格導(dǎo)入監(jiān)測域名，滿足批量添加的需求。

5" "結(jié)束語

通過家寬PCDN業(yè)務(wù)識別系統(tǒng)的研發(fā)和使用，從大數(shù)據(jù)分析維度建立了河南聯(lián)通家寬業(yè)務(wù)違規(guī)行為的數(shù)字化發(fā)現(xiàn)能力，解決了河南聯(lián)通寬帶市場亟待識別和分析PCDN違規(guī)業(yè)務(wù)運營的問題。本系統(tǒng)實現(xiàn)了全省PCDN用戶的自動識別，匯聚捆綁小區(qū)的自動發(fā)現(xiàn)，按全省、地市、小區(qū)維度分權(quán)分域?qū)崿F(xiàn)PCDN用戶的帶寬、利用率的統(tǒng)計分析和寬帶業(yè)務(wù)速率超限的稽核能力。系統(tǒng)提高了河南聯(lián)通對全省寬帶用戶違規(guī)運營行為的發(fā)現(xiàn)和監(jiān)管能力，為前臺政企、IDC等部門提供市場發(fā)展決策參考依據(jù)，提升了維護人員的工作效率和企業(yè)效益，系統(tǒng)可復(fù)制性、可推廣性良好。

參考文獻

[1] 陳杲，王彬，張沛，等．基于專用盒子的P2P CDN系統(tǒng)[J]．郵電設(shè)計技術(shù)，2019（7）：15-18.

[2] 陳永鑫．基于P2P+CDN技術(shù)利用家庭寬帶上行帶寬構(gòu)建低成本的邊緣加速節(jié)點[J]．通訊世界，2020， 27（11）：57-58， 145.

作者簡介：項朝君（1979-），男，漢族，青海西寧人，高級工程師，碩士，研究方向為IP網(wǎng)、智能城域網(wǎng)、承載網(wǎng)、網(wǎng)絡(luò)安全、域名及認證等支撐系統(tǒng)。

段俊娜（1980-），女，漢族，河南開封人，高級工程師，碩士，研究方向為IP網(wǎng)、承載網(wǎng)、多云承載等。

劉" "倩（1987-），女，漢族，河南鄭州人，高級工程師，碩士，研究方向為IP網(wǎng)、智能城域網(wǎng)、承載網(wǎng)。

羅望東（1976-），男，漢族，河南新縣人，高級工程師，學(xué)士，研究方向為IP網(wǎng)、網(wǎng)絡(luò)安全、DNS。

白" "潔（1982-），女，漢族，新疆烏魯木齊人，高級工程師，學(xué)士，研究方向為政企業(yè)務(wù)、網(wǎng)絡(luò)信息及數(shù)據(jù)安全、網(wǎng)絡(luò)及科技創(chuàng)新、數(shù)字化系統(tǒng)等。

魏利朋（1981-），女，漢族，河南宜陽人，高級工程師，碩士，研究方向為IP網(wǎng)、智能城域網(wǎng)、承載網(wǎng)。