一種基于DNS大數據分析實現寬帶共享監控系統架構設計

譚暢

摘 要 一種基于DNS大數據分析實現寬帶共享監控系統，由數據層、支撐層以及應用層構成。基于DNS大數據分析實現寬帶共享監控系統建設，建立起對用戶行為進行全范圍、全過程的大數據分析系統。通過從DNS服務器采集海量的用戶信息，使用大數據分析模式，定位用戶行為信息、定位核心價值數據，放于業務場景之下統一分析，提高傳統系統提升數據價值的回報率。

關鍵詞 DNS大數據分析；寬帶共享監控；云計算

中圖分類號 TP3 文獻標識碼 A 文章編號 1674-6708（2017）196-0047-02

1 背景技術

隨著寬帶戰略的推進，寬帶業務得到不斷的發展，當用戶數達到一定規模，就會產生海量的數據，同時伴隨著對用戶行為管理能力的要求越來越高。因此深刻挖掘數據本身的價值越來越被人們當作提高服務質量、增加業務收入的主要方式。面對現在日益激烈的市場競爭，解決精確定位和快速響應用戶需求、解決用戶障礙、有效管理部分利用管理漏洞進行私接和包月賬號違約共享的用戶等問題是擺在運營管理機構面前的難

題。因此有必要建立一套基于云平臺，能夠對海量數據處理進行分析與管理的系統，對寬帶用戶進行有效管理和監控。

2 系統架構

有鑒于此，本系統的目的是提供基于DNS大數據分析實現寬帶共享監控系統。實現對寬帶用戶進行有效管理。本系統的基于DNS大數據分析實現寬帶共享系統，包括以下

方面。

數據采集，通過探針采集的方式，從DNS服務節點上采集DNS日志、RADIUS日志等

數據。

數據儲存，通過數據的清理、新舊數據對比更新、增量數據保存、垃圾數據清理、備份步驟將采集的數據按照統一格式保存在分布式文件系統內。

索引分析框架，依據已經建立好的索引進行數據處理，以便最大化的減少數據處理的時間。

大數據中心云平臺，提供的任務調度、云資源調度、數據流管理、元數據管理、工作流管理、計算資源管理

服務。

自學習云計算框架，將任務語言翻譯成機器語言并分發到分布式計算環境中；自學習云計算框架包括機器學習、語意翻譯、計算任務在所述擴展接口中，提供多種協議的開放接口，最大限度地提升與第三方系統的聯動能力。

應用層，接入DNS大數據分析平臺，用于提供不同的應用公子模塊，包括BI智能分析、特征識別分析、用戶行為分析、流量分析、權限管理、云資源管理的模塊，實現數據的分析管理，獲得用戶行為管理的有效數據，進行用戶管理。

3 具體實施方式

本系統基于DNS大數據分析實現寬帶共享監控系統，包括以下方面。

1）數據采集：數據采集過程是通過探針采集的方式，從各地市的DNS服務器上采集各類應用程序生成的各類DNS請求數據、Radius日志信息。這些信息包含用戶的行為信息、流量信息與設備信息等。

2）數據儲存：將采集到的信息數據通過數據處理，按照統一格式保存在分布式文件系統內。在數據保存前，需要進行重復數據清理、新舊數據對比更新、增量數據保存、垃圾數據清理、備份策略制定等不走，保證大日志數據分布式文件系統中保存的數據是最新的、準確的解析結果。

3）索引分析框架：對海量數據快速查詢索引，當需要從數據中進行快速統計或檢索時，依據已經建立好的索引進行數據處理，以便獲得最大化的減少數據處理時間[5]。為了得到用戶違規行為信息，需針對性的對能反應違規信息的日志信息進行處理。

4）自學習云計算框架：將系統預置的定期分析任務或用戶界面下發的分析要求，根據分析原語翻譯為機器語言及代碼，并將執行代碼下發到分布式計算環境中。系統預置的用戶行為管控任務，通過自學習云計算框架，被分配到分布式計算環境中，進行

計算。

5）大數據中心云平臺：從DNS端采集數據，通過分布式平臺的任務調度和分析查詢引擎對核心數據進行檢索、分析、數據挖掘和定位等處理。對私接終端用戶生成管控黑白名單，如連續多天未符合限制要求，則生成管控名單，存儲于相應的數據庫中。同時，系統根據DNS日志信息，精準定位用戶請求地址，并實時更新用戶地址的

變化。

6）應用層：接入基于DNS大數據分析實現寬帶共享監控系統，用于提供供不同單位使用的數據應用子模塊。當用戶被列入違規用戶黑名單后，將對其進行權限管理，通過DNS系統將其請求引導到代理服務節點，代理服務將向真實數據源獲取請求系統，并在獲取結果中插入彈窗代碼，最終在用戶請求響應信息中推送限制提醒或者插入干擾信息。

上述各組成部分中，數據采集與數據存儲是基于DNS大數據分析實現寬帶共享監控系統的數據層，通過各地市DNS服務器將日志信息采用壓縮傳輸的方式上傳到集中幾點，進行存儲。同時為了保證數據存儲的質量，在存儲前，需對數據進行各種預處理，以保證日志數據分布式文件系統中保存的數據是最新的、準確的記過。索引分析框架、大數據中心云平臺、自學習框架是整個系統的業務支撐層，它實現了任務的分配、處理資源的調度與對數據的處理，得到各種分析結果并儲存于相應的數據庫中。在應用層，設置多種子系統模塊，用戶可以根據需要選擇相應

功能。

參考文獻

[1]陳瀟瀟，蔡迎歸，李嫵可.CDN流量采集系統數據中心服務器的設計與實現[J].科技資訊， 2016，14（16）：

20-21.

[2]孫大為，張廣艷，鄭緯民.大數據流式計算：關鍵技術及系統實例[J].軟件學報，2014，25（4）：839-862.

[3]程學旗，王元卓.大數據計算的技術體系與引擎系統[J].高科技與產業化，2013，9（5）：62-65.

[4]張婧婧，陳福文.互聯網流量分析技術及部署方案[J].移動通信，2013（19）：71-75.

[5]李青.基于云安全的DNS網頁掛馬探測系統分析與設計[J].軟件導刊，2011，10（3）：146-148.endprint