通過互聯網流量流向大數據智能分析決策實現網絡速度升級

劉新華 李衛群 周發輝 李琨 張佳杰 楊迪

隨著互聯網業務的迅猛發展，激增的網絡用戶、信息數量和網絡資源刺激著網絡的不斷升級與開拓。呈指數級增長的廣大用戶、信息與資源數量要求運營商提供不斷升級的高品質服務，網絡帶寬與速度升級都迫在眉睫。從整體來看，以上這些目標的實現依賴于基礎設施建設的升級，從戰略上來看，通過對互聯網流量流向決策分析及合理調度，也可達到高效利用當前基礎設施實現升級的目標，更好的保障服務的實現與品質提升。

中國互聯網信息中心CNNIC發布第37次《中國互聯網絡發展狀況統計報告》。報告顯示，截至2015年12月，中國網民規模達6.88億，互聯網普及率為50.3%；手機網民規模達6.2億，占比提升至90.1%，無線網絡覆蓋明顯提升，網民Wi-Fi使用率達到91.8%。相較2014年底提升2.4個百分點。龐大的用戶數量以及隨之而來龐大的網絡應用需求推動著互聯網硬件設施和軟件設備的升級，網絡流量十分龐大。采用海量的硬件投入來達成基礎設施升級明顯是不可取的；龐大的網絡流量也需要分析和控制。通過探索一條合理控制網絡流量流向達到高效利用當前基礎設施實現升級的目標，更好的保障服務的實現與品質升級，顯得必要且具有重大意義。

本文介紹的“互聯網流量流向大數據智能分析決策系統”由DNS日志分析子系統和DNS旁路優化解決子系統提升本網率，采用鏡像分光或FTP日志上傳方式對本省DNS系統解析日志進行采集并存儲。將按主要在現網DNS系統基礎上完成對本省DNS系統日志1∶1采集，然后存儲在本地進行離線分析，并以報表的形式將分析結果進行呈現。同時需要通過DNS旁路的方式優化點擊本網率。結合DNS系統解析數據定期分析互聯網熱點資源，并依據分析結果，進行調度優化，使用戶的訪問請求盡可能多的命中網內資源，從而提升用戶感知，并達到提升流量本網率和降低運營成本的效果。

DNS日志分析子系統是通過DNS日志采集、技術資料爬蟲、IP段歸屬基礎庫獲取得到基礎數據，DNS日志采用C++處理入庫；采用基于業務流的DPI識別技術識別53流量和HTTP流量的業務類型；采用網絡爬蟲技術，實現對關鍵域和域名、公司、備案號、TCP、UDP、網站名、服務類型等資料的爬蟲，用作詳細內容匹配。

DNS日志分析子系統結構如下圖所示：

DNS旁路優化解決子系統，用戶請求特定的域名，在經過整套DPI系統時，分光53流量和HTTP流量到優化系統，而DNS優化系統服務器的數量只根據DPI流量數有關，而一條流量只能對應一個網口，因此有幾條流量決定了DNS優化系統服務器數量。DNS優化系統經過對特定域名的目的IP重定向返回給用戶。

·平臺功能-綜合分析

全網DNS綜合分析給客戶提供DNS流量流向分析的全景視圖，分別以域、域名、公司為維度，對DNS數據進行綜合的統計分析，并支持圖表趨勢顯示及數據導出。

·平臺功能—本網率相關

給客戶提供DNS流量流向網內、網外的視圖列表，分別以出網內容、本網內容、緩存內容、引入內容等作為維度，經過計算和預處理，得出本網率情況的數據內容和非本網率的數據內容，對管理員起到指導調度程序來實現本網率的提升。

·平臺功能—本省內容分析

本省內容分析給客戶展示各廠家服務情況的全景視圖。分別以各廠家服務的域、域名、公司為維度，將本省已經引入的CDN、IDC、緩存等相關資源通過分析得出對各廠家服務的情況的列表展現，并支持數據導出。

·平臺功能—備案相關

給客戶提供各個域的備案情況，以域、未備案域、未備案緩存內容、未備案引入內容等作為維度分析，以便用戶查詢引入本網卻未備案的域，并支持圖表趨勢顯示及數據導出。

·平臺功能—告警

給客戶提供各公司、廠家的告警情況，包含全部資源告警、本省資源告警。以各類閥值來判斷指標是否達到告警，閥值可設置。

·平臺功能—廠家服務評估

包含緩存廠家服務評估和CDN廠家服務評估，以域名、域、公司、各廠家等作為維度進行全面分析。支持以圖表、列表等形式展現各類指標趨勢，并支持數據導出。

·平臺功能—輔助管理

輔助管理功能是針對緩存廠家與緩存域名之間的關系建立，可實現對導入域名去重、對域名、廠家、日志進行增刪查改等操作，并支持批量操作域名廠家集。

·平臺功能—系統管理

管理員可為不同用戶、不同角色、不同組織機構設置不同操作權限，通過權限控制，做到信息保密。

·擴展功能—多維度展現

多維度展現方式，以滿足不同查詢需求，結果呈現更直觀。

·擴展功能—多樣化性能

（1）使用異步方式進行數據下載，把需要導出的數據下載到系統服務器，用戶再由PC端導出，比直接通過PC端查詢下載，數據處理速度更快。

（2）列向報表數據自動化調節：可對前幾列域、域名、公司的關鍵數據凍結，更符合使用者查看習慣。

（3）支持導出Top N（分析）的數據。

（4）可設置為每頁20、條50條、100條等多種顯示方案。

（5）合計在底部固定位置展現，結果盡收眼底隨時可查。

綜上所述，通過互聯網內容分析及流量流向決策分析可更好的服務互聯網發展與廣大網絡用戶需求，可顯著降低成本、降低鏈路負載、更好應對流量突發變化。結合DNS系統解析數據定期分析互聯網熱點資源，并依據分析結果，進行調度優化，使用戶的訪問請求盡可能多的命中網內資源，從而提升用戶感知，并達到提升流量本網率和降低運營成本的效果。

通過內容優化及流量控制方法實現基礎設施升級目標，對于互聯網的穩定高效運行有積極意義。

參考文獻：

[1]林榮.網絡流量控制相關關鍵技術研究[J].復雜系統與復雜性科學，2010（Z1）

[2]楊瑞.線性規劃的網絡流量流向控制技術[J].電子商務，2015（02）

（作者單位：貴州力創科技發展有限公司）