基于pyshark的視聽新媒體技術信息檢測系統(tǒng)的研究

司凱威

國家廣播電視總局二九三臺 河南省 鄭州市451162

引言

近年來，網(wǎng)絡傳播技術的發(fā)展帶動了視聽網(wǎng)站、移動應用程序、短視頻平臺、互聯(lián)網(wǎng)電視和IPTV智能終端的蓬勃發(fā)展。據(jù)中國互聯(lián)網(wǎng)絡信息中心的數(shù)據(jù)顯示，截至2020年12月，我國現(xiàn)有網(wǎng)頁數(shù)量達到3155億，移動APP數(shù)量達到345萬款［1］。網(wǎng)絡視聽行業(yè)繁榮發(fā)展的同時，也出現(xiàn)了部分應用程序、智能終端違規(guī)提供淫穢色情、血腥暴力等違反國家網(wǎng)絡視聽、網(wǎng)絡安全管理規(guī)定的情況。為規(guī)范網(wǎng)絡視聽行業(yè)發(fā)展秩序，營造風清氣正的網(wǎng)絡視聽環(huán)境，特別是保護未成年人身心健康，視聽新媒體監(jiān)管中需要分析視聽節(jié)目傳播的技術信息。目前，主要通過自主搭建檢測環(huán)境、利用抓包軟件捕獲通信數(shù)據(jù)、人工分析域名和IP、通過公網(wǎng)查詢地理位置等步驟，獲取網(wǎng)絡協(xié)議、IP地址、歸屬地、域名、鏈接、ICP備案號、開辦單位等技術信息。該種工作方式存在操作步驟多、監(jiān)看周期長、數(shù)據(jù)分析依賴于工作經(jīng)驗、數(shù)據(jù)存儲不規(guī)范、數(shù)據(jù)加密無法檢測等問題，并且與視聽新業(yè)態(tài)不斷出現(xiàn)、技術架構不斷更新、數(shù)據(jù)傳輸格式日漸多樣等發(fā)展趨勢難以適應。

基于現(xiàn)代網(wǎng)絡數(shù)據(jù)包分析和網(wǎng)絡爬蟲技術的發(fā)展成果，本文提出利用鏡像交換機、無線路由器等設備搭建通用型的技術數(shù)據(jù)檢測平臺，并基于pyshark等支持庫構建具有通信數(shù)據(jù)捕獲、分析、統(tǒng)計、結果展示等功能的通用型數(shù)據(jù)檢測應用軟件。該平臺可較為便捷地完成對網(wǎng)站、應用軟件、智能終端等軟硬件的技術分析，有效提升視聽新媒體技術檢測的效率和準確度。

1 硬件組成

基于pyshark的視聽新媒體技術信息檢測系統(tǒng)主要用于獲取、分析、識別、存儲用戶端的瀏覽器、移動應用程序、互聯(lián)網(wǎng)電視及IPTV終端等軟硬件與服務端的圖片服務器、視頻服務器、EPG服務器等網(wǎng)絡資源之間的通信信息。為保證系統(tǒng)的兼容性、靈活性和易維護性，該系統(tǒng)硬件部分主要由檢測主機、無線路由器、鏡像交換等部分組成，如圖1所示。

圖1 系統(tǒng)組成示意圖

（1）檢測主機主要用于捕獲檢測對象與網(wǎng)絡服務器之間的通信數(shù)據(jù)，解析數(shù)據(jù)包、存儲數(shù)據(jù)文件以圖表的形式展示分析結果。檢測主機與鏡像交換機之間通過高質量的網(wǎng)線進行互聯(lián)。

（2）鏡像交換機主要負責將被檢測對象與網(wǎng)絡服務器之間的通信數(shù)據(jù)完整轉發(fā)至檢測主機。為保證數(shù)據(jù)的轉發(fā)能力，在本系統(tǒng)中選用的是提供1個上聯(lián)端口，1個監(jiān)控端口和3個下聯(lián)口的千兆鏡像交換機。鏡像交換機的上聯(lián)口通過公共互聯(lián)網(wǎng)或者專用網(wǎng)絡連接網(wǎng)絡服務器，監(jiān)控口連接至檢測主機，下端口連接至無線路由器。

（3）無線路由器通過有線或者無線的方式保證檢測對象通過鏡像交換機正常訪問網(wǎng)絡資源。在系統(tǒng)設計中，選用的是千兆無線路由器。其中，互聯(lián)網(wǎng)電視、IPTV等終端設備通過有線方式接入。手機、平板等移動智能終端設備通過無線方式接入。

（4）監(jiān)測載體包括PC主機、移動終端、互聯(lián)網(wǎng)電視終端、IPTV終端等設備。所有的網(wǎng)站、應用程序等均需安裝到相應的載體上。為避免通信數(shù)據(jù)免受其他設備的干擾，一般情況下，同一時間段只允許一個設備連接至無線路由器。

（5）通過合理走線的方式，將相關的設備統(tǒng)一安置在定制化的機箱中，并預留有視頻、USB、網(wǎng)絡等接口，以便于進一步擴展使用。

2 軟件設計

為協(xié)助視聽新媒體監(jiān)管工作人員快速、準確地完成數(shù)據(jù)檢測任務，新媒體技術數(shù)據(jù)檢測系統(tǒng)軟件具有捕獲視聽新媒體智能終端設備或軟件與網(wǎng)絡服務器之間的通信數(shù)據(jù)、解析通信數(shù)據(jù)包、在線查詢IP地址歸屬地、在線查詢ICP相關信息、存儲分析結果和數(shù)據(jù)文件、監(jiān)控服務運行狀態(tài)等功能。用戶只需經(jīng)過簡單的配置之后，即可獲得數(shù)據(jù)解析結果。

為提升應用軟件的開發(fā)效率和便于后期維護，本系統(tǒng)以python作為開發(fā)語言，充分利用開源的數(shù)據(jù)捕獲、網(wǎng)絡爬蟲、在線下載、特征值計算、報表生成、數(shù)據(jù)庫管理、文件管理、服務監(jiān)控等功能程序包研發(fā)而成。同時基于面向對象的編程思想，將各個分層之間，通過特定的類接口，完成服務的調(diào)用，如圖2所示。

圖2 系統(tǒng)組成示意圖

2.1 信息采集

為捕獲檢測對象與網(wǎng)絡服務器之間的通訊數(shù)據(jù)，本系統(tǒng)主要借助pyshark模塊調(diào)用wireshark的服務接口對鏡像交換機轉發(fā)至檢測主機網(wǎng)卡的數(shù)據(jù)進行采集。

pyshark模塊是使用python語言編制而成的具有網(wǎng)絡通信數(shù)據(jù)采集、分析功能模塊的程序包。用戶只需對網(wǎng)卡名稱、抓取周期等參數(shù)設置后，借助該程序包即可調(diào)用專業(yè)網(wǎng)絡數(shù)據(jù)分析軟件wireshark的實時數(shù)據(jù)采集和離線數(shù)據(jù)的分析功能［2］。在實時采集數(shù)據(jù)時設置如下cap=pyshark.LiveCapture（interface='eth0'），cap.sniff（timeout=50）。在解析離線數(shù)據(jù)包時，設置如下cap=pyshark.FileCapture（'/xmt_cap.cap'）。

在實際應用中，該模塊具有實時性高、速度快、兼容格式多、運行穩(wěn)定等優(yōu)點。同時，為了保證數(shù)據(jù)的實時性，優(yōu)先將通信數(shù)據(jù)實時保存至本地，然后使用離線分析功能。

2.2 數(shù)據(jù)分析

數(shù)據(jù)分析模塊主要是通過解析捕獲得到的數(shù)據(jù)包，獲取網(wǎng)絡協(xié)議、IP地址、IP歸屬地、ICP號及開辦機構等視聽新媒體監(jiān)管中所需的技術信息。以常見的HTTP數(shù)據(jù)包分析為例，首先是利用pyshark提供的數(shù)據(jù)解析功能，獲取網(wǎng)絡協(xié)議、源IP地址、目的IP地址、URL鏈接等信息。根據(jù)URL鏈接的不同，對相關數(shù)據(jù)進行第一次刪除重復的數(shù)據(jù)。然后是利用urllib2模塊提供的下載功能，將URL對應的資源文件下載到本地，同時進行第二次數(shù)據(jù)排重。第三是文件類型判斷和服務器功能推測。借助filetype模塊提供的文件類型識別功能，判斷資源文件的格式［3］并結合URL包含文件格式關鍵字，推測網(wǎng)絡服務器的功能。例如包含有“.jpg”“.bmp”等關鍵字的，推測為圖片服務器，包含 有“.ts”“.mp4”等文 本的，推測為視頻服務器。借助網(wǎng)絡爬蟲模塊抓取IP138、工信部ICP備案系統(tǒng)等權威數(shù)據(jù)，獲取IP歸屬地和ICP備案信息。在網(wǎng)絡爬蟲中加入了瀏覽器頭、隨機時間間隔等方式，防止頻繁的獲取頁面而被網(wǎng)站屏蔽。

2.3 數(shù)據(jù)存儲

數(shù)據(jù)存儲模塊主要負責存儲與管理數(shù)據(jù)包、網(wǎng)絡資源文件以及對應的特征值。在數(shù)據(jù)存儲過程中，為方便對數(shù)據(jù)包、抽取結果、檢測對象信息的存儲管理，一是網(wǎng)絡下載得到的文件采用下載時間命名，避免命名較長不便于管理的情況；二是充分利用文件MD5值唯一性的特征，計算圖片、視頻、數(shù)據(jù)包等文件的MD5值并存儲到數(shù)據(jù)庫中，以便于查找、管理、增加、刪除等操作；三是借助mysqldb功能模塊，完成對mysql數(shù)據(jù)庫的管理，實現(xiàn)對歷史數(shù)據(jù)的規(guī)范化存儲，便于數(shù)據(jù)的長期跟蹤和分析使用。

2.4 數(shù)據(jù)展示

數(shù)據(jù)展示功能主要是將分析的結果以Excel表格、圖表等形式進行展示。一是提供域名、URL鏈接、IP地址、功能、ICP、開辦單位、資源文件存儲位置等相關信息的數(shù)據(jù)查詢、修改、更新、存儲等操作；二是提供相關結果數(shù)據(jù)的報表導出功能；三是為進一步分析視聽新媒體數(shù)據(jù)檢測系統(tǒng)監(jiān)測數(shù)據(jù)的變化情況，在數(shù)據(jù)庫中存儲相關的文件，能夠導出變化曲線，更加直觀的反映節(jié)目數(shù)的變化，以及服務器地址的變化情況；四是提供程序執(zhí)行狀況的實時動態(tài)功能，程序讀取程序執(zhí)行過程中的異常信息，對于異常報警進行分級，進而對應不同的處理方法。

結論

實踐證明，該系統(tǒng)能夠有效降低視聽新媒體技術信息檢測的難度，縮短技術檢測所需的時長，提升檢測數(shù)據(jù)的準確性。伴隨著視聽新媒體業(yè)態(tài)的不斷出現(xiàn)，該系統(tǒng)的應用場景也不斷的增加，將會極大地提升視聽新媒體監(jiān)管的工作效率。下一步，在繼續(xù)優(yōu)化軟件穩(wěn)定性的基礎上，嘗試引入高性能的計算節(jié)點，加入高靈敏度圖片識別等模塊，推動檢測系統(tǒng)的智能化水平。