基于云計算的位并行多維數(shù)據(jù)包分類系統(tǒng)設(shè)計

侯慧玲

摘? 要： 傳統(tǒng)位并行多維數(shù)據(jù)包分類系統(tǒng)的數(shù)據(jù)信息占據(jù)空間過大、分類效果較差。針對上述問題，基于云計算設(shè)計一種新的位并行多維數(shù)據(jù)包分類系統(tǒng)，主要分為硬件設(shè)計和軟件設(shè)計兩部分。系統(tǒng)硬件包括三個模塊，分別為規(guī)則管理模塊、存儲管理模塊和中斷處理模塊;軟件由內(nèi)部分類程序、數(shù)據(jù)分類程序、數(shù)據(jù)包包頭合成程序和內(nèi)核數(shù)據(jù)處理程序4個主要程序組成。為檢測系統(tǒng)的工作效果，與傳統(tǒng)系統(tǒng)進(jìn)行實驗研究，結(jié)果表明，基于云計算的位并行多維數(shù)據(jù)包分類系統(tǒng)數(shù)據(jù)信息占據(jù)空間小，分類效果優(yōu)于傳統(tǒng)系統(tǒng)設(shè)計。

關(guān)鍵詞： 數(shù)據(jù)包分類; 位并行算法; 系統(tǒng)設(shè)計; 云計算; 位并行多維數(shù)據(jù)包; 內(nèi)核數(shù)據(jù)處理

中圖分類號： TN99?34; TP394? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識碼： A? ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）17?0175?05

Abstract： The data information designed by the traditional bit?paralleled multi?dimension packet classification system occupies too large space and the classification effect is poor. In view of this， a new bit?paralleled multi?dimension packet classification system based on cloud computing is designed. The system consists of hardware and software. The system hardware includes three modules， which are rule management module， storage management module and interrupt processing module. The system software consists of 4 main programs， named internal classification program， data classification program， data packet header synthesis program and kernel data processing program. The designed system is compared with the traditional system by experiments to test the working effect. The results show that the data information of bit?paralleled multi?dimension packet classification system based on cloud computing occupies a smaller space， and the classification effect is better than that of the traditional system.

Keywords： data packet classification; bit?parallelism algorithm; system design; cloud computing; bit?paralleled multi?dimension data packet; kernel data processing

0? 引? 言

在當(dāng)代社會不斷發(fā)展的大背景下，經(jīng)濟與科學(xué)技術(shù)也在迅猛發(fā)展，互聯(lián)網(wǎng)技術(shù)迎來了高速發(fā)展的時代，但發(fā)展的過程必然會產(chǎn)生一些問題與新興技術(shù)的挑戰(zhàn)。目前，互聯(lián)網(wǎng)性能的主要調(diào)節(jié)方法是提高路由器等元件的運算速度，互聯(lián)網(wǎng)的各種新興業(yè)務(wù)的內(nèi)容查看包括數(shù)據(jù)包的路由地址查看、內(nèi)部分類協(xié)議的查看以及服務(wù)器狀況的查看等[1]。鑒于以上情況，互聯(lián)網(wǎng)數(shù)據(jù)的處理就是從簡單的地址查詢到多維數(shù)據(jù)包分類系統(tǒng)的處理。路由器等基礎(chǔ)元件存在系統(tǒng)紊亂的問題，而路由器的更新?lián)Q代速度十分迅速，為了更好地處理數(shù)據(jù)緩沖、存儲、備份問題，必須比較計算變換時間與數(shù)據(jù)查詢時間[2]。

對于數(shù)據(jù)包系統(tǒng)進(jìn)行位并行多維數(shù)據(jù)處理是一種較為方便的處理方式，并行多維數(shù)據(jù)處理選擇的算法為位并行算法，該算法需要進(jìn)行多種維度檢索，將檢索問題分解為多個單個子問題，并將子問題進(jìn)行適當(dāng)組合，交叉計算，最終得到所求結(jié)果。位并行算法可以將多維度數(shù)據(jù)查詢問題分為多個單維度數(shù)據(jù)查詢，這些數(shù)據(jù)可以同時進(jìn)行查詢分析，從而大大降低了數(shù)據(jù)的分類時間[3]。

將位并行算法應(yīng)用到數(shù)據(jù)包分類系統(tǒng)上，可以在多維度數(shù)據(jù)的基礎(chǔ)上，對數(shù)據(jù)進(jìn)行規(guī)則性處理，提高數(shù)據(jù)查詢速度，然而此種算法在數(shù)據(jù)處理上的擴展性較差，通常僅可以應(yīng)用在小規(guī)模的機體程序中，在規(guī)則數(shù)據(jù)庫不斷擴大的情況下，位并行算法的內(nèi)部存儲量損耗較大，數(shù)據(jù)分類的查詢時間會隨著位并行算法空間的復(fù)雜程度呈線性增長[4]。目前，比較有效的解決辦法是通過對并行算法的復(fù)雜度與查詢時間進(jìn)行監(jiān)測分析，并以此為基礎(chǔ)改變機體程序規(guī)模，進(jìn)而降低空間復(fù)雜度以及查詢時間，更好地對數(shù)據(jù)包進(jìn)行分類[5]。

本文基于云計算提出一種位并行多維數(shù)據(jù)包分類系統(tǒng)，硬件部分設(shè)計了調(diào)節(jié)規(guī)則管理模塊、存儲管理模塊、中端處理模塊，軟件設(shè)計了工作流程。該系統(tǒng)在一定程度上可以緩解信息數(shù)據(jù)所占空間過大的問題，具有較為良好的擴展性，對于數(shù)據(jù)包的分類效果更佳。

1? 位并行多維數(shù)據(jù)包分類系統(tǒng)硬件設(shè)計

本文設(shè)計的系統(tǒng)硬件部分共有三大模塊：調(diào)節(jié)規(guī)則管理模塊、存儲管理模塊、中斷處理模塊。分類系統(tǒng)硬件架構(gòu)圖如圖1所示。

1.1? 規(guī)則管理模塊

依據(jù)規(guī)則對數(shù)據(jù)進(jìn)行過濾處理，將系統(tǒng)應(yīng)用過程利用庫函數(shù)的運算法則移入整體系統(tǒng)，通過硬件系統(tǒng)采集規(guī)則和內(nèi)核規(guī)則對內(nèi)部對應(yīng)值進(jìn)行比較，共同實現(xiàn)對數(shù)據(jù)的分類[6]。

在硬件規(guī)則中，檢測數(shù)據(jù)是否被遺棄或轉(zhuǎn)移至服務(wù)器終端;在內(nèi)核規(guī)則中，分析數(shù)據(jù)包數(shù)據(jù)，找到Ck字段對應(yīng)系統(tǒng)過程，進(jìn)而查詢到相應(yīng)的拷貝地址，為硬件加入查詢或刪除規(guī)則功能。規(guī)則管理模塊框架結(jié)構(gòu)如圖2所示。

由圖2可知，規(guī)則管理模塊中共有3個規(guī)則與硬件規(guī)則抽象模塊連接。模塊本身為一個結(jié)構(gòu)數(shù)組，并與每個規(guī)則對應(yīng)的分類值是相吻合的，依據(jù)規(guī)則進(jìn)行算法計算，產(chǎn)生不同的進(jìn)程系統(tǒng)，同時處理多個數(shù)據(jù)包，簡便分類過程[7]。進(jìn)程及存儲管理部分負(fù)責(zé)接收中斷數(shù)據(jù)信息，數(shù)據(jù)包接收后，根據(jù)內(nèi)部包頭信息尋找到分類指數(shù)，并將分類指數(shù)作為下行信號抽取到對應(yīng)規(guī)則的進(jìn)程信息[8]。

在加入規(guī)則的過程中，根據(jù)規(guī)則生成算法處理數(shù)據(jù)包，在運算過程中，將計算動作并集按照信息疊加方法進(jìn)行進(jìn)程掛載，自動設(shè)置到規(guī)則下方，保證所匹配的數(shù)據(jù)包可以查詢到兩條相關(guān)聯(lián)的數(shù)據(jù)信息。刪除規(guī)則操作時，在刪除規(guī)則的同時要注意徹底清理直接與間接規(guī)則的生成物殘留。

1.2? 存儲管理模塊

存儲管理模塊主要負(fù)責(zé)記錄系統(tǒng)收發(fā)包狀況，并為數(shù)據(jù)包的傳輸提供收發(fā)緩沖。在系統(tǒng)運作中，利用零拷貝的方法，連接應(yīng)用空間與內(nèi)核空間的緩沖系統(tǒng)，并建立映射關(guān)系，同時減少拷貝的數(shù)量，依據(jù)規(guī)則管理模塊查找的數(shù)據(jù)包信息相對應(yīng)的進(jìn)程用戶名，查詢內(nèi)核存儲系統(tǒng)位置，進(jìn)而將數(shù)據(jù)包拷貝至與之對應(yīng)的系統(tǒng)緩沖器中[9]。

系統(tǒng)進(jìn)程的初始化利用用戶空間的庫函數(shù)進(jìn)行計算，并向內(nèi)核發(fā)送注冊請求，存儲管理模塊結(jié)構(gòu)圖如圖3所示。

如圖3所示，系統(tǒng)用戶進(jìn)程經(jīng)過初始化處理后，注冊成功，該模塊依據(jù)內(nèi)部存儲系統(tǒng)的映射關(guān)系在內(nèi)核中建立多個系統(tǒng)存儲數(shù)據(jù)塊。進(jìn)程管理中，以系統(tǒng)進(jìn)程用戶名作為指導(dǎo)引擎的分類數(shù)據(jù)組，管理系統(tǒng)數(shù)據(jù)進(jìn)程存儲空間的規(guī)則。當(dāng)中斷處理模塊接收數(shù)據(jù)包以后，利用數(shù)據(jù)包包頭的分類值在管理模塊中的規(guī)則位置獲取相應(yīng)的用戶名，最后，依據(jù)此用戶名查找進(jìn)程管理中的相應(yīng)存儲數(shù)據(jù)，最終完成對數(shù)據(jù)包的拷貝。在系統(tǒng)程序退出時，要依據(jù)進(jìn)程管理規(guī)則對分類值進(jìn)行合理刪除清理[10]。內(nèi)核系統(tǒng)中要設(shè)置能夠獨立尋找發(fā)送環(huán)數(shù)據(jù)的內(nèi)核線程，利用系統(tǒng)驅(qū)動進(jìn)行收發(fā)包操作，進(jìn)而使系統(tǒng)更好地進(jìn)行數(shù)據(jù)包分類處理。

1.3? 中斷處理模塊

中斷處理模塊通過對系統(tǒng)收包操作的處理，完成數(shù)據(jù)包分類的異步事件。該模塊的基礎(chǔ)設(shè)置為64 bit的路由卡，數(shù)據(jù)包由DMA傳輸至服務(wù)器終端系統(tǒng)，避免中斷次數(shù)過多而對系統(tǒng)運作產(chǎn)生影響，在系統(tǒng)內(nèi)部設(shè)置緩沖數(shù)據(jù)塊，在其接收到的數(shù)據(jù)包大小接近一個數(shù)據(jù)塊大小時，進(jìn)行立即中斷操作。在數(shù)據(jù)包完成傳送過程后，再進(jìn)行一次系統(tǒng)中斷操作，鑒于數(shù)據(jù)包在一定幾率下會產(chǎn)生長時間停止發(fā)送狀況，某些數(shù)據(jù)依舊存儲于緩沖數(shù)據(jù)塊中，因此，設(shè)置系統(tǒng)超時機制，在數(shù)據(jù)緩沖塊中存在數(shù)據(jù)包但卻沒有填充滿整個緩沖數(shù)據(jù)塊的情況下，固定一個時間點，在此時間點下，系統(tǒng)硬件將自動傳輸數(shù)據(jù)填充未滿空間，并進(jìn)一步進(jìn)行數(shù)據(jù)包傳輸[11]。

2? 位并行多維數(shù)據(jù)包分類系統(tǒng)軟件設(shè)計

本文研究的系統(tǒng)軟件主要負(fù)責(zé)響應(yīng)系統(tǒng)處理的配置，并進(jìn)一步維護(hù)系統(tǒng)配置過程的過濾原則，處理系統(tǒng)數(shù)據(jù)內(nèi)部緩存問題。首先將硬件程序進(jìn)行系統(tǒng)初始化處理，然后將硬件中整合提取的數(shù)據(jù)進(jìn)行分析并傳送到應(yīng)用程序，最后將應(yīng)用程序中的數(shù)據(jù)通過硬件系統(tǒng)傳送出去[12]。基于云計算的位并行多維數(shù)據(jù)包分類系統(tǒng)軟件程序共包括4個主要程序：內(nèi)部分類程序、數(shù)據(jù)分類程序、數(shù)據(jù)包包頭合成程序和內(nèi)核數(shù)據(jù)處理程序。

2.1? 內(nèi)部分類程序

內(nèi)部分類程序主要負(fù)責(zé)對數(shù)據(jù)包進(jìn)行分類。在對系統(tǒng)進(jìn)行分類規(guī)則測算的同時，設(shè)計與規(guī)則相符合的分類值，當(dāng)系統(tǒng)硬件完成對數(shù)據(jù)包的分類處理后，應(yīng)在與分類規(guī)則相對應(yīng)的數(shù)據(jù)包前連接設(shè)置分類值的數(shù)據(jù)包頭，在內(nèi)核接收處理后的數(shù)據(jù)包，根據(jù)綜合簡便的查詢，追蹤到分類值，由此查詢到最適合數(shù)據(jù)包包頭的分類規(guī)則指數(shù)，進(jìn)而分配相符程序。其內(nèi)部分類協(xié)議的數(shù)據(jù)包包頭格式如圖4所示。

在數(shù)據(jù)傳導(dǎo)的過程中，將數(shù)據(jù)包包頭的包長進(jìn)行整合處理，利用其長度規(guī)則對數(shù)據(jù)包進(jìn)行組裝與拆離，進(jìn)一步分析系統(tǒng)的存儲空間，將數(shù)據(jù)包整合為數(shù)據(jù)塊模式，傳導(dǎo)至服務(wù)器系統(tǒng)終端，在服務(wù)器終端接收數(shù)據(jù)塊后，利用數(shù)據(jù)包頭包長的指數(shù)值分配數(shù)據(jù)包組，進(jìn)而將數(shù)據(jù)塊整合為數(shù)據(jù)包的形式，并將處理后的數(shù)據(jù)包傳輸?shù)较到y(tǒng)程序中[13]。此種方法對于降低服務(wù)器中斷頻率，提高分類處理效率具有較大的作用。

內(nèi)部分類程序可以利用校驗字段對數(shù)據(jù)包發(fā)生的錯誤進(jìn)行處理分析，在檢測到錯誤時，遺棄數(shù)據(jù)塊尾端數(shù)據(jù)，在不破壞數(shù)據(jù)塊連續(xù)性的同時，確保系統(tǒng)的有效性。本文設(shè)計的分類程序在三態(tài)CAM的基礎(chǔ)上，運用ULT處理方式進(jìn)行內(nèi)部分類協(xié)議設(shè)計，傳統(tǒng)系統(tǒng)在設(shè)計過程中存在著無法準(zhǔn)確告知內(nèi)核數(shù)據(jù)包分類最終效果以及將硬件傳送至服務(wù)器的問題。為解決以上問題，以規(guī)則算法為出發(fā)點，提出內(nèi)部的分類協(xié)議設(shè)計，并對數(shù)據(jù)包包頭進(jìn)行處理分析，整合內(nèi)核數(shù)據(jù)。

2.2? 數(shù)據(jù)分類程序

數(shù)據(jù)分類程序主要負(fù)責(zé)外部數(shù)據(jù)的分類工作。在數(shù)據(jù)包發(fā)生意外狀況的情況下，一些數(shù)據(jù)包儲存在系統(tǒng)中無法回收處理，因此，設(shè)置time?out模式，在數(shù)據(jù)傳輸達(dá)到指定時間，即使數(shù)據(jù)包未填充滿存儲空間，分類程序也照常進(jìn)行數(shù)據(jù)包的傳輸。在數(shù)據(jù)未達(dá)到一個數(shù)據(jù)包的標(biāo)準(zhǔn)填充時，后續(xù)過程添加無用數(shù)據(jù)信息，在校驗過程中，將正常數(shù)據(jù)與無用數(shù)據(jù)分辨出來，其中數(shù)據(jù)包分類引擎工作過程如圖5所示。

數(shù)據(jù)分類程序在啟動工作狀態(tài)后，首先抽取數(shù)據(jù)包包頭信息進(jìn)行分析處理，接著對數(shù)據(jù)包進(jìn)行進(jìn)一步的加工過濾，濾除數(shù)據(jù)信息的錯誤部分，最后根據(jù)數(shù)據(jù)包包頭基礎(chǔ)信息和分類規(guī)則配置數(shù)據(jù)包，對其進(jìn)行分類整合，遺棄與分類規(guī)則不相符的數(shù)據(jù)包信息。數(shù)據(jù)包根據(jù)匹配規(guī)則得到相應(yīng)的分類值，并進(jìn)行數(shù)據(jù)包包長信息的獲取，組合成包頭部分安裝至數(shù)據(jù)包前端，得到存儲數(shù)據(jù)包，以數(shù)據(jù)塊為基礎(chǔ)傳送至服務(wù)器終端。在實行具體方案的同時，將數(shù)據(jù)包相對應(yīng)的首端抽調(diào)相關(guān)分類信息，并整合為關(guān)鍵字形式，在預(yù)定的CAM系統(tǒng)中根據(jù)分類規(guī)則進(jìn)行查詢，在最終查詢結(jié)果中得到與CAM相匹配的分類結(jié)果。

2.3? 數(shù)據(jù)包包頭合成程序

在原有的軟件程序基礎(chǔ)上進(jìn)行改造，采用分類計算法對數(shù)據(jù)包的包長進(jìn)行計算，同時，與獲得的合成值進(jìn)行合成計算，共同組成數(shù)據(jù)包包頭，安裝進(jìn)數(shù)據(jù)包，合成數(shù)據(jù)包包頭的過程如圖6所示。

2.4? 內(nèi)核數(shù)據(jù)處理程序

數(shù)據(jù)包包頭生成后，需要進(jìn)行內(nèi)核的收集，利用零拷貝的方法，在內(nèi)核的存儲系統(tǒng)與應(yīng)用層的存儲空間中構(gòu)建內(nèi)存映像，減少數(shù)據(jù)拷貝數(shù)量。內(nèi)核將數(shù)據(jù)塊作為基本單位，依據(jù)包長字段快速鎖定下個數(shù)據(jù)包位置信息，實現(xiàn)數(shù)據(jù)塊的拆離。對數(shù)據(jù)包進(jìn)行處理時，同時檢查數(shù)據(jù)包數(shù)據(jù)信息，發(fā)現(xiàn)由硬件超時機制傳送的數(shù)據(jù)，則為校驗錯誤，在此種情況下，記載數(shù)據(jù)丟棄分類部分，其內(nèi)核數(shù)據(jù)處理過程如圖7所示。

在進(jìn)行內(nèi)核處理時，需要執(zhí)行數(shù)據(jù)中斷操作，中斷操作流程如圖8所示。

分析圖8可知，數(shù)據(jù)包數(shù)量較多的情況下，中斷操作會在未完成的DMA中發(fā)起，產(chǎn)生兩個中斷狀況。此時，要在記錄中斷系統(tǒng)請示的同時啟動系統(tǒng)傳輸。啟動后，對數(shù)據(jù)包進(jìn)行處理分析，此種做法可以將數(shù)據(jù)傳送與分析同步操作，同時對不同的數(shù)據(jù)緩沖區(qū)進(jìn)行處理，可以大大提高系統(tǒng)的處理速度，使系統(tǒng)的分類程度得到更好的優(yōu)化處理。

3? 實驗研究

3.1? 實驗?zāi)康?/p>

為了檢測基于云計算的位并行多維數(shù)據(jù)包分類系統(tǒng)的有效性，設(shè)定對比實驗，選取傳統(tǒng)分類系統(tǒng)和本文分類系統(tǒng)進(jìn)行實驗對比。

3.2? 實驗參數(shù)設(shè)置

設(shè)置實驗參數(shù)如表1所示。

3.3? 實驗結(jié)果與分析

分類系統(tǒng)數(shù)據(jù)信息占據(jù)空間測試實驗結(jié)果如圖9所示。

由圖9可知：在檢測時間為10 s時，傳統(tǒng)系統(tǒng)得到的數(shù)據(jù)信息占據(jù)空間為39 GB，而本文系統(tǒng)得到的數(shù)據(jù)信息占據(jù)空間僅僅為9 GB;在檢測時間為20 s時，傳統(tǒng)系統(tǒng)得到的數(shù)據(jù)信息占據(jù)空間高達(dá)55 GB，本文系統(tǒng)得到的數(shù)據(jù)信息占據(jù)空間為35 GB;在檢測時間為30 s時，傳統(tǒng)系統(tǒng)得到的數(shù)據(jù)信息占據(jù)空間高達(dá)68 GB，本文系統(tǒng)得到的數(shù)據(jù)信息占據(jù)空間為41 GB。由此可見，在相同的監(jiān)測時間內(nèi)，本文設(shè)計系統(tǒng)的占據(jù)空間小于傳統(tǒng)系統(tǒng)，靈活性更高，能夠更好地對數(shù)據(jù)包進(jìn)行分類處理。

4? 結(jié)? 語

本文在傳統(tǒng)系統(tǒng)設(shè)計的基礎(chǔ)上設(shè)計了一種新式的基于云計算的位并行多維數(shù)據(jù)包分類系統(tǒng)。相對于傳統(tǒng)設(shè)計，本系統(tǒng)的設(shè)計很好地緩解了數(shù)據(jù)信息過大的問題，具有較好的分類效果，由于本設(shè)計的計算方法較為簡便，因此，擁有更加廣闊的市場推廣前景。但設(shè)計本身存在著能耗較大的問題，應(yīng)進(jìn)一步尋找更低消耗、更經(jīng)濟的分類器進(jìn)行數(shù)據(jù)處理，并不斷改進(jìn)規(guī)則分類算法，使其具有更大的存儲空間。

參考文獻(xiàn)

[1] 李凱，常征.基于云計算的并行數(shù)據(jù)挖掘系統(tǒng)設(shè)計與實現(xiàn)[J].微計算機信息，2017，27（6）：121?123.

[2] 黃成云，左明章，榮先海.基于云計算的移動學(xué)習(xí)系統(tǒng)設(shè)計[J].現(xiàn)代教育技術(shù)，2018，20（8）：102?105.

[3] 張少鳳，馬健，高凌潔，等.物聯(lián)網(wǎng)和云計算環(huán)境下關(guān)天經(jīng)濟區(qū)農(nóng)業(yè)信息服務(wù)系統(tǒng)設(shè)計[J].電子設(shè)計工程，2018，26（11）：33?36.

[4] 羅弦，查志勇，徐煥，等.基于云計算的大數(shù)據(jù)自動分類處理系統(tǒng)設(shè)計[J].計算機測量與控制，2017，25（10）：278?280.

[5] 衡軍，王新寧，衡輝.淺析基于云計算的實驗室管理信息系統(tǒng)設(shè)計[J].自動化與儀器儀表，2017，11（5）：65?66.

[6] 林靜懷.基于云計算的電網(wǎng)調(diào)度控制培訓(xùn)仿真系統(tǒng)設(shè)計[J].電力系統(tǒng)自動化，2017，41（14）：164?170.

[7] 金宇.基于云計算環(huán)境的大數(shù)據(jù)兼容性存儲系統(tǒng)設(shè)計[J].現(xiàn)代電子技術(shù)，2019，42（1）：24?27.

[8] 魏秀然.基于云計算的科普資源服務(wù)系統(tǒng)研究與設(shè)計[J].教育現(xiàn)代化，2017（41）：239?240.

[9] 王微.一種基于云計算的數(shù)據(jù)挖掘平臺架構(gòu)設(shè)計研究[J].電子制作，2017（15）：82?83.

[10] 溫賀平，柯居鑫，陳俞強.基于云計算的混合超混沌分組密碼方案研究[J].計算機測量與控制，2018，26（7）：153?156.

[11] 王曙霞，焦家林，黃志武.基于云計算的高校虛擬實驗云平臺設(shè)計[J].電腦與電信，2017，12（9）：5?7.

[12] 王春媚.多串口并行通信數(shù)據(jù)傳輸系統(tǒng)設(shè)計[J].現(xiàn)代電子技術(shù)，2017，40（4）：86?90.

[13] 郭晴，楊海霞，劉永泰.云計算環(huán)境下的復(fù)雜數(shù)據(jù)庫并行調(diào)度模型仿真[J].計算機仿真，2015，32（6）：360?363.