基于線程池技術的空間數(shù)據(jù)同步傳輸方法仿真

黃小平，張明軍，謝蓉蓉

(1. 廣州軟件學院網(wǎng)絡技術系，廣東 廣州 510990；2. 西安石油大學計算機學院，陜西 西安 710065)

1 引言

信息采集技術的迅猛發(fā)展使空間數(shù)據(jù)量快速增長，因此對數(shù)據(jù)傳輸提出更高要求。空間數(shù)據(jù)就是描述空間目標位置、形狀、大小以及分布特征的信息，具有定位、定性等特征。而空間數(shù)據(jù)的管理形式也從集中式管理發(fā)展為利用分布式系統(tǒng)管理海量數(shù)據(jù)。在分布式系統(tǒng)中，大多通過異步方式實現(xiàn)數(shù)據(jù)傳輸，該方法對時序要求較低，導致傳輸效率較低。近年來，一些學者研究了同步傳輸方法在空間數(shù)據(jù)傳輸中的應用。

江渝川[1]等人提出基于似然估計補償機制的數(shù)據(jù)同步傳輸算法。首先設置分層區(qū)域節(jié)點-子節(jié)點的數(shù)據(jù)傳輸結構，完成區(qū)域節(jié)點初始化；利用數(shù)據(jù)分子雙向交互方式建立似然估計補償機制，同時計算頻率與相位偏移程度；最后對子節(jié)點信息進行精確同步。王松明[2]將JESD204B協(xié)議的數(shù)模轉換器和現(xiàn)場可編程門陣列相結合，確定系統(tǒng)基本結構；分析數(shù)據(jù)傳輸延時情況，按照同步原理實現(xiàn)接收與發(fā)送多通道數(shù)據(jù)同步傳輸。

以上方法雖然可以實現(xiàn)數(shù)據(jù)同步傳輸，但是數(shù)據(jù)傳輸?shù)陌踩缘貌坏奖Ｕ稀榇耍疚睦镁€程池技術實現(xiàn)空間數(shù)據(jù)同步傳輸。線程的概念較為抽象，其涵蓋了一個計算機操作某項任務時所做的全部事件，屬于CPU上調(diào)度的程序狀態(tài)[3]。線程和進程有很大區(qū)別，進程是由代碼、數(shù)據(jù)和寄存器構成的，而線程則是由表示程序運行狀況的寄存器與棧構成，可以被普通用戶組成的線程庫訪問。由于同步傳輸是通過相同的時鐘節(jié)拍來實現(xiàn)數(shù)據(jù)發(fā)送，因此信號源碼之間的位置是固定的，因此必須確定線程池同步數(shù)據(jù)的時序圖[4]，構建統(tǒng)一的時鐘信號，建立收發(fā)方的密鑰機制[5]，只有這樣才能保證空間數(shù)據(jù)安全同步傳輸。

2 空間數(shù)據(jù)傳輸過程分析

2.1 傳輸系統(tǒng)結構

空間數(shù)據(jù)傳輸系統(tǒng)組成結構主要包括客戶、接口服務與儲存四個模塊，每個模塊之間相互協(xié)作，共同完成數(shù)據(jù)傳輸任務。

1)客戶模塊

客戶模塊是空間數(shù)據(jù)的發(fā)送方，位于各監(jiān)測站臺，由發(fā)送與傳輸控制協(xié)議[6](Transfer Control Protocol，TCP)加速兩個子模塊構成。發(fā)送端主要任務是數(shù)據(jù)的監(jiān)視、調(diào)度與執(zhí)行。如果有新的數(shù)據(jù)信息生成，發(fā)送任務會自動添加到發(fā)送列表，通過控制器進行調(diào)度；TCP子模塊的主要任務是控制數(shù)據(jù)傳輸速度。

2)接口模塊

接口部分屬于站臺和數(shù)據(jù)中心的通信接口，規(guī)定了訪問控制驗證、文件名更改、文件格式定義等數(shù)據(jù)傳輸協(xié)議。

3)服務模塊

服務模塊是空間數(shù)據(jù)傳輸?shù)慕邮辗剑ūO(jiān)聽器、接收器、文件池、控制器與數(shù)據(jù)處理引擎等設備。其中監(jiān)聽器收到訪問請求后，將任務分配給接收器；接收器負責數(shù)據(jù)接收，并將數(shù)據(jù)存放到文件池；控制器為處理引擎分配相應任務；處理引擎則對文件池中的數(shù)據(jù)做解析處理。

4)儲存模塊

數(shù)據(jù)儲存方法包括兩種，二進制[7]與圖片類型的數(shù)據(jù)通過文件形式保存到服務器中；記錄類的數(shù)據(jù)利用數(shù)據(jù)庫表的方式儲存。

2.2 數(shù)據(jù)傳輸過程分析

空間數(shù)據(jù)有助于相關人員了解空間環(huán)境，對保障空間安全具有重要意義。空間業(yè)務預報必須以大量的、真實的、多維數(shù)據(jù)為支撐，因此對數(shù)據(jù)傳輸過程提出如下要求。

1)空間數(shù)據(jù)傳輸必須滿足穩(wěn)定性需求，因此要求始終保持7×24小時穩(wěn)定傳輸。

2)不僅需要在較短時間內(nèi)傳輸海量數(shù)據(jù)，還要確保較高的發(fā)送速度，避免數(shù)據(jù)堆積。

3)針對數(shù)據(jù)發(fā)送端，傳輸中斷后可以自動補發(fā)數(shù)據(jù)；對于接收端，需保證數(shù)據(jù)完整程度。

為滿足上述要求，確定空間數(shù)據(jù)傳輸?shù)幕具^程如圖1所示。

圖1 空間數(shù)據(jù)傳輸過程示意圖

3 實現(xiàn)基于線程池的空間數(shù)據(jù)同步傳輸

3.1 分析線程池邏輯單元

基于上述對數(shù)據(jù)傳輸系統(tǒng)工作過程的分析，要想實現(xiàn)數(shù)據(jù)的同步傳輸，需引入線程池技術。線程處理最普遍的用例就是用戶界面，利用線程，用戶通過按鈕啟動程序，而并非讓用戶等待到任務結束后再響應。將線程池在數(shù)據(jù)同步傳輸中的使用共分為以下四個邏輯單元：

1)主線程

主線程首先需要完成任務類、線程管理類的構造與實例化，做好全部環(huán)境準備。為確保處理速度，再從數(shù)據(jù)庫中挑選出適量的數(shù)據(jù)進行處理，并將這些任務引入到隊列中。至此主線程任務結束，等待線程池并發(fā)處理，當獲得完成通知后重新挑選一定數(shù)量任務處理，直到全部同步傳輸任務均實現(xiàn)。

在主線程退出操作時，必須釋放各類目標以便安全退出。

2)管理線程

管理線程并不是程序中單獨的線程，在該類中，其關鍵技術是需要構建并同時啟動N個工作線程。為便于線程做單獨處理，這些線程需利用同一個目標對其保存，例如某些變量賦值、暫停與啟動線程等。

3)工作線程

工作線程即任務處理模塊，主要執(zhí)行的任務主要包括從隊列中獲取某項任務、結合任務項從數(shù)據(jù)庫中獲得初始數(shù)據(jù)、形成制定格式語句[8]、按照處理結果返寫標志四項內(nèi)容。

4)查詢線程

主線程創(chuàng)造了查詢線程，但在創(chuàng)建后必須等待主線程的喚醒成功后才能執(zhí)行，其主要任務為持續(xù)探測任務數(shù)量。查詢線程有助于確定任務處理進度，同時將處理情況通知主線程。如果得知全部任務均已完成，主線程會發(fā)出完成標志。

3.2 確定同步傳輸時序

確定線程池具備的四個邏輯單元后，需要進一步分析這些單元的處理邏輯時序。

1)線程池線路數(shù)量

對于線程池數(shù)量，通常情況下的計算公式為

N=ηCPU*2+2

(1)

其中，ηCPU為CPU數(shù)量。由式(1)可知，線程數(shù)量取決于CPU數(shù)量。在本文中，為充分使用數(shù)據(jù)庫讀寫時間，工作線程將在數(shù)據(jù)庫中反復讀寫，以達到并發(fā)處理目的。

2)任務列表同步

在數(shù)據(jù)同步傳輸過程中可能會遇到如下問題，隊列中的任務存在亂碼現(xiàn)象，和理想情況不同導致程序報錯。此種現(xiàn)象由于主線程與工作線程同時挑選隊列任務造成的。因此本文利用臨界區(qū)域技術，將兩個線程操作放入相同過程中讀寫。臨界區(qū)為某段獨占共享資源的訪問代碼，無論在任何時刻都只允許一個線程訪問共享資源。若存在多個資源同時訪問，則會有一個線程被掛起，直到進入臨界區(qū)的線程離開。這樣可以不僅保證隊列安全，應用程序也會減少出錯。

3)主線程進度獲取

主線程需要隨時了解已知任務的進展情況，但是若利用主線程直接監(jiān)測，通常會導致主進程鎖死。因此通過查詢線程監(jiān)測進度，并將監(jiān)測情況報告給主程序。詳細過程為：預定一個信息，主線程會對該消息做出反應，并且定義某個單獨計數(shù)器，當任務實現(xiàn)后計數(shù)器數(shù)值加1。通過比較計數(shù)器和任務數(shù)量來判斷任務進程，當計數(shù)器與任務數(shù)量相同時則表示該任務已完成。

圖2表述了線程池處理邏輯的時序圖。

圖2 線性池數(shù)據(jù)同步時序圖

3.3 空間數(shù)據(jù)同步傳輸

利用線性池方法確定同步傳輸?shù)臅r序后，為了使同步傳輸更加安全可靠，本文使用基于馬爾可夫決策過程的空間數(shù)據(jù)加密同步算法實現(xiàn)數(shù)據(jù)同步傳輸。

3.3.1 同步傳輸動態(tài)路徑獲取

在對空間數(shù)據(jù)同步傳輸過程中，需綜合分析時延與丟包率[9]對吞吐量造成的影響，結合最佳策略選取不同路徑進行數(shù)據(jù)傳輸，具體實現(xiàn)過程如下。

(2)

(3)

(4)

2)在傳輸路徑k上如果出現(xiàn)丟失狀況，則k中擁塞窗口cwk會減少到cwk/2；

(5)

(6)

(7)

(8)

在狀態(tài)i時選擇不同行動后的理想吞吐量表示反饋，理想吞吐量即為數(shù)據(jù)同步傳輸路徑的吞吐量，根據(jù)吞吐量情況選擇最佳傳輸路徑。

3.3.2 同步傳輸

將數(shù)據(jù)密鑰協(xié)商和同步傳輸相結合，使通信雙方彼此構成的密鑰協(xié)商數(shù)據(jù)進行分片，同時為每個分片加上時間戳，通過私鑰對數(shù)據(jù)內(nèi)容簽名[10]，完成全部數(shù)據(jù)的分片后利用上述選擇的最佳路徑傳輸空間數(shù)據(jù)，這樣不但可以保證傳輸?shù)耐叫裕€提高了數(shù)據(jù)傳輸安全性。詳細過程如下：

假設通信雙方A與B通過某條傳輸路徑已經(jīng)得到密鑰協(xié)商的公用參數(shù)p與g。則密鑰協(xié)商過程如下：

(9)

在所選的路徑上向B傳輸空間數(shù)據(jù)

(10)

式中，m′為數(shù)據(jù)傳輸?shù)姆制偭浚琓ai為每一條路徑的時間戳，可避免數(shù)據(jù)同步傳輸過程中受到攻擊，SA代表A的私鑰，ESA(kai，Tai，m′)描述A利用自身私鑰SA對數(shù)據(jù)進行簽名，以便接收方可以及時認證消息。B按照和A相似的過程進行同步數(shù)據(jù)傳輸加密分片：

(11)

在所選擇的同步傳輸路徑上向A傳輸如下數(shù)據(jù)

(12)

當通信方Tbi接收到數(shù)據(jù)Mj后，根據(jù)隨機數(shù)kb和Tbi判斷數(shù)據(jù)是否重放，如果重放則直接去除，反之通過對方公鑰進行簽名核實。則發(fā)送發(fā)A傳輸空間數(shù)據(jù)的流程如下。

發(fā)送方A采用數(shù)據(jù)密鑰Ka，b加密需要傳輸?shù)臄?shù)據(jù)，假設需發(fā)送的空間數(shù)據(jù)包為M′，C=EKab(M)代表經(jīng)過加密處理的數(shù)據(jù)密文，A將密文C分解為n″個子數(shù)據(jù)包，同時對數(shù)據(jù)包添加會話序號seq、塊標識i′與時間戳Ti′，則

(13)

接收方B接收數(shù)據(jù)流程為，B接收到數(shù)據(jù)后，按照認證碼對空間數(shù)據(jù)進行認證，通過認證后根據(jù)塊標識對數(shù)據(jù)包做解碼處理，恢復明文數(shù)據(jù)包，實現(xiàn)數(shù)據(jù)同步且安全傳輸。

4 仿真數(shù)據(jù)分析與研究

為證明所提傳輸方法的有效性，在如圖3所示的拓撲網(wǎng)絡中進行仿真。實驗參數(shù)如表1所示。

圖3 仿真拓撲結構圖

表1 實驗參數(shù)表

將大小不同的數(shù)據(jù)通過本文方法、文獻[1]、文獻[2]方法進行同步傳輸，記錄每次傳輸?shù)臅r間，測試結果如表2所示。

表2 不同方法數(shù)據(jù)同步傳輸所需時間記錄表

由表2可知，當空間數(shù)據(jù)小于5kB時，三種方法同步傳輸所需時間均相同，沒有出現(xiàn)明顯差異。但隨著數(shù)據(jù)量的不斷增大，本文方法的傳輸速率優(yōu)勢較為明顯，當空間數(shù)據(jù)達到200kB時，本文方法的傳輸時間為58.12×10-3s，而文獻[1]方法和文獻[2]方法分別為61.34×10-3s和67.23×10-3s。這是因為基于線程池技術的傳輸時序圖發(fā)揮出重要作用，具有較強的處理邏輯可以減少同步傳輸時間。此外為證明不同方法的傳輸安全性能，對累計傳輸錯誤率進行對比試驗，試驗結果如圖4所示。

圖4 不同方法同步傳輸累計錯誤率

由圖4可知，本文方法的累計錯誤率最低，最高為數(shù)據(jù)140kB時的0.12%，比文獻[1]方法和文獻[2]方法在數(shù)據(jù)140kB時的0.18%和0.3%累計錯誤率更低。這是因為本文在傳輸過程中加入密鑰機制，可以有效保證數(shù)據(jù)安全性，減少錯誤傳輸概率。

5 結論

為滿足空間數(shù)據(jù)傳輸對速度與安全性的要求，本文將線程池技術與基于馬爾可夫的空間數(shù)據(jù)加密算法相結合，設計一種同步傳輸方法。

1)該方法對于不同大小的空間數(shù)據(jù)均能快速傳輸，當空間數(shù)據(jù)達到200kB時，本文方法的傳輸時間為58.12×10-3s。

2)本文方法的累計錯誤率最低，最高為數(shù)據(jù)140kB時的0.12%，相較于對比方法累計錯誤率更低，更能保障數(shù)據(jù)安全。

3)雖然線程池技術擁有強大的處理能力，但是也存在一定風險，其應用程序容易受到其它多線程的破壞，導致死鎖。當處理較長時間的并發(fā)任務時，還需改善其性能，使其具有更加廣闊的應用前景。