基于P2P的分布式遙感影像分發系統設計

杜佳恒 王棟 趙亞萌 臧文乾 宋奇

摘要：隨著遙感行業的發展，單一遙感數據越來越多，數據需求量也日益增大。遙感數據分發中心需要提高對外分發能力才能應對日益增長的數據分發請求。鑒于遙感數據分發中心的網絡帶寬有限，設計了一種基于P2P的分布式遙感影像分發方案。構建資源鏡像節點，每個節點在分發過程中同時從多個資源鏡像獲取數據，并且分發節點也作為資源鏡像為其它節點提供數據，有效緩解了中心的分發壓力。同時，實現了一種監測端到端網絡傳輸速率的分發機制，加快了當前節點的任務處理速率。

關鍵詞關鍵詞：遙感數據；P2P；資源鏡像；傳輸速率

DOIDOI：10.11907/rjdk.161448

中圖分類號：TP319文獻標識碼：A文章編號文章編號：16727800（2016）007007403

0引言

遙感數據作為重要的信息資源，不僅需要妥善地加以保存，更需要盡可能多地向各類用戶進行分發和共享，使數據活用起來，實現其更大價值。隨著遙感技術的發展，遙感圖像文件越來越大，各行業對遙感數據的需求量也越來越多，使得遙感數據中心對外分發數據量大增。面對大量的分發需求和中心有限的網絡帶寬，研究如何快速高效地對外分發數據變得越來越迫切。

鑒于遙感單一影像文件大、總體數據海量的特點，針對如何保證遙感數據分發系統能有序、規范、高效地為各行業用戶提供共享數據問題，沈夏炯、張振鵬實現了一種基于單隊列控制模式的分發方式。遙感數據集中存儲在數據分發中心，由數據分發中心的數據庫管理系統負責對其進行統一整理、存儲和統計，所有的分發請求按先后次序排隊處理。此時，網絡帶寬壓力主要集中在數據分發中心，在老分發請求未處理完的情況下新請求將會處于掛起狀態，隨著分發請求的增多，積壓的分發量也越來越大。

針對數據分發量越來越大而分發效率逐漸降低的弊端，結合現有系統架構，本文基于P2P技術構建資源鏡像節點，實現了一種基于P2P的分布式遙感影像分發方案，提出并實現了一種監測端到端網絡傳輸速率的分發機制。

1分布式遙感影像分發方案

1.1分發結構改進

遙感影像數據與諸如視頻、音頻、安裝包等常用且重復率高的數據不同，如果構建P2P共享網絡，則使用頻率高的資源會在共享網絡中大面積覆蓋。由于需要遙感數據的用戶存在行業、地區差異，因而同一個遙感數據一般只被一個終端下載。如果采用多個終端（BT客戶端）之間共享策略，數據的實際共享率實際上并不高，最后數據仍需從分發中心獲取。

鑒于上述原因，本文采用混合式對等網絡＼[23＼]的思想設計由中心管控節點管理和記錄索引信息，各分發節點存儲資源數據的分布式遙感影像分發架構。預先將已有的一部分遙感數據分散地存儲到各分發節點，分發節點也作為資源節點，同時也為其它分發節點提供資源，形成一個大的資源共享網絡，如圖1所示。

改進后，每個資源節點都是中心節點的鏡像或是部分鏡像，新的分發請求可以將壓力分散到不同的分發節點上，以緩解中心節點的一部分壓力。當中心節點生產出新數據時，在任務空閑時選擇當前網絡狀況最好的分發子節點傳輸新數據，逐步將新數據分散出去。這樣新數據請求在各分散節點的命中率會更高，總體分發效率也會更好。

1.2中心節點數據索引

中心管控節點負責存儲各子節點資源索引，當沒有子節點存有所需數據時，則中心節點還需要作為唯一的分發節點將數據分發到其它節點。分發中心存有數據的元數據信息即索引信息，包括數據名、數據所在節點服務器地址、數據大小等元數據信息。

1.3數據分塊及傳輸機制

為了從不同節點上獲取同一數據資源，需要將整個資源文件進行分片，下載節點從不同的資源節點獲取不同位置的數據片，最后合并成完整的文件。每個分發節點設計數據獲取網絡接口：

輸入：給定文件名和起始字節數以及需要字節數。

輸出：資源的相應部分加密后的字節流。

下載方通過調用WebService網絡接口的方式從數據提供方獲取所需要的數據片段。下載節點先根據資源碎片號和分片大小確定需要獲取文件的起始文件位置和終止文件位置，從數據資源節點獲取加密過的文件碎片信息，接收成功后解密寫入碎片文件。全部接收完成后將所有碎片文件合并為原始的資源文件。傳輸過程如圖2所示。

2.1網絡傳輸速率檢測

由于不同分發節點部署的地理位置以及接入的ISP（網絡提供商）不同，因而網絡帶寬一般有所差異，它們的分發能力也不一樣。還有一些節點ISP分配的帶寬很高，但其所處的網絡環境導致實際可用帶寬并沒有那么穩定。因此，在分配分發任務時檢測當前節點和配對節點當前端到端的可用帶寬很有必要。為了保證總體分發效率最高，系統根據分發任務處理過程中檢測端到端可用帶寬并根據當前傳輸速率動態調整分發任務，讓系統整體網絡利用率更高。

2.2中心調度

中心節點在單隊列控制模式的分發調度基礎上，在其分發任務處于空閑的情況下，執行新數據推送任務。推送任務選擇傳輸速率最高而又需要存儲新鏡像的節點，對其推送最新數據。

具體調度流程如下：①檢測中心節點控制隊列是否有分發任務，如有則等待，沒有則轉②；②中心節點各分發節點發送數據包，根據響應時間確定網絡傳輸速率，選擇速率最優的節點；③查詢所選擇的節點，看中心索引是否將近一個月的數據全部存儲完畢，有則選取速率次之的節點繼續③；④選擇最新的一景數據推送到所選擇的節點，推送完畢后繼續①。

分發節點接到用戶下載請求后，如果自身節點沒有所需要的資源，則查詢中心索引得到存有該資源的其它節點信息，然后開啟多個線程從不同節點主動拉取，并根據耗時動態調整線程數，讓更多線程從速率快的節點下載。

步驟1：資源獲取節點查詢中心索引信息，確定資源基本信息和資源分布情況。假設資源大小為S，每塊大小為s，可提供資源節點數為n，可以提供資源的節點為N1、N2……Nn。

步驟2：資源信息初始化。計算出分塊數b。定義節點已經獲取的片段數Ns1、Ns2…Nsn為0，以及片段從該節點傳輸平均耗時t1、t2……t3為-1，最大線程數為m。

步驟3：同時開啟thread1、thread2…threadn（n為可提供資源節點數）線程不斷獲取下一個片段。任何一個線程只要片段獲取任務完成，便可統計出其耗時為T。重新計算該節點片段獲取平均耗時并將已經獲取片段數加1。ti=Nsiti+TNsi+1步驟4：當線程中一次片段獲取任務完成時，比較t1，t2……tn找出最少時間對應的Ni，再開啟一個線程從Ni節點獲取一個新片段直到Ni節點占用的線程數到最大指定數m。如果片段獲取失敗，則將該片段號寫入錯誤棧并對該片段資源提供節點的平均耗時進行處理修改。該節點的平均耗時為最大平均耗時ti=max{∪nj=1tj}。

步驟5：當b數量的片段都進行過一次任務調用，檢查錯誤棧，如果存在沒有成功獲取的片段，則對于錯誤棧中的片段從步驟3開始重新獲取。

步驟6：所有片段都成功獲取完成后，對b個片段文件進行合并操作。新建一個以資源名為文件名的文件，使用隨機讀寫的方式將每一個片段寫進文件對應的位置。

3實驗測試

3.1實驗環境

為了驗證本文提出的數據分發方式的實用性，選擇以下測試環境和系統初始環境進行模擬實驗：

測試環境：千兆局域網內4個分發節點，中心節點Nc，限制其上傳、下載速率Vc為1m/s；分發節點N1，限制其上傳、下載速率V1為512k/s；分發節點N2，限制其上傳、下載速率V2為1m/s；分發節點N3，限制其上傳、下載速率V3為2m/s。

初始條件：中心節點錄入5，景數據大小S約為2 122M，3個用戶分別從N1、N2、N3這3個節點依次提交下載請求。統計數據從中心節點分發到所在節點的等待時間。

3.2單隊列控制模式

該模式理論上是用戶從所在節點將請求提交到中心節點，然后中心節點按先后次序依次推送到其所在節點，最后用戶將其下載到本地。其理論等待時間Ti為：Ti=∑i-1j=1Tj+Smin{Vc，Vi}（Tj為隊列中第j個任務處理時間）其理論等待時間和實際等待時間如表1所示。

本文實現中心節點主動監測，其在上行帶寬不滿的情況下向資源占有率不滿的節點推送新數據。分發節點根據資源在系統中的分布位置從不同節點獲取數據，最后合并資源供用戶下載。因為數據是動態傳輸方式，所以其理論等待時間Ti存在最壞情況和最好情況，實際等待時間大致處于二者之間。

最壞情況下，資源只存在于中心節點Ti=∑i-1j=1Tj+Smin{Vc，Vi}；最好情況下，資源平均分布在其它節點Ti=Smin{Vi，∑mj=1Vj}（m為有該資源的節點數）。

如果添加多個節點作為鏡像站，∑mj=1Vj理論值可以是無限大，則單一節點獲取數據的速率只取決于其自身網絡傳輸速率Vi。實際等待時間如表2所示。

表2實際等待時間用戶所在

節點節點最大上傳速率（k/s）節點最大下載速率（k/s）數據總大小（M）等待時間（傳輸時間）（s）User1N15125122 1224 763User2N21 024 1 0242 1226 374User3N32 0482 0482 1225 5764結語

經過理論分析和實驗驗證，構建資源鏡像節點，讓分發任務從多個節點獲取數據，并且選擇網絡傳輸速率最好的節點盡可能多地獲取數據能使得分發任務平均等待時間縮短。在實際環境中，只要在廣域網大量部署分發節點并存儲一部分中心節點資源鏡像，需要數據的行業和機構作為分發節點只需提高自身網絡帶寬就可以擁有相應的數據獲取能力。

參考文獻：

高斌.高分辨率遙感影像共享關鍵技術研究與實現.成都：電子科技大學，2014.

王學龍，張璟.P2P關鍵技術研究綜述[J].計算機應用研究，2010（3）：801805.

何帥.P2P文件共享系統的設計與實現.武漢：華中科技大學，2012.