基于對等網絡的多分辨率影像的網絡傳輸模型

婁書榮,孟令奎,方 軍,夏輝宇

武漢大學遙感信息工程學院,湖北武漢430079

隨著遙感技術的飛速發展,遙感影像數據的分辨率不斷提高,影像數據以幾何級數速度增長,影像的數量達到TB級,甚至PB級。同時遙感影像的應用領域更加廣泛,人們對各種分辨率的影像的需求也更加迫切,對影像數據的傳輸提出了更高的要求。目前的網絡傳輸模型大多基于客戶端/服務器結構,此模型在用戶較少的情況下能滿足用戶的需要,但是隨著用戶數量的不斷增長,服務器的性能和網絡帶寬容易成為系統的瓶頸。

當前影像網絡傳輸共享的主流軟件,如Google Earth和World Wind等,都是集中式的服務器/客戶端架構。Google Earth通過服務器端的高性能硬件和強大的技術支持,實現了較好的影像傳輸性能。然而在客戶端仍然有很大的可利用資源,以提高傳輸的性能。對等網絡(P2P)技術可以充分利用客戶端的資源和網絡帶寬,降低服務器的負載和軟硬件性能需求,降低服務器性能需求。

目前,基于P2P的影像網絡傳輸共享引起了諸多學者的關注。文獻[1]討論了空間影像數據網絡共享的拓撲結構,并且提出影像瓦片標識方法和基于空間網格索引的影像瓦片定位方法。文獻[2]設計一種混合式對等網絡模型下的地形數據傳輸機制PeerVOLT,通過同組成員節點間交換地形數據和緩沖映射表共享地形數據,實現了以較小服務器代價進行大規模地形數據的傳輸。文獻[3—4]提出P2P海量地形漫游瓦片調度算法,并對節點進行分組,考慮了節點間的物理網絡關系,并采用隨機的鄰近節點選擇策略。然而,當前基于P2P的影像傳輸的研究在兩方面有待進一步優化,一是當前研究只是考慮節點間的物理網絡關系或者只考慮節點的興趣信息,沒有根據空間影像的區域特性將兩者有效結合;二是當前的臨近節點選擇方法,大多是基于隨機選擇的方式,缺少對較優鄰近節點和節點間歷史傳輸參數信息的考慮。

本文針對當前基于P2P影像傳輸的研究所存在的問題,結合空間影像數據空間區域分布和用戶地域分布特征,針對位于同一地理區域的多個節點下載同一區域的影像數據的概率較大,同一用戶對同一地理區域的影像多次瀏覽的概率較大的特點,提出一種基于P2P的多分辨率影像傳輸模型。在遙感影像分級分塊的基礎上,該模型通過構建基于興趣區域分組的多追蹤器覆蓋網絡,實現了基于興趣區域和物理網絡關系的節點分組加入算法和考慮節點間的差異性和下載效率歷史信息的鄰近節點選擇算法。通過模擬試驗證明了模型中鄰近節點選擇的逐漸優化性能,并開發了原型系統IMAGEP2P。測試表明系統運行穩定,能夠滿足用戶的要求,并且在多用戶并發訪問時與傳統的客戶端/服務器的模式相比,該模型的服務器負載明顯下降,多分辨影像數據的平均傳輸速率顯著提高。

1 基于P2P的多分辨率影像數據的傳輸模型

P2P在多個領域的成功應用充分展示了它在數據傳輸共享應用中的優勢,因此,可以將 P2P和空間影像數據結合起來建立傳輸模型,充分發揮各客戶端的作用,減輕服務器負載,提高傳輸的效率。P2P文件傳輸中文件分塊的數據普遍是無序下載的,一般類型的文件需要下載完所有的分塊之后才能使用。但是,對于遙感影像來說,利用遙感影像分塊方法分塊之后,只要用戶獲得單塊影像數據,在下載其他影像塊的同時,便可以先對已經下載的影像塊進行顯示瀏覽,縮短了用戶的等待時間。本文借鑒在文件共享領域應用成熟的Bit Torrent技術的追蹤器機制[5],并對其模型進行擴展,在影像下載客戶端與影像數據服務器之間建立多追蹤器機制,形成一個完整的基于P2P的影像數據傳輸模型。

1.1 模型體系結構

基于P2P的多分辨率影像傳輸涉及影像數據的存儲與管理、P2P節點的監控與調度、P2P節點的數據下載、用戶的影像瀏覽顯示和相關的安全與傳輸標準等功能,各個功能之間具有明顯的層次關系,既相互獨立又相互協同。影像的存儲與管理為客戶端的影像下載提供數據基礎,P2P節點的監控與調度負責P2P節點下載服務器的影像數據以及P2P節點之間的影像互傳,P2P節點的數據下載為上層用戶的影像瀏覽顯示提供數據,安全與傳輸標準涉及各個功能。

將傳輸模型劃分為四層結構:數據服務器層、P2P追蹤器層、P2P節點層和用戶層,如圖1所示,各層獨立負責不同功能,下層為上層提供服務,每一層內的各個單元又相互協同。

圖1 P2P影像傳輸模型體系結構Fig.1 Architecture of image network transmission model based on P2P

數據服務器層主要負責影像數據的多分辨率分層分塊管理,為上層應用提供影像數據。P2P追蹤器層主要負責監測P2P節點層的各個客戶端的狀態,記錄下載信息,并合理調度P2P節點資源的有效利用,為上層應用提供服務,層內將各個P2P追蹤器劃分管理不同的地理空間區域,并相互協同。P2P節點主要負責影像數據的下載、緩存和相互共享,為用戶層提供數據支持,層內各個P2P節點在本地開辟空間數據緩存區來存儲接收的影像數據,為同層其他P2P節點提供影像數據下載源。用戶層主要負責影像的瀏覽與顯示。

1.2 網絡模型

C/S模式有易于管理、安全的特點,但是服務器和網絡負載過于集中,難以擴展。P2P模式把數據負載分布到多個節點,擴展性好,適應大量用戶使用的需要,并且在文件共享領域具有較成熟的應用技術,文獻[6]提出基于多追蹤器集群的P2P網絡模型,并設計了基于物理網絡的鄰近節點加入算法。本文針對影像數據本身具有的空間區域特點,設計了基于多追蹤器機制的節點分組網絡模型,如圖2所示。

圖2 基于P2P的影像傳輸網絡模型Fig.2 P2P based network model for image transmission

基于多追蹤器機制的節點分組網絡模型是將模型中的所有追蹤器組成一個超級網絡,各個追蹤器根據地理空間范圍負責管理不同的影像區域,追蹤器之間通過內部控制機制定期的交換負載信息和所記錄節點的影像下載參數信息,并定期地對P2P節點所感興趣的遙感影像區域范圍進行評估,將其轉移到空間區域相同的興趣組中。在P2P節點加入的初始階段,或者未知節點的興趣范圍,則將其加入到離自己物理網絡最近的組中。

P2P追蹤器動態跟蹤監測系統的各個節點運行情況,調度請求數據的節點向正在運行并且擁有所需影像塊的節點請求數據。當節點請求數據時,P2P追蹤器預先選擇臨近并且最優的節點供其下載,并且記錄各個節點已經下載的影像信息及節點總的下載量和上傳量等相關信息。

2 模型實現機制與優化策略

在模型創建的過程中,涉及多個技術問題。影像數據的分級分塊編碼及查詢方法,關系到影像塊查找和傳輸的效率;節點的分組加入機制,可以縮短節點間物理網絡距離,提高節點互傳的效率;鄰近節點選擇算法,根據節點下載的歷史信息選擇交互較好的節點下載數據。本節分別對以上這些關系到數據傳輸效率的技術問題進行討論。

2.1 影像數據的分級分塊編碼及查詢

在日常生活中,人們查看影像地圖時,習慣于首先查看地圖的整體概略信息,然后找到感興趣的區域,查看詳細信息。因此,當客戶端瀏覽影像的時候,開始時向節點傳輸較低分辨率的影像,以供其查看較大范圍的概略信息,當選定感興趣區域時,再向客戶端傳送相應區域的高分辨率影像。

影像分塊和影像金字塔是影像數據管理的核心內容。一幅影像數據量太大,難以滿足實時調度的要求,需將分幅的影像分塊存放。同時,隨著瀏覽比例尺縮小,需要看到更抽象的影像,如果直接從底層數據抽取,速度太慢。所以需要建立影像金字塔,可根據不同的顯示情況調用不同金字塔層次上的數據。因此,遙感數據的存儲應以原始圖像為基礎,建立多級圖像金字塔,便于影像瀏覽與顯示。

影像分塊的大小會影響系統的有效性能,如果數據塊太大,則可能導致讀取過多的不在目標范圍內的多余數據。如果數據塊太小,減少了冗余數據,但卻增加了存取操作的次數,不利于數據的存取。本文對影像金字塔的各層,采用2×2影像采樣方法進行處理,得出上層影像數據。然后對每層進行分塊,利用塊狀劃分的方法將影像數據按照格網劃分成影像小塊,對于像素矩陣的邊緣部分,像素矩陣的行列數大小小于分塊尺寸大小的情況,采用ArcSDE中采用的邊緣補零方法,將數據塊大小分別分為64×64像素、128×128像素或者256×256像素進行試驗。

影像塊的空間編碼是對分級后劃分的影像塊進行組織,是將二維的對象空間按照編碼函數映射到一維空間的過程。本文采用“金字塔級別-行號-列號”的形式對影像塊進行編碼,如圖3所示。

圖3 影像分層組織及編碼結構Fig.3 Hierarchical organization and coding structure of images

在進行空間查詢時,根據空間查詢范圍QR和影像金字塔級別 PL,首先計算出所包含的影像編號,再根據原始影像的空間范圍 ImageR、分塊大小(TileWidth,Tile Hight)、當前影像層次的分辨率大小(TileR)(可以通過原始影像金字塔的分辨率和當前影像的金字塔級別計算得出)和當前影像所覆蓋的查詢范圍 ImageQR,利用以下公式可以計算得出查詢的本幅影像所包含的行列號范圍(Rowmin,Rowmax,Colmin,Colmax)。

通過以上公式計算出的影像行列號可以唯一確定查詢的影像塊編碼,使得系統可以根據用戶瀏覽的坐標范圍和影像金字塔的級別快速計算出用戶想要下載的影像塊信息。

2.2 模型的優化機制

2.2.1 節點的分組加入機制

目前的節點分組加入方法主要是針對普通文件的,例如文獻[7—8]等通過分組,節點隨機加入組中,文獻[9]提出按興趣進行分組,節點按興趣加入不同的興趣組。這些方法只是單獨考慮節點的物理網絡關系或者節點的興趣信息,都在一定程度上提高節點間數據傳輸的效率。本文針對影像數據傳輸瀏覽的特點,將兩者結合起來,提出既考慮節點的物理網絡關系又考慮節點的興趣區域信息的節點分組加入機制。

影像瀏覽節點加入時,首先希望加入物理網絡上距離自己最近的追蹤器組,提高與追蹤器的交互效率的同時,尋找物理上相近的節點作為鄰近節點下載數據。同時,用戶瀏覽影像數據具有區域性特點,節點也希望與自己影像區域興趣相同的節點成為一組,便于尋找和發現與自己交互較好的鄰近節點,并保持長期的鄰近關系。系統為每個追蹤器分配一定的影像區域。

定義1:節點集 SU={U1,U2,U3,…,Un}。式中,Ui(1≤i≤n)為單個節點;追蹤器集為S P= {P1,P2,P3,…,Pm}。式中,Pj(1≤j≤m)為單個追蹤器。

定義2:Dist(Ui,Pj),節點Ui與追蹤器 Pj的網絡連接延遲時間。

定義3:節點Ui=〈ID,Phy N,IntN,Uneb〉。式中,ID為本節點唯一標識;Phy N標識該節點所屬的物理網絡追蹤器 Px(1≤x≤m),IntN標識該節點所屬的興趣區域組追蹤器 Py(1≤y≤m),Uneb為與本節點交互較好的前30個節點的集合。

新節點Uk加入算法描述如下:

第一步,測量各個Dist(Uk,Pi)(1≤i≤m);

第二步,求 min(Dist(Uk,Pi))的追蹤器 Px,然后加入該組,將Uk的Phy N設置為Px;

第三步,通過多次下載,分析最近幾次節點下載影像的興趣區域,查找到該區域的追蹤器編號 Py;

第四步,將Uk的IntN設置為 Py,供以后連接使用。

普通節點首次加入時,首先向所有的追蹤器發送消息,測試自己與各個追蹤器的延遲信息,并從中選擇延遲最小的作為本節點的默認追蹤器。如果節點是再次加入,則節點首先通知所有P2P追蹤器當前節點在線,使其他節點能夠向本節點請求緩存的影像數據。當節點離開時,通知所有P2P追蹤器本節點即將離開,即通知追蹤器本節點將暫時不能為其他節點提供數據上傳服務。當節點在線時,如果節點與默認的P2P追蹤器在一定時間內沒有消息往來,則節點采用心跳機制測試自己的連接狀態,并使得P2P追蹤器能清楚地判斷節點的在線狀態,以防止由于節點的意外丟失,而沒有及時改變節點的在線狀態,當P2P追蹤器發現節點未事先通知而離開時,則該P2P追蹤器通知其他P2P追蹤器該節點處于離線狀態。

2.2.2 鄰近節點選擇算法

遙感影像數據具有空間區域特點和用戶地域分布特點,位于同一地理區域的多個節點下載同區域的影像數據的概率較大,同時,節點感興趣的遙感影像區域范圍具有固定性特點。因此,節點選擇鄰近節點既要考慮節點的物理網絡距離,同時又要考慮影像下載區域興趣相同的節點,以保持長期的信息互換。節點請求影像時,P2P追蹤器在同一興趣區域組中選擇鄰近節點,并在這些節點中優先選擇屬于同一物理網絡區域的節點。

節點在下載影像數據的同時,記錄與鄰近節點的交換參數信息,例如節點連接的延遲時間、數據傳輸的平均速度和節點的興趣區域等信息,并對節點交互效率由高到低進行排序,更新該節點的Uneb集合信息。當節點再次請求數據時,將追蹤器發來的鄰近節點列表,與節點記錄的Uneb集合進行對比,盡量選擇歷史記錄參數較好的節點作為請求的目標節點,同時也選擇部分新節點作為鄰近節點,使得用戶能夠進一步查找與自己交互更好的節點。因此,節點在多次影像瀏覽以后,能夠找到性能局部較優的節點作為鄰近節點。

鄰近節點的選擇算法描述如下:

第一步,追蹤器根據節點Uk請求的影像區域,查找當前在線的擁有該區域影像的多個節點{Uu,Uv,…,Uz},并優先選擇與節點同屬于Phy N的節點作為其鄰近節點;

第二步,節點Uk收到追蹤器的鄰近節點列表后,首先與自己記錄的傳輸歷史較好的節點Uneb集合進行對比,優先選擇Uneb中擁有的節點,并隨機選取Uneb中沒有的少數節點,組成鄰近節點,請求數據;

第三步,請求完成,及時更新與各個鄰近節點交互的參數信息,對鄰近節點交互效率由高到低進行排序,更新本節點的 Uneb集合,供以后使用。

對于熱點區域影像數據,盡量依據上述機制從鄰近節點獲取數據,并控制各節點的上載量,限制節點的上傳連接數,避免由于上傳數據而降低自身性能的問題。而對于沒有或者較少有節點下載的影像區域,P2P追蹤器首先調度負載較輕的數據服務器為節點提供下載,并且P2P追蹤器優先選擇整個系統中最少的影像塊下載,而在系統中相對較多的影像塊,放在后面下載,從而使影像塊均勻的分布于系統中,降低影像塊分布不均衡從而降低下載速度的風險。

3 模擬試驗和系統原型測試分析

3.1 模擬試驗

用模擬的方法對鄰近節點選擇算法進行測試,利用網絡延遲矩陣文件meridian-matrix中的網絡延遲信息,分別構建基于100個和500個節點作為興趣組的覆蓋網絡。對系統多次運行時鄰近節點選擇的優化性能進行測試,對100次請求,每次請求選擇5個鄰近節點的情況進行測試,記錄每次選擇的各個鄰近節點與本節點的網絡延遲信息,求平均值,并對每十次請求再進行平均值計算,即對第1～10、第11～20、第21～30、…、第91～100次,各取十次的平均值,得出結果如圖 4所示。

圖4 節點多次請求時模型選擇鄰近節點的網絡延遲趨勢圖Fig.4 Trend chart of network delay of adjacent nodes selected block when a node requests the data many times

從圖4測試結果可以看出,開始時,追蹤器選擇的鄰近節點對于節點來說大部分是沒有交互記錄的時候,會出現鄰近節點性能不穩定的情況,但是,隨著用戶請求的次數增加,節點對鄰近節點的經驗信息將會發揮作用,鄰近節點的選擇性能將會變得越來越好。

3.2 原型系統測試與分析

利用VS2005(C#)語言,設計并開發了原型系統 IMA GEP2P,包括瀏覽客戶端、P2P節點、P2P追蹤器和數據服務器四個模塊。以分辨率為0.2 m的DPGRID影像作為試驗數據,對影像建立金字塔,然后對各分辨率的數據按256×256像素(大小為192 K)、128×128像素(大小為48 K)和64×64像素(大小為12 K)分塊,試驗對不同分塊大小的影像分別進行測試。在同一局域網絡內,一臺計算機運行數據服務器、一臺計算機運行P2P追蹤器、另外五臺計算機運行P2P節點。

試驗分別利用客戶端/服務器模式和 IMAGEP2P系統進行影像數據瀏覽。記錄單個P2P客戶端下載同一區域的2 000個影像塊的平均耗費時間,然后取平均得出單個客戶端單塊下載時間,結果取10次試驗的平均值。

基于客戶端/服務器模式的影像下載方法,在同時下載的用戶相對較少時,下載的速度比IMAGEP2P系統快,然而當同時下載用戶較多時,下載的平均速度較慢,試驗結果如圖5所示,分別為256×256、128×128和64×64像素分塊方法與傳統的客戶端/服務器方式的比較。

由圖5可知,當同時請求的節點數較少時,基于IMAGEP2P的下載模式,P2P追蹤器的處理時間降低了影像的平均傳輸效率,使得 IMAGEP2P模式影像塊下載的平均速度較慢。當請求的節點較多時,請求節點的部分影像塊可以通過在其他臨近節點獲得,而基于客戶端/服務器的模式增加了服務器的響應和傳輸時間,使得IMAGEP2P模式下載的平均速度較快。例如,當分塊大小為128×128像素(大小為48 K),四個節點同時請求同一區域數據時,IMAGEP2P模式的平均傳輸效率已經高于客戶端/服務器模式了。因此,當大量的用戶同時進行影像瀏覽時,基于IMAGEP2P的下載模式,影像塊的傳輸效率遠遠高于傳統的客戶端/服務器模式。從服務器的負載角度來看,IMAGEP2P模式增加了P2P追蹤器的處理和調度功能,增加了 P2P追蹤器的負載,進而明顯降低了數據服務器的數據傳輸量,很大程度上減輕了數據服務器的負載。

圖5 不同模型單個影像塊傳輸時間與傳統客戶端/服務器模式對比圖Fig.5 Comparison chart of transmission time of a single image block traditional client/server mode for different models

隨著系統的長時間穩定運行,對于影像瀏覽熱點區域,瀏覽的用戶越多,擁有該區域影像的節點相對也越多,使得該區域的影像下載速度較快。而對于較少有用戶瀏覽的區域,影像下載較慢,但仍然能夠滿足瀏覽需求。當系統趨于穩定時,對于分辨率的較低的數據,由于下載的用戶較多,各個節點下載的速度較快,而對于節點下載較少的高分辨率的影像塊,擁有的該數據的節點數較少,使得下載速度相對較慢。

3.3 原型系統影像瀏覽

從低分辨率影像概略瀏覽到高分辨率的影像的詳細顯示結果如圖6所示,分塊大小為64×64 (12 K)像素,圖6(a)為大范圍較低分辨率的影像圖,圖6(b)為較小區域的中分辨率的影像圖,圖6(c)為小區域的較高分辨率的影像圖,圖6(d)為小區域的高分辨的影像圖。

圖6 多分辨率影像瀏覽圖Fig.6 Multi-resolution image browsing map

4 結 論

主要討論基于P2P的多分辨率影像數據的網絡傳輸模型,對模型的體系結構、實現機制和優化策略進行詳細的闡述,并設計原型系統IMAGEP2P。通過模擬和試驗論證模型的可行性。試驗結果證明鄰近節點選擇算法的可行,系統運行穩定,在多個用戶并發請求影像時,與傳統的基于客戶端/服務器模型相比,IMAGEP2P顯著地提高了影像傳輸的效率,很大程度上減輕了數據服務器的負載。在P2P影像系統中,影像數據的來源不再局限于服務器,非法的用戶可以繞開服務器,直接向用戶端發起連接,使得非法用戶接入某一合法用戶后,同樣可以獲得影像數據,如何保證影像數據的安全性將是進一步研究的內容。

[1] LIU Yi,GONG Jianya,WU Huayi.P2P Based Efficient On-Line SpatialImages Delivery[C]∥Geoinformatics 2007:GeospatialInformation Technology and Applications.Nanjing:SPIE,2007.

[2] YU Zhanwu,ZHENG Sheng,LI Zhongmin.A Large-scale Terrain Transmission Mechanism Based on Hybrid P2P[J]. Acta Geodaetica et Cartographica Sinica,2008,37(1): 243-250.(喻占武,鄭勝,李忠民.一種混合式P2P下的大規模地形數據傳輸機制[J].測繪學報,2008,37(1): 243-250.)

[3] PAN Shaoming,YU Zhanwu,L I Rui.Tile Scheduling Algorithm Based on Active Cache in P2P Massive Terrain Navigation[J].Acta Geodaetica et Cartographica Sinica, 2009,38(3):236-249.(潘少明,喻占武,李銳.基于主動緩存的P2P海量地形漫游瓦片調度算法[J].測繪學報, 2009,38(3):236-249.)

[4] PAN Shaoming,YU Zhanwu,WAN G Hao.Massive Terrain Data Sharing in Pyramid Hierarchical Peer-to-Peer Networks[J]. Geomatics and Information Science of Wuhan University,2009,34(6):650-653.(潘少明,喻占武,王浩.基于節點分組的P2P海量地形數據共享機制[J].武漢大學學報:信息科學版,2009,34(6): 650-653.)

[5] COHEN B.Incentives Build Robustness in BitT orrent[C]∥Proceedings of the 1st Workshop on the Economics of Peerto-Peer Systems.Berkeley:[s.n.],2003.

[6] XIAO Bin,YU Jiadi,SHAO Zili,et al.Distributed Proximity-aware Peer Clustering in Bit Torrent-Like Peer-to-Peer Networks[C] ∥ Embedded and Ubiquitous Computing.Soul:Springer,2006:375-384.

[7] SAHOTA V,LI Maozhen,BAKER M.A Grouped P2P Network for Scalable Grid Information Services[J].Peerto-Peer Networking and Application,2009,2(1):3-12.

[8] MIZRAK A T,CHENG Yuchung,KUMAR V,et al. Structured Superpeers:Leveraging Heterogeneity to Provide Constant-time Lookup[C]∥Proceedings of the Third IEEE Workshop on InternetApplications. San Jose: IEEE,2003:1530-1354.

[9] SRIPANIDKULCHAI K,MA GGS B,ZHAN G Hui. Efficient Content Location Using Interest-based Locality in Peer-to-Peer Systems[C]∥Proceedings of IEEE INFOCOM 2003.[S.l.]:IEEE,2003:2166-2176.

[10] GUO Lei,CHEN Songqing,XIAO Zhen,et al.A Performance Study of Bit Torrent-like Peer-to-Peer Systems[J].IEEE Journal on Selected Areas in Communications,2007,25(1):155-169.

[11] LIU Weidong,PENG Dongsheng,LIN Chuang,et al. Enhancing Tit-for-tat for Incentive in Bit Torrent Networks[J].Peer-to-Peer Networking and Applications, 2009,3(1):27-35.

[12] CHAN H L,LAM T W,WONG P W H.Efficiency of Data Distribution in Bit Torrent-like Systems[C]∥Algorithmic Aspects in Information and Management. Portland:Springer,2008:378-388.

[13] KOMMAREDDY C,SHANKAR N,BHATTACHARJEE B.Finding Close Friends on the Internet[C]∥Proceedings of the Ninth International Conference on Network Protocols.Washington:IEEE,2001:301-309.

[14] GUO Lei,CHEN Songqing,XIAO Zhen,et al.Measurements, Analysis, and Modeling of Bit Torrent-like Systems[C]∥Proceedings of the 5th ACM SIGCOMM conferenceon InternetMeasurement. New Orleans: USENIX Association,2005:35-48.