面向GIS增量數據的訂閱與發布機制研究

胡正華，孟令奎，張　文

(武漢大學遙感信息工程學院，湖北 武漢 430079)

Research on Subscribe/Publish Mechanism for Incremental Data in GIS

HU Zhenghua，MENG Lingkui，ZHANG Wen

?

面向GIS增量數據的訂閱與發布機制研究

胡正華，孟令奎，張文

(武漢大學遙感信息工程學院，湖北 武漢 430079)

Research on Subscribe/Publish Mechanism for Incremental Data in GIS

HU Zhenghua，MENG Lingkui，ZHANG Wen

摘要：在分析已有數據分發策略的基礎上，提出了一種基于“訂閱與發布”機制的GIS增量數據快速分發方法。該方法首先利用用戶的注冊信息記錄用戶感興趣的數據范圍或類型，當服務器接收到增量數據時,根據不同的用戶對增量數據進行篩選，并提出了一種基于聯想模式的數據關聯查詢策略，再將篩選出來的數據發送給相應的客戶端用戶。經試驗論證，該方法能夠針對不同的用戶需求，將GIS增量數據快速準確地發送給客戶端用戶，有助于數據的有效利用和管理。

關鍵詞：數據分發；訂閱與發布機制；增量數據更新

近年來，隨著遙感技術的高速發展和對地觀測技術的成熟，獲取地表環境信息的手段越來越多[1-3]。遙感數據因其具有多時相和快速獲取的特點，逐漸成為空間數據的重要數據來源；與此同時，獲取數據渠道的多元化和觀測成本的降低，使得數據生產部門獲取遙感影像的周期也越來越短，同一地區多時相、多波段的影像數據在不斷增加[3]。利用遙感和數字攝影測量技術獲取的遙感影像數據成為空間數據生產單位進行專題數據更新的基礎。GIS數據更新周期的大幅縮短，使得鄰近版本數據的相似度大大提高，數據的變化區域往往只是整幅數據的一小部分，再對新數據進行整體的入庫不僅會增加數據管理部門的維護成本，而且也會使數據庫中數據的冗余程度提高，浪費大量的存儲空間。許多數據生產部門已經意識到利用增量更新的方式對新獲取的數據進行存儲和管理。對于客戶端的用戶來說，及時獲取服務器端的最新數據，了解數據的變化和發展趨勢，為決策和分析提供必要的數據支撐，成為一個至關重要的問題[4]。

本文基于現有的分發技術，將傳統的“推”模式與“拉”模式進行了合理的整合，提出一種智能、高效的數據分發策略，將數據庫產生的增量數據快速、準確地分發給客戶端用戶，保障用戶能夠動態掌握感興趣區域的更新情況。這不僅有利于數據的充分利用、有效管理，也為用戶提供了更可靠的決策支持和分析。

一、基于訂閱與發布模型的分發機制

與已有的數據分發模式(“推”模式和“拉”模式)不同，增量數據的快速分發技術對傳統的數據分發流程進行了適當的調整。它會在第一時間將增量數據自動發送給訂閱了此類數據的用戶，減少了用戶各自單獨獲取此數據的通信開銷。數據訂閱方常常只對數據發布方所發布的某些特定的數據感興趣。有了訂閱信息，系統不需要將所有的增量數據發送給每個客戶端，只需要針對有需求的用戶發送相應的數據，這在很大程度上減少了低速網絡的負載量；而且，如果用戶沒有在線，系統會一直保存增量信息直到該用戶登錄系統后，再將增量數據信息發送給客戶端，這樣就有效防止了客戶端用戶對服務器產生的增量數據遺漏接收的現象。

1. 基本流程

客戶端用戶在注冊系統賬號時，將訂閱的數據請求連同用戶的基本信息一起發送到服務器端，在數據庫中記錄其感興趣的數據類型或地理范圍以完成注冊[5-6]；當服務器接收到新的數據時，通過增量更新的方法，生成增量數據文件并寫入增量信息表，將原始數據移入歷史庫；服務器利用每個登錄用戶在注冊時記錄的數據訂閱信息對增量數據進行篩選，再將篩選出來的數據發送給相應的客戶端用戶。客戶端在登錄系統后就會接收到增量數據，此時客戶端用戶可以選擇對數據的瀏覽和下載，最后系統再將這些增量數據對相應的用戶標記為非增量數據，這樣在用戶下一次登錄系統時就不會重復收到這些已經被客戶端用戶處理過的數據，其流程如圖1所示。

圖1　增量數據快速分發機制的流程

2. 核心機理

基于訂閱與發布機制的數據分發策略主要利用了元數據技術來實現，用戶在進行系統注冊時訂閱自己感興趣的數據區域或數據類型，系統將這些信息錄入用戶元數據信息表以支持動態的數據分發機制。當有新的增量數據產生時，消息中心就會根據每個用戶所關心的數據范圍或類型對增量更新所產生的差分數據進行篩選和匹配，并自動將篩選出來的數據推送給對這些特定的內容感興趣的用戶，用戶登錄后就收到系統的消息提醒[7]。用戶得到消息中心反饋過來的增量數據信息后可以選擇下載和預覽，從而保障了用戶能夠動態掌握感興趣區域的更新情況。

(1) 訂閱機制

用戶既是遙感影像數據的供應方也是數據的需求方。在用戶進行系統賬號注冊的同時，通過注冊自己感興趣的數據，告訴消息中心自己愿意接受的數據類別或范圍，而不用考慮這些數據的來源，將這些信息連同用戶的基本信息一起存儲在數據庫中，完成用戶對數據的訂閱[8]，這相當于一個“預拉”的過程。訂閱的含義可以被理解為一個簡單的過濾器。這個過濾器通過將發布的增量數據與用戶的訂閱條件進行匹配來決定是否將這些數據發給某一用戶[8]。本文在結合基于數據類型、地理范圍訂閱的基礎上提出一種基于聯想模式的數據訂閱方式。

過去，用戶常常因為需求表述不清楚，使得預計的搜索結果產生大量不相關的數據記錄，對大量的數據結果進行審查的耗時[9]給用戶快速獲取期望的數據帶來了各種困難。而實際上，數據的請求者總是希望通過一次服務請求后,一旦信息提供者有了新信息就主動發給信息請求者,而不需要信息請求者每隔一段時間去查詢一次[10]。

基于聯想模式的數據訂閱是指通過數據之間的相關性來猜測用戶可能感興趣的數據。隨著用戶對不同的查詢過程得到的結果數據進行下載，系統記錄了前后下載的數據之間的關聯次數，即關聯因子，來表示這兩類數據的相關程度，從而對用戶的查詢意圖進行預測[11]。前一次下載的數據動態指定了后繼的數據篩選策略，并直接影響了其他用戶在下一次進行查詢時關聯得到的反饋數據[12]。不同用戶對不同數據的下載過程，動態調整了后繼的聯想策略和篩選機制。通過大量用戶對前后不同數據的下載就會對數據之間的相關程度進行修正，有效保證了數據之間的相關性，最終形成一個查詢意圖的知識庫。通過這種聯想模式的數據關聯，使得對數據的查詢操作具有了聯想的能力，用戶可以省去多次查詢搜索的煩瑣過程，使系統能夠提供足夠多的相關數據供其使用，保證用戶能夠獲得更為全面的數據[13]。

(2) 消息中心

訂閱與發布機制的核心組成部分為消息中心。在基于訂閱/發布機制的分布式系統中，消息中心負責對增量數據信息的管理和維護，包括增量數據的數據類型、地理范圍、貢獻的用戶和更新的時間等元數據信息。消息中心負責把數據在各個客戶端之間傳遞，服務器端在接收到來自數據發布端的增量數據并完成對其的存儲后，就將增量信息寫入消息中心的增量數據表，當進行數據分發時，服務器會從該表篩選出用戶感興趣的數據推送到匹配的用戶所在的客戶端[8,14]。

這種形式的消息交互方式能夠確保增量數據及時準確地發送到正確的客戶端用戶，也確保了不同來源的異構數據因客戶端的不同需求而被整合到了一起。特別是在應急響應的情況下，許多應用都需要能夠將地理空間信息及時完整地發送給正確的系統用戶[8]。

(3) 分發機制

數據分發是整個分發系統中的推送步驟，負責向客戶端用戶提供安全、高效的數據分發服務[15]。當消息中心判斷出增量數據中有客戶端需要的數據時，就根據客戶端所在的網絡地址將消息發送過去。當客戶端成功接收消息后可以選擇對數據瀏覽和下載，同時將回執返發給消息中心，告訴消息中心該客戶端已經收到了增量數據。最后消息中心再將這些增量數據對相應的用戶標記為非更新數據，這樣用戶在下一次登錄系統時就不會重復收到這些已經被客戶端用戶處理過的數據了。

數據發布模塊還包含數據緩存機制，可以緩解對同一數據反復請求時給數據庫帶來的數據讀寫壓力，從而有效提高了數據分發的效率。若更新的數據已經存在于服務器端的緩存中，則直接將緩存中的數據發送給客戶端，否則先從數據庫下載到服務器端的緩存后再發送給客戶端。

二、原型系統的設計與實現

借助網絡傳輸模塊和用戶訪問權限模塊，設計并實現了一個高度自動化、穩定運轉的系統管理平臺，保證了數據快捷、順暢的傳輸，并具有統一的管理和監控能力，客戶端節點動態地加入和退出都會告知中心服務器節點。

結合空間數據增量更新技術，本文利用蘇州市某城區的航空遙感影像數據進行數據增量更新的試驗，完整地實現了數據的自動化增量更新和增量信息的用戶訂閱與發布流程。為了驗證系統基于訂閱與發布機制下的分發技術的有效性，系統分別注冊了兩個用戶，用戶1為testUser1，用戶2為testUser2，兩個用戶所注冊的感興趣地理范圍不同(以米為單位的大地坐標)，如圖2所示。從用戶所注冊的感興趣地理范圍可以看出，testUser2感興趣的地理范圍與testUser1有重疊，但是其注冊范圍更大。

圖2　測試用戶注冊

在原始數據庫的基礎上，原始數據與更新數據的對比如圖3所示。可以看到，原始數據和更新數據包含了同一地理范圍的空間對象，但是更新數據相比較原始數據，有部分房屋被拆遷改為綠化地帶，空間對象發生了較為顯著的變化。

圖3　原始影像數據與待更新的影像數據

當用戶1和用戶2分別登錄系統后，服務器分別向兩個用戶推送了不同的更新數據信息。用戶接收到的更新數據都與自己注冊的感興趣范圍有不同程度的相交，是用戶所需求的數據。因為用戶2比用戶1注冊的范圍更大，因此用戶2所接收到的數據塊比用戶1接收的數據塊多，如圖4所示，用戶可以根據需要瀏覽或下載更新后的數據。

圖4　不同用戶接收到的增量數據

為了測試空間增量數據在訂閱與發布機制下的執行效率，在100 Mbps的局域網網絡帶寬下，調整所更新的影像數據量，反復進行多組試驗，獲取了在不同數據量下進行分發的執行效率，并與“純推模式”和“純拉模式”進行了對比，見表1。

表1　訂閱與發布機制與傳統的推拉模式的數據分發效率比較

從表1可以看出，訂閱與發布分發模塊的執行效率較高，不會隨著影像數量和數據量的增長而提高。隨著數據量的增加，其分發效率趨于穩定增長，分發過程實現了完全自動化，是一種智能高效的數據分發機制。

同時，為了測試本文所提出的基于訂閱與發布機制的分發策略在局域網環境下的健壯性，在100 Mbps網絡帶寬的局域網環境下，取4幅3.6 MB的遙感影像作為試驗數據，逐次增加其中客戶端用戶的數量，并對客戶端用戶感興趣的區域隨機分配。經過多組反復試驗，獲取了在不同客戶端數量下數據分發的執行效率，兩種分發策略所對應的分發時間見表2。

表2　傳統數據分發與訂閱/發布分發機制的耗時比較

從表2的數據可以看出，當客戶端的數量較少時，傳統的數據分發策略和本文提出的數據分發策略的執行效率相差并不是非常大，但是隨著客戶端用戶的增加，傳統的數據分發策略因為需要將更新的數據全部發送給各個客戶端，網絡帶寬一直處于高負荷狀態，耗時明顯增加；而本文所提出的增量式分發策略因為不需要將所有的數據發送給每個客戶端，有較高的執行效率，所帶來的延時相對比較穩定，不會隨著客戶端用戶的增加而明顯增長。試驗表明數據增量式分發策略的效率較高，針對不同的用戶需求，提供不同的數據更新信息，有助于數據的快速分發和有效利用。

三、結束語

本文主要討論了在C/S局域網環境下海量影像數據快速分發機制，在基于主動推送和客戶端請求這兩種傳統分發模式的基礎上，提出了一種訂閱與發布模式的增量數據快速分發策略，實現了將服務器端的增量數據快速、智能和高效地發送給有相應需求的客戶端用戶。試驗表明本文所提出的空間增量更新數據的快速分發方法具有面向用戶需求、自動化程度高等特點，非常適合在實際的數據生產中推廣和應用。

參考文獻：

[1]李賜健.基于小波變換的遙感圖像分割方法研究[D]. 南昌：南昌航空大學，2013.

[2]LIU Yu，CHEN Kexiong，ZHOU Maiyu，et al. Research and Implementation of Mass Remote Sensing Image Management and Web Publishing System[C]∥2010 International Conference on Computer and Information Application. Tianjin: [s.n.],2010.

[3]黃文嘉. 基于變化影像塊的遙感數據增量更新方法研究[D].長沙：中南大學，2011.

[4]JIAN Canliang，HUANG Menglong. Research on Geographic Information Database Incremental Updating Method[C]∥2010 International Conference on Audio，Language and Image Processing. Shanghai: [s.n.],2010.

[5]李新廣，范明虎，杜武.面向空間信息智能分發的動態化用戶偏好模型研究[J]. 測繪學報，2011，40(5): 646-654.

[6]吳天龍. 面向分布式異構數據源的個性化推薦系統的研究與實現[D]. 哈爾濱：哈爾濱工業大學，2013.

[7]SRIVATSA M, LIU L, IYENGAR A. EventGuard: A System Architecture for Securing Publish-Subscribe Networks[J]. ACM Transactions on Computer Systems, 2011,29(4):398-402.

[8]KASSAB A, LIANG S, GAO Y.Real-time Notification and Improved Situational Awareness in Fire Emergencies Using Geospatial-based Publish-subscribe[J]. International Journal of Applied Earth Observation and Geoinformation, 2010,12(6): 431-438.

[9]ALAMDAR F, KEYVANPOUR M R. Effective Browsing of Image Search Results via Diversified Visual Summarization by Clustering and Refining Clusters[J]. Signal Image and Video Processing, 2014,8(4): 699-721.

[10]楊云青.面向服務的校園信息共享系統設計與實現[D].南京：南京理工大學，2013.

[11]BASHIR S.Combining Pre-retrieval Query Quality Predictors Using Genetic Programming[J]. Applied Intelligence, 2014,40(3): 525-535.

[12]文軍, 文貴華,丁月華. 面向查詢意圖的搜索引擎設計與實現[J].計算機應用研究, 2002,19(10): 131-133.

[13]周明建，高濟.知識管理中的聯想檢索[J]. 計算機應用, 2004,24(7): 25-27.

[14]YAGURA K，KATO Y，KITADA T. Implementation of Publish/Subscribe System on Wireless Mesh Networks Word-mouth Information Distribution Service[C]∥7th Asia-Pacific Symposium on Information and Telecommunication Technologies. [S.l.]:Inst. of Elec. and Elec. Eng. Computer Society, 2008.

[15]方聰.基于對等架構的海量遙感數據分發系統的設計與實現[D].杭州：浙江大學，2013.

引文格式： 胡正華，孟令奎，張文. 面向GIS增量數據的訂閱與發布機制研究[J].測繪通報，2016(1)：45-48.DOI:10.13474/j.cnki.11-2246.2016.0011.

作者簡介：胡正華(1986—)，男，博士生，研究方向為空間數據管理和智能交通系統。E-mail: 927827190@qq.com

基金項目：高分辨率對地觀測系統重大專項(08-Y30B07-9001-13/15)

收稿日期：2014-10-12

中圖分類號：P208

文獻標識碼：B

文章編號：0494-0911(2016)01-0045-04