海量三維影像數據的處理、存儲與發布

沈曉麗,吳美華

(1.山西長治供電分公司 ,山西長治 046011;2.黑龍江傲立信息產業有限公司,黑龍江哈爾濱 150909)

海量三維影像數據的處理、存儲與發布

沈曉麗1,吳美華2

(1.山西長治供電分公司 ,山西長治 046011;2.黑龍江傲立信息產業有限公司,黑龍江哈爾濱 150909)

總結 “基于A rcGIS平臺,對海量影像數據進行處理、存儲與發布”的試驗方法與試驗結論,闡述了通過采用圖形切片、地圖緩存技術,在A rcGIS平臺上,可實現對海量數據的快速發布,滿足基于地理信息系統的電網空間信息展示需求。

切片;緩存;海量影像數據

受資助項目:山西省電力公司科技項目

0 引言

隨著遙感技術和數字攝影技術的快速發展,影像數據的使用越來越多,現在已經成為重要的數據源和數據更新的手段。在山西電網空間信息服務平臺長治用戶供電方案輔助決策項目開發中,嘗試開展地理信息影像數據的使用。然而,影像地圖信息的數據量非常大,并且隨分辨率的提高呈幾何級遞增,達到幾GB甚至幾十GB字節,系統規模迅速擴張,造成所獲取的影像與三維數據無法滿足項目實際開發與應用需求,需要對數據進行加工與處理,才能完成數據的發布工作。

為此,在A rcG IS平臺所提供的一系列的數據處理與發布軟件之上,針對山西長治供電分公司電網空間服務平臺的原始數字正射影像數據 (DOM)與數字高程模型 (DEM),進行了一系列的數據處理與存儲試驗,取得了很好的效果。

1 數字正射影像圖與數字高程模型簡介

數字正射影像圖DOM(Digital Orthophoto Map)是利用 DEM對遙感影像 (單色或彩色),經逐像元進行輻射改正、微分糾正和鑲嵌,并按規定圖幅范圍裁剪生成的形象數據,帶有公里格網、圖廓 (內、外)整飾和注記的平面圖。

數字高程模型DEM(Digital Elevation Model)是一定范圍內規則格網點的平面坐標 (X,Y)及其高程 (Z)的數據集,它主要是描述區域地貌形態的空間分布,是通過等高線或相似立體模型進行數據采集 (包括采樣和量測),然后進行數據內插而形成的。DEM是對地貌形態的虛擬表示,可派生出等高線、坡度圖等信息,也可與DOM或其他專題數據疊加,用于與地形相關的分析應用,同時它本身還是制作DOM的基礎數據。

2 ArcGIS平臺介紹

2.1 數據處理工具簡介

A rcToolBox包含了A rcGIS地理處理的大部分分析工具和數據管理工具,使用A rcToo lbox中的工具,能夠在GIS數據庫中建立并集成多種數據格式,進行高級GIS分析,處理GIS數據等,可以合并、剪貼、分割圖幅,以及使用各種高級的空間分析工具等。

A rcG lobe設計用于海量數據展示,所以為提高顯示效率而進行了數據緩存,它將數據分塊并按級別建立緩存和索引,使得即使在顯示海量數據時仍可以高速地展示與漫游。

2.2 數據發布工具簡介

A rcGISServer用于構建集中管理、支持多用戶的企業級GIS應用。開發者使用A rcGIS Server可構建 Web應用、Web服務以及其他運行在J2EEWeb服務器上的企業級應用,是一個包含多個部件的分布式系統,可被分別配置在多臺計算機上。A rcGISServer系統的各個部分分別在對象管理、負載平衡等過程中發揮特定的作用。

為了提升瀏覽性能,采用現時比較流行的地圖緩存技術 (通俗的說法為 “瓦片技術”)。所謂的地圖緩存技術,就是按照一定的數學規則,把地圖切成一定規格的圖片保存到計算機的硬盤里,當用戶通過客戶端瀏覽器訪問地圖服務時,服務器直接返回當前地圖坐標區域所對應的 “瓦片”,從而達到降低服務器負擔,提升地圖瀏覽速度的效果。

3 海量數據處理、存儲與發布

3.1 數據處理

3.1.1 數據準備

項目開發所使用成果圖涉及670幅0.5m的數字正射影像圖 (DOM)、7幅0.2 m的城區內數字正射影像圖和670幅數字高程模型圖 (DEM),在磁盤上進行文件存儲,數據文件提前經過了融合處理,處理后的數據基本接近自然色,能夠充分地反映出長治地區的基本地形地貌。

3.1.2 數據檢查

通過數據檢查,發現影像數據中存在以下問題。

a)地理坐標系 (Geogrpahic Coordinate System)未進行設置。

b)投影坐標系 (Projected Coordinate Systems)未進行設置。

c)數據涉及篇幅太多,存儲容量為90 G,如果不進行拼接處理,無法進行圖形發布。

d)數據接邊處存在白色的縫隙和壓邊。

e)中國山西地處投影坐標跨帶區,合并會造成數據失真。

3.1.2 數據處理

地理坐標系使用基于經緯度的坐標系統描述地球上某一點所處的位置。某一個地理坐標系是基于一個基準面來定義的。基準面是利用特定橢球體對特定地區地球表面的逼近,因此每個國家或地區均有各自的基準面。

中國常用的三個基準面和地理坐標系:GCS_WGS1984(基于 WGS84基準面),GCS_BEIJING1954(基于北京 1954基準面),GCS_XIAN1980(基于西安1980基準面)。

針對數據情況,采用符合其標準的GCS_XIAN1980坐標系,參數設置略。

投影坐標系 (Pro jected Coordinate System s)使用基于X、Y值的坐標系統來描述地球上某個點所處的位置。這個坐標系是從地球的近似橢球體投影得到的,它對應于某個地理坐標系。

投影坐標系由以下參數確定:地理坐標系 (由基準面確定,比如北京54、西安80、WGS84),投影方法 (比如高斯-克呂格、Lam bert投影、Mercator投影)。

北京1954投影坐標系和西安1980坐標系都是應用高斯-克呂格投影,只是基準面、橢球、大地原點不同。

針對數據情況,采用了高斯-克呂格投影,參數設置略。

確定了地理坐標系和投影坐標系后,將對數據進行批量的設置,因為山西地處跨帶區,針對不同帶區的數據,應該選擇不同的空間參考,在A rc-ToolBox中,順序打開Sm ap le→Data Management→Projections→Batch Define Coordinate System,進行空間參考批量設置。

3.2 數據存儲與發布

地圖共有677幅DOM數據與670幅DEM數據,以文件的形式存儲在磁盤上,占用的存儲空間為90 G,以何種方式進行圖形數據的存儲與發布,需要經過測試進行驗證。

3.2.1 數字正射影像數據處理

以下幾種方法,列舉了在影像數據存儲與發布過程中出現的問題,比較了存儲方式的優缺點。

方法一:將677幅DOM數據以文件形式直接加入到A rcMap中,制作發布文件,然后對服務進行發布,發布結果成功。但是當對數據進行瀏覽操作,發現數據響應速度太慢,為提升瀏覽性能,采用地圖緩存技術,決定創建數據切片。當數據切片進行到第七級別時候,系統報錯,為釋放系統內存,重新啟動機器后,再次對數據進行切片處理,仍然彈出系統錯誤對話框。

通過翻閱系統幫助與檢查系統的內存與CPU的處理情況,判斷得出結論,因數據篇幅過多,導致系統在內存計算的負荷加大,例如圖形顯示計算、圖形接邊計算等等,造成了服務器內存的使用率高,系統無法完成計算,試驗結果失敗。

方法二:新建個人的Personal Geodatabase,將數據進行導入,導入時沒有進行合并,發布后,無法進行切片處理,試驗結果失敗。

方法三:新建File Geodatabase,將數據進行導入并合并,每張Raster Dataset的存儲量最大為256TB,可以滿足數據的存儲需求。

目前數據的現狀是篇幅過多并且分帶,假如將數據合并到一個Raster Dataset中,將會造成數據存儲空間過大、顯示過慢和因跨帶造成的數據扭曲和失真的。于是采用分片拼接。拼接原則如下:不同帶區的數據分開合并,同一片區的數據必須相鄰。拼接方法如下:在FileGDB,右鍵Im port→Raster Dataset,先導入一片,點擊導入的影像,右鍵Load→Load data導入其他幅數據。

以上拼接方法使用了Raster Dataset默認的存儲空間,支持數據的最大容量為4G。假設數據需求超過4 G時,需要采用以下方法進行拼接:在FileGDB,右鍵 New→Raster Dataset,然后設置屬性,設置空間參考,波段設置為3,壓縮方式為“None”,即無損壓縮,調整存儲空間為256 T,實際每片存儲為10 G;點擊導入的影像,右鍵Load->Load data導入其他幅數據。

數據導入結束后,對數據進行發布,切片處理成功。此種方法為當前案例的最優處理方法。

數據合并后,存在白色的縫隙和壓邊情況,對于此類數據,采用對圖形數據進行二次合并,二次合并選擇的圖片為拼接縫隙附近或縫隙上的圖片,將其覆蓋到縫隙上,保證了圖形的本色。

3.2.2 數據高程模型處理

數據高程模型拼接方法如下:在FileGDB,右鍵Import→Raster Dataset,先導入一片;點擊導入的影像,右鍵Load→Load data導入其他幅數據。

數據高程模型拼接轉換方法如下。方法一:將合并好的數據高程模型,進行轉換,在A rcTool-Box中,通過3D Analyst Too ls→Coversion→Form Raster→Raster to Tin,將合并后的數據高程模型轉換 Tin格式后,數據存儲空間變小,但數據質量明顯下降,接邊處出現裂縫,而且出現臟數據,無法滿足使用。方法二:數據高程模型轉換Im g格式后,數據效果較好,在A rcToolBox中,通過 Data Management Tools→Projections and T ransform ations→Raster→Project Raster進行轉換,失真情況得到了控制。

3.2.3 三維服務調優

對于GB級的矢量要素 (密密麻麻的等高線、水系),漫游過程中,刷新一次大約50 s,遠遠超過用戶要求的20 s/次,甚至出現長時間無響應。

根據文字的調優經驗,針對數據量非常大的特點,顯示時只需要加載窗口所需數據即可,如果能夠快速定位所需數據,肯定能夠提高顯示效率。

方法一,利用空間索引。

嘗試將存儲于FileGDB中的數據導入A rcSDE(本機),并建立合適的空間索引,經測試發現顯示漫游速度從原來的多于50 s,提高到了18 s左右,明顯減少了A rcGlobe的漫游響應時間。導入A rcSDE建立空間索引的方法基本上達到了用戶的最低要求。

雖然導入A rcSDE建立空間索引的方法基本上能夠滿足用戶的最低需求,但效果仍然不夠理想。要整體提高數據瀏覽速度必須借助緩存機制來實現。

方法二:利用緩存。

研究A rcGlobe的緩存機制發現,打開圖層后A rcG lobe會依據圖層的比例來建立 “按需緩存”。“按需緩存”是在瀏覽的時候自動生成的緩存文件,這會影響瀏覽速度,因此需要在瀏覽前按照合適的比例及顯示參數,一次性創建好緩存。

經測試,建立緩存文件后,在顯示初始化完成后,導航模式下 (只能俯視三維要素的顯示模式)漫游速度大約5 s,非導航模式 (可以側視三維要素的顯示模式)漫游速度10 s左右。

4 結束語

以上是在開發 《基于GIS的用戶供電方案輔助決策系統》時,對高分辯率海量三維影像圖的處理與發布試驗經驗。系統運行表明,在A rcGIS平臺上,通過上述方法可實現對海量影像數據的處理、存儲與發布,滿足基于地理信息系統的電網空間信息展示需求。

Studies on the Processing,Storing and Issuing of Mass Three-dimensional Image Data

SHEN Xiao-li1,WU Mei-hua2
(1.ChangzhiPower Supp ly Comany,Changzhi,Shanxi 046011,China;2.HeilongjiangO live In formation Industry Co.,Ltd,Haerbin,Heilongjiang 150909,China)

This paper summarizes the testmethods and the test conclusions of the processing,storing and issuing of the ArcGIS-based mass image data.On the A rcGIS p latform,it can issuemass image data fleetly and show the Grid's spatial information(which is based on the geographic information system)bymeans of graphics slicing technology andmap caching technique.

slicing;caching;mass image data

TP274

B

1671-0320(2010)06-0058-03

2010-09-10,

2010-10-12

沈曉麗 (1966-),女,安徽長豐人,1988年畢業于山東大學無線電物理專業,高級工程師,主要從事信息化建設和管理工作,山西電力技術院專家;

吳美華 (1977-),女,黑龍江海倫人,2001年畢業于哈爾濱工業大學計算機應用與科學技術專業,工程師,主要從事軟件開發工作。