面向海量數據的快速處理模型設計研究

張曉丹

摘 要：本文基于筆者多年從事遙感數據處理的相關工作經驗，以面向海量數據的快速處理模型設計為研究對象，首先分析了云計算模型構建的需求，進而進行了云計算模型的架構，在此基礎上，探討了云計算處理模型的運行機制和具體的模型實現。相信對從事相關工作的同行能有所裨益。

關鍵詞：云計算 航空影像 數據處理 構架

中圖分類號：P23 文獻標識碼：A 文章編號：1672-3791（2014）03（c）-0005-02

隨著攝影測量手段和信息獲取技術的發展，航空影像數據的獲取周期越來越短，航空影像數據的更新頻率越來越快。對于海量遙感數據快速處理以達到實現快速響應機制，傳統的攝影測量數據處理平臺已經不能滿足當前的生產需求。因此，如何快速、高效地處理這些影像數據，以及如何迅速的從影像數據中獲取用戶所需的基本信息（如概貌、土地的分類、土地利用情況、植被分布、水系的分布和變化，災害區的范圍等）是一個值得研究并且急需解決的問題，也是建立遙感快速響應機制領域的一個重要的應用和發展方向。

本文將云計算模型處理的技術引入影像數據處理中，設計了基于云計算的海量影像數據的云處理模型。

1 云計算模型構架

云計算的關鍵是如何實現大規模地連接到更加廣泛的服務器甚至個人計算機，使這些計算機并行運行，各自的資源結合起來形成足可比擬超級計算機的計算能力。我們可以通過個人電腦或便攜設備，經由因特網連接到云中。對用戶端來說，云是一個獨立的應用、設備或文件，云中的硬件是不可見的，如圖1所示。

它的過程是這樣的：首先，用戶的請求被發送給系統管理，系統管理找出正確的資源并調用合適的系統服務。這些服務從云中劃分必要的資源，加載相應的Web應用程序，創建或打開所要求的文件。Web應用啟動后，系統的監測和計量功能會跟蹤云資源的使用，確保資源分配和歸屬于合適的用戶。

2 云計算處理模型的運行機制

基于云計算模型的影像數據處理模型是在傳統的影像數據處理流程的基礎上，突破了傳統的計算模式，使用了云計算強大的計算資源來完成整個數據處理中的大量的數字運算。其中包括任務的分發、云端處理以及處理完數據的集中和影像的鑲嵌等操作。

2.1 云處理模型的體系結構

圖2為基于云計算模型的影像數據處理系統的體系結構。云工作站負責管理和分發任務，云端處理服務器依據分發的任務，從云存儲中取出影像進行相應的處理，通過TCP/IP通信協議與服務器建立通訊。當對應的云端處理服務器（可以是大型的計算機業可以使微型的個人機）接收到任務時，通過調用系統的計算資源進行相應的處理服務，同時通過云端系統之間的相互通信可以實現一些軟件資源的共享等。

2.2 云處理模型的工作流程

圖3為基于云計算模型的影像數據處理系統的一般的工作流程，主要包括任務表的創建與分發，云端系統的具體的處理過程以及數據成品的集中和影像的鑲嵌。 利用云計算強大的計算資源來完成其中涉及到的巨大的運算要求。

3 基于云計算的航空影像處理模型

在這個模型系統中，主要包括數據的預處理和專題信息的提取。在后期的制圖過程中主要包括地圖信息的符號化和綜合。

3.1 預處理

遙感圖像的預處理主要包括幾何校正和輻射校正，還包括其他的預處理手段，如圖4所示。遙感圖像成圖時，由于各種因素的影響，圖像本身的幾何形狀與其對應的地物形狀往往是不一致的。遙感圖像的幾何變形是指圖像上各地物的幾何位置、形狀、尺寸、方位等特征與在參考系統中的表達要求不一致時產生的變形。遙感圖像的變形誤差可以分為靜態誤差和動態誤差兩大類。靜態誤差是在成像的過程中，傳感器相對于地球表面呈精致狀態時所產生的各種變形誤差。動態誤差主要是成像過程中由于地球的旋轉等因素所造成的圖像變形誤差。遙感圖像的幾何處理主要包括圖像的粗加工、精糾正，還包括重采樣以及共線方程的糾正的。

由于航空影像成像過程的復雜性，傳感器接收到的電磁波能量與目標本身輻射的能量是不一致的。傳感器輸出的能量包含了太陽位置和角度條件、大氣條件、地形影響和傳感器本身的性能所引起的各種失真，這些失真不是地面目標本身的輻射，因此，對圖像的使用和理解會造成影響，必須加以校正或消除。輻射校正就是指消除或改正遙感圖像成像過程中附加在傳感器輸出的輻射能量中的各種噪聲的過程。

在影像數據制圖中，數據的收集一般包括遙感影像數據的收集和其他非空間數據的收集，在充分收集歷史和當前數據的基礎上要對于資料進行初步的整理。數據的預處理主要包括影像數據的幾何處理和輻射校正。預處理的云處理模型已經在之前介紹過了。

3.2 中期操作

在傳統的遙感影像專題信息提取中，主要包括影像數據的格式轉化，圖像的增強和均衡化、波段的融合、糾正等，文本資料的分類，地圖信息的分析，同時在信息的提取中有監督法分類和非監督法分類，以及分類后處理等操作。在基于云計算模型的遙感影像處理系統中，上述的操作方法不變，變化的是計算的模式。傳統的處理模式是串行的處理，基于云計算的遙感影像處理模式主要是利用云端系統強大的計算資源實現影像的實時處理。

在完成任務的分發后，相應的云端通過直接的相互通信，能夠下載相應的處理模塊所需的軟件和模塊，同時按照當前服務器的計算資源狀況完成相應的處理和任務的分發等。

3.3 后期操作

后期的專題地圖的制作中主要包括地圖信息的綜合，按照專題的信息決定地圖信息的取舍，突出重點的專題，省略其他無關的要素，符號化的過程主要依據可視化和視覺美學等知識進行取舍，其中涉及到大量的計算任務仍然放到云端來完成。影像數據的處理一般包括格式轉換、圖像的增強、均衡化、波段的融合等，在影像數據的應用上主要有信息的提取、分類、專題圖的制作等。

4 結論

云計算是一種顛覆性的技術具有深刻意義，不僅對互聯網服務，而且對這個IT 業都是一次革命。將它應用在航空影像數據處理領域更是一種大膽的嘗試，作為航空影像數據處理專業領域，如何進行海量數據存儲與處理、系統的擴展與開放等是該領域長期的瓶頸，云計算的出現給解決這些問題帶來了希望。本文詳細探討了遙感云計算的系統構成和實現方法，并以一個具體的原型系統展現了航空影像云計算模式的用戶界面、技術手段和運行流程。

參考文獻

[1] 甘倬.航空影像數據處理流程研究[J].測繪與空間地理信息，2013（5）：16-19.

[2] 吳巖，云計算模型國內外發展現狀研究[J].科技資訊，2013（6）：20-22.endprint

摘 要：本文基于筆者多年從事遙感數據處理的相關工作經驗，以面向海量數據的快速處理模型設計為研究對象，首先分析了云計算模型構建的需求，進而進行了云計算模型的架構，在此基礎上，探討了云計算處理模型的運行機制和具體的模型實現。相信對從事相關工作的同行能有所裨益。

關鍵詞：云計算 航空影像 數據處理 構架

中圖分類號：P23 文獻標識碼：A 文章編號：1672-3791（2014）03（c）-0005-02

隨著攝影測量手段和信息獲取技術的發展，航空影像數據的獲取周期越來越短，航空影像數據的更新頻率越來越快。對于海量遙感數據快速處理以達到實現快速響應機制，傳統的攝影測量數據處理平臺已經不能滿足當前的生產需求。因此，如何快速、高效地處理這些影像數據，以及如何迅速的從影像數據中獲取用戶所需的基本信息（如概貌、土地的分類、土地利用情況、植被分布、水系的分布和變化，災害區的范圍等）是一個值得研究并且急需解決的問題，也是建立遙感快速響應機制領域的一個重要的應用和發展方向。

本文將云計算模型處理的技術引入影像數據處理中，設計了基于云計算的海量影像數據的云處理模型。

1 云計算模型構架

云計算的關鍵是如何實現大規模地連接到更加廣泛的服務器甚至個人計算機，使這些計算機并行運行，各自的資源結合起來形成足可比擬超級計算機的計算能力。我們可以通過個人電腦或便攜設備，經由因特網連接到云中。對用戶端來說，云是一個獨立的應用、設備或文件，云中的硬件是不可見的，如圖1所示。

它的過程是這樣的：首先，用戶的請求被發送給系統管理，系統管理找出正確的資源并調用合適的系統服務。這些服務從云中劃分必要的資源，加載相應的Web應用程序，創建或打開所要求的文件。Web應用啟動后，系統的監測和計量功能會跟蹤云資源的使用，確保資源分配和歸屬于合適的用戶。

2 云計算處理模型的運行機制

基于云計算模型的影像數據處理模型是在傳統的影像數據處理流程的基礎上，突破了傳統的計算模式，使用了云計算強大的計算資源來完成整個數據處理中的大量的數字運算。其中包括任務的分發、云端處理以及處理完數據的集中和影像的鑲嵌等操作。

2.1 云處理模型的體系結構

圖2為基于云計算模型的影像數據處理系統的體系結構。云工作站負責管理和分發任務，云端處理服務器依據分發的任務，從云存儲中取出影像進行相應的處理，通過TCP/IP通信協議與服務器建立通訊。當對應的云端處理服務器（可以是大型的計算機業可以使微型的個人機）接收到任務時，通過調用系統的計算資源進行相應的處理服務，同時通過云端系統之間的相互通信可以實現一些軟件資源的共享等。

2.2 云處理模型的工作流程

圖3為基于云計算模型的影像數據處理系統的一般的工作流程，主要包括任務表的創建與分發，云端系統的具體的處理過程以及數據成品的集中和影像的鑲嵌。 利用云計算強大的計算資源來完成其中涉及到的巨大的運算要求。

3 基于云計算的航空影像處理模型

在這個模型系統中，主要包括數據的預處理和專題信息的提取。在后期的制圖過程中主要包括地圖信息的符號化和綜合。

3.1 預處理

遙感圖像的預處理主要包括幾何校正和輻射校正，還包括其他的預處理手段，如圖4所示。遙感圖像成圖時，由于各種因素的影響，圖像本身的幾何形狀與其對應的地物形狀往往是不一致的。遙感圖像的幾何變形是指圖像上各地物的幾何位置、形狀、尺寸、方位等特征與在參考系統中的表達要求不一致時產生的變形。遙感圖像的變形誤差可以分為靜態誤差和動態誤差兩大類。靜態誤差是在成像的過程中，傳感器相對于地球表面呈精致狀態時所產生的各種變形誤差。動態誤差主要是成像過程中由于地球的旋轉等因素所造成的圖像變形誤差。遙感圖像的幾何處理主要包括圖像的粗加工、精糾正，還包括重采樣以及共線方程的糾正的。

由于航空影像成像過程的復雜性，傳感器接收到的電磁波能量與目標本身輻射的能量是不一致的。傳感器輸出的能量包含了太陽位置和角度條件、大氣條件、地形影響和傳感器本身的性能所引起的各種失真，這些失真不是地面目標本身的輻射，因此，對圖像的使用和理解會造成影響，必須加以校正或消除。輻射校正就是指消除或改正遙感圖像成像過程中附加在傳感器輸出的輻射能量中的各種噪聲的過程。

在影像數據制圖中，數據的收集一般包括遙感影像數據的收集和其他非空間數據的收集，在充分收集歷史和當前數據的基礎上要對于資料進行初步的整理。數據的預處理主要包括影像數據的幾何處理和輻射校正。預處理的云處理模型已經在之前介紹過了。

3.2 中期操作

在傳統的遙感影像專題信息提取中，主要包括影像數據的格式轉化，圖像的增強和均衡化、波段的融合、糾正等，文本資料的分類，地圖信息的分析，同時在信息的提取中有監督法分類和非監督法分類，以及分類后處理等操作。在基于云計算模型的遙感影像處理系統中，上述的操作方法不變，變化的是計算的模式。傳統的處理模式是串行的處理，基于云計算的遙感影像處理模式主要是利用云端系統強大的計算資源實現影像的實時處理。

在完成任務的分發后，相應的云端通過直接的相互通信，能夠下載相應的處理模塊所需的軟件和模塊，同時按照當前服務器的計算資源狀況完成相應的處理和任務的分發等。

3.3 后期操作

后期的專題地圖的制作中主要包括地圖信息的綜合，按照專題的信息決定地圖信息的取舍，突出重點的專題，省略其他無關的要素，符號化的過程主要依據可視化和視覺美學等知識進行取舍，其中涉及到大量的計算任務仍然放到云端來完成。影像數據的處理一般包括格式轉換、圖像的增強、均衡化、波段的融合等，在影像數據的應用上主要有信息的提取、分類、專題圖的制作等。

4 結論

云計算是一種顛覆性的技術具有深刻意義，不僅對互聯網服務，而且對這個IT 業都是一次革命。將它應用在航空影像數據處理領域更是一種大膽的嘗試，作為航空影像數據處理專業領域，如何進行海量數據存儲與處理、系統的擴展與開放等是該領域長期的瓶頸，云計算的出現給解決這些問題帶來了希望。本文詳細探討了遙感云計算的系統構成和實現方法，并以一個具體的原型系統展現了航空影像云計算模式的用戶界面、技術手段和運行流程。

參考文獻

[1] 甘倬.航空影像數據處理流程研究[J].測繪與空間地理信息，2013（5）：16-19.

[2] 吳巖，云計算模型國內外發展現狀研究[J].科技資訊，2013（6）：20-22.endprint

摘 要：本文基于筆者多年從事遙感數據處理的相關工作經驗，以面向海量數據的快速處理模型設計為研究對象，首先分析了云計算模型構建的需求，進而進行了云計算模型的架構，在此基礎上，探討了云計算處理模型的運行機制和具體的模型實現。相信對從事相關工作的同行能有所裨益。

關鍵詞：云計算 航空影像 數據處理 構架

中圖分類號：P23 文獻標識碼：A 文章編號：1672-3791（2014）03（c）-0005-02

隨著攝影測量手段和信息獲取技術的發展，航空影像數據的獲取周期越來越短，航空影像數據的更新頻率越來越快。對于海量遙感數據快速處理以達到實現快速響應機制，傳統的攝影測量數據處理平臺已經不能滿足當前的生產需求。因此，如何快速、高效地處理這些影像數據，以及如何迅速的從影像數據中獲取用戶所需的基本信息（如概貌、土地的分類、土地利用情況、植被分布、水系的分布和變化，災害區的范圍等）是一個值得研究并且急需解決的問題，也是建立遙感快速響應機制領域的一個重要的應用和發展方向。

本文將云計算模型處理的技術引入影像數據處理中，設計了基于云計算的海量影像數據的云處理模型。

1 云計算模型構架

云計算的關鍵是如何實現大規模地連接到更加廣泛的服務器甚至個人計算機，使這些計算機并行運行，各自的資源結合起來形成足可比擬超級計算機的計算能力。我們可以通過個人電腦或便攜設備，經由因特網連接到云中。對用戶端來說，云是一個獨立的應用、設備或文件，云中的硬件是不可見的，如圖1所示。

它的過程是這樣的：首先，用戶的請求被發送給系統管理，系統管理找出正確的資源并調用合適的系統服務。這些服務從云中劃分必要的資源，加載相應的Web應用程序，創建或打開所要求的文件。Web應用啟動后，系統的監測和計量功能會跟蹤云資源的使用，確保資源分配和歸屬于合適的用戶。

2 云計算處理模型的運行機制

基于云計算模型的影像數據處理模型是在傳統的影像數據處理流程的基礎上，突破了傳統的計算模式，使用了云計算強大的計算資源來完成整個數據處理中的大量的數字運算。其中包括任務的分發、云端處理以及處理完數據的集中和影像的鑲嵌等操作。

2.1 云處理模型的體系結構

圖2為基于云計算模型的影像數據處理系統的體系結構。云工作站負責管理和分發任務，云端處理服務器依據分發的任務，從云存儲中取出影像進行相應的處理，通過TCP/IP通信協議與服務器建立通訊。當對應的云端處理服務器（可以是大型的計算機業可以使微型的個人機）接收到任務時，通過調用系統的計算資源進行相應的處理服務，同時通過云端系統之間的相互通信可以實現一些軟件資源的共享等。

2.2 云處理模型的工作流程

圖3為基于云計算模型的影像數據處理系統的一般的工作流程，主要包括任務表的創建與分發，云端系統的具體的處理過程以及數據成品的集中和影像的鑲嵌。 利用云計算強大的計算資源來完成其中涉及到的巨大的運算要求。

3 基于云計算的航空影像處理模型

在這個模型系統中，主要包括數據的預處理和專題信息的提取。在后期的制圖過程中主要包括地圖信息的符號化和綜合。

3.1 預處理

遙感圖像的預處理主要包括幾何校正和輻射校正，還包括其他的預處理手段，如圖4所示。遙感圖像成圖時，由于各種因素的影響，圖像本身的幾何形狀與其對應的地物形狀往往是不一致的。遙感圖像的幾何變形是指圖像上各地物的幾何位置、形狀、尺寸、方位等特征與在參考系統中的表達要求不一致時產生的變形。遙感圖像的變形誤差可以分為靜態誤差和動態誤差兩大類。靜態誤差是在成像的過程中，傳感器相對于地球表面呈精致狀態時所產生的各種變形誤差。動態誤差主要是成像過程中由于地球的旋轉等因素所造成的圖像變形誤差。遙感圖像的幾何處理主要包括圖像的粗加工、精糾正，還包括重采樣以及共線方程的糾正的。

由于航空影像成像過程的復雜性，傳感器接收到的電磁波能量與目標本身輻射的能量是不一致的。傳感器輸出的能量包含了太陽位置和角度條件、大氣條件、地形影響和傳感器本身的性能所引起的各種失真，這些失真不是地面目標本身的輻射，因此，對圖像的使用和理解會造成影響，必須加以校正或消除。輻射校正就是指消除或改正遙感圖像成像過程中附加在傳感器輸出的輻射能量中的各種噪聲的過程。

在影像數據制圖中，數據的收集一般包括遙感影像數據的收集和其他非空間數據的收集，在充分收集歷史和當前數據的基礎上要對于資料進行初步的整理。數據的預處理主要包括影像數據的幾何處理和輻射校正。預處理的云處理模型已經在之前介紹過了。

3.2 中期操作

在傳統的遙感影像專題信息提取中，主要包括影像數據的格式轉化，圖像的增強和均衡化、波段的融合、糾正等，文本資料的分類，地圖信息的分析，同時在信息的提取中有監督法分類和非監督法分類，以及分類后處理等操作。在基于云計算模型的遙感影像處理系統中，上述的操作方法不變，變化的是計算的模式。傳統的處理模式是串行的處理，基于云計算的遙感影像處理模式主要是利用云端系統強大的計算資源實現影像的實時處理。

在完成任務的分發后，相應的云端通過直接的相互通信，能夠下載相應的處理模塊所需的軟件和模塊，同時按照當前服務器的計算資源狀況完成相應的處理和任務的分發等。

3.3 后期操作

后期的專題地圖的制作中主要包括地圖信息的綜合，按照專題的信息決定地圖信息的取舍，突出重點的專題，省略其他無關的要素，符號化的過程主要依據可視化和視覺美學等知識進行取舍，其中涉及到大量的計算任務仍然放到云端來完成。影像數據的處理一般包括格式轉換、圖像的增強、均衡化、波段的融合等，在影像數據的應用上主要有信息的提取、分類、專題圖的制作等。

4 結論

云計算是一種顛覆性的技術具有深刻意義，不僅對互聯網服務，而且對這個IT 業都是一次革命。將它應用在航空影像數據處理領域更是一種大膽的嘗試，作為航空影像數據處理專業領域，如何進行海量數據存儲與處理、系統的擴展與開放等是該領域長期的瓶頸，云計算的出現給解決這些問題帶來了希望。本文詳細探討了遙感云計算的系統構成和實現方法，并以一個具體的原型系統展現了航空影像云計算模式的用戶界面、技術手段和運行流程。

參考文獻

[1] 甘倬.航空影像數據處理流程研究[J].測繪與空間地理信息，2013（5）：16-19.

[2] 吳巖，云計算模型國內外發展現狀研究[J].科技資訊，2013（6）：20-22.endprint