海量數據處理系統框架關鍵技術研究

于濤

（遼寧冶金職業技術學院，遼寧 本溪117000）

海量數據處理系統框架屬于逆向工程軟件的基礎部分，該框架主要包括數據采集、模型修補等相關方面。然而，該項技術在使用過程中，海量數據處理系統框架存在諸多問題，尤其是三維網格數據存儲環節較為薄弱，無法滿足人們工作使用需求。為此，如何加大海量數據的儲存與顯示功能是人們迫切解決的主要問題。

1 面向對象技術

海量數據與面向對象技術優化結合以后，可以將海量三角網絡格模型視作整體對象，然后將較為抽象的邏輯數據，依照其封裝原理進行操作，這樣就可以借助面向對象程序設計語言操作海量網格數據。當前，網格數據對象基本分為兩個部分，一個部分是內部狀態，另一個部分是對網格數據操作方法以及外部影響。其中面向對象設計程序主要是將網格數據作為最基本元素，通過代碼操作數據使其可以有效描述內部狀態，該程序以數據為核心，利用代碼處理技術設計程序數據，從而將代碼操作與數據中的函數優化結合，避免該程序受外界函數干擾，致使數據發生改變。由于各種設計方法具有良好的繼承性、封裝性與多態性，可以有效繼承網格數據，大量消除多余代碼，并在原有基礎上對現有代碼進行擴充，這樣海量數據處理系統框架模塊在構建時，不需要從頭開始進行重新構建，減少軟件重新開發的時間，提高更新速度。設計人員在設計時應以數據為中心，應對原有系統模型框架進行更多的細節處理，借助面向對象系統使其從小到大進行升級，通過內部傳遞技術與外部連接技術相結合的方法，促使海量數據處理系統再次開發，使其可以有效控制更為復雜的軟件程序。

2 網格區域劃分技術

技術人員在處理海量數據過程中，一般會對上百萬個三角面片進行有效處理，然而計算機內存數量有限，不能把許多數據全部存入的內存系統當中。針對這種情況，技術人員在處理網格數據時，需要對計算機中的某塊數據信息進行有效處理。這就需要技術人員將海量網格數據中的某段區域數據信息進行檢索，然后將檢索出來的數據信息，在網格數據中進行壓縮。倘若技術人員需要某部分數據時，應將所有壓縮的數據信息進行解壓縮。這樣就需要在網格數據處理過程中，對上百萬個三角面片海量數據予以壓縮處理，該種處理方法需要耗費較長的時間，而且還會耗費較大的人力物力，致使技術人員無法進行等待操作，沒有任何處理意義。而海量網格區域劃分方法，則是將海量網格中的數據信息進行有效處理，通過化整為零的形式，將不好處理的數據信息劃分成獨立的區域，以便各類數據信息可以有效進行處理，即便計算機內存數據線有所限制，不能將計算機內存中儲存的全部數據信息進行直接讀取，但是可以在小區域內進行數據分讀，這樣不但減少數據內存占用量，還能縮短數據檢索時間。技術人員只需要明確所用小部分數據信息的所在區域，然后對該區域進行數據檢索，在檢索到所要數據信息后，將所要的數據信息壓縮后，然后再對該區域的數據信息予以壓縮，這樣該部分數據信息在使用時，只需將其提取解壓縮就可以讀取出具信息。

3 數據壓縮技術

海量網格數據屬于極為龐大的，有上百萬個三角面片組成的三角網格模型，該模型所占計算機空間通常為上百兆，如此龐大的海量網格數據不利于數據信息儲存與傳輸。針對這種情況，技術人員會對海量網絡數據予以壓縮處理，從而減少海量數據儲存占有空間，也就是說數據壓縮技術是減少海量數據存儲空間。當前，三角網格信息主要分為三個部分：拓撲信息、幾何信息以及屬性信息。其中拓撲信息主要是應用于描述三角網格中三角片面與頂格之間的相互聯系；幾何信息是標明三角網格中各頂點的坐標位置；而屬性信息則是指三角網格中的其他信息，如法向量，頂點顏色等。

4 內存訪問技術

由于海量數據處理系統中需要處理的數據信息較為龐大，而電腦內存量有限，不能對海量數據進行全部儲存。針對這種情況，倘若某時刻內存中儲存的數據信息只有若干小塊，而其他的數據信息則會以文件形式儲存在計算機硬盤當中，不利于數據快速查找。這時技術人員可以采用數據塊淘汰策略，也就是說技術人員在訪問某塊所需要的數據信息時，應該先在計算機內存中進行查找，倘若計算機內存中存在所需要的小塊數據信息，技術人員就可以直接對該項數據信息訪問。倘若在計算機內存中找不到所需要的小塊數據信息，技術人員應在計算機硬盤中將所需要的數據內容重新調入到內存當中，但計算機內存已滿無法再輸入任何數據信息，技術人員可以將內存中不經常使用的小塊數據移動至計算機硬盤當中進行保存。

技術人員在同時訪問多個小塊數據文件時，就會需要對許多小塊數據進行同時讀寫文件，然而計算機系統文件資源管理有限，只能同時打開幾百個文件，不能上千個小塊壓縮數據文件進行同時打開訪問。由于文件訪問數量有限，而技術人員所需要用的文件資源數量已經消耗殆盡，仍舊沒有找到所要用的文件內容，這時技術人員應將已經打開的文件關閉，然后再去尋找所要用的文件并進行打開。為了更加準確的對所選擇的文件進行淘汰，技術人員應在電腦數據程序中設置一個淘汰策略，該種淘汰策略與內存淘汰策略較為相近，就是將不經常使用的文件進行淘汰。然而這種打開關閉、打開關閉的選擇方法速度較慢，只適用于文件淘汰計算方法，對于劃分區域網格數據塊并不實用，會在網絡運行中消耗大量的時間。這就需要技術人員在數據算法上盡可能減少同時訪問多個文件的情況，將文件淘汰方法轉變成緩沖技術使用內存法，該種方法可以在讀取文件時一次性對某塊區域內的數據進行讀取緩沖，然后在緩沖區域內尋找所要讀取的數據文件。而在編寫文件時，技術人員只需要將數據代碼編寫到緩沖區域內，待緩沖區域寫滿后，再將剩下的編程代碼寫到數據文件里，這樣就能減少數據文件讀取信息的時間，同時也減少文件開辟的時間，大大提高技術人員工作效率。

5 多線編程技術

在以往傳統數據操作過程中，數據系統進行資源分配的單位被稱作進程，其系統資源分配大多采用單線進程，也就是指在某個時刻只能對某一個系統資源分配進行流程控制。由于單線程進程計算模式不適用于海量數據讀寫、壓縮等相關操作，針對這種情況windows xp 系統將傳統單線進程模式轉變成支持多線程進程模式。倘若多線程進程模式在網格區域劃分過程中予以有效應用，就能行原本大網格中依照實際需求劃分成若干個網格小區域，以便windows xp 系統在操作過程中能夠實現多線程技術，還能對不同的小區域數據予以同時操作，有效完成數據代碼的編寫與壓縮等相關任務。當前海量數據處理系統最大的特點就是計算機容量較大，技術人員需要花費較長的時間進行數據操作，為了減少技術人員較長時間的操作等待，可以采用多線程編程技術，并對海量數據工作臺的后臺予以有效相關處理，以便前臺縣城能夠更加快速靈敏的反應操作人員指令需求。

6 快速顯示技術

海量數據信息處理系統中的三維數據顯示屬于三維化可視必要環節，不論是處理三維數據，還是在三維數據處理過程中對其進行再處理，都需要將數據處理程序展示給用戶觀察，只有在交互過程中才能繼續有效實施。通常海量三角網格模型是由上百萬個三角片面組成，面對如此龐大的三角片面，即便一個簡單的平移計算機屏幕模型或者是旋轉計算機屏幕模型等相關操作，都需要間隔數10 秒的等待時間。針對這種情況，技術人員可以將顯示列表技術與數據分塊技術相結合，以此優化數據程序運行功能。技術人員在調試顯示列表過程中，應將其函數術語一一羅列在執行表當中，然后采用顯示列表方式對其進行數據繪圖，可以有效提升繪圖時間。倘若技術人員將顯示列表轉變成適合圖形應用的硬件格式，則在原有基礎上提供其繪圖性能，繼而提高技術人員日常辦公效率，縮短繪圖辦公時間。

7 結論

由于海量數據襲擊較為龐大，計算機內存較為有限，致使設計人員在日常設計應用中需要浪費較大的時間與精力，通過面向對象技術、網格區域劃分技術、數據壓縮技術、內存訪問技術、多線編程技術以及快速顯示技術，能夠改變以往計算機內存較小無法對大量數據模型進行處理的困局，促使海量數據信息處理框架能夠適應當前網絡環境需求。