大壩可視化數據的存儲與管理

摘 要：針對大壩可視化處理中的監測和分析數據量較大，用于觀測分析的成果、屬性以及圖形等數據之間的關系較為復雜的問題，提出了觀測大數據的存儲和管理模式，采用了測點時序索引表的數據管理方法，較好地解決了數據可視化檢索速度慢的問題，便于數據處理和繪圖所需的靈活存取，實現快速可視化。

關鍵詞：觀測數據；數據存儲； 數據管理

中圖分類號：TP311.13 文獻標識碼：A

Abstract：Considering that the monitoring and analysis data of dam in visual processing is great，and the relationship between the results data in observation and analysis，attribute and graphic data is complicated，the mode in the large amount of observation storage data and management data is proposed.The data management method of sequential index table in observation points is used.The method resolves preferably the problem of searching in slow data retrieval.It is good for flexible and easy access to data processing and drawing required to achieve visualization rapidly.

Keywords：observation data；data storage；data management

1 引言（Introduction）

三十年來，國內外就大壩觀測資料的分析已進行了多方面的研究，大壩觀測資料分析產生的數據量巨大，雖然目前已有多種軟件投入運行，但現存的大壩分析軟件在實際工程計算時，只能利用已知的幾個控制層參數，而不能得出大壩在任意部位處相應的分析數據；同時在分析過程中的計算機圖形處理技術主要針對二維數據的可視化分析，而所有數據的可視化分析大多數是以二維圖形效果展示，缺乏立體、直觀效果[1]。

大壩應力成果分析數據、儀器所測得的監測數據量非常龐大，應力成果、屬性和圖形數據之間的關系比較復雜。采取何種數據結構，實現對數據一致的存儲管理，方便數據檢索和可視化需要進行靈活存取，實現其三維可視化表達，是對大壩應力成果可視化檢索、測量數據處理可視化的最為關鍵的環節，本文就大壩數據可視化研究課題的數據存儲管理做一探討。

2 大壩觀測數據存儲和管理（Dams observationdata storage and management）

大壩應力分析和觀測數據是一個動態的數據，而且信息量非常龐大，甚至是海量數據，有關大壩數據可視化中的信息不僅僅是由數字、文字組成的，同時還有一系列的圖表等非文字性質的數據。大壩的分析成果和監測到的數據一般具有較為穩定和動態更新兩種情況，一般工程的特征信息、樞紐信息、觀測設備的坐標、屬性等資料不會經常變動，是屬于較為穩定的數據；而應力的監測數據、位移監測數據和分析的成果數據等是動態變化更新的。對較為穩定的數據，因數據容量不大，系統處理中較為常定，以存放在穩定表中處理；而對觀測和分析到的數據則是存儲容量大，檢索頻率高，而且速度較慢，所以對這部分的數據如何存儲和管理，直接影響到系統可視化檢索的性能。

2.1 大壩數據存儲方式

由于大壩有限元分析的工況節點數據非常多，一個工況的節點數據就達到20000多個，而分析的工況數一般達到40多個，同時，大壩監控的監測項目類型多，需要用到各類監測儀，一般大壩安置的儀器少則十幾種，多至幾十種，為了利于數據庫的管理和維護，有限元分析數據按工況種類分表存放，監測數據按儀器類型分表存放。這樣，存放有限元應力成果數據和監測數據的基礎數據表就有工況表、工況節點表、儀器特征表、監測值表等。

就課程研究的某大壩中布置了近200個監測儀，大壩一年的監測數據就有上萬條，隨著時間的推移，表中的數據將達到上千萬，從該類型表中檢索某些時間段和方位點的數據值，檢索速度是一個大問題。雖然當前流行的數據庫管理平臺都提供快速檢索的索引功能，但不能滿足大壩監控數據的檢索速度和時間段檢索，為解決這個問題，本課程采用了下面解決方法。

（1）建立有效的索引機制。

（2）對表結構進行優化管理。表設計的標準要求達到3NF，冗余度降。大壩觀測數據表由點名、時間、上下游水位和觀測值等屬性字段，其國點名和時間字段組合為主碼，以保持數據完整性，工況節點表有12個字段：正應力3個字段、剪應力3個字段、位移3個字段、節點坐標3個字段，以z和y軸字段作為主鍵。

（3）使用視圖。

2.2 數據管理方式

2.2.1 數據檢索

檢索數據可通過SQL和緩沖區快照兩種方式。使用SQL是順序檢索數據，而緩沖區快照則是在附加檢索條件下把數據表中全部或部分記錄映射到內存區，緩沖區數據保持與原表數據完全一致的索引性質。通過該快照數據既能進行順序查詢，又能通過索引值定位檢索，讀取某些特殊數據。

2.2.2 數據操作

對數據庫的主要操作是數據錄入和查詢。大壩監測數據通常是按采集時間先后順序存儲。在對大壩進行數據分析時，需要對各測點和各時間段內的觀測數據進行不斷讀取，若通過緩沖區快照附加檢索條件，具有一定的靈活度，但分析效果較慢，檢索條件的改變將需頻繁連接數據庫，重新生成快照，緩沖區數據刷新率高，這對系統效率是一大打擊。為此可通過測點時序檢索表優化數據結構，以降低緩沖區快照的刷新頻率[2-5]。endprint

2.2.3 測點時序索引表

根據大壩對觀測數據的檢索是按測點和時間查詢的特點以及觀測數據的存儲特點，建立了測點時序索引表。測點時序索引表是按時間序列劃分原始觀測值表，從原始觀測值表中找到測點時序的邏輯行，存入測點時序索引表中。檢索時以測點時序索引表中的測點時序邏輯號作為索引值，在原始觀測表中定位數據段。索引表具有測點名、時序起點年和終點年、觀測點值在原表中的起始邏加行、觀測值記錄條數等屬性組成，其中以測點名和時序起點年作為主碼。

在檢索觀測值時，先用緩沖區快照方式生成全部觀測數據的全映射。根據緩沖區快照數據與原始表具有一致的順序規律，索引值對緩沖區的劃分也相同。檢索測點觀測數據時，先識別該數據的觀測時間在測點時序索引中所在的時序記錄；再從這些時序記錄中，查到該測點時序的原數據記錄行號和記錄條數；然后從緩沖快照區中相應記錄段中讀出所需的數據，從而完成一次檢索。在這種檢索機制下，每次檢索不同的測點時序數據，只是改變一下索引值，就可以檢索到所需觀測數據，不需重新生成快照，而不需要不斷更新緩沖區快照。大大提高快照的使用率，優化了系統整體性能。

為保證索引表的正確性和有效性，測點時序索引表與原始表應保持同步更新管理。根據觀測數據的存儲是按時間次序采集入庫的，所以在有觀測點數據入庫時，需要先在索引中增加這一新時序觀測數據的索引記錄，然后根據增加的記錄數目，修改其后各索引記錄的起始行數值，以保證索引表各索引條目中記錄的原始數據起點位置的正確性；刪除原始觀測數據也用一樣的原理，先找到刪除數據在索引表中的索引記錄，若跨多條時序索引條目，則刪除前面的時序條目，修改最后一條索引條目記錄的起點行數值，否則只修改找到的第一條索引的起點行數值，然后同樣需修改后面各索引條目中記錄的起始行數值。

在原數據入庫有時間順序這一特征，索引的維護簡單容易，能夠快速更新管理，可通過觸發器實現索引自動維護更新。

3 數據入庫處理（ Data loading and processing）

儀器測得的數據和有限元分析數據，經過前處理軟件進行前處理之后，得到.txt類型文件和.out類型文件，根據系統數據的存儲特點，這些數據入庫存儲的表名按規定的格式命名，如：工況節點表數據的文件名格式：“y上游數據_下游數據”，若工況是上游24m，下游10m的節點數據表名為：y24_10；監測數據以監測儀類型規格命名。每個數據文件在入庫前都必須按照一定的格式記錄數據。工況節點數據和監測數據有自動入庫和手工入庫（即編輯）兩種方法。

主要數據的入庫方法是：

首先，用戶確定入庫數據的類型（應力成果數據或觀測數據）、文件路徑和數據存儲名稱（工況表名或儀器類型規格）。

然后，系統在工況表或儀器特征表中搜索該數據資料：

（1）若未找到信息，則提示用戶繼續輸入完整資料，實現對工況表和監測儀器特征表的數據的輸入，利用recordset對象的addnew方法和update方法實現，然后系統自動生成新表，并把數據文件加載到庫表中（用BULK INSERT … FROM…WITH實現）。

（2）若找到信息，系統自動識別數據文件記錄是否已經存在，若不存在，則加載入庫。

4 結論（Conclusion）

本文就大壩可視化數據主要針對大壩應力數據和觀測數據的特點，在數據庫存儲方式和管理技術方面進行了詳細的研究和論述，根據大壩咨詢系統的需求，對數據庫表的分類管理、數據結構以及數據的入庫方法提出了詳細的解決方法。并對大壩數據量大而造成訪問速度低、數據利用率低的現狀，提出了采用測點時序索引的數據管理方法，較好地解決了數據查詢速度慢的問題，有利于快速生成大壩數據可視化分析視圖。

參考文獻（References）

[1] 李曙光，劉天佑，楊波.基于OpenGL的綜合地球物理可視化及其應用[J].工程地球物理學報，2008，5（2）：205-209.

[2] SHASHI S，著.謝昆青，等，譯.空間數據庫[M].北京：機械工業出版社，2004.

[3] 郭薇，郭箐，胡志勇.空間數據庫索引技術[M].上海：上海交通大學出版社，2006.

[4] 史文中，郭薇，彭奕彰.一種面向地理信息系統的空間索引方法[J].測繪學報，2001，30（2）：156-16.

[5] 史萬明，等.數據分析[M].北京：北京理工大學出版社，2002.

作者簡介：

何小苑（1971-），女，碩士，副教授.研究領域：空間數據庫技術，空間索引技術，數據庫系統.endprint