李葉繁

摘 要:城市地質數據具有多樣性、不確定性和復雜性,為實現多源、異構、海量數據的有效管理與高效訪問,本文全面分析了城市地質數據的構成及特點,結合國內城市地質調查數據現狀和應用需求,參考《城市地質調查數據內容與數據庫結構》等相關規范,開展了城市地質數據建庫內容與結構設計,建立了“縱向層次、橫向專業”的數據庫結構,并針對性地探討了數據建庫過程中的質量控制措施,確保城市地質數據建庫質量,為探討本輪城市地質調查數據資源建設提供了建議指導。
關鍵詞:城市地質數據庫 結構設計 質量控制
Abstract: Urban geological data has features of diversity, uncertainty and complexity. In order to realize the effective management and efficient access of multi-source, heterogeneous and massive data, the composition and characteristics of urban geological data are comprehensively analyzed in this paper.Combined with the current situation and application requirements of domestic urban geological survey data, and referring to relevant specifications such as <Data and Database Structure of Urban Geological Survey>, the content and structure design of urban geological data database construction are carried out, the database structure of "vertical level and horizontal specialty" is established.And the quality control measures in the process of data database construction are discussed to ensure the quality of urban geological data database construction, which provides suggestions and guidance for the construction of data resources of this round of urban geological survey.
Key Words: Urban geology; ?Database; ?Structural design; ?Qualitycontrol
地質數據是國民經濟建設和社會可持續發展非常重要的信息資源[ ],城市地質數據庫是建立城市地質信息共享服務技術標準的關鍵內容之一。基于城市地質數據庫的地質數據中心建設,可以實現地質數據的規范采集處理、合理存儲、科學管理和有效使用。當前,地質部門管理的地質數據按照數據類型劃分有空間數據、非空間結構化數據、非結構化的描述數據,本文介紹了城市地質數據構成及特點、數據庫內容與結構設計以及數據建庫質量控制相關要點。
1城市地質數據構成及特點
1.1 城市地質數據構成
我國自1999年開展國土資源大調查以來,積累了大量數據,主要包括不同比例尺的地質空間數據庫、地球物理和地球化學專題數據庫、礦產數據庫和潛力評價數據庫,建成了10大類48個國家地質數據庫,成為國家空間數據的重要組成部分[ ]。本輪多要素城市地質調查(2017-2025)開展了工程建設與地下空間開發利用條件、地質資源種類、水土環境指標、地質災害類型等調查評價,應用了豐富的包括鉆探、地表觀測、電法、地震、地質雷達、測井、遙感、原位測試、綜合成果應用等技術手段與方式,更是進一步獲得了大量城市基礎地理、基礎地質、水工環地質、地球物理、遙感、地球化學、地質災害、地質資源等多類型數據。
為此,依據城市地質調查的采集手段、數據來源和成果階段,城市地質調查的數據內容可分為野外調查、工程施工與試驗、地質環境監測、地質成果4個大類,用來描述基礎地質、工程建設與地下空間開發條件、地質資源、土地與地下水環境、地質災害等方面的專業信息[ ]。野外調查、工程施工與試驗數據是對包括巖石、地層、構造、地貌等地質現象,通過野外綜合調查、施工勘探、樣品試驗等手段直接獲取的數據。地質環境監測數據是對地下水、地質災害等自然地質環境或者工程建設影響的地質環境及其變化,進行定期觀察測量、采樣測試、記錄計算等產生的數據。分析評價成果數據是對地質調查和地質環境監測數據進行加工處理、綜合研究和分析評價所產生的地質專題成果數據。此外,城市地質數據還應包括與地形地貌、地質構造、地層巖性、水文地質條件、不良地質作用、可利用土體資源、地熱資源、地下水資源、水土環境質量等相關三維模型數據。
1.2 城市地質數據特點
城市地質數據具有多樣性、不確定性和復雜性[ ],往往來自不同時期、不同單位(部門)、不同項目,其存儲介質可能是紙質的或磁盤(磁帶、光盤等)形式的,其表現形式可能是文字(文字報告)、數據庫文件(Access、SQL Server、Oracle等)或圖形圖像等。同時,城市地質數據還具有大數據特性,呈現多元(源)、異構、多態、時空關聯、大容量高相關、價值低密度、復雜與不確定性等特點[ ]。
2 數據建庫內容與結構設計
由于城市地質數據來源廣、類型多、數據量大、關系復雜,要實現多源、異構、海量數據的有效管理與高效訪問,數據建庫首先要對數據及相互關系進行整理,根據數據特點進行分類,并實現數據的分層管理;其次根據數據類別、數據層次等要素,分別設計數據存儲的邏輯結構、物理結構、訪問控制方式、備份策略等[ ]。
2.1 城市地質數據庫內容
依據城市地質數據構成分析,城市地質數據庫建設內容包括基礎數據庫、專題數據庫、成果數據庫[ ]。
2.1.1 基礎數據庫
基礎數據是指搜集或采集到的非常寶貴的第一手資料的數字化形式,是數據庫建設的基礎,其他層次的數據都是基于原始數據而建立的,除非數據輸入錯誤,原則上不能對這類數據進行修改。這一層次的數據包括以下類型。
(1)地質館藏地質資料,包括報告、圖片及原始檔案。
(2)鉆孔原始資料(各類鉆孔(井)卡片中的野外現場描述、深井檔案、各種測試數據)。
(3)水文地質與地質環境監測原始資料。
(4)地球物理勘探數據。
(5)地球化學調查中獲取的土壤、地下水、地表水采樣等原始采樣數據。
(6)在地質、礦產調查過程中收集到的其他原始數據。
在建立基礎數據庫過程中,原始數據應按照原有的數據格式和數據結構進行管理,不做任何變動和轉換。只是在輔助數據庫中加上對原始數據庫的字典描述,以實現對原始數據層的數據識別和管理。
2.1.2 專題數據庫
專題數據是指能夠進行GIS查詢統計、分析應用、三維建模等所使用的數據,是基于基礎數據經標準化處理或重新解釋后得到,對這部分數據允許利用系統提供的工具進行增、刪、查、改等操作。本項目中的專題數據指通過野外調查、工程施工與試驗等地質調查活動獲取的數據進行標準化處理后得到的數據,以及對地下水、地質災害等自然地質環境或者工程建設影響的地質環境及其變化進行定期觀察測量、采樣測試、記錄計算等產生的數據。
2.1.3 成果數據庫
成果數據庫包括分析評價成果數據庫和三維地質模型數據庫。分析評價成果數據庫由用戶基于基礎數據、監測數據經綜合分析應用得到,允許進行編輯修改。具體包括成果圖件、基于評價模型生成的評價結果數據集和各類成果報告。
三維地質模型數據是利用三維地質建模工具基于基礎數據、專題數據、監測數據構建的包含與地形地貌、地質構造、地層巖性、水文地質條件、不良地質作用、可利用土體資源、地熱資源、地下水資源、水土環境質量等相關信息的模型數據。
2.2 數據庫邏輯層次結構
整個數據中心采取縱向分層,橫向按專業的原則進行數據庫的邏輯組織。
(1)縱向上分為3個層次:基礎數據層、專題數據層和成果數據層。
(2)橫向上,每一個數據層次按照專業進行劃分。
(3)在3個數據層次之外,建立輔助數據庫,協調各個層次數據庫之間的關系。
其中,基礎數據層與原始數據庫的結構保持一致,不改變原有的數據結構和數據組織方式;專題數據層劃分為基礎地理、基礎地質、地球物理、地球化學、礦產勘查、潛力評價等幾大專題,是從原始數據層解釋而來的數據庫,并重新進行了數據組織,存儲在大型關系數據庫中;成果數據庫主要管理收集的成果圖件、三維模型、報表報告等,存儲在大型關系數據庫中;此外,為了管理各個層次的數據庫,建立各個層次數據庫之間的關聯關系,數據中心建立一套輔助數據庫,包括元數據、數據字典、系統日志、系統配置等信息,存儲于大型關系數據庫中(見圖1)。
3數據建庫質量控制與措施
城市地質數據建庫的質量控制應貫穿從設計到驗收的全過程,應在數據生產、建庫過程中嚴格執行“二級檢查一級驗收”制度[ ]。
3.1 數據建庫過程控制
即采用過程方法對每一個過程的質量進行監管與分析和評價,以實現最大限度的質量控制管理及持續改進。
(1)在建庫策劃階段(P),依據項目目標,進行建庫資源、技術準備,包括組建技術團隊,收集相關法律法規、技術標準等文件資料,收集整理項目區鉆孔、地質圖、剖面圖、地形地貌等圖件和遙感數據以及各類文檔數據資料,配備計算機及專業圖形軟件等;同時,認真組織編寫,項目實施方案、開展數據庫設計并進行評審及改進。
(2)在建庫實施階段(D),依據數據生產及質量控制流程實現數據庫的建設及質量控制,主要通過對數據庫建設過程中的模型建立、圖形及表類數據轉換入庫等過程進行監管。通過識別各個過程的重要節點以及依存關系并進行檢查和控制,強調作業自檢、互檢及隨檢的工作方法,以實現質量目標。
(3)項目檢查與分析(C)貫穿于各過程重要節點,通過檢查、評審等進行質量的分析與評價,實現質量的控制和提升。
(4)通過各個環節的檢查及監控,進行有效改進,提高整個項目的效率和質量,達到甚至超越質量目標(A)。
3.2 數據建庫質量檢查
地質數據庫建設過程中,需要對圖形數字化、屬性數據錄入、坐標定位等三大步驟進行質量控制。質量檢查包括自檢、互檢和抽檢3個層次。自檢由作業者在完成作業后自行檢查,所有數據必須進行100%自檢。對自檢錯誤數、錯誤比例、錯誤內容分別予以記錄,對錯誤處自行修改。互檢指由另一作業者對他人完成的矢量化成果進行檢查,互檢比例為100%。互檢者應在數據質量檢查表中寫明錯誤內容、錯誤數、錯誤比例等,并告知作業者讓其對應修改。完成自檢、互檢程序后,應交由第三者進行抽檢,抽檢比例不得低于30%。
3.2.1入庫過程準確性檢查
數據入庫的過程中為避免人為因素造成的錯誤,應編制相應的數據入庫工具,采用全自動或半自動的方式將數據導入數據庫,保證入庫過程的準確性。數據入庫后,采用自動或半自動的方式用軟件再對數據庫內數據進行全面的檢查,確保入庫數據的一致性。
3.2.2入庫數據正確性檢查
表格數據由原始數據得來,由人工錄入、數據轉存等方式得到,為避免人為因素導致的數據不準確,采用多種檢查手段,如自檢、小組互檢、抽樣檢查、程序檢查。程序檢查還可以對相關信息進行比較檢查,保證了資料的準確可靠;檢查并保證圖元要素、屬性數據和原始數據或成果數據資料一一對應;保證屬性及表格數據的編碼唯一且正確。數據正確性檢查的內容包括圖面質量檢查、空間數據質量檢查、附表數據質量檢查、資料文檔檢查、元數據檢查等。
3.2.3數據入庫后的應用性檢查
數據導入數據庫后,運用信息系統調用各專業的數據,抽取不少于20%的數據進行專業計算、應用,檢查數據在系統中的展示應用情況,保證數據準確可靠。
3.2.4數據檢查工具
通過總結數據庫中存在問題或可能存在問題的類型和種類,采用專業數據檢查工具,包括鉆孔位置檢驗、鉆孔分層檢驗、鉆孔編碼檢驗、地質環境監測數據檢驗等[ ]。
4結語
城市地質數據建庫是地質信息化建設的關鍵內容,其結構設計的規范性和先進性決定了地質數據價值是否能夠得到有效發揮。本文通過分析城市地質數據構成及特點,開展了城市地質數據建庫內容與結構設計,并針對性地探討了數據建庫過程中的質量控制措施。
參考文獻
[1] 潘寶玉,楊潤書.淺論地質大數據的管理與利用[J].地礦測繪, 2017,33(1):1-3,14.
[2] 中國地質調查局.地質調查信息化“十三五”規劃[EB/OL]. https://www.cgs.gov.cn/xwl/ddyw/201711/t20171109_443600.html.
[3] 中華人民共和國自然資源部.DZ/T 0352-2020.城市地質調查數據內容與數據庫結構[S]. ?北京:自然資源部地質出版社,2020.
[4] 陸敬華. 地質數據特點與分類[J]. 黑龍江科技信息, 2013(13):32.
[5] 譚永杰,文敏,朱月琴,等.地質數據的大數據特性研究[J].中國礦業,2017,26(9):67-71,84.
[6] 李玉. 城市地質數據集成與共享技術研究[D].成都:成都理工大學,2020.
[7] 陳澤鵬,黃睦謹, 江齊英,等.城市地質大數據中心關鍵技術研究與設計[J].科學與信息化,2021(19):34-35.
[8] 何學洲,向運川,王楊剛,等.全球地質礦產數據庫質量控制體系建立與應用 [J].中國地質,2015,42(2):737-744.
[9] Liang D., Hua W., Liu X., et al.Uncertainty assessment of a 3D geological model by integrating data errors, spatial variations and cognition bias[J].Earth Science Informatics 20201,14:161–178.