面向土地信息統籌管理大數據梳理與融合研究

莫偉生

（深圳市愛華勘測工程有限公司，廣東 深圳 518111）

0 引言

為實現土地信息統籌智能化自動化管理，常面對規劃、現狀、地下管線和土地權屬等多源異構土地信息數據的融合利用難題，借助大數據的理論和方法，就海量的多源異構的土地信息數據進行梳理與融合技術的研究，實現了多源異構數據的融合利用。該文從大數據自動關聯、大數據的清洗、抽取與變換以及大數據的歸一化與聚合3項關鍵技術介紹面向土地信息統籌管理大數據的梳理與融合技術。

1 基于同位、關系、語義、尺度和時序的大數據自動關聯技術

針對多源異構的土地信息統籌管理大數據，研究面向聚合主題和目標的關聯數據接入方法，進行信息抽取，提出面向位置、語義、關系、時間和尺度5個維度的土地信息統籌管理大數據聚合模型[1]。根據聚合分析主題目標，考慮土地信息統籌管理數據多種類型、不同結構特征，對結構化地理大數據進行抽取、轉化、清洗等一系列數據挖掘的前期處理，對于半結構化和無結構地理大數據采用信息抽取，從異構數據源中自動抽取信息得到候選知識單元。根據土地信息中多源地理大數據不同的結構特征，分別進行不同的處理，如下所述。

1.1 結構化數據

結合土地信息統籌管理大數據聚合目標，對結構化數據按照抽取-轉換-清洗3個步驟進行特征提取。

1.1.1 抽取

從地理大數據中提取所需要的數據，常采用空間數據和屬性數據抽取2種方式?？臻g數據抽取主要包括相交、擦除和空間連接等，相交是計算輸入要素的幾何交集，將所有圖層和要素類中相疊置的要素或要素其中的一部分寫入輸出要素類；擦除是將擦除要素的多邊形與輸入要素疊加來創建要素類，只將處于擦除要素邊界之外的輸入要素復制到輸出要素類；空間連接是基于2個要素類中要素之間的空間關系，將屬性從一個要素類傳遞到另一個要素類[2-3]。屬性數據抽取通過使用 SQL查詢語句實現。

1.1.2 轉換

根據地理大數據聚合分析實際應用需求，對數據格式進行轉換。數據格式的轉換包括不同數據結構間的轉換以及同一數據結構在不同組織形式間的轉換。其中不同數據結構間的轉換通常使用數據格式轉換方式，即采用目前國際上通用的空間數據格式轉換標準，遵循完整性、完備性以及可操作性的原則，實現各類數據格式的相互轉換，使數據格式統一。

1.1.3 清洗

地理大數據關聯接入過程中，通常需要對數據進行清加工，包括檢查數據一致性，處理無效值和缺失值等。其中數據插值為常用的數據清洗工具，主要包括 Kringe插值法，IDW插值法以及趨勢面法。

1.1.4 特征提取

進行前期處理后，統一對結構化數據采用坐標提?。ˋdd XY）、地址匹配的方法獲得數據中的位置信息；采用 SQL查詢語句提取數據中的時間信息、語義信息和尺度信息；采用空間關系分析方法獲得數據中的空間關系。

1.2 非結構化數據與半結構化數據

信息抽取是一種自動地從非結構數據和半結構數據中抽取實體、關系及屬性等形成結構化信息的技術。實體、關系和屬性抽取是從異構數據源中自動抽取位置、語義、關系、時間、尺度5個維度特征的信息，從而得到候選知識單元。

1.2.1 實體抽取

實體抽取是從文本數據集中自動識別出命名實體，如位置、尺度等信息，應用監督學習與規則（先驗知識）相結合的方法采用字典輔助下的最大熵算法，實現基本的文本提?。徊捎脽o監督學習算法使面向開放域的目標數據集能夠基于實體的語義特征從搜索日志中識別出命名實體，然后采用聚類算法對識別出的實體對象進行聚類，即獲得相似語義環境下的實體對象；采用統計機器學習的方法在面向開放域的目標數據集中抽取與其具有相似上下文特征的實體，從而實現所提取實體的分類和聚類。

1.2.2 關系抽取

即提取實體間的相關關系。采用基于條件的關系抽取，對于沒有預先定義好的實體關系模型或者關系數量過多的情況則采用開放域關系抽取方法。而對于目標數據集中擁有關系數量且有預先定義好的實體關系分類模型可采用傳統的機器學習算法進行關系抽取。應用基于自監督（self-supervised）學習方式的開放信息抽取原型系統（TextRunner），對于面向開放域的信息抽取方法框架（Open Information Extraction，OIE），采用少量人工標記數據作為訓練，得到實體關系分類模型，再根據該模型對開放數據進行分類，根據分類結果訓練樸素貝葉斯模型來識別“實體－關系－實體”三元組，并應用上下文分析技術完成支持非動詞性關系的抽取。

1.2.3 屬性抽取

屬性抽取是從不同信息源中采集特定實體的屬性信息，如時間等，通常是對實體屬性的補充完善，通常采用支持向量機的方法，如文本創建的時間屬性。

2 土地信息統籌管理大數據的清洗、抽取與變換技術

2.1 多類型、多尺度大數據抽取與關聯技術

針對土地信息統籌管理大數據所具有的空間特征、時間特征和主題特征等多特征，研究面向時空及主題的土地信息統籌管理大數據多元特征提取技術，通過分析地理概念及其屬性，研究土地信息統籌管理主題特征詞獲取、特征詞庫建立以及基于主題特征詞的主題域的劃分方法。研究從地理大數據中提取位置地名、地理概念以及地理年代等時空特征的方法。在地理大數據提取時空及主題特征的基礎上，研究地理大數據空間信息、時間信息及主題信息融合關聯方法，建立以主題為信息單元的地理大數據信息標簽及其組織方法。最終形成土地信息統籌管理大數據時空主題特征抽取軟件模塊，以接口的形式對外提供調用和服務。

在大數據時空統一框架的基礎上，研究面向土地信息統籌管理主題的大數據主題-時空關聯模型，針對社交媒體大數據主要為文本內容的特點，將詞向量技術與機器學習網絡技術結合，進行命名實體識別、實體間的關系抽取、實體的屬性識別與抽取以及文本聚類，從聚類中產生主題，再從主題的關聯性出發，實現面向土地信息統籌管理主題的時空數據關聯。

在統一時空框架的基礎上，對從文本中獲取的屬性、關系以及主題進行序化和空間化，從地理觀測大數據中可直接抽取空間實體的相關空間位置、屬性和拓撲關系等信息，對2類來源的空間實體在統一時空框架中進行基準統一、數據格式統一、“三域”標識統一等。

將土地信息統籌管理主題特征數據作為深度神經網絡的輸入，利用 Encoder-Decoder 的網絡結構對特征數據進行降維，使用同一種網絡，在最小信息損失的前提下，可以確保數據降到同一維度的同一個映射空間，由此實現對特征數據的歸一化處理。在上述統一的基礎上進行特征提取，構建多特征關聯度量矩陣，對地理實體的各個特征進行相似性度量，對主題一致、時序關聯、空間一致、語義相同的數據進行抽取，建立時空到主題、主題到時空的一體化關聯，實現土地信息統籌管理大數據多元特征主題關聯，為協同表達提供技術支撐。

通過借助專家經驗以及相關的先驗知識，建立學習規則，解算地理實體的各個特征參數和影響關系，構建多元特征的地理實體間距離度量指標，根據該指標得到關聯系數，進行排序確定最優結果集，并根據用戶反饋調節特征參數，修正關聯模型，以獲得更接近用戶所需要的結果集。

2.2 多類型、多尺度時空數據清洗技術

在統一的數據清理框架下，系統研究土地利用/覆蓋變化數據、自然環境數據和基礎地理大數據等多類型、多尺度時空數據清理的技術方法，包括不一致數據的自動檢測與消除技術、噪聲數據的檢測與平滑技術及缺失數據的自動填補等。

2.2.1 不一致數據的自動檢測與消除技術

該研究分別對關系數據、時態數據和空間數據等不一致檢測和消除進行了研究，提出了相應的解決方法。

對關系數據以進行關系數據庫的第一、第二、第三以及 BC范式檢測為主，并根據應用領域專業知識建立了相應的領域知識和規則庫，在領域知識庫的指導下對不一致數據進行檢測和消除。

對時態數據不一致性檢測與消除主要依賴專業領域知識的指導完成，如對1個確定的區域在不同時間點，無論其經過多少次的圖斑（宗地/地塊）的分割和合并變換，但其圖斑（宗地/地塊）總面積是保持不變的。

對空間數據的不一致檢測與消除主要對其進行邏輯一致性和拓撲一致性檢查處理?？臻g數據邏輯不一致主要是指發生在不同圖幅以及不同圖層數據之間相同實體數據屬性數據不一致的情況。不同圖幅間邏輯的不一致需要在圖幅接邊時完成屬性檢查；不同圖層間數據的一致性檢查，采用數據對比分析和發現不同圖層數據疊加的方法來完成。

2.2.2 噪聲數據的平滑技術

該文重點研究了基于回歸分析和聚類分析方法的噪聲數據平滑技術，如在城市基本地形圖高程數據中，對抽樣樣點數據庫采用回歸分析方法，發現異常數據，并在系統環境中實現。

2.2.3 缺失數據的自動填補技術

在回歸分析、貝葉斯網絡、決策樹以及空間插值分析算法（Kriging 算法、 趨勢面分析算法和樣條函數等）的支持下，結合數據源領域知識和規則，研究了缺失數據的自動填補技術，并對土地利用、區域社會經濟發展統計數據等數據進行了實踐研究。

3 土地信息統籌管理大數據的歸一化與聚合技術

3.1 大數據歸一化方法

根據土地信息領域數據特點，將其劃分為正向數據、反向數據和適度數據，并分別定義了其數據標準化方法。

正向數據標準化定義如公式（1）所示。式中：Xi為標準化指數；Si為量測值；Dimin為要求的低限即最差值；Diopt為要求最優測度（經常取最大值）；Ri為i的風險性測定，常用保證率來測度。

該類數據為正向測度數據，如GDP總量對區域發展來說其取值越大越好，即為正向測度。

反向數據標準化定義如公式（2）所示。

公式（2）中的數據為反向數據，即其取值越小越好，例如對機場選址來說，地形坡度值即為負向測度。

適度數據標準化定義如公式（3）所示。

在公式（3）中，該類數據為適度數據，即其取值在某一特定區間范圍內是最優的。如對水稻田的適宜性評價中的pH值指標，它要求在6.5～7.5是最適宜于水稻種植的，即可用公式（3）進行標準化處理。

3.2 基于云模型的數據離散化技術

當數據庫中屬性字段為數字類型時，如果從原始的概念層次發掘，那么最小可性度閥值越小，就會產生越多不感興趣的規則，而最小支持率和最小可性度閥值較大則不會產生強關聯規則。基于以上情形，需要通過屬性泛化將屬性提升到較高的概念層次，然后在泛化的數據上再進行數據挖掘。屬性泛化問題在屬性為數字類型時常被稱為連續數據離散化。將屬性空間劃分為不重疊的區間或區域，且將連續數據映射到這些區間或區域，該方法為連續數據離散化常用的方法。這種不允許相鄰的區間有重疊的方法稱之為硬劃分利益法。工作人員可以使用云模型來模擬人類靈活地劃分屬性空間的機制，而硬化分方法不能模擬人類的劃分機制。當每個屬性看作語言變量時，對于每一個語言變量，定義幾個語言值，相鄰的語言值間允許有重疊?？梢杂捎脩艚换サ亟o定表達語義言值的云，也可以通過云變換的方法自動獲得?；谠颇Ｐ偷姆夯椒ㄊ且环N屬性軟劃分方法。

3.3 基于地理大數據場的多類型、多尺度數據融合技術

對數域空間引入場的思想，即視每個數據對象為n維空間中具有一定質量的粒子，數據對象周圍形象地存在一個虛擬作用場，位于場內的任何其他對象都將受到場力的作用，因此聯合作用的所有對象在空間上就確定了一個數據場。

3.3.1 數據場度量

采用物理場的度量方法，研究了數據場的場強和場勢。并將數據對象通過輻射數據能量在數域空間形成一個虛擬的空間場，該場空間中單一數據對象對場空間輻射數據能量的大小用場強來度量。常用場強函數為指數函數模型，如公式（4）所示。

式中：f（x，y）為二維指數函數，x和y為變量，e是數學常數，自然對數的底數，近似等于 2.718281828，還稱為歐拉數。

3.3.2 場勢與勢函數

定義數據場場勢為數域空間中某一具體空間點受空間中所有數據對象輻射數據能量之和，即數據場的勢是根據場強函數計算得到的數域空間中全部單個數據場強之和。根據標量場和矢量場的不同，其場勢函數可分別用以下2個公式表示，如公式（5）所示。

式中：p（x，y）為場勢函數；d（x，yi）為第i個數據對象與空間目標x之間的距離；σ為第i個數據對象的輻射因子；n為數據對象的個數。

3.3.3 場域劃分方法

數據對象對數域場空間的最大影響半徑內的區域為數據對象的場域。根據數據對象的不同特性，場域的劃分方法各不相同，對于多場源競爭空間場域類型，一般可用Voronoi圖方法進行處理。

4 結語

綜上所述，該文基于同位、關系、語義、尺度與時序的大數據自動關聯關鍵技術，著重從土地信息的結構化數據、半結構化數據及非結構化數據展開研究；土地信息統籌管理大數據的清洗、抽取與變換關鍵技術，主要針對多類型、多尺度的土地信息時空大數據進行研究；土地信息統籌管理大數據的歸一化與聚合關鍵技術，主要從研究大數據歸一化的方法、基于云模型的數據離散化技術以及基于地理大數據場的多類型、多尺度數據融合技術尋求突破口。以上3項關鍵技術的研究突破，為實現面向土地信息多源異構大數據融合利用起到重要作用，為土地信息統籌管理實現智能化自動化提供技術支撐。