面向智慧城市的大數據中心建設方案設計

孔令禮

(山西省測繪地理信息局，山西 太原 030001)

面向智慧城市的大數據中心建設方案設計

孔令禮

(山西省測繪地理信息局，山西 太原 030001)

分析了智慧城市大數據的分類與特性，基于分布式存儲與云計算技術設計了智慧城市數據模型，該模型能夠高效地組織存儲地理數據、業務數據、實時數據等智慧城市的關鍵數據組成部分，采用智慧城市數據模型搭建了智慧城市大數據中心的建設框架。

智慧城市; 大數據; 數據中心; 分布式

隨著云計算、物聯網、新一代移動寬帶網絡等技術的迅速發展和深入應用，信息化向更高階段的智慧化發展，智慧城市的概念迅速崛起并快速發展[1]。城市智慧化已成為繼工業化、電氣化、信息化之后的新一次浪潮，是目前最熱門的研究課題之一。智慧城市以地理空間數據為載體，融合專題業務數據，依托互聯網為社會公眾、政府部門及企事業單位等提供查詢、分析、輔助決策等服務。智慧城市的建設能夠極大地促進城市數據資源的集成、開發和利用，然而，如何全面高效地組織和存儲智慧城市涉及的海量多源異構數據，是建設智慧城市面臨的首要問題。

本文基于分布式存儲與云計算技術設計了智慧城市數據模型，該模型能夠高效地組織存儲地理數據、業務數據、實時數據等智慧城市的關鍵數據組成部分，并且基于智慧城市數據模型搭建了智慧城市大數據中心的建設框架，在兼容現有城市信息化成果的基礎上，解決了海量多源異構智慧城市數據的組織管理問題。

1 智慧城市大數據的分類與特性

1.1 智慧城市大數據的分類

智慧城市是以人為主體，以空間利用為特點，以集聚效益為目的的空間地域系統[2]?；诔鞘袛祿念悇e、分布、規律等特征，不同行業部門和應用領域對城市數據有不同的劃分標準，如國家標準有《基礎地理信息要素分類與代碼》(GB/T 13923—2006)，行業標準有《城市市政綜合監管信息系統管理部件和事件分類、編碼及數據要求》(CJ/T 214—2007)。依據數據的獲取方式、用途與固有特性，本文將智慧城市涉及的數據分為3種類型：地理數據、業務數據、實時數據。詳細內容如下：

(1) 地理數據：地理數據作為統一的空間定位框架和空間分析基礎的地理單元載體，是城市數據的基礎和關鍵組成部分，包括矢量數據(地理實體數據集、路徑規劃數據集等)、瓦片數據(地圖瓦片、三維地形瓦片、建筑物模型瓦片等)、索引數據(地名地址索引、公交站點索引等)、柵格數據(遙感影像數據、數字表面模型數據等)、表格數據(屬性表、統計表等)。

(2) 業務數據：各行政部門及各行業的專題數據，如城市規劃、人口戶籍、金融物價、醫療衛生、能源消耗等。

(3) 實時數據：具有實時更新特性的數據，對數據的時效性要求較高，如環境監測數據、天氣監測數據、客流量數據、視頻監控數據等。

1.2 智慧城市大數據的特性

1.2.1 大數據特性

城市數據種類繁雜、規模龐大，包含的信息與知識極為豐富，同時由于數據稀疏性的影響，城市數據的價值密度也較低。綜上可以看出，城市數據完全符合大數據所具有的4V特性，可謂是大數據范疇中一個極具代表性的典型樣本。

1.2.2 時空多維特性

以地圖為基礎的時空多維特性是城市數據的另一個重要特點。在空間上，根據城市規模和數據獲取方式的不同，城市數據具有不同尺度的空間跨度；在時間上，根據產生的時間不同，城市數據具有時間相關的變化和分布。因此在進行城市數據分析和應用時，一方面需要考慮時間和空間兩個維度的數據演化特性，另一方面還需要充分利用時間和空間不同維度之間的數據關聯關系。

1.2.3 多源與異構特性

智慧城市數據具有非常多的類型與來源，其底層結構、組織方式、維度及粒度都存在較大的差異。如氣象是時序數據、興趣點是空間點數據、道路是空間圖數據、人的移動是軌跡數據(時間+空間)、交通流量是流數據、社交網上用戶發布的信息是文本或圖像數據[8]。

2 智慧城市數據模型

本文依據智慧城市數據的3種類型，分別設計了適合的數據模型，以達到管理和整合大規模異構數據的目的。

2.1 地理數據模型

本文采用四叉樹結構對地理空間進行規則劃分，以地理網格的方式將研究范圍劃分為多個地理塊對象并把這些地理塊對象的內部結構使用文檔數據模型依次描述和保存。文檔模型存儲數據的方式是閉包鍵值對，這種保存方法和關系模型的保存方式是不同的，它支持嵌套的結構，而且不存在強制的模式限制。本文所采用的模型可以有效地解決異構空間數據的一些關鍵問題，如數據管理、統一組織、調度及存儲等。邏輯表達如圖1所示。

圖1 數據模型邏輯表達[12]

本文采用四叉樹的方法對全球地理空間進行多尺度劃分，按照層次結構將所有的地理網格和對應的異構空間數據統一存檔，搭建了智慧城市地理空間數據的組織框架。地理網格中的異構空間數據以文檔的方式進行表達，便于使用文檔數據庫(如Mongodb)進行分布式存儲。

2.2 業務數據模型

列式存儲(column-based storage)是用二維表的形式存儲數據，首先以一維字符串的形式存儲一列的數據，然后再進行下一列數據的存儲。該方法采用稀疏存儲的方式，因此同一表中的每一行可以存在不同的列。對比行式存儲，列式存儲有很多優點，如更高的數據壓縮比、便于聯機分析、查詢快與存儲海量數據等。列式數據模型概念視圖見表1。

列式數據模型包括以下幾個組成部分：

(1) 表。列式數據模型的基本管理單元是表，它的排序是按行進行的，存儲是按列進行的。

表1 列式數據模型概念視圖

(2) 行鍵。Key作為每行的唯一標識，是該行的主鍵，用來檢索記錄。

(3) 列簇。列簇由表的Schema獨自定義，很多列可以同時出現在一個列簇中，任意多版本數據可以包含于一個列中。

(4) 列名。列簇前綴和修飾符連接構成一個列名。例如article:contents，article是列簇前綴，contents是修飾符，兩者由冒號(:)連接。

(5) 時間戳。列值版本用64位整型的時間戳表示，精度為毫秒。

智慧城市中的業務數據屬于結構化數據，具備大數據的特性，其應用場景中經常存在批量讀取與聚合分析等操作，適合使用列式數據模型進行存儲。現有城市信息化成果多以關系數據庫存儲業務數據，關系數據庫采用行式存儲，由于行式存儲與列式存儲可以相互轉換，因此現有城市信息化成果的業務數據可以無縫遷移到本文的業務數據模型中。

2.3 實時數據模型

對于實時數據首先采用實時數據庫進行存儲和管理，經處理后再進行持久化存儲。實時數據在時間變化的過程中更新較快，因此數據容易“過期”，系統不僅要保證數據庫內部狀態(數據值)正確，還要保證內外狀況的匹配，產生新數據與原數據時在時間上也要保證一定的精度。

實時數據模型描述如下：數據對象d有dv、dtp、devi這3個分量，依次代表d的現值、采樣時間、外部有效期。實時數據模型有內部一致性、外部一致性和相互一致性特征。

(1) 內部一致性：即數據正確性，dv需滿足預先定義的數據庫內部狀態的完整性和一致性限制。

(2) 外部一致性：設tc為當前時間或檢測時間，當且僅當(tc-dtp)≤devi，d是外部一致的，即dv的狀態與外部對應的對象狀態一致。

(3) 相互一致性：用來產生新數據的一組有關聯的數據是一個相互一致集，記為R，R中的數據應能夠在同一個公共時間段內被取出，該公共時間段即為R的相互有效期，記為Rmvi，假如R中任意兩個數據d和d′，|dtp-d′tp|≤Rmvi都成立，那么R是相互一致的。

3 智慧城市大數據中心建設

3.1 建設框架

本文充分考慮大數據價值的發揮與可持續發展的要求，以數據中心、服務支撐相結合的技術路線，建立從基礎設施、數據存儲管理、平臺整合到對外服務的一體化大數據中心，將地理空間大數據、業務專題大數據及各類傳感器采集的大數據進行有效管理，提供基礎服務與專題服務。數據中心建設框架如圖2所示。

3.2 技術架構

智慧城市的大數據中心不再是傳統意義上的機房、服務器的集合，而是一套完整、復雜、龐大的綜合系統，可以做到對時空大數據和各種信息的聚集處理、傳輸、交換、存儲和管理。其技術架構如圖3所示。

面對智慧城市中各類數量龐大的數據，尤其是空間數據、視頻數據等非結構化的數據，傳統關系數據庫已無法滿足智慧城市大數據存儲管理的需求。由于NoSQL數據庫的水平擴展、非線性、分布式等優點，其已經廣泛應用于大數據領域中，如Google的Bigtable、以Hadoop為架構的HBase等。本文采用開源技術構建核心技術體系，以分布式文件系統(HDFS)、列式數據庫(HBase)和文檔數據庫(MongoDB)作為數據存儲底層基礎，利用YRAN實現資源的調度和管理，通過Hlive實現類似SQL的數據庫操作能力，利用Sqoop將關系數據轉換到HBase中，由Spark和Mahout處理復雜模型的并行計算，實現了在云環境中的非結構化、半結構化和結構化數據到分布式文件系統的存儲和導出功能，并保證了數據的安全性。

本方案采用了大表文件索引、云計算技術、分布式文件系統、虛擬化等成熟的云存儲和分布式技術，提供了基礎的存儲與私有云環境，解決了海量多源異構數據的高效組織、管理、并發服務等問題，另外，本方案設計了多主題融合庫，為特定應用場景下的數據分析與可視化提供了快速的數據入口，避免了同類型數據的多次提取。

圖2 智慧城市大數據中心框架

圖3 智慧城市大數據中心技術架構

4 結論與展望

智慧城市是我國城市化進程中的重要機遇和挑戰，云計算與大數據技術的應用為構建智慧城市帶來了可能[4]。本文分析了智慧城市建設中大數據組織管理的關鍵技術，設計了智慧城市的數據模型，進行了詳細的分析闡述，并基于該數據模型搭建了智慧城市大數據中心的建設框架。

本文基于分布式技術，解決了智慧城市大數據的組織管理問題，但對城市數據挖掘算法模型尚未探討，這也是將來的重點研究方向。

[1] 趙元,彭玲,池天河,等.智慧城市綜合信息分析系統的設計與實現[J].測繪通報,2014(11):116-119.

[2] 楊麗娜,邵靜,彭玲,等.面向智慧城市數據管理和多維決策的時空數據倉庫建設[J].測繪科學,2014, 39(8):44-49.

[3] 龔健雅,李小龍,吳華意.實時GIS時空數據模型[J].測繪學報,2014，43(3):226-232.

[4] 朱亞杰,李琦,馮逍.基于大數據的智慧城市技術體系架構研究[J].測繪科學,2014,39(8):70-73.

[5] 翟永,劉津,陳杰,等.天地圖網站云架構系統設計[J].信息安全與通信保密,2012(9):81-83.

[6] 涂振發.云計算環境下海量空間數據高效存儲關鍵技術研究[D].武漢：武漢大學,2012.

[7] 張小娟.智慧城市系統的要素、結構及模型研究[D].廣州：華南理工大學,2015.

[8] 鄭宇.城市計算概述[J].武漢大學學報(信息科學版),2015,40(1):1-13.

[9] 李寅超,李建松.一種基于對象和快照的混合地表覆蓋時空數據存儲模型[J].測繪學報,2016,45(7):858-865.

[10] 胡正華,孟令奎,張文.面向關系數據庫擴展的自適應影像金字塔模型[J].測繪學報,2015,44(6):678-685.

[11] 王靜遠,李超,熊璋,等.以數據為中心的智慧城市研究綜述[J].計算機研究與發展,2014,51(2):239-259.

[12] 楊耀東.面向文檔的空間數據組織[D].北京：北京建筑大學，2013.

[13] HASHEM I A T, CHANG V, ANUAR N B, et al. The Role of Big Data in Smart City[J]. International Journal of Information Management, 2016, 36(5):748-758.

[14] WEI J Y, CHEN H, ZHI-TAO W U. Research on the Construction of Smart City Based on the Big Data Background[J]. Science & Technology Vision，2016(20)：6-7.

[15] SUN A, TONGKAI J I. Big Data Open Platform and Industrial Ecology Construction for Smart City[J]. Big Data Research, 2016(4)：69-82.

DesignofLargeDataCenterConstructionforSmartCity

KONG Lingli
(Administration of Surveying,Mapping and Geoinformation of Shanxi，Taiyuan 030001,China)

The paper analyzes the classification and characteristics of big data of smart city, and designs the smart city data model based on distributed storage and cloud computing technology. The model can efficiently organize and store the key data components of smart city such as geographic data, business data and real-time data, and use the model to build a framework of smart city data center.

smart city; big data; data center; distribution

孔令禮.面向智慧城市的大數據中心建設方案設計[J].測繪通報，2017(10)：143-147.

10.13474/j.cnki.11-2246.2017.0334.

2017-03-13；

2017-06-28

孔令禮(1963—),男，高級工程師，主要研究方向為GIS。E-mail：zwzhlj@126.com

P208

A

0494-0911(2017)10-0143-05