智慧城市建設中大數據及其構建探討

孫力

(蘭州商學院隴橋學院,甘肅蘭州 730101)

智慧城市建設中大數據及其構建探討

孫力

(蘭州商學院隴橋學院,甘肅蘭州 730101)

本文首先分析了智慧城市及大數據的概念,對大數據助力智慧城市的作用進行了分析了,同時分析了目前智慧城市建設中存在的困難,并提出了相應的技術應對措施。希望對智慧城市建設提供一定的有益參考和建議。

智慧城市 大數據 困難對策

1 智慧城市與大數據概述

1.1 智慧城市

智慧城市就是在城市各個領域的建設當中引入信息技術,主要為了達到知識創新的城市信息化高級形態。智慧城市主要依靠互聯網和云計算等新興信息技術其中包括大數據、社會交網絡、Fab Lab、Living Lab、綜合集成法等工具和方法的應用,使其創造的環境有利于實現創新,有利于應用感知、寬帶泛在的互聯、智能融合,有利于達到用戶創新、開放創新、大眾創新、協同創新為主要特點的不斷創新。再有,歐盟在評價智慧城市過程中主要應用了六個指標,也就是智慧經濟、智慧運輸業、智慧環境、智慧居民、智慧生活和智慧管理。

1.2 大數據

大數據也叫巨量資料,指的是在規定時間內不能利用常用軟件工具實現對內容的抓取和管理、處理的數據集合。大數據主要存在四個特點:數據數量巨大,能夠達到PB級以上;多種數據類型,包括文本、圖片、音頻、視頻等;具有較快速度,一般依據“一秒定律”,就能夠從不同種類的數據中得到有價值的信息;價值密度較低,在這些數量龐大的數據中,只有一少部分數據有價值。

2 大數據助力智慧城市

2.1 為政府管理相關決策提供科學數據支持

應用于城市規劃當中,可以利用其對城市地理、氣象、經濟、社會、文化、人口等信息的分析與研究,有助于制訂合理的決策,使城市管理更具科學性和超前性。

應用于交通管理當中,可以利用分析道路交通信息,解決道路交通當中出現的擁堵現象,而且可以快速應對各種突發情況,有利于保證城市交通的良性運轉。在輿情監控當中,利用搜索網絡關鍵詞和分析語義智能,可以使輿情分析更加快速和全面,有利于增進了解社情民意,提高公共服務能力,可以對網絡各種突發事件第一時間作出反應,有利于遏制違法犯罪。在安防系統中,利用分析大數據,可以及時掌握發生的各種自然災害,在最短時間內處理險情,及時作好安全防范工作。

2.2 為城市居民提供生活便利

還包括一些與民生有關的智慧應用,它們分別是智慧交通、智慧醫療、智慧家居、智慧安防等,應用這些智慧化措施,可以加大民眾生活空間,幫助以最快的速度進入大數據智慧人生。這些舉措將有效改善傳統“簡單平面”的生活方式,利用大數據應用服務可以得到更加廣泛的信息,可以改變當前人們的生活方式。

2.3 提高企業核心競爭力

在大數據時代,企業可以收集和整理大量各種各樣的數據,從而篩選出有價值的信息。在充分分析這些數據的基礎上,企業可以準確預測市場需求情況,從而有利于作出決策。有數據顯示,美國公司內,如果數據智能化水平提高10%,那么產品和服務質量就可以提高15%。

3 大數據技術在智慧城市中的應用

3.1 大數據技術的運用存在的困難

當前,在應用大數據技術方面依然存在一些問題還沒有解決,主要有下面四個方面的表現:

(1)數據收集。針對自物聯網和機構信息系統收集到的數據要加上時空標志,保留真實有效的信息,最好能夠收集到異源或異構的數據,同時與歷史數據進行對比,利用多種辦法驗證數據的真實性與全面性。

(2)數據存儲。在數據存儲過程中要以低成本、低能耗、高可靠性為原則,一般情況下使用冗余配置和分布化、云計算技術,存儲過程中要依據一定的規律對數據分類,在充分過濾和去重的前提下,縮減存儲數量,同時給每一類數據加上標簽。

(3)數據處理。一些行業的數據高達幾百個參數,非常復雜,不但數據樣本非常繁瑣,而且存在多源異構、多實體、多空間的交互動態性,不能應用傳統辦法進行度量,處理起來非常困難,因此在處理過程中要對高維圖像進行降維然后再進行度量,進行語義分析時通過關聯上下文,自大量不斷發展的數據中提煉出綜合信息,從而得到可以理解的內容。

(4)可視化方面。保證得到的結果通俗易懂,有利于觀察和應用。當前,雖然計算機智能化取得了較大進步,但當前還只能分析那些規模較小、有結構或類結構的數據,不能深入分析深層次數據,當前應用的數據挖掘算法不能在各個行業中通用。

3.2 技術應用

(1)數據收集技術。智慧城市公共支撐平臺自行業系統和城市基礎庫中得到數據的方法是利用訪問數據庫和數據庫導入、中間件技術、接口調用、網絡爬蟲、內容采編等。在訪問城市基礎庫的數據時可以應用數據庫訪問和數據庫導入的作法。

利用原行業系統的業務處理模塊可以得到特定的接口,在提供智慧城市公共支撐平臺時可以把數據利用開放API的方式,主流開放接口主要有RestAPI和WebService,智慧城市公共支撐平臺和行業系統間在傳遞數據時可以利用消息中間件。利用消息中間件可以實現分布式環境下的可靠傳輸,對各種平臺和協議之間存在的特性進行屏蔽,對點對點和訂閱/發布等機制完成傳輸數據。如果行業系統不能提供數據庫開放和接口調用,那么則需應用內容采編和網絡爬蟲的方法進行數據收集。

(2)大數據存儲技術。在大數據時代,可以對更多的數據進行研究和分析,有時還可以利用處理與某個特別現象相關的數據得到有價值信息,而不再應用隨機采樣的作法。

智慧城市公共支撐平臺對采集到的各種數據要先進行預處理,主要內容有數據清洗、數據集成、數據變換和數據規約等。多個委辦局都具備自己的信息系統,對于企業當中、個人信息如果出現數據冗余和數據不相同的現象,而且在數據處理中有時還需要對數據重新封裝。數據集中到智慧城市公共支撐平臺,就要首先預處理這部分數據,解決上面存在的問題。

對數據進行預處理以后,智慧城市公共支撐平臺就要依據數據的不斷種類應用不同的存儲辦法。離線處理數據、結構化數據可以存儲在分布式關系型數據庫當中,如Hbase;視頻、圖片等非結構化數據和XML、HTML等半結構化數據可存儲在分布式文件系統當中。有的數據在使用時還需要進一步處理,這時在保存時可以應用內存數據庫。

(3)大數據處理技術。利用智慧城市公共支撐平臺,數據處理服務對數據進行分析和研究,得到有價值的信息,確定關系。概述部分講解的數據處理技術主要內容有機器學習、數據挖掘、處理復雜事件等。應用傳統的機器學習和數據挖掘技術,處理數量巨大、異構的智慧城市數據時需要很長的時間,利用改進分布式計算框架,有效加快了處理速度。依據數據處理過程中是否需要使用時再處理,可以應用離線處理和在線處理。在處理應急防災類智慧城市應用時要實時和在線處理,進行數據處理要隨時掌握處理結果,有利于城市管理者進行決策。

需要離線處理的數據,一般情況下可以存儲在分布式數據庫和分布式文件系統當中,在分析這些數據時可以應用Hadoop等分布式計算框架,如ApacheMahout。有的數據需要在線隨時處理,如流式數據,在進行數據處理時明顯與離線數據處理方式不同。應用多個傳感器依據小周期收集到的數據、多個報象頭收集到視頻數據等都是流式數據。處理流式數據與離線處理數據具有較大不同,主要要求處理速度要快,要及時處理得到的各種數據。不利于加快數據處理速度的因素主要包括數據的I/O慢和數據處理引擎的效率低。利用分布式數據庫和分布式文件系統有利于存儲更多的數據,但存在的問題是I/O速度慢;利用內存數據庫可以得到較快的存取速度,因此在應用可以結合數據處理引擎,就能提高處理速度。復雜事件處理技術屬于一種數據處理引擎,可以采集各種來源不同的簡單事件或事件流,依據原來定義的事件模型,可以以最快的速度確定大量事件之間的關系或得到更有價值的事件,有利于城市作出正確決策。

(4)可視化。在發布數據處理結果時更為直觀和形象,有利于城市管理者、企業、市民作出正確決策。展示數據處理結果可以利用標簽云、儀表板、歷史流、GIS地圖、熱度圖等辦法,也可以綜合其中的兩種、幾種做法,將其展現在城市管理者、企業、市民面前,主要采取的方法有Web門戶、移動客戶端、信息發布屏等。

4 結語

總之,當前要想使大數據技術在智慧城市中得到廣泛應用,前提是首先得到政策和法律的支持。做到“數據的開放性”要有政策保障,要首先制訂標準接口和協議,“數據的安全性問題”對大數據的應用具有重要影響,要求有關部門制訂規章制度切實保證城市信息的安全性。

[1]魚江海.智慧城市中大數據技術的應用[J].中國科技信息,2014 (18).

[2]顧新建,代風等.智慧制造與智慧城市的關系研究[J].計算機集成制造系統,2013(5).

[3]李廣乾.加強我國智慧城市建設的頂層設計[J].高科技與產業化, 2013(6).

甘肅省科技廳蘭州新區建設與人口數量耦合發展研究,課題項目編號:2013GS08933。