耿慧中
摘要:現如今,我國城市建設在不斷加快,城市大數據具有多源、異構和模態復雜等特點,通常在數據融合之后才能納入統計分析。融合處理需要首先識別城市大數據的基本特征,然后選擇相匹配的數據融合方法。深度學習算法作為數據融合中的前沿技術,可以用于城市大數據的輸出階段融合、輸入階段融合和雙階段融合,解決包括人群流動、環境污染預測和交通流量預測在內的諸多城市問題。未來的研究面臨著數據質量低、模態復雜和融合方法單一等問題,應從數據特征探索、融合方法創新和特征關聯分析繼續推進。
關鍵詞:城市大數據;數據融合;深度學習
引言
城市大數據的數據資源豐富多樣,廣泛存在于社會的各個領域,是政務、行業和企業等各類數據的總和。城市大數據的異構特征顯著,數據類型豐富、量大、速度增長快、處理速度和實時性要求高,且具有跨部門、跨行業流動的特征。按照數據源和數據權屬不同,城市大數據可以分為政務大數據、產業大數據和社會公益大數據。政務大數據指的是政務部門在履行職責過程中制作或獲取的,以一定形式記錄、保存的文件、資料、圖表和數據等各類信息資源。產業大數據指的是在經濟發展中產生的相關數據,包括工業數據、服務業數據等。此外,還有一些社會公益大數據。當前,城市大數據多數為政務大數據和產業大數據,所以城市大數據的主要推動者應為一個城市的政府和具有一定數據規模的企業。
1大數據發展概述
隨著信息化時代的飛速發展,大量數據快速積累,大部分行業都形成海量、高增長率和多樣化的信息資產。為充分利用這些信息資產,同時為行業發展提供更強的洞察力、決策力以及流程優化能力,實現業務的突破性發展,必須設法解決大體量數據的處理問題。因此,大數據時代的主要挑戰就體現在如何處理大體量數據并快速地從海量數據中獲取有價值的信息。也基于這個原因,我們現在所說的大數據不僅是指大數據本身的4V特性——數據規模龐大(Volume)、數據更新頻繁(Velocity)、數據類型多樣(Variety)和數據價值巨大(Value),而是從各種類型大體量的數據中快速獲得有價值信息的相關技術成為了大數據的核心技術,包括與大數據相關的數據采集處理工具、數據管理平臺以及數據分析處理系統等。大數據相關技術突飛猛進的發展肇始于2004年Google發表的三篇重要論文,俗稱Google的“三駕馬車”,也奠定了Google在大數據時代的領導地位。Lucene項目創始人DougCutting最早關注了Google這三篇大數據論文,并很快就依據論文的原理實現了類似GFS和MapReduce的功能框架。到了2006年,這個類似MapReduce功能的大數據技術被獨立出來,單獨開發運維,之后成為聞名遐邇的Hadoop的產品。
2深度學習在城市大數據融合中的應用探索
2.1基于深度學習的數據輸出融合
2.2交通大數據平臺
高新興采用交通物聯網感知、交通信號智能協調、AI智能技術、VGIS視頻地圖技術、超高頻RFID技術、車聯網自適應技術等核心技術,充分利用大數據構建了一套城市級大交通解決方案。此平臺涉及交通管控、交通運輸、企業服務、公眾出行等。交通管控可以提供給政府部門進行交通態勢監測、智慧調度、稽查布控、研判分析等;交通運輸內含路政管理、公交管理、出租車管理、定位終端管理等;企業服務包括車隊監測、運營監測、駕駛員監測等;公眾出行服務包括路況查詢、出行導航、停車服務等。交通大數據真正意義上實現了從政府管控、企業運營到民眾需求的一體化交通運行體系,使得智慧城市的運行管理效率更為高效。
2.3大數據與AI智能的融合
A1人工智能當前已經成為技術和市場的寵兒,特別是在安防市場上,使用海量的大數據進行AI訓練,構建精準的AI引擎,已經是業內的慣用做法,通過海量的數據去訓練各種車輛分析算法、人像分析算法、人體分析算法等。在傳統AI建模流程中,通常由安防業務專家提出具體的分析應用需求,然后再通過數據科學、算法、開發訓練、測試驗證等多個角色來配合完成具體的算法建模任務。在很多情況下,由于各種角色的專業背景不同,常常會導致溝通成本過高,比如業務專家對業務相當了解,但是由于AI技術較為復雜,很難理解AI的技術原理和細節,不知道該如何有效利用數據和優化模型。而算法開發人員對相關的技術細節很了解,但是也很難理解業務邏輯的關鍵環節或者核心需求,無法有針對性的優化算法模型的各類相關參數。從而出現模型訓練結果沒有達到預期的情況,即使是完成的模型,往往也很難抽象成應用更廣泛的通用模型,從而制約了算法模型的應用和發展。
3結束語
大數據時代將會給人類社會帶來巨大的變化。隨著大數據產業生態鏈正在逐步構建,政府企業相互合作、協調發展,推進社會前進;不同的行業產業互通,數據交融,互惠互利,共同發展。大數據作為智慧城市的核心資產,智慧城市建設的效用高低,很大程度上取決于大數據資產利用的深度與廣度。沒有大數據,就沒有眾多面向政務、產業和民生的智慧應用,智慧城市也只能成為空中樓閣。因此,建設智慧城市從頂層設計到基礎設施再到運營管理,都必須堅持大數據為主的思想,才能取得成功。