面向物聯網應用的大數據平臺研究與設計

舒玨淋 曹楊 遲雪 胥月 何加浪 周豪

關鍵詞：物聯網；感知數據；大數據平臺；通用型

0 引言

大數據、物聯網、移動互聯網技術的迅速發展，促使各行各業的設備終端通過網絡的形式快速的匯聚在一起，這無疑標志著萬物互聯時代的來臨[1，2]。物聯網傳感器設備在復雜多變的應用場景中，產生了近乎PB 級規模的繁雜種類的感知數據，海量且結構復雜的感知數據背后蘊藏著無限的數據價值，而且大數據技術也擴大了物聯網的應用范圍[3-4]。然而面對海量的物聯網感知數據，其結構復雜多樣、質量低的特點導致大量設備數據無效且難以進行統一管理，使得挖掘分析仍然缺乏理論性、準確性和便利性，造成了無法高效的進行價值挖掘。主要體現在①方法簡單，僅僅針對單一的業務場景，煙囪式理論的平臺設計，造成架構不同，各個應用數據難以聯通；②數據平臺的建設沒有以統一的數據規范標準為基礎進行深入挖掘，分析的結果對于實際業務沒有太大的參考性。

目前，在物聯網大數據領域，許多學者已經利用大數據技術去解決一些相應的實際問題。如文獻[5]以大數據技術棧建立大數據平臺基礎框架，為大數據融合分析處理提供基礎數據與資源能力，對煤礦數據統一標準及規范化管理，讓數據成為了資產，實現數據全生命周期管理。文獻[6]針對于物聯網應用設備與平臺的差異性，以及耦合度高、擴展性差等導致應用的碎片化，設計了一種面向物聯網應用的大數據通用型服務平臺，便于使用者根據自己的業務需求在平臺上定制服務，實現數據挖掘分析。文獻[7]基于交通能源互聯網的理念，提出交通能源融合大數據平臺架構，以應對業務系統成煙囪式發展，以及信息分布分散、缺乏統籌規劃、各系統間數據難以兼容的問題。

這些研究較少涉及通用型物聯網大數據平臺。因此，本文提出一種面向物聯網應用的通用型大數據平臺設計。首先以OneData 和OneService 方法理論作為整個大數據平臺的設計思路，其次以大數據技術棧作為有力的技術支撐建設大數據平臺，并與傳統方案進行性能比較，最后以落地的實際場景為例，闡述了面向物聯網應用的大數據平臺的實際應用，實現了對于物聯網感知數據的科學合理管理以及挖掘分析數據價值，為智慧城市的物聯網多源數據管理和便捷應用賦能。

1 大數據平臺設計理論

1.1 OneData

OneData 是基于大數據存儲和計算為載體，是數據整合及管理的方法體系。在這一體系下，期望構建統一、規范、可共享的全域數據體系，避免數據的冗余和重復建設，規避數據煙囪和不一致性，從而，快速響應需求，對外提供高質量服務[8]。本文根據OneData 的數據管理體系，考慮到物聯網感知數據的不同業務場景，在進行數據挖掘時候，是需要提前進行規劃，因此把OneData 核心思想定義數據只加工一次。

1.2 OneService

OnService 即服務，強調通過API 接口對數據平臺里的數據進行訪問。數據通過OneData 體系進行整合規范化之后，需要提供給其他部門進行使用，為了更好的性能和體驗，構建數據服務層，以統一API 接口方式對外提供數據服務[9]。本文根據OneService 理論，建設數據API 接口服務化，提高數據的共享能力，讓數據的使用更加便利。

2 面向物聯網大數據平臺架構

2.1 大數據平臺業務流程

面向物聯網應用的大數據平臺核心功能是對數據進行統一信息化建設管理，提供物聯網應用不同業務以通用型的數據平臺進行數據管控。對物聯網感知數據資源（結構化、半結構化和非結構化數據）的集成，并利用OneData 和OneService 體系對數倉數據進行規范化管理，建立數據應用模型，提供模型的復用能力，對外以Api 接口方式訪問，提供數據的共享能力。有效地挖掘數據的價值，實現企業數據資源的“共享、共用、共贏”[10]。其業務流程主要為：數據源、數據采集、數據存儲、數據清洗、數據分析、數據展示。設計流程圖如圖1 所示。

如圖1 所示，本文以此為業務流程，研究并設計通用型物聯網大數據平臺，在滿足于業務需求的同時，解決了物聯網感知數據因規模大，類型雜、質量低的特點導致大量設備數據無效，難以管理，同時克服了單一數據平臺面臨的問題。

2.2 大數據平臺架構設計

面向物聯網應用的大數據平臺是基于Hadoop 架構進行設計，整個架構自下而上主要包括數據源管理層、數據資源池管理層、數據處理層、數據服務層等。架構設計如圖2 所示。

如圖2 所示，大數據平臺總體架構，主要針對物聯網感知數據的接入與存儲，數據資源池及數據服務系統進行搭建，從而建立面向物聯網應用的大數據平臺基礎框架。

⑴ 數據源管理，數據源的特征決定了數據采集功能的實現方式。因此根據物聯網感知數據結構多樣性的特征，本文數據源管理設計為數據源接入、數據采集兩個步驟，將各類不同數據源的物聯網感知數據匯入數據資源池中進行統一管理。

⑵ 數據資源池，數據資源池是數據統一集中管理的位置，將數據分為主題應用數據、感知熱數據、感知冷數據、感知元數據、設備數據以及感知數據消息隊列等部分，通過集成了時序數據庫與關系型數據庫的系統架構，將數據進行匯聚與調度。

⑶ 數據處理，將已匯入數據資源池中物聯網感知數據數據按照數據類別，分別通過可視化界面，以拖拽的方式進行離線數據處理和實時數據處理，提供對大批量數據的計算能力，并對數據處理任務進行調度與監控。

⑷ 數據治理，數據治理是對整個大數據平臺，最大化保障整個數據研發鏈路，將物聯網感知數據的采集、存儲、計算和使用過程可控和可追溯。設計上，對數據資源池中數據構建數據資源目錄，并進行質量巡檢以監督數據質量，使數據成為資產。

⑸ 數據服務，數據處理與數據治理的結果數據也將存入數據資源池中，數據服務則主要提供了數據主動推送、數據API 接口獲取、數據加載和數據快速查詢等四類數據服務，以實現數據管理中的數據應用。

2.3 大數據平臺技術架構設計

為了降低研發成本，大數據平臺在技術架構設計上使用的是開源并且穩定版本的大數據組件。通過技術架構中組件的整合，可實現數據集成、數據加工處理、數據存儲、數據治理、數據分析、數據可視化。技術架構如圖3 所示。

2.3.1 數據層

根據物聯網感知數據的結構多樣性，采用多種不同數據存儲模式相結合的方式，集成關系型數據庫與時序數據庫，將業務數據、主題應用數據此類結構化存儲于MySQL 數據庫中文件數據依據文件大小，以HDFS 和FastDFS 的方式進行存儲，同時則基于技術成熟的Kafka 和redis 集群構建，提供系統內數據總線及緩存功能；將元數據、設備數據等存儲于MongoDB中；對于物聯網的感知數據，億級以上大規模數據量，則需要使用依賴于Hadoop 的Hbase 存儲感知冷數據，使用依賴于Hbase 的openTSDB 存儲感知熱數據，該架構可滿足億級以上的數據量存儲需求。

2.3.2 計算層

基于業內廣泛使用的Hadoop/Flink 生態圈軟件構建，提供分布式計算服務，采用Flink 和Hive 相結合的方式，提供實時數據計算和離線數據計算服務。在離線批處理階段，以拖拽組件的方式進行數據處理，每個組件功能都以HiveSql 進行封裝，其底層為MapReduce 大數據計算框架，能分布式的處理海量的物聯網感知數據，提供了一個海量數據的處理能力。在實時處理階段，采用Flink 計算引擎，其是一個高吞吐、低延遲、高性能分布式流式數據處理框架[11]。

2.3.3 數據引擎

基于業內廣泛引用的數據調度和任務調度架構，采用Datax 作為數據調度引擎，Airflow 作為任務調度引擎，對數據資源池和數據處理、數據治理任務進行相應調度，以解決場景下多個任務的依賴問題。Datax為了解決異構數據源同步問題，它將復雜的網狀的同步鏈路變成了星型數據鏈路，作為中間傳輸載體負責連接各種數據源，只需要將數據源對接到Datax，便能跟已有的數據源做到無縫數據同步[12]。

2.3.4 應用層

基于業內使用最為廣泛、功能最為齊全的Springcloud 框架開發，搭建微服務集群，且能夠根據需要水平擴展，并構建服務接口，支持高并發訪問。其中內部接口使用Springcloud 的Rpc 接口，對外提供RestfulAPI 接口和Restful 推送接口，把數據提供給展現層進行可視化顯示。

2.3.5 展現層

采用前端主流的React/Vue 框架，使用Fusion 或ElementUI 成熟的前端控件，構建Web 界面，提供圖形化操作頁面。可以把經過平臺處理的數據，生成的業務指標進行可視化，提供給管理層人員作為決策依據。

2.4 大數據平臺數據流程設計

本文設計的大數據平臺采用Lamda 的架構設計，數據流程以離線批處理和實時處理兩條線進行數據的挖掘處理，最后以數據Api 的方式提供服務及數據共享。

如圖4 所示，首先，外部物聯網感知數據需要被數據采集組件采集到大數據平臺，最終離線數據存于對應的數據倉庫，而事實數據則以Kafka 為數倉進行存儲。之后在實時處理和批處理兩條通道上對存儲于對應的數據倉庫里的感知數據進行一系列的加工處理操作。實時處理的計算結果通常會寫入一個NoSQL 數據庫，以便后續實時查詢，批處理的計算結果往往寫回分布式文件系統。其次，實時處理和批處理在計算之后得到的數據會注冊到數據資源池，成為資產。通過數據治理中的數據質量管理功能對數據進行管控。最后，經過處理得到的資產數據以Api 接口的方式接受訪問，提高數據的共享能力。

3 物聯網大數據平臺性能測試分析

在完成物聯網大數據平臺部署后，應該測試其性能，以驗證本文設計的物聯網大數據平臺性能更優。表1 為本文設計的大數據平臺數據處理方案與傳統Java數據處理方案效率對比。其中第一組有服務器3臺，某農業物聯網感知數據100 萬條；第二組有服務器3 臺，某農業物聯網感知數據500 萬條左右；第三組也是一樣的服務器臺數，查詢數據量1000 萬條。對比結果如表1 所示。

由表1 可知，基于Hadoop 框架的物聯網大數據平臺對農業物聯網生產的感知數據加載查詢速度要比傳統方案快很多，工作效率在數據量越大的情況下效率越高。在有千萬條數據的情況下，該框架只需要10 分鐘左右就可以完成工作，傳統框架需要花費1 個小時左右。這一數據差異體現出了本文所設計的物聯網大數據平臺在海量數據方面的優勢。

為了進一步說明，物聯網大數據平臺的高性能，本文將利用物聯網大數據平臺的數據采集功能與文獻[13]的傳統方案HDFS-File-Oracle 進行對比，其結果如表2 所示。

由表２ 可知， 在數據量較小的情況下，采用Datax 方案的物聯網大數據平臺和傳統方案并沒有明顯的差別，但是在數據量較大的情況下，Datax 方案就會越發凸顯出自身的優勢。從上述的數據可以得出該方案對于海量數據條件下和傳統方案相比有絕對的優勢，因此在本文的研究之中使用Datax 數據遷移方案作為異構數據源傳輸紐帶是可行的。

4 物聯網大數據平臺應用案例

基于本文所設計的面向物聯網的大數據平臺，目前正在試點進行建設與工程實踐。項目在設計階段對于數據的全生命周期管理進行了統一管理，以數據源、數據資源池、數據處理、數據治理、數據服務為核心，完成物聯網感知數據的研發鏈路。

當前項目、平臺建設還在初步擴展與完善中，在前期的建設過程中已在安全風險預控、工作面狀態評價、生產效率、綜合管理等方面取得顯著成效。試點部署的物聯網大數據平臺可視化圖如圖5 所示。

5 結束語

本文針對物聯網感知數據的特點問題以及單一大數據平臺的局限性進行詳細的分析，研究設計了面向物聯網應用的大數據平臺，并且通過性能測試以及應用案例進行了驗證，得出如下結論：

⑴ 解決了因物聯網感知數據規模大，類型雜、質量低而導致的大量設備數據無效且難以統一管理的問題。并且通過OneData 和OneService 理論來應對業務系統成煙囪式發展，以及數據分布分散、缺乏統籌規劃和各系統間的數據難以兼容的問題。

⑵ 該平臺能夠滿足于通用的物聯網業務場景，不局限于單一的業務。針對不同的業務，在數據倉庫里建立不同的模型，得到需要的指標，進行可視化，提供給管理人員進行業務分析挖掘。

⑶ 平臺測試以及試驗結果證明，在物聯網應用所產生的海量感知數據中應用基于大數據組件技術方案，是十分可行的。