IoTDB物聯網數據庫在城市軌道交通車輛智能運維系統中的應用

姜仕軍 徐曉晨 徐燕芬 杜廣林

(1.中車青島四方車輛研究所有限公司，266031，青島;2.青島地鐵集團有限公司運營分公司，266041，青島 ∥ 第一作者，工程師)

城市軌道交通(以下簡稱“城軌”)作為大中城市公共交通的主動脈，每天客流量高達幾百萬人次，且客流量還在不斷上升，這對各城市的軌道交通公司的運維能力提出了較高的要求:一方面，要保障的線路安全可靠運行，避免發生安全事故；另一方面，要優化維修計劃，將“計劃修”轉變為“狀態修”，從而減少車輛維修時間，降低維修成本[1]。因此，需要采用一種智能化的城軌車輛運維方案，實現對城軌列車關鍵系統和部件運行狀態的實時監測, 并依托大數據、人工智能等技術，結合車輛運行和檢修數據進行分析挖掘，診斷并預測設備的健康狀態，從而保障的車輛安全性和可靠性。

在城軌車輛智能運維系統設計中，數據的采集、存儲和管理是實現系統其它功能的基礎。目前，城軌車輛智能運維系統大多以關系型或非關系型數據庫作為其數據存儲的核心架構。這種數據庫雖然實現了時序數據的存儲需求，但寫入和查詢性能較差，且在數據壓縮、數據展示等方面功能不夠完善。時序數據庫是近年來在物聯網領域內十分流行的一種數據持久化方案，其具備高性能的數據處理能力、高效的壓縮算法和符合時序特征的存儲引擎[2]，廣泛應用于對物聯網設備實時數據的采集、存儲和展示。

本文基于IoTDB(物聯網數據庫)時序數據庫的特點和優勢，研究了其在城軌車輛智能運維系統構建中的適用性；并將其作為系統的核心部分，設計了一種輕量化的系統架構，有效提高了存儲空間利用率和數據檢索效率。

1 IoTDB時序數據庫

時序數據庫的全稱為時間序列數據庫(Time-Series Database)，主要用于處理帶時間標簽的數據，即時間序列數據。傳統的關系型數據庫、非關系型數據庫由于天生的劣勢，導致其無法滿足對時序數據的高效存儲與處理。相比之下，時序數據庫在實時性、穩定性、兼容性和安全性等方面都具有更高的技術水平，又能和大數據生態進行融合，具有良好的應用前景[3]。

IoTDB是清華大學自主研發的一款時間序列數據庫，實現了對時間序列數據收集、存儲和分析的一體化管理，具有體量輕、性能高、易使用的特點，適用于工業物聯網應用中海量時間序列數據高速寫入和復雜分析查詢的需求。目前，IoTDB支持布爾型(Boolean)、32位整型(Int32)、64位整型(Int64)、單精度浮點型(Float)、雙精度浮點型(Double)、字符串型(Text)等6種數據類型，具有良好的軟硬件兼容性，支持多種硬件架構的部署，包括嵌入式終端、邊緣計算設備以及數據中心服務器，并能與Hadoop、Spark生態完美對接，時序數據采集頻率可達毫秒級。此外，IoTDB的數據壓縮能力是其相比于關系型數據庫的一大優勢，通過基于Snappy算法的無損壓縮方式，能夠有效節省存儲介質空間，提升數據檢索效率。

2 城軌車輛智能運維系統需求

目前，北京、上海、深圳等地的城軌公司已開展了針對軌道交通運維智能化與健康管理方面的相關工作[4]。城軌車輛智能運維系統需要實現從數據采集、數據存儲到數據分析、數據展示的全流程、全功能的覆蓋[5-6]。流轉于系統內的數據具有變量多、周期短、變化小、時效性強等特點，因此對系統中各功能模塊的性能提出了較高要求。

2.1 實時數據接收

城軌車輛上安裝了數據采集和發送裝置，實時采集和發送車輛的運行狀態數據和故障數據。城軌車輛智能運維系統可實時獲取列車信息。為支撐實時監控需求和數據分析需求，數據發送周期一般為毫秒級，系統需在一個周期內完成對所有車輛發送的當前周期內數據的校驗和存儲操作。

2.2 數據存儲

一條城軌線路的列車數量一般在20列以上，每列列車上各子系統的傳感器數量可達上萬個，需回傳至地面系統的變量一般為3 000～5 000個左右，每個變量至少需存儲的內容包括標識符、時間戳和值。按照500 ms的發送周期、每個變量占14字節(標識符占4字節，時間戳占6字節，值占4字節)的存儲空間來計算，城軌車輛智能運維系統覆蓋一條線路時，每條線路按20列列車、3 000個變量/列車，一年所需的存儲空間為52 980 480 000 000字節，約為48.19 TB。當覆蓋的線路增多時，數據量將會呈線性增長。

2.3 數據查詢

實現城軌列車運行狀態的實時監控是城軌車輛智能運維系統的核心功能之一，這就要求系統必須在一個數據接收周期內將所有變量當前的最新值更新至顯示前端，滿足用戶對實時數據的監控需求。另一方面，系統還應提供對歷史數據的查詢和展示功能，即將一段時間范圍內的數據以美觀、易理解的圖表形式向用戶展示出來。除了要保證查詢結果的完整性和準確性外，還要在用戶可接受的時間內返回結果。

2.4 計算統計

城軌車輛智能運維系統所接收的數據中，有些需要先進行計算、換算或者統計，然后再進行展示。例如：通過電流值和電壓值計算功率值、換算載荷值的單位，統計牽引能耗在某小時、某天、某月內的最大值、最小值、平均值、累計值，等等。若采用傳統關系型數據庫進行存儲，則需要編寫復雜的SQL語句才能實現上述計算功能。

3 IoTDB適用性分析

3.1 應用架構體系

IoTDB由多個組件構成，涵蓋數據收集、數據寫入、數據存儲、數據查詢、數據分析、數據可視化等多個功能。

IoTDB應用架構如圖1所示。IoTDB通過JDBC(Java數據庫連接)驅動，廣泛地支持多種異構數據源的接入，包括設備數據、系統狀態數據、消息隊列數據、應用數據以及其它數據庫中的數據等。用戶通過命令行客戶端交互工具能夠對數據庫進行寫入和查詢操作，也可以通過Grafana監控工具以圖形化方式查看數據變化趨勢。TsFile是一種專門為時間序列數據而設計的存儲格式，支持高效的壓縮和查詢能力，是IoTDB的核心組成部分。對于寫入TsFile文件中的數據，可以通過TsFileSync同步工具將文件同步至HDFS(Hadoop分布式文件系統)中，進而實現在Hadoop或Spark等開源平臺上進行時序數據的處理和分析。

圖1 IoTDB應用架構

3.2 性能及功能優勢

在高速、海量時序數據存儲方面，傳統的關系型數據庫難以達到低延遲、高吞吐量的實時存儲，而且在查詢大量歷史數據時，會出現長時間無響應甚至引起系統崩潰等情況，嚴重影響系統穩定性和可靠性，降低了用戶體驗標準。IoTDB作為新興的時序數據庫，對時序數據的處理具有天然的優勢，能夠實現每秒數百萬數據點寫入和查詢的能力。

文獻[7]將IoTDB與HBase、MongoDB、RiakTS、Redis等數據庫進行了對比測試，在4種實際應用場景下，分別對上述5種數據庫進行同樣的寫入或查詢操作，并統計了各自的執行時間以及工作負載。對比測試結果表明：針對大數據量的時序數據，IoTDB具有明顯的性能優勢和穩定性。

本文通過模擬城軌車輛運行狀態數據，對IoTDB-v0.11.2進行了寫入和查詢性能測試，測試結果匯總于表1和表2中。根據測試結果可以看出，IoTDB能夠有效支撐線網級城軌車輛智能運維系統的寫入和查詢性能需求。

表1 IoTDB寫入性能測試結果

表2 IoTDB查詢性能測試結果

此外，IoTDB時序數據庫還具有以下幾個優點：

1) 異常數據處理：由于網絡延遲、軟件性能、設備故障等原因不可避免地會出現數據無序到達、產生錯誤數據和重復數據等異常情況，IoTDB能夠支撐這些復雜的工業應用場景，包括時間序列數據的亂序寫入、時間序列數據的批量更新，以及對無效、無用時間序列數據的清理刪除。

2) 數據降采樣：是指數據庫對查詢到的結果集按照一定規則進行重新篩選，使篩選后的數據量小于原始數據量，且又不影響數據查詢者的應用需求。例如，對于城軌車輛智能運維系統中根據設備運行數據繪制折線圖的需求而言，如果返回的數據點數大于顯示器分辨率的寬度，則不僅對于繪制圖像的準確性沒有任何幫助，反而還會造成數據點密級地堆疊在一起，影響整體顯示效果。IoTDB通過聚合操作實現數據的降采樣功能，既能保證圖表的準確性，也能有效減少數據傳輸量，提高響應速度。

3) 靈活擴展：IoTDB支持“一寫多讀”的部署模式，即一個系統內可以部署多套IoTDB，其中，寫入節點IoTDB負責新數據的寫入和查詢負載，其它多個查詢節點的IoTDB只負責歷史數據的查詢負載。通過這種機制有效均衡了寫入和查詢工作量，避免兩種操作對磁盤、網絡的相互影響。隨著數據量的不斷增加，只需擴展查詢節點的硬件設備，無需中斷系統的正常運行。此外，最新版本的IoTDB基于Raft協議實現了一種分布式框架，將數據按時間序列組進行分區，以多副本的方式實現數據的可靠存儲，并通過共識協議保證數據的強一致性[8]。

4) 時序數據操作：城軌車輛上的子系統、設備、傳感器種類繁多，各自具有不同的采樣頻率，在進行數據分析之前，需要對時序數據進行預處理。IoTDB支持多種基于時間序列維度的數據操作，如按照時間戳進行數據對齊、按時間戳進行時序數據分割等，有效減少了數據預處理的難度和復雜度。

4 IoTDB功能設計

4.1 存儲結構

對實時數據和歷史數據存儲是時序數據庫最基礎、最核心的功能。在IoTDB時序數據庫中，數據點是最小的數據單位，一個數據點由“時間戳-值(timestamp-value)”對組成。其中，“值”就是物理世界中傳感器發送的數值。一個傳感器所有數據點的集合，即為該傳感器的時間序列數據。

對于待寫入或待查詢的數據點，需通過多層級的路徑進行查找，例如，“root.a.b.c.d”即為IoTDB中的一條路徑。其中，“root”為根節點，所有的路徑都以“root”起始；“a”“b”“c”“d”為不同的層級的名稱，層級a表示某個城市的一條城軌線路，層級b表示該線路上的一列城軌列車，層級c表示該列車上的一個設備，層級d表示該設備上的一個傳感器。圖2展示了IoTDB的路徑層級示例。通過“路徑+時間范圍”的組合，可以唯一確定IoTDB中的時序數據。此外，采用路徑的層級設計，可以實現通過路徑劃分不同的存儲空間，屬于同一路徑層級的數據能夠存儲在連續的磁盤空間上，避免了頻繁的I/O(輸入/輸出)切換，并且隔離了不同的時序數據。

圖2 IoTDB路徑層級示例

4.2 數據壓縮

城軌車輛智能運維系統需要占用龐大規模的數據存儲空間，利用IoTDB的歷史數據壓縮能力可以有效減少歷史數據的數據量，節省存儲介質成本。所謂歷史數據壓縮，即利用各種算法縮小歷史數據的冗余部分，同時盡量減少或避免數據失真。歷史數據的壓縮方式一般分為有損壓縮、無損壓縮和二級壓縮三種[9-10]。其中，有損壓縮能夠實現較高的壓縮比，但會導致數據精度下降；無損壓縮不會降低原數據的精度，但要在壓縮率、壓縮速度和解壓速度三者之間進行權衡；二級壓縮則是結合了上述兩種壓縮方式的優點，即先對數據進行第一級有損壓縮，再使用無損壓縮算法進行第二級壓縮。此外，壓縮算法的效果還依賴于數據本身，數據變化越小、精度要求越低，則壓縮效果越好。

4.3 數據計算

相比于關系型數據庫，IoTDB時序數據庫能夠提供更為強大的計算能力。通過IoTDB內置的統計分析計算函數，如求和、取平均值、計數等，可以根據時序數據的時間戳進行基于時間斷面的計算、基于年月日的統計計算等。結合各類函數和自定義的計算公式，能夠實現對原始數據進行復雜計算，計算結果可保存在IoTDB中，也可用于再次計算。

4.4 大數據分析

基于大數據技術和Hadoop生態軟件進行城軌列車運維數據分析是當前的一個熱門課題。IoTDB能夠完美對接Hadoop生態中的各種軟件，配合Hadoop提供的分布式計算、存儲機制，可提高城軌車輛智能運維系統在大數據管理和分析方面的運行效率和處理能力。此外，IoTDB還可以對接Spark實時計算引擎，提供一種輕量級的數據分析解決方案，降低硬件資源部署量。

4.5 數據展示

存入IoTDB的時序數據需通過可視化工具進行展示，便于城軌車輛智能運維系統的用戶對進入系統的原始數據進行觀察和分析。Grafana是一款開源的度量分析和可視化工具，具有數據監控、數據統計和告警等功能，常被用于展示設備運行的時序數據。通過開發IoTDB-Grafana適配器，用戶可利用Grafana的Web頁面以可視化圖表的方式直接查看IoTDB中的數據，也可以在Grafana上進行一些數據探索工作。

5 城軌車輛智能運維系統架構設計

目前，各城市的軌道交通車輛在故障診斷和維修方面存在實時監測種類不全、過修欠修、故障誤報等問題[11]，信息化、智能化水平不高。因此，在保障城軌列車安全、可靠運行的基礎上，盡量降低維修成本、提升城軌設備智能化管理水平，越來越成為軌道交通行業廣泛關注和研究的熱點[12]。

城軌車輛智能運維系統以保障城軌車輛運行安全、提高車輛檢修質量、提升運營管理整體效能為目標，結合物聯網、云計算、大數據等技術，實現對列車運行過程的全息感知和實時監控，有效輔助管理人員進行科學決策。基于IoTDB時序數據庫構建城軌車輛智能運維系統，其總體架構如圖3所示，共分為3層，包括數據源層、數據存儲層和數據應用層。該設計以IoTDB時序數據庫代替了傳統的關系型數據庫和NoSQL數據庫，顯著提高了對城軌列車時序數據的寫入和查詢效率，且能夠滿足數據量持續增長的需求。

圖3 基于IoTDB的城軌車輛智能運維系統總體架構

數據源層覆蓋所有城軌列車，列車上不同子系統、不同設備上的傳感器是數據產生的源頭，這些數據按照特定發送周期，通過無線傳輸模塊以TCP、MQTT等協議發送至城軌運營公司的數據中心。

數據存儲層實現了整個城軌車輛智能運維系統的數據匯集和持久化，主要由IoTDB時序數據庫和Kafka消息隊列組成。城軌列車發送來的時序數據首先進入Kafka消息隊列進行緩存，按照一定的規則或算法進入不同的Topic和Partition，這樣既能分擔寫入任務的負載，也能通過Kafka的副本機制，確保接收到的數據不會丟失。IoTDB-JDBC接口從Kafka的消費者端接收列車的實時數據，并存入寫入節點的實時數據TsFile文件中。隨著數據量的不斷擴大，當單個IoTDB節點的存儲能力無法支撐數據存儲時，可采用橫向擴展的方式再部署一個或多個IoTDB查詢節點，并設置為只讀模式。在“一寫多讀”方式下，為避免單點故障，實現高可用，將寫入節點配置為主備模式，通過IoTDB自身的同步機制實現數據同步。實時數據為監視控制類應用提供支撐，歷史數據為數據分析和挖掘類應用提供訓練和測試樣本。由于采用了數據壓縮技術，歷史數據所占用的存儲空間能夠得到有效控制。

應用層是系統對外輸出能力的展現，能夠提供如車輛運行狀態監控、故障報警、設備健康管理、維修信息管理、報表生成等多種應用。城軌運營公司基于這些應用可以實現智能化的管理，減少人力成本，提高城市軌道交通服務水平。

6 結語

以IoTDB時序數據庫為核心構建城軌車輛智能運維系統，可以充分發揮其處理城軌列車時序數據的天然優勢，同時又可以無縫對接大數據管理分析平臺，具有高性能、可靠性和易用性等特點。本文給出的輕量化系統架構設計，可為城軌車輛智能運維系統的開發提供參考和借鑒。