王風碩 曾麗



摘要:隨著物聯網、車聯網、泛在電力物聯網的迅猛發展,海量的傳感數據需要被記錄下來并用于大數據分析,所以對這類和時間序列強相關數據的存儲和檢索也提出了更高的要求,尤其在智能駕駛、運輸、消防、電力等特殊業務更為突出。在這種背景下,時序數據庫逐步發展并得到了廣泛的應用。相對于傳統關系型數據庫它的存儲空間減半,查詢速度極大提高,是解決海量數據處理的一項重要技術。該文分析了時序數據的存儲與數據查詢原理,并對時序數據庫InfluxDB在智慧用電領域的應用進行了研究。
關鍵詞:時序數據庫;influxDB;智慧用電;安全治理
中圖分類號:TP391? ? ? ? ? 文獻標識碼:A
文章編號:1009-3044(2021)30-0048-03
開放科學(資源服務)標識碼(OSID):
隨著信息技術的快速發展和5G技術的推廣,大數據的價值已經開始體現在各行各業, 越來越多的傳統企業已經開始關注到行業的大數據,已經在很大程度上決定著自己企業的未來發展及方向。但是像基于泛在電力物聯網的智慧用電這一領域,通過傳感設備采集到電壓、電流、導線溫度等數據都是有時間序列的特點,目前對于這類海量時序數據的存儲和查詢一般都是采用傳統關系型數據庫進行處理。由于關系型數據庫自身的特點,無法進行高效的數據存儲和海量數據的快速查詢。時序數據庫管理系統通過使用LSM-Tree等特殊的存儲方式,使得可以高效存儲和快速處理海量時序數據,成為解決海量時序數據處理的一項重要技術[1]。該技術極大提高了時間相關數據的處理能力,時間序列數據庫優越的查詢性能遠超過關系型數據庫,開源的influxDB以其卓越的性能和穩定性成為智慧用電業務的最佳數據庫選型。
1時序數據庫
1.1時序數據
時序數據(Time Series Data)就是一串串按照時間維度進行索引的數據,這些數據用于描述被測主體對象在一個時間范圍之內具體時間點上的某一個測量值。時序數據在IT基礎設施和監控系統,以及物聯網系統中使用比較普遍。時序數據可以在時間空間上將一個個獨立的觀測值連成一條線,能夠反映軟硬件系統的狀態變化趨勢,從而為我們研究和預測提供數據基礎,除此之外,時序數據還具有以下特點:
①隨時間推進,同一個維度的數據重復取值,指標會平滑變化。
②萬計的終端設備會在較短時間內持續產生海量的數據,這些數據需要高并發實時寫入數據庫。
③一般業務場景還需要根據數據按不同維度對統計指標進行分析。
④需要高頻查詢最近的數據,使得這類數據存在顯著的冷熱特征。
1.2 時序數據的數學模型
如下表1的時序數據,記錄了智慧用電一段時間內某些設備的告警數據,成功告警會觸發記錄一個觀測值。以該數據為例,介紹下時序數據的數學模型。
Metric:用于度量的數據集,類似于MYSQL中table,如表1中的device_alarm。
Point:一個數據觀測點,類似于MYSQL中row,如表1中的數據記錄。
Timestamp:時間戳,表示該數據的采集時間點,如表1中timestamp。
Tag:維度列,代表數據的歸屬或屬性,表明是哪個設備產生那種類型的告警,一般不隨著時間變化,如表1中的設備碼code和告警類型type。
Field:指標列,代表數據的測量值,隨時間平滑波動。
1.3數據庫比較
MySQL等關系型數據庫在海量時序大數據場景下有以下的問題,對于時序數據沒顯著變化壓縮效果,而且需占用大量資源導致存儲成本過高。單機吞吐量有限,很難滿足海量的數據實時寫入。沒有存儲策略,隨時數據規模的遞增,需要人工進行分庫分表。這類適用OLTP系統的數據庫,針對海量的時序數據,查詢性能衰減嚴重。時間序列數據庫與其他傳統的關系數據庫相比而言,其中最大區別在于時序數據庫是以具體時間為索引來記錄數據庫。如圖1所示為智慧用電平臺中時序數據庫傳感數據的顯示形式,其索引為time,后面的列記錄了傳感設備在當前時間下的不同屬性值,而且隨著時間推進,這些記錄會周期性地遞增。隨著用戶及設備增加,并發寫入會線性增加,但是由于定期采樣,寫入量是可以保持平穩,但是不會有更新及刪除操作。這些特性使得時序數據庫采集數據非常平穩,數據記錄時效性很強,隨著時間增加查詢性能也不會降低。和關系型數據庫相比較,時序性數據庫更多的場景的是寫入操作,所以時間序列數據庫一般采用了LSM-Tree存儲方式來代替傳統的B -Tree,以提升了寫入性能。
2 時序數據庫在智慧用電中的應用
智慧用電突破傳統互聯網技術的用電安全平臺的“在線”的局限,利用互聯網和大數據的同時,實現了人與人、人與物以及物與物之間實時信息交換和泛在聯系。這種“線上”和“線下”的融合也體現了泛在電力物聯網“無所不在”的本質特征,而這種特征也是適應電氣安全需要實時監控的動態特征。智慧用電基于移動互聯網技術、大數據技術、云計算技術等,通過物聯網傳感終端,將辦公樓宇、醫院、學校、酒店、商城等人員密集場所的電氣參數數據,實時通過無線通信模塊傳輸至云服務器,為用戶和管理人員提供不間斷的數據、實時統計分析和安全監管。而且平臺根據數據模型也可以發現各種安全隱患及時進行預警,并實時推送給用戶和責任人員,以便及時檢查和排除隱患。另智慧用電還支持漏電、過流、短路、過載、過壓、欠壓等多重用電保護,以及漏報自檢,功率限定,電量計算,在智慧用電平臺之上,各個子系統平臺之間的數據流通過封裝的API在EMQ,Redis,influxDB和MYSQL中間件之間可以實現即時有效傳遞。
2.1智慧用電架構
智慧用電平臺通過物聯網智能斷路器終端,集成電氣、火災等監控傳感器和基于NB-IOT和MQTT協議的通信模塊。并搭載物聯網大數據分析服務云平臺,為電氣安全監管和能源數據管理提供了綜合解決方案。“智能終端”高度集成電氣、火災監控產品功能,能夠實時精準監測用電末端的各項電氣參數及過程,通過業務分析平臺實時統計分析大數據信息,及時反饋、提示隱患,幫助終端用戶實現有效的電能管理, 通過安全治理平臺實現從用電隱患發現到治理的閉環式服務,及時消除電氣安全隱患。僅需要在用戶的配電柜或末端的配電箱上安裝智能終端,就能夠實時、精準進行線路的各項電氣參數數據的采集,并通過無線通信模塊把數據通過MQTT協議上傳到分布式部署的inluxDB時序數據庫中。再應用使能平臺對接收到的時序數據進行分析,通過微信、短信、App消息等方式及時將預警信息及時發送給用戶、責任人員、管理人員等,以便及時排查和消除安全隱患。基本架構如圖2所示:
2.2智慧用電業務分析
平臺利用多維參數來智能識別安全隱患,利用差異化的供電回路的特性,實現了個性化安全隱患自適應識別算法。該算法通過橫向分析和縱向分析,建立了一套對電氣特征數據進行全方位度量的指標體系,橫向指標用于刻畫多個傳感器參數(電流、電壓、線溫等)之間的平衡度,摒棄傳統單一閾值判斷方式,通過多維度參數識別安全隱患。縱向指標用于刻畫供電回路對歷史常態的偏離度及分布,從而對不同供電回路實現個性化、自適應的隱患特征識別。并依據消防、電力行業規則建立大數據分析模型,結合大數據分析技術對安全隱患進行深入分析,分析不同類型隱患的特點,進行精準識別確認、預警和防范。
2.3智慧用電安全治理
業務分析平臺對電氣火災安全隱患進行了精準定位和準確排查后,可以將結果和風險評估報告推送給終端用戶,提醒并有效指導終端用戶進行安全隱患的處理,達到了防患未然的效果。平臺通過對海量線上終端設備的電氣數據記錄,積累形成安全用電行業大數據,并通過對大數據的分析,可以有效準確評估和預測用電量、用電安全等趨勢,為政府職能部門提供專業的用電調度、電氣火災分布、安全隱患分析、治理服務等大數據支撐。用戶在智慧用電的客戶端可以對自己的接入終端的電流、電流和溫度的實時檢測,及設備運行狀態的趨勢數據,查看平臺推送的預警及專家建議。管理人員可以在職能端查看所監控設備的剩余電流、導線溫度和電流等數據變化,如果發現電氣線路動態運行中出現的安全隱患,可以及時進行響應及處置。智慧用電平臺也可根據預設開啟報警,在智能化(自識別、自學習)模式下對電氣線路運行狀態進行預判分析,并在數據分析基礎上向所用戶進行預警信息的及時發送,讓用電安全更加智能化。
3結束語
在工業互聯網與信息化快速發展的大背景下,各行各業都部署了大量的設備傳感器和監控系統,二者一起提供了按照時間順序形成的實時數據,這些海量實時數據能夠反映設備的狀態和特征值的變化過程,可以滿足多樣化的業務分析需求。本文就是在該背景下,根據智慧用電中的海量數據需求,分析了時序數據庫與傳統的關系型數據庫的區別,并確定了時序數據庫在智慧用電平臺中作為數據存儲平臺的優勢,并以時序數據庫 InfluxDB 作為時序數據存儲的基礎,在此基礎上構建了智慧用電平臺及合個子平臺,實現了智慧用電過程時序數據的存儲、實時數據監測等基本功能。該平臺現已經投入實際運用,運行效果良好,為安全監管和能源數據管理提供保障,同時也為政府職能部門決策提供行業大數據支撐。
參考文獻:
[1] 徐化巖,初彥龍.基于influxDB的工業時序數據庫引擎設計[J].計算機應用與軟件,2019,36(9):33-36,40.
[2]趙棟,劉宏.智慧用電監控系統在電氣火災中的應用[J].消防科學與技術,2018(12).
[3] 謝小軍,柳星,馬亮,等.基于大數據的智慧用電系統設計[J].電工技術,2019(24):118-119,125.
[4] 高波,李飛,唐如意,等.泛在電力物聯網配用電側智慧感知設備設計[J].河北電力技術,2019,38(6):11-13,30.
【通聯編輯:梁書】