基于HadOOP的橋梁監測數據管理系統

鄭金明

摘要：文章針對現有橋梁監測數據多源異構、海量數據難以處理、信息“孤島化”嚴重等問題，結合橋梁健康監測數據實時變化、紛繁復雜和分布式存儲技術低成本、高容錯性、可移植的相關特點，提出基于Hadoop的橋梁監測數據管理系統。通過建立橋梁監測數據庫，搭建橋梁監測系統，用實驗驗證了Hadoop集群存儲監測信息的有效性。該方法充分利用了Hadoop平臺高效率、低成本、高可靠性的存儲特性，對監測到的橋梁監測數據進行了分布式存儲，有利于橋梁監測數據的高效存儲和處理。

關鍵詞：Hadoop;HDFS;橋梁監測;數據管理

中圖分類號：U446 文獻標識碼：A DOI：10.13282/j.cnki.wccst.2020.11.038

文章編號：1673—4874（2020）1卜0140-03

0引言

橋梁作為交通大動脈的重要組成部分，在國家經濟建設與社會發展中具有重要地位。截至2018年年底，我國公路橋梁已達85.5萬座。近年來，結構健康監測（Structural Health Monitoring，SHM）技術在橋梁養護管理中應用廣泛_2_。目前已形成橋梁日常巡檢、經常性檢測、定期檢測、荷載試驗及健康監測組成的橋梁健康管理養護體系，積累了海量的橋梁監測數據。橋梁監測數據多源異構，一座配置了SHM系統的橋梁每月監測數據量達GB級，呈現出顯著的“大數據”特性。然而，隨著橋梁監測數據的高速增長，我國大部分橋梁仍在采用“一橋一系統”的管理養護系統，橋梁病害檢測、健康監測數據管理、橋梁定期巡檢等各信息化系統均獨立運行，各種多源異構信息“孤島化”嚴重。在現有的橋梁運營管理技術實際應用中，同業主的預期差距較大，綜合管理各類橋梁監測數據的系統亟待構建。基于此，本文提出一種基于Hadoop云平臺的橋梁監測數據管理系統，對采集得到的橋梁監測數據進行分布式存儲，有利于橋梁監測數據的高效存儲和處理，改善監測數據信息孤島化問題。

1Hadoop技術概述

Hadoop是一個開源的分布式系統基礎架構，廣泛應用于國內外大數據處理，能夠以一種高效、可靠、低成本的方式對海量數據進行分布式數據管理。Hadoop框架中的核心是高容錯的分布式文件系統（Hadoop Distributed File system，HDFS）以及高性能的數據處理MapReduce系統。HDFS層主要存儲Hadoop集群中所有節點的文件，其中Name-node和Datanode兩類節點以管理者一工作者模式并行，管理節點記錄每個文件中各個數據塊在節點上的信息，而工作節點響應來自HDFS客戶端的讀寫請求，以及管理節點的創建、刪除、復制塊等命令。Mal3Reduce是一個分布式計算框架，主要通過映射（Map）和歸納（Reduce）對數據進行處理，Map讀取HDFS中的文件，將原始數據解析成很多鍵值對，而Reduce則對鍵值進行分組及處理。見圖1。

2橋梁監測數據管理系統

2.1橋梁監測系統的構成

伴隨著橋梁的長期服役，混凝土材料日漸老化，由于荷載作用、施工缺陷、材料特性、環境因素等影響，在役橋梁會不可避免地產生裂縫、蜂窩、麻面等病害，故而對橋梁的關鍵部位進行監測十分重要。目前中國已有多座在役橋梁安裝結構健康監測SHM系統，如香港青馬大橋、蘇通大橋、杭州灣跨海大橋等。而一個完整的結構健康監測系統分為硬件部分和軟件部分。硬件部分主要是指安裝在橋梁上的具有不同功能的傳感器，包括以加速度傳感器、應變計、溫度傳感器等為代表的傳感器監測系統，用于信息的采集和處理;軟件部分則包括數據采集與傳輸，數據處理與分析以及數據庫的管理三個模塊。橋梁監測系統軟件部分構成如圖2所示。

3基于Hadoop平臺構建橋梁監測數據管理系統

3.1橋梁監測數據庫

傳統的數據管理主要通過文件系統進行管理，其中數據一般面向特定的應用，數據獨立性差、共享性能低、管理成本高。Hadoop平臺用來解決目前橋梁監測系統中海量數據的存儲及運算，其保存在云服務器上的各種監測數據又能為后續研究人員提供科研數據，解決橋梁現有問題，保障橋梁的運營安全。本文基于Hadoop平臺構建橋梁監測數據管理系統，采用高可靠性、高性能的HBase分布式數據庫，適合存儲非結構化和非關系型數據。其中RowKey為行鍵，Timestamp為時間戳，對應當時的時間值。CF1、CF2為數據中的列族，HBase中每一個表在水平方向會有一個或多個列族，其中一個列族又有任意多個列組成，類似于數據的幾級索引（見表1）。

橋梁監測數據庫存儲著諸多信息，具體名稱可由業主方自己定義，如存儲橋梁名稱、橋梁類型、橋梁評估結果、加速度、位移等信息。同時鑒于云平臺需要處理復雜的數據信息，也對語言要求具有較強的擴展性，XML（可擴展標記語言）將信息串行化作文本存儲，以保障存儲數據在各種復雜場景下使用（見表2）。

橋梁監測數據管理系統可按用戶需求劃分為多級節點，內容也可由業主方制定。根節點包括橋梁總體數據，橋梁傳感器數據，數據傳輸，安全預警系統等。而一級節點如傳感器系統下的溫度、風速、加速度、位移、應變傳感器等，如圖3所示。

3.2實驗環境及結果

為驗證該監測系統的有效性，搭建了一個Hadoop集群進行數據存儲測試。一共有3臺服務器，內存為2G，硬盤為250g，以ubuntu9系統作為測試環境，其中一臺用于部署Namenode，另外兩臺部署Datanode。使用某座橋梁183個傳感器節點數據進行存儲，比較單機和配置了3臺服務器Hadoop集群的數據存儲時間，實驗結果為單機的響應時間為800ms，而配置了服務器集群的響應時間為150ms，Hadoop集群的存儲信息時間明顯低于單機存儲，表現出低成本、高效率的特點。

4結語

本文針對現有橋梁監測數據多源異構、海量監測數據難以處理、信息孤島化嚴重等現象，提出基于Had00p平臺的橋梁監測數據管理系統。利用高容錯的mFs分布式文件系統和高性能數據處理的Ma-pReduce系統對現有監測數據進行高效率存儲和計算，通過建立橋梁監測數據庫，搭建橋梁監測系統，并用實驗驗證了搭建Hadoop集群的可行性，其信息存儲時間明顯低于單機存儲信息，有利于橋梁監測數據的高效存儲和處理。