大數據下的結構性態監測信息管理系統設計與應用

吳杰 衣枚玉 張金輝 張其林

摘要：論述了一種適用于處理海量監測數據的結構性態監測信息管理系統（MIMS）的設計方案.基于三層瀏覽器/服務器架構搭建軟件系統，利用多服務器協同工作機制提升系統性能.應用大數據技術，充分考慮海量監測數據對數據管理系統的高要求，選用MongoDB數據庫作為數據管理平臺，論述了數據庫結構和采用的數據格式.最后以寧波南站結構性態監測為例，展示了系統的實現效果.結果表明該系統具有很好的擴展性和通用性，每天可接收遠程數據約10 GB，能實現對海量監測數據的實時吞吐和高效組織管理.

關鍵詞：結構性態監測；大數據；MongoDB數據庫；多服務器協作；瀏覽器/服務器

中圖分類號：TP274 文獻標識碼：A

土木工程領域的結構健康監測研究始于上世紀70年代末.目前，對結構健康監測技術的研究大多集中在傳感網絡子系統設計及損傷識別和安全預警等方面.在結構性態監測軟件的開發方面，近幾年也出現了一些技術創新和實踐成果，如土石壩安全監測軟件[1]、橋梁結構健康監測系統軟件[2]和上海中心大廈結構健康監測軟件[3]等.但這些軟件基本上都是針對特定結構開發，系統的可移植性、可維護性和可擴展性表現較差.在監測數據的組織管理方面，已有的結構性態監測軟件大多是從海量的監測數據中獲取有效的關鍵數據形成數據報告，不能實現全部監測數據的實時吞吐，并且存在數據采集與存儲不同步的問題.

隨著物聯網、云計算和社交網絡等新興技術與服務的出現，數據類型和數據量正以驚人的速度擴張，如何更好地管理和利用大數據開始備受關注[4-6].在結構健康監測中應用大數據技術，對實時監測數據流進行統計分析，可以預測出數據發展的趨勢，從而實現系統對結構損傷的識別、診斷和預測.達到這一目的的關鍵在于實現監測數據的實時吞吐和高效組織管理.由于土木工程結構健康監測與物聯網的融合以前所未有的速度生成數據，這些數據即使經過過濾，只保留有效的數據，其數據量也是驚人的龐大.如何實現對海量監測數據的組織、存儲、查詢和分析，既是實現對結構全壽命周期跟蹤式在線監測的前提，也是對結構進行有效的損傷識別和安全評定的基礎.

針對以上問題，本文提出一種大數據技術下的結構性態監測信息管理系統（MIMS）設計方案.該方案以實現高效的數據管理和安全的數據共享為目的，實現監測數據實時或近實時的、動態的、數字化、網絡化和可視化的管理.系統已應用于多個大型項目的結構健康監測，如寧波南站、上海中心大廈、蘭州西站和上海世博軸陽光谷等.

1系統架構

目前，基于網絡化的監測軟件實現模式主要有兩種方式，一種為客戶機/服務器（Client/Server， C/S）模式，另一種為瀏覽器/服務器（Browser/Server， B/S）模式[7].

B/S模式是Web2.0興起后的一種網絡結構模式，該模式由服務器安裝數據庫和Web應用，承擔系統的核心功能；客戶機安裝瀏覽器作為客戶端，瀏覽器通過服務器端的Web應用間接同數據庫進行數據交互.這一模式解決了傳統C/S模式中專用客戶端軟件開發成本高，升級維護困難等問題（見圖1）.

該體系結構具有以下優點：

1）廣域網/局域網都可使用，對客戶端軟硬件環境要求不高，只要有操作系統和瀏覽器即可；

2）各層在邏輯上相對獨立，具有很好的靈活性、可重用性和可擴展性；

3）系統功能集中在服務器端，可隨時進行更換或更新，從而實現無縫升級，降低系統維護成本；

4）可添加用戶管理機制，利用業務邏輯層阻止未授權用戶訪問數據層，實現數據的安全管理；

5）瀏覽器即客戶端，一方面可降低開發難度和成本，另一方面可充分利用頁面制作技術與用戶進行更加生動和豐富的交流.

2系統功能實現

2.1服務器軟件

MIMS的功能主要包括數據的采集與接收、過濾與轉換以及處理與查詢，如圖2所示.系統核心功能集中在服務器端.考慮到各功能環節對服務器有各自不同的要求，且具有不同步性，因此將各個功能模塊設計成相互獨立的服務器軟件.

MIMS的運行模式是以系統的自動運行為主，一旦服務器軟件或硬件出現故障，系統的運行將終止，如果不被及時發現并加以維護將會造成不可預計的數據損失乃至工程損失.因此，MIMS設計有獨立的自檢服務器軟件，以實時監視服務程序，當有異常狀態發生時，以郵件和短信的方式通知相關技術人員.

2.2多服務器協同機制

MIMS采用多服務器協同機制對服務器進行管理.Internet的快速增長要求服務器具備提供大量并發訪問服務的能力，因此對于大負載的服務器來講，CPU，I/O處理能力成為瓶頸[8].通過提高硬件性能來提高單臺服務器性能的效果有限，而采用多服務器協同工作機制和負載均衡技術可以很好地應對大量并發訪問的情況.

MIMS中的各功能模塊被設計成獨立的服務器軟件，這些軟件可以在單臺服務器上運行，但效率較低.為提高運算效率，可以采用多服務器協同系統來均衡服務器負荷，將各服務器軟件設計在不同服務器中，并形成相互協作機制.如圖3所示，服務器1負責將傳感器網絡傳來的數據進行采集并存儲于數據庫；服務器2首先實現和服務器1的數據庫同步，然后對這些數據進行過濾、篩選和轉換并存儲于另一個數據庫中；服務器3同步已經過轉換的數據，再根據客戶瀏覽器通過Web服務器提交的指令對數據進行分析和處理.各服務器通過數據庫的管控進行數據同步，以C/S模式相互訪問，實現相互調用和協同工作.

3數據管理方案

3.1數據庫

結構健康監測系統對數據庫的要求非常高.已有的較為成熟的結構健康監測系統大都采用文件形式存儲數據，也有一部分采用關系型數據庫對監測數據進行管理.采用文件形式顯然不能實現數據的實時存儲與查詢，且組織管理效率非常低，而關系型數據庫的應用也受到諸多限制，一般只能實現對部分關鍵數據的存取，不能實現對海量監測數據的實時吞吐.目前，監測系統正在向網絡化發展且監測數據的規模也在不斷擴大，監測系統對數據庫的要求越來越高.對海量監測數據的高效率存儲訪問以及對數據庫的高并發讀寫和高可擴展性等要求已經成為傳統的關系型數據庫無法應對的難題[9-10].

近年來，隨著大數據時代的到來，NoSql（Not Only SQL）數據庫得到了迅速的發展， NoSql數據庫具有傳統關系型數據庫無法比擬的高并發、高效率和高可擴展等特性，其中MongoDB數據庫的表現尤為突出[11-12].MIMS采用高性能、易部署、易使用且存儲數據方便的MongoDB數據庫對監測數據進行管理，實現了對海量監測數據的實時吞吐和高效存儲與查詢.

3.2數據格式

3.2.1數據存儲格式

這里的數據存儲格式是指數據保存在數據庫或文件中的編排格式.其應滿足一定條件：1）保證記錄所需要的全部信息；2）充分利用存貯空間，提高存貯效率；3）采用統一的格式，方便與數據處理模塊間的數據交換.MongoDB使用BSON（Binary Serialized Document Format）結構來存儲數據，可以滿足以上要求.BSON是一個輕量級的二進制數據格式，可以存儲內嵌的文檔對象和數組對象.MIMS采用以BSON格式存儲的文檔對象存儲信息，其中每條記錄包括測量點位（position）、傳感器類型（dimTyp）、測量批次（batch）、測量時間（datetime）和測量值（value），示例如下：

{″position″：″SWGJ12″，″dimTyp″：″stress″，″batch″：null，″datetime″：newDate（2014，4，6，16，12，9），″value″：-23.396}.

3.2.2數據交換格式

為了整合資源，建立統一的信息化平臺，MIMS中的數據交換采用統一的標準數據格式.格式標準化可以極大地提高對數據的管理效率，讓用戶快速簡單地得到必要的數據.

當前比較流行的數據交換格式有XML（Extensible Markup Language），JSON（JavaScript Object Notation）和YAML（Yet Another Markup Language）.由于數據存儲格式已選用是類似JSON的BSON格式，為了方便與數據庫的數據交互，MIMS數據交換格式選用JSON格式.JSON 是一種輕量級的數據交換格式，易于閱讀和編寫，同時也易于機器解析和生成，可以滿足本設計對數據格式的要求.

JSON簡單說就是JavaScript中的對象和數組，對象數據結構為 {鍵：值， 鍵：值，…}，鍵為對象的屬性，值為對應的屬性值，屬性值的類型又可以是數字、字符串、邏輯值、數組或對象.數組數據結構為 [字段1， 字段2， 字段3，…]，其中字段值的類型又可以是數字、字符串、邏輯值、數組或對象.利用對象、數組兩種結構可以組合成多層嵌套的數據結構，如以下示例，最外層是包含″Stresses″和″Temperatures″兩個屬性的對象，他們的屬性值又嵌套了多個子對象的數組.

{

″Stresses″： [

{″position″：″SWGJ11″，″value″：[-23.396， -23.63， -24.352 …]}，

{″position″：″SWGJ12″，″value″：[-24.153， -24.953， -23.303 …]}，

…

] ，

″Temperatures″： [

{″position″：″SWGJ11″，″value″：[31.1， 30.5， 31.9 …]}，

{″position″：″SWGJ12″，″value″：[29.3， 30.2， 32.3 …]}，

…

]

}.

4 應用實例—寧波南站結構性態監測系統

4.1工程結構概況

寧波南站站房采用南北地上進站、高架候車、地下出站的功能格局.新建站房共3個主要層面：地下一層（主要負擔進出站功能）、站臺層（地面層）和高架層（含商業夾層）.地下二層（地鐵2號線站廳層）和地下三層（地鐵2的站臺層）的土建工程大部分位于鐵路站房下，詳見圖4.高架層東西向總長度114.0 m：該方向柱距不均勻，為24+21+24+21+24 m；南北向總寬度185.5 m，柱距為25+2×21.5+43+2×21.5+31.5 m. 地下一層、站臺層東西向總長度66.0 m（柱距為21 m及24 m），南北向寬度185.5 m.

本工程的監測內容主要包括：1）施工和運營過程中鋼結構關鍵部位的應力監測；2）運營過程中結構關鍵部位的振動加速度響應監測；3）運營過程中風敏感部位的風壓監測；4）運營過程中整體結構所處風環境的風速監測.

4.2系統配置

寧波南站結構性態監測系統包含靜態（應力應變）采集通道167個，動態（風速風向、風壓力和加速度）采集通道87個.采用單臺服務器配置即可滿足性能要求.

服務器配置：2路處理器，每路采用主頻1 800 MHz，L3緩存10 MB的4核心4進程處理器；安裝內存為8.00 G；3塊3TB硬盤作為RAID5.

數據庫配置：采用MongoDB主從模式配置為采集端數據庫（主）和分析端數據庫（從）.

網絡傳輸配置：采集現場局域網帶寬100 M，VPN遠程傳輸帶寬為3 M.

4.3系統展示

寧波南站結構性態監測系統功能包括首頁、系統說明、系統管理、設備總覽、實時監測和監測回放.首頁包括登錄、項目概述和監測分項簡介，系統說明包括項目功能說明和監測點位詳細說明，系統管理包括密碼管理、角色管理和用戶管理.設備總覽畫面如圖5所示，包括監測設備的最新運行狀態統計和測點設備的詳細狀態表，共分為應力應變統計、風荷載統計、風壓統計和加速度統計.

實時監測是對所有動態點位（風速風向、風壓力和加速度）和靜態點位（應力）的實時監測.監測點位的選取方法如圖6所示，將監測結構分為不同的監測區域，點擊每個區域可彈出傳感器布置細節圖，以選取監測點位.靜態點位取最新一天的監測數據，動態點位取最新30 s的監測數據，分別繪制時程圖進行展示，如圖7和圖8所示.

監測回放是對所有監測點位歷史監測數據的回放.選擇要查詢的時間段和監測點位（點位選取方法與實時監測頁面相同）后會獲取相應的歷史監測數據顯示在頁面中，如圖9所示為2014年2月1日至2014年3月1日的應變監測記錄.在時程圖上拖動鼠標選擇相應區域后還可放大進行細節展示，如圖10所示.圖11展示了2014年9月22日2：15：00-2：30：00的風荷載監測統計數據.風壓力和加速度監測畫面和以上界面類似，不再贅述.

5結論

本文研究了大數據技術下的結構性態監測信息管理系統設計，從系統架構、系統功能實現和數據管理方案等三個層面論述了本結構性態監測信息管理系統的可行性和優越性.最后以寧波南站結構性態監測項目為例，展示了系統的應用效果.主要結論有：

1）應用三層B/S架構搭建的系統具有很好的擴展性和通用性，可方便靈活地加入各種數據分析功能，并且適用于多種工程結構的性態監測.

2）系統具有高度的伸縮性.根據項目對性能和經濟性的不同需求，可選擇配置一臺服務器，或利用多臺服務器協同工作.

3）基于大數據技術，以MongoDB數據庫為數據管理平臺，能實時吞吐海量的監測數據，每天可接收遠程數據約10 GB，可同時供多方分析、查看和使用.系統設計時已考慮大數據分析，設有監測數據中心，通過多個監測項目以及長期的數據積累，可獲得海量、高增長率和多樣化的監測數據.

4） 網頁設計采用基于HTML5的新一代WEB技術，用戶界面簡約大氣，使用舒適方便，并兼容多種終端平臺，如工作站、筆記本和平板電腦等.

5）目前系統各功能模塊服務器均采用單臺服務器，支持不多于300個動態采集通道，數據分析速率也有一定限制.若要進一步擴充采集通道、提高數據分析速率，可通過搭建服務器集群來實現.

參考文獻

[1]劉德志， 李俊杰. 土石壩安全監測軟件系統設計與實現[J]. 大連理工大學學報， 2006， 46（3）： 407-412.

LIU Dezhi， LI Junjie. Design and implementation of earth rockfill dam security monitoring software system [J]. Journal of Dalian University of Technology， 2006， 46（3）： 407-412.（In Chinese）

[2]WANG Jianguo， SU Meiyan， ZHAO Guomin， et al. Design and implementation of the earthquake precursor network running monitoring software based on C/S structure [C] // 2010 6th International Conference on Wireless Communications， Networking and Mobile Computing （WiCOM）. Piscataway， NJ： IEEE Computer Society， 2010， 4： 1-4.

[3]胡笳， 李晗， 楊暉柱， 等. 上海中心大廈結構健康監測軟件集成設計及應用[J]. 同濟大學學報：自然科學版， 2014，42（3）： 460-467.

HU Jia， LI Han， YANG Huizhu， et al. Integrated design and application of structural health monitoring software system of Shanghai Tower [J]. Journal of Tongji University： Natural Science，2014， 42（3）： 460-467. （In Chinese）

[4]孟小峰，慈祥. 大數據管理：概念、技術與挑戰 [J]. 計算機研究與發展， 2013， 50（1）： 146-169.

MENG Xiaofeng， CI Xiang. Big data management： Concepts， techniques and challenges [J]. Computer Research and Development， 2013， 50（1）： 146-169. （In Chinese）

[5]KAMBATLA K， KOLLIAS G， KUMAR V， et al. Trends in big data analytics [J]. Journal of Parallel and Distributed Computing， 2014， 74（7）： 2561-2573.

[6]MARTINEZ M A， CUESTA C E， ARIAS M， et al. The solid architecture for realtime management of big semantic data [J]. Future Generation Computer Systems， 2015，47： 62-79.

[7]張燕. 基于C/S模式的遠程數據監測系統設計[J]. 計算機與網絡， 2008， 34（17）： 68-70.

ZHANG Yan. Design of remote data monitoring system based on C/S model [J]. China Computer & Network， 2008， 34（17）： 68-70. （In Chinese）

[8]羅天洪， 羅文軍， 陳小安. 網絡環境下協同設計的多服務器技術[J]. 重慶大學學報：自然科學版， 2006， 29（9）： 5-9.

LUO Tianhong， LUO Wenjun， Chen Xiaoan. Multiserver technology for internetbased collaborative design [J]. Journal of Chongqing University： Natural Science，2006， 29（9）： 5-9. （In Chinese）

[9]張文盛， 鄭漢華. 基于MongoDB構建高性能網站技術研究[J]. 吉林師范大學學報：自然科學版， 2013， 34（1）： 123-127.

ZHANG Wensheng， ZHENG Hanhua. Research on the construction of high performance Web site based on MongoDB technology [J]. Journal of Jilin Normal University： Natural Science， 2013， 34（1）： 123-127. （In Chinese）

[10]PARKER Z， POE S， VRBSKY S V. Comparing NoSQL MongoDB to an SQL DB [C] //Proceedings of the Annual Southeast Conference. Savannah， GA： Association for Computing Machinery （ACM）， 2013， 5： 1-6.

[11]BARBIERATO E，GRIBAUDO M， IACONO M. Performance evaluation of NoSQL bigdata applications using multiformalism models [J]. Future Generation Computer Systems， 2014， 37： 345-353.

[12]STEVIC M P， MILOSAVLJEVIC B， PERISC B R. Enhancing the management of unstructured data in elearning systems using MongoDB [J]. Program： Electronic Library and Information Systems， 2015， 49（1）： 91-114.