基于大數據、云計算的水利工程質量風險管理研究

胡軍偉

摘 要：水利工程作為國民經濟發展和生活區域保護的基礎，對其質量風險管理的研究成為焦點。同時，云計算，物聯網等新興服務引發了數據類型和規模的巨大變革，昭示著大數據時代的到來。相比傳統的水利工程質量風險管理的研究，本文從大數據、云計算、工程質量風險管理三個方面進行分析，旨在利用大數據和云計算的優勢，在數據的視角下對水利工程質量風險進行管理與預測，以達到“事先”識別風險和規避風險的目的。

關鍵詞：水利工程 風險管理 大數據 云計算

1.引言

水利工程通過提供洪水防護和沿海保護促進經濟發展和生活區域的安定，并且通常與其他基礎設施融合，來改善我國水電資源分布不均勻的現狀，同時促進農業的發展。如果水利工程質量不合規程、規范和質量標準，將會直接影響工程的使用甚至危及人名群眾的財產安全同時給國家帶來危害事件。傳統的水利工程質量管理的缺陷在于質量意識薄弱，對工程前期的勘測設計不合規范以及技術力量的薄弱。以上管理模式主要體現在“事中”或者“事后”的機理分析，對工程質量風險的預測與規避所提供的指導非常有限。同時，大數據時代的到來也促進了水利數據中心的搭建，因此，通過數據挖掘技術從大數據中提取影響水利質量風險的影響因素之間的信息和知識，用于構建預測風險的模型來指導規避風險將具有極大優勢。

2.大數據的含義與特征

大數據（Big Data）從具有分布式和分散式控制的大容量異構，自治元開始，旨在探索數據之間復雜和不斷發展的關系。

大數據主要具有以下特征：第一，數據體量巨大。國際數據公司（IDC）計算出從2009年全球數據為0.8ZB（萬億GB），估計到2020年講增加到40ZB。實際上，由于高速廣域網接入的廣泛推出和下一代應用的激增，大數據在過去5-8年間一直處于技術領域的最前沿，在金融，零售，智能傳感器網絡（物聯網） 和物理等不同領域正在經歷類似的大量數據。這種大型數據集的出現具有顯著的存儲空間，更重要的是具有計算意義。

第二，處理速度快。數據以前所未有的速度生成，需要實時處理，例如 RFID標簽與傳感器和智能電表的普遍應用正在推動近乎實時處理數據的需求。

第三，數據種類繁多。格式從傳統數據庫中的結構化數字數據到非結構化文本文檔，電子郵件，視頻，音頻，股票報價數據和金融交易，給數據的存儲分類帶來極大挑戰。

第四，可變性強。除了處理速度和數據種類的增加之外，數據流還可能隨著周期性峰值高度的變化而變化。例如，季節性和事件觸發的峰值數據負載可能難以管理。同樣非結構化數據更是如此。

第五，復雜高。今天的數據來源比較廣泛，這使得難以跨系統鏈接，匹配，清理和轉換數據。但是，有必要連接和關聯關系、層次結構和多個數據鏈接，否則數據可能會迅速失控。

這些特征使得從大數據中發現有用的知識成為極大的挑戰。因此，海量的數據處理離不開云計算（Cloud Computing）強大計算能力的支持。

3.云計算

云計算為大數據挑戰提供可擴展且經濟高效的解決方案；美國國家標準與技術研究院（NIST）給出云計算定義：“按使用付費模式，以實現方便，按需網絡訪問”，但在很大程度上不明確且廣泛濫用以表示“在線”的任何內容。共享可配置計算資源池（例如，網絡、服務器、存儲、應用程序和服務），可以用最少的管理工作或服務提供交互快速供應和發布。

云計算的服務類型主要包含以下三種：第一，基礎設施服務（IaaS）。云計算提供商投入大量資本支出以投資監理和維護高性能計算（HPC） 基礎架構或者數據中心，然后按照“按需支付”為基礎向客戶提供這些基礎架構或者數據中心，并提供相關的細粒度計算。此舉意味著用戶不會承擔構建HPC環境的任何成本，特別是考慮到這種環境的使用通常是“突發性”，而基礎設施往往未充分利用；第二，軟件服務（SaaS）指的是通過因特網運在遠程云基礎架構上運行應用程序的過程；第三，平臺服務（PaaS）允許用戶通過構建已經由云提供商開發的軟件庫或者開發平臺來構建軟件應用程序。

現代大數據技術已經設計出解決方案來提供使用可擴展且經濟有效的技術處理和分析大規模并行化數據集。對比發現，大數據集中于數據的采集、挖掘、分析和知識學習，而云計算強調的是計算能力，也即是處理數據的能力。如果沒有大數據，再強大的云計算也無用武之地；相應地，如果沒有云計算，那么也很難挖掘數據的價值并利用數據。

4.大數據、云計算對水利工程質量風險管理的影響分析

傳統的水利工程質量風險管理模式大多數體現在“事中”，即是通過對在建的水利工程進行質量檢測或者對已經出現的工程質量進行管理，以達到提高工程質量的目的。而“事前”對水利工程質量管理方法較少，如果能夠綜合各方面的信息，建立科學完善的綜合評價體系，對項目前期和潛在的質量風險進行分析，提前采取獎勵風險的措施， 達到規避風險的目的。

水利工程質量風險管理因素是形成大數據的核心，而此數據依賴云計算的強大算力來挖掘其中的數據價值。大數據、云計算的視角下對水利工程質量的風險管理的內容主要包括對數據源的和特征挖掘以及對工程質量風險管理框架的設計。大數據的分析處理可以利用云計算體系下的數據挖掘、機器學習、統計分析等技術，關鍵要解決數據準備和分析等過程中的海量數據計算問題。數據挖掘（Data Mining）指的是從巨量的、不完全的、模糊的、有噪聲的實際應用數據中，提取隱藏在其中、人們事先未知但有潛在利用價值的信息和知識的過程，例如從影響工程質量風險的因素中提取關聯性。站在狹義的角度來看待大數據對水利工程質量風險的管理，主要體現在數據的結構形式上[5]。從這個角度來講，大數據不僅包含結構化數據，更多指的是半結構化的數據和非結構化數據，表現為數據形式的多樣性和復雜性。

因為水利工程的質量風險因素多而復雜又具有不穩定性，如果利用傳統的質量風險管理模式，并不足以發現內在規律，因此需要利用數據挖掘技術（例如統計技術，決策樹和神經網路等）去挖掘數據間的關系，并預測風險。

目前我國建筑工程質量風險識別的方式主要為：試驗數據或結果、核對表、專家調查法、問卷調查或者訪談、事件樹分析法和工作分解結構。這些傳統的風險識別方法大多數從風險的形成出發，依賴于人為判斷，往往不能有效反應實際的情況。如今，云計算超強的計算能力以及普及，使得大數據分析技術逐漸應用于水利工程質量風險的管理。而管理體系的構建是一項復雜的工程，主要包括以下三個階段：一是以質量風險管理的需求為目標來構建用于水利工程質量的初始風險清單，例如技術風險的設計，施工和其他方面，以及非技術方面的自然與環境，經濟，政治法律，合同，人員和材料設備等；二是根據水利工程質量初始風險清單中的風險收集相關數據，例如技術風險里的設計內容、設計缺陷、錯誤和遺漏等，非技術風險里的自然環境方面，比如洪水，火災，臺風或者地震等均可以數據的形式收集；三是利用數據挖掘方法，如關聯，分類，決策樹，神經網絡等方法對所采集的數據進行分析，根據質量風險清單對項目質量風險進行分析與預測，同時根據工程質量問題的實際數據對初始的質量風險清單進行優化更新。

5.結語

本文從大數據、云計算的角度出發，針對水利工程質量風險管理的問題進行分析。與傳統的工程質量風險管理模式相比，大數據、云計算角度下的工程質量風險管理模式更具有客觀性，并且能夠提供預測風險及規避風險的能力。此外，在云計算強大算力的支撐下，本文所提出的工程質量風險管理模式更具有準確性和高效性。

參考文獻：

[1]鄭國棟，張照全.淺談水利工程質量管理[J].科學技術創新，2011 （6）：246-246.

[2]Gantz，John，and David Reinsel."The digital universe in 2020：Big data，bigger digital shadows，and biggest growth in the far east. " IDC iView： IDC Analyze the future 2007.2012（2012）： 1-16.

[3]秦榮生. "大數據，云計算技術對審計的影響研究[J]. "審計研究6.5（2014）.

[4]莫榮強，艾萍，吳禮福，et al.一種支持大數據的水利數據中心基礎框架[J].水利信息化， 2013（3）： 16-20.

[5]李梅杰.大數據視角下水利工程質量風險管理[J].城市建設理論研究（電子版），2018，No.252（06）： 187-188.