油氣長輸管道大數據整合技術方法研究

1中國石油西部管道公司

2北京星球數碼科技有限公司

近年來，隨著我國經濟的飛速發展，對油氣等能源的需求也在不斷增加，管道里程迅速增長，形成了多渠道、跨區域的全國性油氣管網。長距離輸油管道分布范圍廣，新舊管線并存，管道周邊環境復雜多樣[1-2]。在大數據的范疇，數據的來源多種多樣，經過多年的管道完整性管理，各油氣長輸管道企業都在管道業務領域積累了管道建設竣工資料、運營管理等大量數據（如內外檢測、陰極保護、地質災害監測及管道地理信息等數據），這些數據為管道安全管理、完整性管理及評價提供了數據支持[3]。為了降低管道生產運行過程中所面臨的各種問題，將對管道完整性數據采集后加以識別和評價，然后根據風險評價將管道風險等級控制在合理范圍內，以防止管道事故的發生。由于這些海量數據采集是在管道建設及管道運營管理的不同時期，其管理、采集、存儲的內容及方式不一致，同時按照多種不同的組織方式將不同類型的數據分別存放在不同的數據庫中，使得這些數據的使用存在許多問題。

因此，研究一套管道大數據整合方法，以竣工資料或內檢測數據提供的各管節信息為基準，以管道建設期數據、地質災害監測數據、管道運營期數據、陰極保護數據、內外檢測數據、地理空間數據等為基礎數據，使數據可以對應到各環焊縫信息，形成統一的數據模型和數據庫，最終實現將一根管節的所有數據信息關聯查詢并可以將其全要素信息對應到管線走向圖上進行展示，同時利用管道大數據技術對管道業務數據進行分析和篩選應用，對油氣長輸管道公司管道業務管理、決策分析及風險評估有著重要意義。

1 管道完整性大數據整合數據范圍

1.1 管道竣工資料數據

需要對管道竣工數據進行以下幾個方面的管道完整性分析：①石油和天然氣長輸管道竣工資料，包括管道焊接記錄、壓力測試記錄，管道焊接返修記錄、焊口縫射線檢測記錄表、水工保護、隱蔽工程、冷彎管、管道防腐補口、保溫施工記錄，陰極保護工程、管道穿越工程、隧道穿越單項工程、線路竣工圖等內容；②隧道數據，包括隧道建設竣工資料、設計圖紙等數據。

1.2 管道運營期數據

需要完成對管道竣工數據的完整性大數據分析。

（1）結合完整性管理的要求以及APDM標準數據。管道完整性管理采集在實際調研后充分考慮中國石油的管道特點，建立具有高水平的完整性管道數據模型（PIDM模型）。以此管道數據模型為底層架構，構建一個數據庫能夠包含整個管道生命周期，包括管道中線數據以及管道設備設施數據，管道施工及生產作業中的事故以及缺陷數據，再經過對數據進行有效的組織和存儲，為管道信息化以及建設期、運營期的管理提供支持，同時也為管道完整性的管理奠定基礎。同時要保證獲取到的管道數據的準確性、完整性、時效性。

（2）陰極保護監測數據。主要由自然電位、恒電位儀監測數據、保護電位、陽極地床接地電阻、電位分析報告等數據構成。

（3）管道地質災害監測數據。包括管道最大拉伸應力、最大壓縮應力、最大彎曲應力、地表位移量等監測數據。

（4）管道內檢測數據。主要包含幾何檢測、內檢測的前期調查、管道的清管、三軸高清漏磁檢測、管道坐標測繪及應變評估、初步報告編制、開挖驗證及報告編制、最終檢測報告編制、缺陷適用性評價報告。

（5）地理信息基礎數據。包括基礎地理地形數據、自然社會要素數據、經濟要素數據以及管道空間信息數據的數據庫，其中數據主要有管道基礎矢量化數據、管道業務數據和衛星影像數據等，以矢量化的電子地圖為基礎，然后對管道周圍的社會、環境以及自然因素之間的關系進行分析，實現對管道以及設備等信息的搜索、定位、查詢、分析等功能，為管道完整性數據的管理提供科學有效的方法[4]。

2 管道完整性大數據處理方法

2.1 管道完整性大數據采集要求

對管道完整性數據采集后加以識別和評價各種風險，然后根據風險評價等級采取合適的辦法降低風險，同時控制管道風險等級，以防止發生管道事故。數據采集分為兩部分：第一部分為外業GPS位置信息采集，根據需求將采集GPS位置信息數據與位置的屬性信息數據[5]；第二部分為屬性信息數據以及相關的空間數據的收集。管道數據采集主要包括以下幾個方面：

（1）管道中心線及管道設施數據。管道中心線及管道設施數據包括從設計、施工到運營一整套的管道信息數據，比如鋼管信息、防腐層、彎頭、閥等。經過實地踏勘測量可以獲取到管道中心線、管道設施的空間地理位置信息，但是其他管道設施的屬性數據只能從歷史資料中獲得，包括施工資料以及竣工資料。

（2）管道沿線地理數據。管道沿線的公路、河流、鐵路、三穿、水工、建筑物等要素環境數據可以作為管道風險評價以及HCA分析的重要參考數據，應包括多個比例尺。

（3）遙感影像數據。管道信息所涉及到的遙感影像數據主要是指管道經過地方兩側各2.5 km范圍內的柵格影像，通過影像可以直觀地查看管道周邊環境信息，包括基礎地形、地貌、主要公共設施、建筑物、公路、鐵路、河流等信息，可作為管道沿線地理數據更新的依據。

2.2 管道完整性大數據采集內容

其主要包括兩個方面的數據采集，一是地理背景數據，二是管道建設期及運營期數據。管道建設期采集的數據主要包括前期的管道咨詢設計、伴行路工程、站場工程、線路工程、無損檢測、陰極保護工程、通信以及設備物資等數據。運營期采集到的管理數據包括管道高后果區、內項目、水工保護、風險評估、防腐層大修項目、維搶修、管道巡護及保護、陰極保護、地質災害監測等數據，目前這些數據尚未得到有效應用。管道內外檢測采集管道環焊縫、管節、壁厚、凹陷點、埋深等內檢測數據以及自然電位、雜散電流、土壤和水pH值、土壤的電阻率、管道路由定位以及外防腐層缺陷定位等外檢測數據[6-7]。

2.3 管道完整性大數據采集流程

數據采集涉及到不同類型數據的采集工作，不同的數據收集方法不同，現根據數據內容制定數據采集流程（圖1）。

2.4 管道完整性大數據處理及存儲

圖1 數據采集流程Fig.1 Data collection flow

（1）管道完整性大數據整合集成思路。以內檢測數據、竣工資料提供的各管節信息為基礎數據，將采集到的管道施工期的數據、內檢測數據、管道運營期的管理數據、陰極保護數據、地質災害監測及地理信息空間數據等進行匹配，使各類數據能夠與環焊縫信息一一對應，然后形成統一的數據庫以及數據模型，最終將一根管節上的所有數據信息進行關聯查詢，并可以將其全要素信息對應到管線走向圖上進行展示。

（2）管道完整性大數據入庫流程。將數據進行加工導入到EXCEL模板后，按照管道模型的要求將EXCEL模板數據進行處理并導入中間庫，對中間庫的數據認真檢查無誤后，將其導入到最終的數據庫中進行最終數據的驗證。

（3）管道完整性大數據處理簡述。處理內容包括：綜合分析、收集單項數據；制定一個統一的參照系；通過圖解或人工方式整合數據。

（4）管道完整性大數據存儲與集成。基于模型創建統一的數據庫，將管道建設期和運營期數據處理后入庫，并將管節焊縫的所有數據信息進行關聯查詢。

（5）管道完整性大數據校驗。數據核對是整個數據處理保證最終入庫數據準確性的重要環節，為保證數據處理的成果能夠順利地支撐管道完整性管理系統的運行，滿足管道管理人員日常業務處理的基本要求，大數據校檢核對的主要內容包括：①檢查數據處理范圍是否完全；②檢查數據處理類型是否完全；③檢查數據是否按照正確的邏輯關系入庫；④檢查評價和檢測數據里程校準是否正確；⑤檢查業務數據是否錄入完全、準確。

3 管道完整性大數據對齊優化整合

近年來，大數據逐漸滲入到管道信息的管理中，并得到廣泛的傳播和應用。大數據的理論依據包括相關性分析理論以及非因果性分析理論，管道系統信息的大數據是經過眾多管道數據相互結合產生，這些數據包括管道地理數據、管道建設期數據、管道運營期數據、管道腐蝕數據、資產設備數據、檢測監測數據、市場數據等。但是這些管道數據在應用中相對獨立，或者只是對部分數據進行集成，不能滿足管道系統大數據的要求，需要應用現代技術手段建立數據分析模型將各種管道信息數據統一起來，如云計算、互聯網、物聯網、地理信息系統集成等技術，解決目前管道數據所面臨的有效應用問題，包括管道泄漏、腐蝕、自然地質災害、第三方施工破壞等。經過大數據的整合能夠獲得對管道信息的管理、災害的監測、市場的發展預測、管道運行的監管等全面的統計分析結論，指導管道企業的可持續發展[8-10]。

3.1 管道完整性大數據對齊優化整合思路

采集管道基礎信息數據，全面研究有關管道信息數據的采集、存儲、處理以及集成技術，將從外部數據源獲取到的各類型管道完整性數據導入到數據存儲系統。系統能夠完成大數據平臺與外部采集數據之間的交互，利用多維統計分析、數據挖掘等算法實現對管道完整性大數據相關性分析，并且完成管道施工期以及運營期間的數據對齊整合、內外檢測數據對齊整合、管道管理數據與運行業務數據的對齊整合[11-12]。

3.2 管道完整性大數據對齊優化數據整理

為完成對管道完整性大數據的對齊優化以及整合，需要將管道竣工資料數據和內檢測數據分別整理到模板文件中，并將管道施工記錄數據與內檢測數據按起始位置順序排列，整理數據內容包括：

（1）內檢測數據。主要包括內檢測報告，即工程及管道基本信息、參考點、壁厚變化、彎頭、管道附件、焊縫異常點、管節、金屬損失、變形點等數據內容。

（2）管道竣工數據。包括管道竣工量測成果、管道建設期數據、管道壓力測試記錄、檢測方法、相關檢測結果、是否重修、連頭口、金口等數據。

3.3 內檢測數據對齊方法

內檢測數據對齊方法的基本原理：一是將內檢測采集到的焊縫編號結果與運營期獲取的焊縫編號進行對應，二是將在建設期采集到的管道屬性信息數據、運營期獲取到的管道檢測結果以及管道周圍自然環境數據三者之間建立相關關系。數據對齊的基本步驟如下:

（1）將首個施工期以及管道內檢測結果中的環焊縫查找出來，檢查管道出站后的彎頭、閥門、三通、短接等管道特征。

（2）基于已有的內檢測數據焊縫編號的規則，將施工期的相關管道安裝信息所記錄的焊縫編號自動向下游數據進行對應。如果此時對應到下一個管道的硬性參考點，那么根據這個硬性參考點來對施工期管道安裝記錄中的管道節點特征與內檢測采集到的結果中的管道節點特征是否對應進行判斷。相關數據進行對應的過程中，可變壁厚點可以作為管道數據對齊的管道節點特征。

（3）如果管道節點特征相互對應，那么從第二步程序開始重復，一直到所有管道數據都完成對齊。如果在對應過程中有管節數據不對應，那么需要進入程序的第四步，進行檢查與修改。

（4）將內檢測的管道節點長度數據與施工建設期所記錄的管道節點長度數據進行比較，同時為了控制結果的精度，需將單個管道節點長度誤差以及管道節點總累計誤差均控制在誤差范圍內，這樣可以保證對齊結果的準確性。如果超出誤差范圍則認為該管道節點數據存在問題，不能完成管道節點數據的對齊。

3.4 內檢測管節與管道施工記錄對齊方法

（1）將管道上的彎頭作為參考點對齊兩側數據。

（2）將彎頭數據與內檢測數據在管節列表中進行匹配。

（3）管道施工記錄數據中管節數據的電子化整理錄入。

（4）依據內檢測數據中的管節與彎頭的數據對其管道施工記錄數據中的管節列表。

（5）將管段壁厚變化點作為參考點對齊兩側數據。

（6）對應到內檢測數據管節列表中。

（7）處理內檢測數據管節列表，一個管節一條記錄。

（8）依據內檢測數據中的管段壁厚變化點數據對齊管道施工記錄數據中的管節列表。

（9）將管道附件作為參考點對齊兩側數據。

4 結論

通過采集實驗段管道基礎信息數據，全面研究有關管道信息數據的采集、存儲、處理以及集成技術，將從外部數據源獲取到的各類型管道完整性數據導入到數據存儲系統，能夠完成大數據平臺與外部采集數據之間的交互，利用多維統計分析、數據挖掘等算法實現對管道完整性大數據相關性分析，并且完成管道施工期以及運營期間的數據對齊整合、內外檢測數據對齊整合、管道管理數據與運行業務數據的對齊整合。研究得出管道建設期與運營期的數據關聯關系及應用方式，即以竣工資料或管道內檢測提供的各管節信息為基準，以內檢測數據、施工資料、環境資料和運營數據等作為管道大數據的基本元素，將內檢測數據與施工數據進行對齊以及整合，建成適合于實際情況的大數據管理的完整性數據架構和模型。同時，將油氣管道內檢測數據與竣工資料焊縫數據進行比對分析，可以梳理出內檢測數據與竣工資料不能對應的異常焊縫及管節數據，為管道焊縫缺陷排查、風險評價及焊縫開挖驗證評估等工作提供依據；研究基于業務應用的管道完整性管理平臺。在已有的數據平臺的基礎上，通過資源整合，利用各數據管理平臺的優點，研究管道數據快速搜索調用方法及數據應用方式，建立面向業務應用的管道完整性管理平臺，為管道完整性管理及應急搶險提供支持。