大數據聚類算法在成品油輸油管道泄漏檢測中的應用

李鑫偉 劉瑞哲

〔國家石油天然氣管網集團有限公司華中分公司 湖北武漢 430000〕

當今成品油管道輸送已成為最經濟、安全的輸送方式[1-2]，但自然災害頻發、第三方施工破壞以及不法分子打孔盜油都對管道安全構成重大威脅[3]。一旦管道發生泄漏必然帶來嚴重安全隱患，不僅存在起火爆炸風險，同時還會造成環境污染[4]。因此，準確高效的泄漏檢測系統已成為保障管道輸送安穩長滿優運行的必備設施[5]。

隨著企業數據的快速增長以及大數據技術的發展[6]，如何利用現有管道大數據進行有效挖掘，構建符合不同管道、不同工況的數學模型，實現管道泄漏發生后的快速、精確預警，已成為各油氣管道企業確保安全運行的重要研究課題[7-8]。

1 研究背景

華中區域管網湖南管道全長732 km，年設計輸量600萬t。管道走向示意圖見圖1，各站場功能見表1。由圖1和表1可知湖南管道工藝復雜，各站功能不同。為了加強管道泄漏風險檢測投用了泄漏報警系統。由于各管段間地形、管路特性、各站工藝功能不同，泄漏報警系統并沒有針對各管段的數據分析采取區別化的閾值設定，均按統一化的閾值設定。在實際運行中面對同一工況經常持續性的重復報警并存在大量誤報，需要消耗大量的精力去處理誤報信息，無法做到準確高效判斷[9]。

圖1 湖南管道走向示意圖

2 理論分析

基于上述問題，采用聚類算法進行研究，該方法對大數據集處理有很高的效率并且可伸縮，在時間復雜度上近于線性，更加直觀，非常適合挖掘大規模數據集[10]。因此，利用聚類算法對各管段各工況下數據進行收集分析確定合適的閾值非常合適，可有效提高預警的準確性。

2.1 聚類算法

目前存在大量的聚類算法，算法的選擇取決于數據的類型、聚類的目的和具體的應用[11]。大體上分為劃分聚類法、層次聚類法、基于密度的聚類算法、基于網絡的聚類算法和其他聚類算法[12]。由于長輸管道中數據量大、維度低、時間線性取值等特點，因此選用劃分聚類算法更加合適。

劃分聚類算法需要提前指定聚類數目或中心，通過反復的迭代運算來降低目標函數的誤差值[13]，當目標函數收斂至一定精度要求時得到相應的聚類結果[14]。典型的劃分方法包括：K-means(K均值)聚類和K-medoids(K中值)聚類[15]。

離群點挖掘又稱作異常檢測，目的是發現與其他對象不同的對象[16]。離群點挖掘技術本質上與聚類技術類似，那些沒有被聚類的點即離群點[17]。成品油管道泄漏檢測最重要的就是通過挖掘輸油中的異常數據并經過分析確定該數據是否為管道泄漏數據，從而判斷管道是否發生了泄漏并定位泄漏的位置，基于聚類的離群點挖掘技術是一種新型高效技術[18]。

2.2 基于聚類的泄漏檢測技術

在輸油管道的正常運行中，受到泵流量的不穩定波動、壓力表的最小量程等因素影響，各站的壓力即使在無工況調整時都會不斷波動，只是波幅有大有小[19]。通過聚類進行離群點挖掘可以發現并找出正常波動中微小的異常波動，然后將上下站壓力的離群點進行對比，并根據壓力傳播的速度即負壓波原理[20-21]算出最可能發生泄漏的位置。

由于在成品油管道正常輸送的過程中，壓力一直存在小幅波動的情況。因此，要在小幅波動的壓力中找到真正的異常波動點，并且第一時間發出預警信號至關重要[22]。通過聚類技術，可以按照以下順序篩選出壓力異常波動的點。

(1)選取某個時長的壓力數據(每秒取樣一次作為單點數據a1、a2、a3……)作為一個離群數據集m，在數據處理中以時長60 s為子數據集m進行迭代計算(子數據集選取的具體時長可以根據管道特性進行調整)。

{m1，m2，m3，m4，m5……}∈M

m1={a1，a2，a3，a4，a5……a60}

(2)對數據集m中的所有對象進行聚類。

(1)

(2)

然后刪除最后一個數據進行聚類:

(3)

(4)

兩次聚類結果差值的絕對值即為該數據集最后一個數據的離群點得分Vm：

(5)

(3)每一個點都與前59個點(共60個點，60s的壓力數據)作為一個數據集計算它的離群點得分，經采集數據分析計算得到新的離群點得分。這里采用將離群得分現值與前60s離群點得分最大值進行比較的方法，得到離群系數L，即：

(6)

(4)不同管段不同工況對于離群系數L的下閾值均不同，需要通過大數據挖掘分析得到各自閾值，這樣才能避免重復報警、錯誤報警，真正達到預警效果。

3 實例計算

現以湖南管道I站與J站間管段為例，進行不同工況下數據分析。IJ管段具體情況如下：I站為中間下載站， J站為末站，具體功能見表1。IJ管段長98.0 km，管徑為273.1 mm×6.4/7.9 mm，具體的高程示意圖見圖2。由圖2可知，IJ段地形起伏較大，在末站J站前有連續的高點，再根據I站和J站的功能，現對IJ管段進行4種情況分析，分別是：①正常單油品運行；②汽油頂柴油在管段中運行；③柴油頂汽油在管段中運行；④清管器在管段中運行。由于類似啟輸、停輸、停下載等大范圍工況調整系統都能做出判斷報警，現主要針對平穩運行時小幅度壓力波動所產生的持續性報警情況進行分析，故針對IJ管段情況選取以上4種工況。收集各工況運行數據并進行大數據挖掘分析，得到各種工況下閾值，降低報警系統的誤報和重復低效報警，提高泄漏檢測報警的準確性。

圖2 IJ段管道高程示意圖

3.1 正常單油品在IJ管段間運行

在正常單油品輸送過程中，IJ管段壓力波動很小。由于低壓下載站切罐操作是模擬管道泄漏最佳工況，因此選擇J站做切罐操作，對I站的出站壓力進行分析。

利用SCADA系統獲取實時壓力數據，并對實時數據進行判別處理后按照公式(1)～(6)用MATLAB對相應的壓力數據點進行聚類處理，得到壓力數據的離群系數。單油品運行時I站出站壓力和離群系數的變化見圖3。從圖3可以看出，當工況發生變化時，該算法成功給出預警(圖3中有明顯離群點)，具有可靠性。

圖3 單油品運行時I站出站壓力和離群系數變化圖

通過大量數據模擬得到離群系數概率圖4。從圖4可以看出：①若閾值設在1以下有大量的離群點需處理，會產生大量重復報警，需要消耗大量的精力去處理錯誤信息；②若閾值設在1.5～2.0之間有兩個明顯的離群點，可以有效起到預警作用，高效省時；③若閾值設在2.0以上則離群點可能會在邊界區徘徊，系統不能做出明確判斷，會漏掉報警信息，將產生嚴重的漏報情況。

圖4 單油品運行時I站離群系數概率圖

由此可看出此次閾值設在1.5～2.0之間最理想。但不同流速不同溫度不同油品都會對閾值的設定產生影響，通過大量數據總結分析，最終將IJ段單輸油品工況下的閾值設在1.65可以排除99.9 %以上的誤報，從而真正實現有效預警。

3.2 汽油頂柴油在IJ管段間運行

IJ段地形起伏較大(見圖2)，汽油與柴油的理化特性相差很大，因此混油在過連續起伏的地形時會產生大量不間斷報警，需要通過大數據分析選擇汽油頂柴油在IJ管段間運行的合理閾值，排除重復無效報警干擾。

利用SCADA系統獲取實時壓力數據，并對實時數據進行判別處理后按照公式(1)(6)用MATLAB對相應的壓力數據點進行聚類處理，得到壓力數據的離群系數。汽油頂柴油運行時J站進站壓力和離群系數的變化見圖5。從圖5可以看出，當混油過高點時，該算法成功給出預警(圖5中有明顯離群點)，具有可靠性。

圖5 汽油頂柴油運行時J站進站壓力和離群系數變化圖

通過大量數據模擬得到離群系數概率圖6。從圖6可以看出：①若閾值設在1.2以下有大量的離群點需處理，會產生大量重復報警，需要消耗大量的精力去處理錯誤信息；②若閾值設在2.5～5.5之間有一個明顯的離群點，可以有效起到預警作用，但閾值范圍過大還需要結合大數據最終給出合理值；③若閾值設在5.5以上則離群點可能會在邊界區徘徊，系統不能做出明確判斷，會漏掉報警信息，將產生嚴重的漏報情況。

圖6 汽油頂柴油運行時J站離群系數概率圖

由此可看出此次閾值設在2.5～5.5之間最理想。但不同溫度和不同流速都會對閾值的設定產生影響，通過大量數據總結分析，最終將汽油頂柴油在IJ管段運行工況下的閾值設在3.25可以排除99.95 %以上的誤報，從而真正實現有效預警。

3.3 柴油頂汽油在IJ管段間運行

同理，混油在過連續起伏的地形時會產生大量不間斷報警，需要通過大數據分析選擇柴油頂汽油在IJ管段間運行的合理閾值，排除重復無效報警干擾。

利用SCADA系統獲取實時壓力數據，并對實時數據進行判別處理后按照公式(1)～(6)用MATLAB對相應的壓力數據點進行聚類處理，得到壓力數據的離群系數。柴油頂汽油運行時J站進站壓力和離群系數的變化見圖7。從圖7可以看出，當混油過高點時，該算法成功給出預警(圖7中有明顯離群點)，具有可靠性。

圖7 柴油頂汽油運行時J站進站壓力和離群系數變化圖

通過大量數據模擬得到離群系數概率圖8。從圖8可以看出：①若閾值設在1.3以下有大量的離群點需處理，會產生大量重復報警，需要消耗大量的精力去處理錯誤信息；②若閾值設在2.0～3.5之間有一個明顯的離群點，可以有效起到預警作用，但閾值范圍較大還需要結合大數據最終給出合理值；③若閾值設在3.5以上則離群點可能會在邊界區徘徊，系統不能做出明確判斷，會漏掉報警信息，將產生嚴重的漏報情況。

圖8 柴油頂汽油運行時J站離群系數概率圖

由此可看出，此次閾值設在2.0～3.5之間最理想。但不同溫度和不同流速都會對閾值的設定產生影響，通過大量數據總結分析，最終將柴油頂汽油在IJ管段運行工況下的閾值設在2.25可以排除99.95 %以上的誤報，從而真正實現有效預警。

3.4 清管器在IJ管段間運行

每條管段都需要定期進行清管掃線。清管器在通過IJ段起伏地形時會產生大量報警，需要通過大數據分析選擇清管器在IJ管段間運行的合理閾值，排除重復無效報警干擾。

利用SCADA系統獲取實時壓力數據，并對實時數據進行判別處理后按照公式(1)～(6)用MATLAB對相應的壓力數據點進行聚類處理，得到壓力數據的離群系數。清管器在IJ管段間運行時J站進站壓力和離群系數的變化見圖9。從圖9可以看出，當清管器過高點時，該算法成功給出預警(圖9中有明顯離群點)，具有可靠性。

圖9 清管器在IJ管段間運行時J站進站壓力和

通過大量數據模擬得到離群系數概率圖10。從圖10可以看出：①若閾值設在1.2以下有大量的離群點需處理，會產生大量重復報警，需要消耗大量的精力去處理錯誤信息；②若閾值設在3.0～8.0之間有一個明顯的離群點，可以有效起到預警作用，但閾值范圍過大還需要結合大數據最終給出合理值；③若閾值設在8.0以上則離群點可能會在邊界區徘徊，系統不能做出明確判斷，會漏掉報警信息，將產生嚴重的漏報情況。

圖10 清管器在IJ管段間運行時J站離群系數概率圖

由此可看出，此次閾值設在3.0～8.0之間最理想。但不同型號的清管器和不同流速都會對閾值的設定產生影響。通過大量數據總結分析，最終將清管器在IJ管段運行工況下的閾值設在4.55可以排除99.95 %以上的誤報，從而真正實現有效預警。

4 結論

(1)基于聚類算法的離群點挖掘技術在管道泄漏檢測報警系統中應用，檢測范圍更加精確，對壓力的異常波動更加敏感，反應更加迅速，具有較強的使用價值。

(2)由于各管段管路特性不同，需要設立不同工況運行時的閾值，以提高報警的準確性。湖南管道IJ管段在正常單油品運行、汽油頂柴油在管段中運行、柴油頂汽油在管段中運行、清管器在管段中運行的工況下，設定的閥值分別為1.65，3.25，2.25，4.55。在設定的閾值下，系統可以排除99.9 %以上的低效重復報警和誤報，真正實現了有效預警。

(3)基于聚類的離群點挖掘算法，可以對其他成品油管道在不同工況下的大數據進行處理。通過調整相應管道的閾值，可實現將該算法模型應用于不同管道。