基于曲面重建的帶式輸送機堆煤識別方法

游磊，朱興林，秦偉，羅明華

(中煤科工集團重慶研究院有限公司， 重慶 400039)

0 引言

帶式輸送機是煤礦生產過程中的主要運輸設備。堆煤故障是帶式輸送機的常見故障之一。煤炭因輸送不及時而堆積在輸送帶或者煤倉處，使得煤炭高度大于正常煤位時即為堆煤故障。此時必須停止運輸并及時處理，否則煤炭將淹沒輸送機機頭，造成巷道阻塞，引起瓦斯超限；還會造成輸送帶打滑，引起火災等嚴重安全生產事故。目前，針對帶式輸送機堆煤故障的自動化檢測技術主要包括接觸式傳感器檢測[1]和非接觸式計算機視覺檢測[2]。

接觸式堆煤傳感器檢測方法主要利用行程開關[3]、電極開關[4]等原理實現堆煤檢測。基于行程開關的堆煤傳感器由行程觸桿和對應的傳感器組成，正常條件下傳感器的接線端子斷路，當堆煤發生后，煤推動行程觸桿，使得傳感器接線端子接通，從而觸發堆煤事故報警。基于電極開關的堆煤傳感器利用電極探頭與煤接觸產生導電信號，完成堆煤檢測。這類檢測方法存在以下缺點：① 傳感器安裝位置靠近輸送帶，容易與煤塊產生機械摩擦，使設備變形、損壞，引起電火花等。② 煤礦井下濕度大，傳感器容易短路，導致誤觸發堆煤報警。③ 煤塵多且堆積在觸桿、電極探頭處，容易誤觸發報警，需要經常清理和維護。

以計算機視覺技術為主的非接觸式堆煤檢測方法發展較快，其克服了傳統接觸式傳感器的缺點，有無接觸、反應快、精度高、安裝維護簡單等優點[5-6]。吳喆峰等[7]提出一種基于圖像識別的堆煤檢測技術，設計了一種特制、易識別的警戒標志，利用深度神經網絡識別警戒標志，當堆煤事故發生時，必然遮擋警戒標志，觸發堆煤報警，但由于煤塵多、散煤遮擋等因素，易發生誤觸發。宣鵬程等[8]提出在帶式輸送機軌道機器人中，利用激光雷達反射成像，根據三角測距原理重建三維曲面，實現堆煤故障檢測。該方法的優點是精度高、速度快、不受環境影響，但由于激光雷達模塊[9]價格昂貴，成本太高，應用范圍小。

紅外結構光技術是一種快速、高精度的深度感知技術[10-11]，也能用于物體的三維曲面重建，其原理類似于三角測距，精度高且成本遠低于激光雷達[12-13]。因此，本文采用紅外結構光技術快速重建帶式輸送機煤流曲面，提出一種基于曲面重建的帶式輸送機堆煤識別方法。利用紅外結構光技術獲取堆煤的深度圖；將深度圖映射為點云圖，利用近似德勞內剖分法重建堆煤曲面[14]；根據曲面狀態判定是否出現堆煤事故。實驗結果驗證了該方法的可行性和準確性。

1 紅外結構光雙目成像原理

利用攝像儀和投影儀構建雙目立體視覺成像模型，如圖1所示，其中c1為投影儀中心，c2為攝像儀中心。投影儀射出結構化編碼的圖像，圖像中任意像素P1的特征具有唯一性，經過目標P反射之后，由攝像儀獲取；通過解碼找到與P1特征匹配的像素P2，完成單像素點立體匹配[15]；當遍歷完整個圖像之后，完成稠密的雙目立體匹配[16]；再反算出每個像素點在空間中的位置，得到深度圖[17-18]。

圖1 雙目立體視覺成像模型Fig.1 Binocular stereo vision imaging model

設P1在投影儀圖像中的像素坐標為[j1,i1]，P2在攝像儀圖像中的像素坐標為[j,i]，目標P的世界坐標為[x,y,z]，可得雙目成像約束方程[19]：

(1)

式中：s1，s2為非零常數，分別代表P點在投影儀、攝像儀坐標系中的z軸坐標；K1，K2分別為投影儀、攝像儀的內參數；R，T分別為攝像儀坐標到投影儀坐標的旋轉矩陣和平移矩陣；I為單位矩陣。

通過攝像機標定技術[20]獲取相關參數的值，已知參數為K1，K2，R，T，[j1,i1]與[j,i]稠密匹配[16]，未知參數為s1，s2，x，y，z，求解式(1)，可得P點的世界坐標[x,y,z]，即P點相對于c2的三維坐標。當遍歷攝像儀圖像的所有像素后，得到5元數組[j,i,x,y,z]。像素坐標[j,i]與世界坐標[x,y,z]一一對應，因此，用[xji,yji,zji]表示三維點云坐標，其中zji為深度。

2 基于近似德勞內剖分的堆煤曲面重建方法

將深度圖映射到點云圖，用點云數據構建凸四邊形網；用近似德勞內剖分法對凸四邊形網進行三角剖分，完成堆煤曲面重建。

2.1 凸四邊形網構建

深度圖中任意像素存在上、左、下、右4個最近鄰域像素，簡稱4鄰域關系。由于深度圖與點云圖是一一對應關系，那么深度圖的4鄰域也可以一一映射到點云圖，4鄰域關系依然近似成立。對4鄰域進行連接，在深度圖中形成正方形(凸四邊形)網絡，映射到點云圖中構成凸四邊形網。

深度圖到點云圖的映射如圖2所示。設深度圖中同一行左右相鄰2個像素的坐標為[j,i]與[j+1,i]，對應的點云坐標為[xji,yji,zji]與[x(j+1)i,y(j+1)i,z(j+1)i]。僅討論左右相鄰的情況，省略符號i，y，z，則j對應xj，j+1對應xj+1，上下相鄰的步驟類似。

(a) 深度圖4鄰域

(b) 點云圖4鄰域

根據式(1)可得左右鄰域坐標[20]：

(2)

式中：αx為圖像每像素的物理尺寸；v0為攝像機中心在圖像中的像素橫坐標。

要使點云圖的左右鄰域關系保持不變，必須滿足如下條件：

xj≤xj+1?zj(j-v0)≤zj+1(j+1-v0)?

(3)

由式(3)可得：只有在深度圖劇烈變化區域，且在圖像邊界處，4鄰域才有極小概率不成立，從而凸四邊形也不成立。帶式輸送機上的正常煤流或堆煤深度圖分布均勻，幾乎不會出現深度劇烈變化的情況。因此，4鄰域關系和凸四邊形極大概率成立。

2.2 近似德勞內剖分法

經典德勞內三角剖分法利用空圓特性、最大化最小角特性2個性質進行三角網剖分。空圓特性：任意三角形的外接圓中不存在其他點；最大化最小角特性：任意2個相鄰的三角形構成凸四邊形，將對角線互換后，6個內角的最小角不會增大。

經典德勞內三角剖分法的基本思路：① 將所有點依次插入三角形鏈表，在鏈表中找出外接圓包含插入點的三角形。② 根據2個性質對插入點和三角形進行優化，形成新的三角形鏈表。③ 重復以上步驟，直到所有點插入完畢。可以看出這是一個插入排序過程。

由于堆煤形狀奇特、不平滑，不是簡單的平面或曲面，導致點云數據不規則、間隔不均勻。面對海量的三維點云數據，經典德勞內三角剖分法無法滿足實時性要求。因此，提出近似德勞內剖分法，用遍歷過程代替插入排序過程。

近似德勞內剖分法如圖3所示。在凸四邊形網絡基礎上，對每個凸四邊形進行一次對角線長短判定，連接短對角線，構成三角形網絡。這樣生成的三角網絡近似滿足德勞內性質，有小概率不成立，但算法復雜度低。

(a) 短對角線剖分

(b) 長對角線剖分

近似德勞內剖分法沒有任何插入、排序、迭代步驟，僅執行了像素點遍歷運算，算法復雜度是O(n)；而經典德勞內三角剖分法是一個插入排序過程，算法復雜度是O(n2)。近似德勞內剖分法存在小概率不滿足德勞內性質的情況，但可大幅提升三角剖分速度。

3 基于曲面重建的堆煤識別方法

完成三角剖分后，堆煤曲面由三角網絡構成。設三角形總數為N，三角形集為(xpq,ypq,zpq)(p=1,2,3;q=1,2,…,N)，p表示同一個三角形的3個頂點編號，q表示不同三角形的編號，zpq表示三角形頂點到相機的距離。距離越小，表示堆煤發生的可能性越大，也可能因噪聲影響使少量三角形出現異常數據，產生誤報。因此，最終的堆煤識別報警規則：設定距離閾值hd和面積閾值ts，找出所有距離小于hd的三角形，計算其面積之和，若面積和占三角網總面積的比例大于ts，則輸出堆煤報警。

閾值hd與2個參數有關：結構光相機到輸送機帶面距離hca和正常煤流高度hco。取hd=hca-αhco，α∈[1,3]，物理意義是當前煤流高度超過hco的α倍，即可認為出現小面積的異常煤流。閾值ts是一個百分比，物理意義是距離小于閾值hd的三角形面積占總面積的比例，推薦ts值的范圍為[0.3,0.6]。

堆煤識別步驟：

4 實驗分析

實驗在中煤科工集團重慶研究院實驗室完成，采用Orbbec Astra Mini結構光相機模組，輸出深度圖分辨率為640×480，幀率為30 幀/s，開發工具箱為Openni。計算機硬件配置：i5-9400，內存為16 GB，操作系統為Windows 10。

4.1 紅外結構光的光照魯棒性

可見光波長為390～780 nm，結構光相機發出的紅外光波長為900 nm左右，不會相互干擾。在光照不足的黑暗環境中，成像效果好，與可見光無關，如圖4所示。

(a) 可見光成像

(b) 深度圖

用礦燈(KL5LM(C)2號)在約1.3 m處直射結構光相機，深度圖成像效果好，礦燈光源不會對紅外光產生干擾，僅在光源處有少部分面積無法計算深度圖，如圖5所示。圖5(c)是礦燈開與礦燈關2種條件下深度圖的相對誤差二值分割圖。將礦燈開、關2種條件下深度圖的有效像素相減，除以圖5(a)的深度圖，得到相對誤差圖；對相對誤差圖進行二值分割，相對誤差大于3%時設灰度值為255，否則設為0。從圖5(c)可看出，白色像素數量很少，出現在深度圖邊界處，不是礦燈開關造成的。

(a) 礦燈關

(b) 礦燈直射

(c) 相對誤差二值分割

黑暗條件和強光源直射在煤礦井下具有典型的代表意義，嚴重制約了基于可見光的視覺算法，而紅外結構光技術有效地提高了算法對光照的魯棒性。

4.2 近似德勞內剖分法的準確性和運行效率

為了驗證近似德勞內剖分法的準確性和運行效率，在2臺帶式輸送機上仿真堆煤故障，每臺采集30幀堆煤故障深度圖和30幀正常煤流深度圖。

首先，驗證點云圖的4鄰域關系和凸四邊形網有極大的概率成立。統計120幀深度圖中4鄰域關系和凸四邊形的總數，再將兩者映射到點云圖，進行最近4鄰域關系和凸四邊形判定(判定時只提取點云的x，y坐標值)，統計判定成功的總數，結果見表1。可見，點云圖4鄰域關系和凸四邊形判定成功率超過99.9%。

表1 點云圖結構關系判定結果Table 1 Judgement result of structure relation of point cloud map

其次，驗證用近似德勞內剖分法得到的三角形有極大概率滿足空圓特性和最大化最小角特性。從點云圖中提取所有凸四邊形，采用近似德勞內剖分法進行三角剖分，統計得出三角形總數為43 160 476，滿足2個性質的三角形總數為42 930 028，近似德勞內剖分法的成功率為99.466 1%。

最后，驗證近似德勞內剖分法的運行效率。用120幀(640×480)點云數據對近似德勞內剖分法和經典德勞內剖分法進行對比測試，得出兩者的曲面重建時間分別為1.28，134.93 ms。

近似德勞內剖分法的精度能夠滿足應用要求，同時，與經典德勞內剖分法相比，可極大地提高運算速度。

4.3 堆煤故障識別

近似德勞內剖分結果如圖6所示。首先，構建凸四邊形網，用較粗實線表示；其次，進行近似三角剖分，形成三角形網絡，用較細虛線表示；最后，進行距離判定。紅色三角形為有效三角形，當紅色三角形面積比例大于ts即認為出現堆煤故障。

圖6 近似德勞內剖分結果Fig.6 Approximate Delaunay subdivision results

為了確定合適的閾值hd和ts，利用現有120幀圖像進行訓練，結果如圖7所示。用60幀圖像模擬堆煤，60幀圖像模擬正常煤流，為了方便描述，各取6幀數據，其他隱藏。紅色曲線表示堆煤，藍色曲線表示正常煤流。找到堆煤曲線與正常煤流曲線差距最大的點，將該點的坐標作為最佳閾值，即hd=1 115.8 mm，ts=0.33。實驗中，相機到帶面的距離hca=1 400 mm，正常煤流高度hco=200 mm，計算可得α=1.421。

圖7 閾值訓練結果Fig.7 Threshold training results

基于曲面重建的堆煤識別效果如圖8所示，通過距離閾值hd將曲面分割成暖色和冷色。暖色區域表示發生了堆煤,冷色區域表示未發生堆煤。

(a) 未堆煤圖像

(b) 未堆煤點云重建圖

(c) 堆煤圖像

(d) 堆煤點云重建圖

通過實驗室模擬堆煤和正常運輸圖像數據各120幀，設定恰當的閾值，進行實驗，結果表明漏檢數和誤檢數均為0。因此，通過基于曲面重建的帶式輸送機堆煤識別方法可以準確判斷是否發生堆煤故障，檢測結果與實際情況相符；對大量圖像處理時間進行統計，得出每幀處理時間小于20 ms，滿足實時性要求。

5 結論

(1) 采用紅外結構光技術獲取深度圖，在井下黑暗條件下成像效果好，且不易被井下光源干擾。

(2) 提出基于近似德勞內剖分的堆煤曲面重建方法，將經典德勞內三角剖分過程簡化成遍歷過程，算法復雜度由O(n2)簡化為O(n)，運行效率提升100倍，而剖分精度幾乎沒有降低，超過99%的三角形依然滿足德勞內性質。

(3) 在曲面重建的基礎上實現了帶式輸送機堆煤識別，設定恰當的閾值，得出漏檢數和誤檢數均為0；對大量圖像處理時間進行統計，得出每幀處理時間小于20 ms，滿足實時性要求。

(4) 近年來三維測量算法發展較快，煤礦井下對三維測量算法的需求也越來越多。基于近似德勞內剖分法的曲面重建技術不僅可以應用于堆煤，還可應用于煤流量統計、掘進超循環等需要三維測量的場景，這也是下一步的研究工作方向。