基于CUDA 加速動態規劃優化全景拼接的刮板輸送機直線狀態監測

摘要：為提高井下復雜惡劣環境下刮板輸送機直線狀態監測精度和實時性，提出了一種基于統一計算設備架構（CUDA）加速動態規劃優化全景拼接的刮板輸送機直線狀態監測方法。首先，同步2 路攝像頭獲取的刮板輸送機圖像的幀數、分辨率參數，對輸入的視頻流進行暗通道清晰化處理，以消除井下煤塵、水霧等的干擾。其次，使用ORB 算法檢測和計算2 路視頻幀的特征點和描述子，通過K 最近鄰（KNN）匹配計算特征點間的匹配對，利用設置閾值比例的方法過濾錯誤的匹配點，使用隨機抽樣一致（RANSAC）算法計算出用于圖像透視變換的單應性矩陣。然后，基于CUDA 將讀取Sobel 算子、計算梯度、計算總能量差異、循環初始化權重與路徑、尋找最佳接縫線分配到不同的線程中，并定義計算能量圖和尋找最佳接縫線的核函數，完成2 路圖像沿接縫線融合的全景拼接。最后，使用霍夫變換方法對全景拼接的刮板輸送機圖像中部槽擋煤板進行直線擬合，并將擬合的直線繪制在全景拼接圖像上，以反映刮板輸送機的直線狀態。實驗及測試結果表明，CUDA 加速動態規劃優化全景拼接痕跡不明顯，且處理速度快；通過霍夫變換對中部槽擋煤板擬合的直線與刮板輸送機直線具有較好的一致性，可用于刮板輸送機直線狀態監測。

關鍵詞：刮板輸送機直線狀態監測；CUDA 加速；動態規劃；全景拼接；霍夫變換；統一計算設備架構

中圖分類號：TD634.2 文獻標志碼：A

0 引言

煤炭開采智能化問題一直制約著煤炭生產的效率和安全性，要實現煤炭的智能化開采，就必須實現以采煤機、刮板輸送機和液壓支架組成的“三機”聯動作業[1]。刮板輸送機在承擔工作面運煤任務的同時，也是采煤機的運行軌道和液壓支架推移過程的支點。《煤礦安全規程》規定，采礦“三機”在井下綜采工作面聯動作業時，工作面煤壁、刮板輸送機和液壓支架都必須保持直線。若不能有效保證刮板輸送機的直線狀態，則會增大刮板輸送機的運行阻力和采煤機的截割阻力，從而導致設備損毀等安全問題。因此，對刮板輸送機直線狀態監測是實現智能化開采的關鍵環節。

在刮板輸送機直線狀態監測研究方面，張智喆等[2]根據采煤機與刮板輸送機之間的幾何空間位置關系，建立了一個通過采煤機運行軌跡來反演刮板輸送機形狀的數學模型。王學文等[3]基于空間運動學與長短時記憶神經網絡軌跡預測相融合技術實現對刮板輸送機運行軌跡的預測。Lü Jiakun 等[4]提出了一種基于雙目視覺的刮板輸送機三維直線度實時監測技術，通過梯形窗口匹配技術實現多傳感器圖像采集，并利用姿態中繼視頻測量方法將局部坐標系中的直線度信息轉換到全局坐標系中，完成三維重建。張帆等[5]提出了基于卡爾曼濾波算法的刮板輸送機直線度監測方法，利用數字孿生技術建立刮板輸送機三維模型，實現對物理設備的姿態監測和狀態反饋。王雪松等[6]基于測距理論建立了刮板輸送機直線度誤差預測模型，得到直線度誤差的平均值、標準誤差和波動范圍。Chen Ningning 等[7]提出了一種刮板輸送機曲線重建方法，通過應變與曲率的轉換關系和斜率遞歸算法，獲取監測點坐標并進行擬合得到重建曲線。上述研究提升了刮板輸送機直線狀態監測的智能化水平。然而在惡劣的綜采環境中，傳感器的穩定性和準確性易受到干擾。

近年來，隨著計算機視覺技術的不斷發展，基于OpenCV 的拼接技術為刮板輸送機直線狀態監測提供了新的方案。藍先迪[8]針對傳統最佳縫合線融合算法進行了改進。楊丹等[9]改進了一種基于最小能量檢測的方法來尋找最優接縫，以避免移動前景引起的鬼影和錯位。楊丹等[10]提出了一種基于時序特征預測的實時視頻拼接算法，該算法結合方向梯度直方圖和局部二值模式等快速特征匹配算法，利用視頻幀的時序上下文特性，識別出運動物體并估計物體運動矢量。Liu Suming 等[11]提出使用距離變換算法提取圖像特征，在具有明顯距離特征的區域進行粗匹配，再利用圖像金字塔進行從粗到細的匹配。侯明利[12]建立了機坪塔臺全景視頻拼接系統，該系統包括多路視頻同步采集模塊、圖像坐標自適應變換校正模塊、圖像畸變修正模塊和基于點特征的模板匹配配準邏輯模塊。武憶涵[13]為解決拼接過程中因運動物體而導致的冗余、殘缺問題，對一種自適應接縫線算法進行改進，解決了拼接過程中無法快速消除人工拼接痕跡的問題。盡管圖像拼接技術取得了顯著進展，然而綜采復雜環境對圖像質量和拼接效果提出了更高的要求。

為提高井下復雜惡劣工作環境下的刮板輸送機直線狀態監測精度和實時性，本文提出基于統一計算設備架構（Compute Unified Device Architecture，CUDA）加速動態規劃優化全景拼接的刮板輸送機直線狀態監測方法。首先實時提取刮板輸送機分段監控視頻并進行暗通道清晰化處理，將清晰化后的視頻流通過圖像拼接算法完成視頻幀的提取、預處理、特征點匹配、圖像變換等，使用CUDA 加速動態規劃算法優化視頻幀的實時全景拼接，通過霍夫變換方法擬合全景圖中的刮板輸送機中部槽擋煤板直線，實現對刮板輸送機直線狀態的監測。

1 CUDA 加速動態規劃優化全景拼接

CUDA 加速動態規劃優化全景拼接流程如圖1所示。

1.1 圖像預處理

創建顯示窗口，從2 個攝像頭中獲取視頻。同步提取2 路視頻的視頻幀，確保2 路視頻幀的索引相同，從而確保時序匹配，維持2 路視頻在時間上的一致性。井下煤塵、水霧等因素會導致監控圖像的對比度和色彩飽和度下降，使得圖像整體模糊。因此，需要使用暗通道清晰化的方法還原圖像細節，以保持圖像的真實性和結構完整性，使圖像更適用于人眼觀察和計算機視覺任務。

1.2 特征匹配與圖像變換

ORB（Oriented FAST and Rotated BRIEF）算法采用FAST（Features from Accelerated Segment Test）角點檢測[14]和BRIEF（Binary Robust Independent Elementary"Features）二進制描述子，同時引入方向性和旋轉不變性，并使用非極大值抑制方法[15]去除非最優角點。

對于每個通過FAST 角點檢測的特征點， ORB算法通過在特征點的鄰域內計算海森矩陣（HessianMatrix）[16]，并提取其特征值來實現特征點周圍區域的主方向計算。創建暴力特征匹配器（Brute-ForceMatcher） [17]并使用K 最近鄰（K-Nearest Neighbors，KNN）算法進行匹配，通過設置閾值比例的方法過濾錯誤的匹配點，在已篩選的特征匹配點中使用隨機抽樣一致（Random Sample Consensus，RANSAC）算法[18]提純并生成2 路圖像的單應性矩陣。如圖2 所示，對待拼接圖像I1 進行透視變換，利用變換后的圖像I1_trans 的角點坐標與待拼接圖像I2 的角點坐標，生成涵蓋2 路待拼接圖像重疊部分的矩形區域。

1.3 CUDA 加速動態規劃

使用CUDA 加速動態規劃在GPU 上并行計算梯度和最小總能量圖，重構傳統動態規劃算法，使用不同線程保證步驟異步運行，計算出2 路圖像的最佳接縫線路徑[19]，沿最佳接縫線路徑對2 路圖像進行拼接，得到過渡區域平滑、無拼接縫的全景圖。

盡管傳統的動態規劃算法[20]在尋找全局最小能量路徑和創建自然無偽影的圖像過程中表現出色，但隨著圖像分辨率和數量的增加，當前圖像拼接的計算需求超過了傳統中央處理器的處理能力，串行的邏輯處理方式導致處理時間增加，不能滿足實時性要求。因此，本文提出一種CUDA 加速動態規劃算法來優化全景拼接。CUDA 加速動態規劃原理如圖3 所示。將串行的動態規劃分為讀取Sobel 算子、計算梯度、計算總能量差異、循環初始化權重與路徑、尋找最佳接縫線5 個步驟，通過重構算法邏輯，將原本每次計算依賴前一個像素計算結果的步驟改成每個像素的能量計算和路徑選擇由不同的線程獨立處理。定義計算能量圖和尋找最佳接縫線的CUDA 核函數，將動態規劃的計算過程同樣遷移至圖形處理器（Graphics Processing Unit，GPU），通過并行化每個像素的計算任務，在多個線程中同時更新動態規劃表（P）和最佳接縫線（Seam），使5 個步驟高效協同，充分利用GPU 資源，實現在計算當前幀梯度值的同時讀取下一幀計算所需的Sobel算子，在計算當前2 路視頻幀最佳接縫線的同時對下一對視頻幀進行權重重新分配和路徑尋找。

在CUDA 核函數中計算能量圖與中央處理器（Central Processing Unit，CPU）計算方法不同。核函數在計算梯度之前，需要先計算線程在二維網格中的坐標， 根據線程索引（threadIdx） 、線程塊索引（blockIdx）及線程塊的尺寸（blockDim）來計算線程在全局網格中的位置，從而讓線程準確地分布在二維平面上，正確對應圖像像素的坐標（x，y）。在計算梯度時，對圖像添加邊界檢查，確保當前線程對應的像素坐標落在圖像的有效范圍內，防止圖像外的無效像素值引發越界錯誤。通過合理共享內存，供同一個線程塊的多個線程快速訪問，為圖像的像素點合理分配線程，實現完全并行化。

由于傳統的動態規劃算法在CPU 上順序執行，每個像素的計算依賴于前一行的計算結果，使得處理大規模圖像時速度較慢。為提高速度，定義線程在網格中的索引x，每個線程獨立計算一列的最優路徑，使得在計算時就可提前將前一行的能量值和動態規劃表的部分加載到共享內存中，提高了緩存命中率，使得計算更加高效。通過CUDA 內核實現了圖像縫合線的高效計算，通過初始化能量數組并在GPU 上分配內存來存儲綜合能量圖、動態規劃表及最佳接縫線。定義線程塊和網格大小，確保像素完全被處理，調用計算能量圖與尋找最佳接縫線的核函數，完成并行計算能量圖和最佳接縫線的過程，將計算結果傳回主機。這種并行化方法和優化策略消除了CPU 串行處理的等待時間，在處理大規模圖像時優勢顯著。

2 基于霍夫變換的刮板輸送機直線狀態監測

圖像中物體的輪廓、轉折點或變化較大的部分前移叫做邊緣特征，邊緣特征可在圖像拼接和直線檢測步驟中準確識別并追蹤直線的形態，幫助檢測出擋煤板的彎曲或傾斜狀態，進而推測出刮板輸送機是否存在偏離直線的現象。刮板輸送機是由多個中部槽組成的。正常工作下，擋煤板通常與中部槽的方向一致。因此，擋煤板的邊緣特征可以提供關于擋煤板形變、彎曲程度的信息，進而反映出整個刮板輸送機的直線狀態。全景拼接得到刮板輸送機的全景圖像后，利用Canny 邊緣檢測識別刮板輸送機的邊緣特征，通過霍夫變換直線檢測算法[21]對刮板輸送機中部槽擋煤板進行直線擬合，實現刮板輸送機直線狀態監測。

在刮板輸送機整體結構中，中部槽擋煤板貫穿整個刮板輸送機。因此，本文選擇足夠長的擋煤板作為刮板輸送機直線狀態監測區域。使用平均斜率和平均截距在二值化的掩膜圖像中繪制出代表刮板輸送機中部槽擋煤板的直線段，并添加到原全景圖像中，從而實現刮板輸送機直線狀態監測。

3 實驗驗證

3.1 實驗配置

實驗使用的計算平臺由工作站和筆記本電腦2 個部分組成。工作站配置了具有1 792 個CUDA核心的NVIDIA Quadro P4000 GPU，筆記本電腦搭載了具有1 024 個CUDA 核心的NVIDIA GTX 1650GPU。為確保編程環境的一致性和兼容性，統一采用Python 編程語言的3.12 版本，并集成了計算機視覺庫OpenCV 的4.10 版本。此外，針對GPU 加速安裝并配置了NVIDIA CUDA Toolkit 的12.7 版本，以充分利用上述硬件資源的并行計算能力。

實驗器材包括2 個樹莓派工業攝像頭，1 部刮板輸送機SGZ764/630（長度30 m）與液壓支架ZZ4000/18/38 成套裝備，其中單個樹莓派工業攝像頭可捕捉120°廣角無畸變的畫面。2 個工業攝像頭分別放置在相鄰的液壓支架頂梁下方，確保2 個攝像頭采集的圖像至少有1/3 的重合區域。

3.2 CUDA 加速動態規劃算法驗證

通過液壓支架下方的工業攝像頭獲取刮板輸送機主體的視頻流，隨機提取2 路攝像頭在同一時刻的視頻幀，如圖4 所示。

分別采用漸入漸出加權平均算法、傳統動態規劃算法及CUDA 加速動態規劃算法優化全景拼接的效果如圖5 所示。從圖5（a）可看出，在視差較大或光照變化的情況下，漸入漸出加權平均算法的拼接處出現明顯的拼接縫問題。從圖5（b）可看出，傳統動態規劃算法在復雜背景情況下的拼接痕跡相對較小，但在光照變化較大的場景中表現不好，其拼接縫明顯，且存在陰影部分。從圖5（c）可看出，無論是復雜背景還是光照變化情況下，CUDA 加速動態規劃算法的視頻幀拼接效果更好，拼接痕跡不明顯。

3.3 霍夫變換直線檢測算法驗證

采用Canny 邊緣檢測對全景拼接圖像進行處理，結果如圖6 所示。經過二值化后的圖像保留了原有的幾何形狀，增強了邊緣特征的對比度。為了捕捉刮板輸送機中部槽擋煤板的邊緣特征，使用感興趣區域（Region of Interest，ROI）將直線檢測范圍限制在擋煤板鄰域區域內，如圖7 所示，避免了其他部件的邊緣特征對霍夫變換結果的干擾。在全景拼接圖像的ROI 內應用霍夫變換，結果如圖8 所示。將擬合的直線添加到全景拼接圖像中，如圖9 所示，實現了對刮板輸送機擋煤板邊緣的直線擬合。

4 測試驗證

4.1 CUDA 加速動態規劃優化全景拼接

為驗證井下環境下CUDA 加速動態規劃優化全景拼接的準確性和魯棒性，對某綜采工作面監控平臺獲取的視頻流進行處理。CUDA 加速動態規劃與傳統動態規劃優化全景拼接結果如圖10所示。

采用亮度系數、對比度、清晰度和信息熵等評價指標對圖10 進行定量分析， 結果見表1。可看出CUDA 加速動態規劃算法優化全景拼接圖像的各項評價指標均較高，表明拼接后的圖像質量好。

4.2 刮板輸送機擋煤板直線狀態檢測

對已進行全景拼接的刮板輸送機圖像進行霍夫變換直線擬合，結果如圖11 所示，可看出霍夫變換直線檢測算法能擬合刮板輸送機擋煤板邊緣直線。

使用均方誤差（Mean-Square Error，MSE）、均方根誤差（Root Mean Square Error，RMSE）及決定系數（R-squared）這3 個量化指標來評價霍夫變換直線擬合效果。選取擬合直線與擋煤板實際邊緣對應位置的像素差值作為評價對象，得到3 種指標計算結果：MSE 為31.529 63； RMSE 為5.615 125 3； R-squared為0.974 539 7。MSE 和RMSE 反映了擬合直線與擋煤板實際邊緣之間的平均偏差， 較低的MSE 和RMSE 表明通過霍夫變換獲得的直線能夠較好地擬合擋煤板的實際邊緣。R-squared 用于衡量擬合直線解釋數據變異性的比例，其值越接近1，表示擬合直線越好地描述原始數據的趨勢。

4.3 實時性驗證

為驗證CUDA 加速動態規劃算法的實時性，選取時間為1 min、總幀數為1 800 的2 路井下監控視頻流作為處理對象，對不同分辨率圖像和計算平臺下CUDA 加速動態規劃和傳統動態規劃算法的處理時間進行對比，如圖12 所示。在640×480 的圖像分辨率下，筆記本電腦計算能量圖的GPU 比CPU 處理速度提高了約1.5 倍， 尋找最佳接縫線的GPU 比CPU 處理速度提高了約6 倍，視頻幀拼接的GPU 比CPU 處理速度提高了約5 倍；工作站計算能量圖的GPU 比CPU 處理速度提高了約1.5 倍，尋找最佳接縫線的GPU 比CPU 處理速度提高了約8 倍，視頻幀拼接的GPU 比CPU 處理速度提高了約6 倍。在1 200×800 的圖像分辨率下，筆記本電腦計算能量圖的GPU 比CPU 處理速度提高了約2.5 倍，尋找最佳接縫線的GPU 比CPU 處理速度提高了約10 倍，視頻幀拼接的GPU 比CPU 處理速度提高了約7 倍；工作站計算能量圖的GPU 比CPU 處理速度提高了約1.5 倍，尋找最佳接縫線的GPU 比CPU 處理速度提高了約12 倍，視頻幀拼接的GPU 比CPU 處理速度提高了約5 倍。這表明在不同分辨率和平臺的情況下，CUDA 加速動態規劃算法的處理速度均優于傳統動態規劃算法。

5 結論

1） 基于CUDA 加速動態規劃優化全景拼接的刮板輸送機直線狀態監測方法通過ORB 特征檢測、閾值比例設置與RANSAC 算法提純，實現對刮板輸送機視頻序列特征點的快速準確提取；通過CUDA加速動態規劃優化全景拼接，以并行處理的視角重構傳統動態規劃算法；利用霍夫變換對全景拼接圖像的刮板輸送機擋煤板邊緣進行直線擬合，實現對刮板輸送機直線狀態的監測。

2） 在實驗室和井下真實場景下對所提方法進行了驗證，結果表明：在處理復雜背景和光照變化的場景時，CUDA 加速動態規劃優化全景拼接有效減少了拼接痕跡，使得拼接過渡區域更加自然平滑，且顯著提高了處理速度；霍夫變換直線檢測算法能夠擬合刮板輸送機擋煤板的邊緣直線，可用于刮板輸送機直線狀態監測。