基于累積圖像特征點匹配的智能皮帶測速方法

趙 亮， 韓寶虎， 孫魁元， 榮 寶， 屠鳳招， 張學慧， 田立龍， 張智浩

(1.神華寶日希勒能源有限公司， 呼倫貝爾 021025； 2.哈爾濱工業大學航天學院， 哈爾濱 150001)

在煤炭工業中，利用皮帶運輸煤炭等物料是極其重要的一個環節，但是由于皮帶的工作量大、運輸量多，在實際的生產運輸過程中，容易發生皮帶打滑的狀況，會影響整個生產過程的正常進行，降低效益。因此，針對煤炭工業的生產過程，設計有效的皮帶測速監控系統是極其必要的。

現有的測速裝置絕大多數是基于硬件傳感器的方法，即測速輪或滾筒與皮帶接觸，利用傳感器進行轉速計數[1-3]。但是由于磨損或震動等原因，動輪與皮帶不能完全貼合，造成測速打滑誤報。近年來，人工智能和計算機視覺技術廣泛用于工業生產中，提高了生產效率，使產業智能化。文獻[4]提出了一種基于圖像的皮帶測速方法，在皮帶邊緣作標記，通過檢測相鄰幀圖像中標記位置的變化計算皮帶速度。該方法能夠完成測速任務，但需要根據皮帶大致速度調節相機幀率以確保相鄰幀能采集到同一個標記，但當物料量大、遮擋標記時，會影響檢測。因此，研究了一種直接提取皮帶或物料特征的智能皮帶測速方法。

運動估計是計算機視覺中的重要內容，廣泛應用于目標跟蹤和視頻穩定等領域，其目的是找到兩幅圖像間像素的對應關系。對皮帶監控視頻相鄰幀圖像進行運動估計，從而計算皮帶運動速度。最典型和常見的運動估計方法是光流法[5]。其通常利用圖像間像素強度的變化，估計每個像素的運動偏移量。由于皮帶和煤炭的顏色單一，且監控視頻容易存在噪聲，影響了像素強度，所以光流法不適用于皮帶運動估計。另外，光流法計算量較大，難以滿足皮帶監控的實時性。此外，基于特征匹配估計運動模型[6-7]也是常用的方法。這類方法是通過建立特征間的對應關系估計模型。常用的特征點提取方法有SIFT(scale-invariant feature transform)[8]、SURF(speeded up robust features)[9]、ORB(oriented fast and rotated brief)[10]和一些改進的算法[11-13]等。根據圖像間變換的不同，采用不同的參數模型，其中全局變換模型主要包括平移、旋轉、縮放、仿射和投影。由于特征點提取具有尺度，旋轉，光照不變性，所以這類方法估計的結果穩定且效率較高。但是皮帶區域紋理不顯著，提取出的特征點數量可能不足以估計模型。而且誤匹配的特征點對也會影響結果的準確性。

現提出一種基于累積特征點匹配的皮帶測速方法。因為連續幀的皮帶移動速度接近，累積多個連續幀的特征點對來估計運動模型，改善了特征點數量不足的問題。還根據視頻中的不動點估計視頻抖動的偏移量，提高了皮帶速度估計的準確度。另外，給出標定攝像機內外參數的方法，可以將圖像坐標系的估計結果轉換到世界坐標系下的速度值。

1 智能皮帶測速實現方法

基于累積特征點匹配的皮帶測速方法的主要流程如圖1所示。

圖1 皮帶測速方法流程Fig.1 Belt speed measurement process

1.1 特征點提取與匹配

假定皮帶監控過程中，攝像機的位置固定不動或有微小晃動，首先在皮帶監控視頻中圈出感興趣矩形區域，該區域包括傳送帶的部分較清晰區域和部分背景區域。

1.2 視頻抖動估計

(1)

(2)

1.3 皮帶速度估計

由于傳送帶近似于平面，因此在圖像中其運動模型可以設為投影模型。投影矩陣有8個參數需要估計，所以至少需要4個特征點對。由于皮帶的低紋理，特征點對較少，且可能出現誤匹配點。為了獲得充足的點對來估計運動模型，采用多幀點對累積的策略。

(3)

為了避免重復點對，如果一個點對中的兩個點的位置分別與另一點對中兩個點的位置均距離較近，則將這兩個點對合并為一個，其中距離閾值為1像素。

1.4 圖像坐標系到世界坐標系的變換

相鄰幀圖像中估計的皮帶運動模型是在圖像坐標系下計算得到的，為了獲得皮帶實際運動速度，需要建立圖像坐標系和世界坐標系的轉換關系。世界坐標系下的三維點(X,Y,Z)到圖像坐標系下的點(u,v)的投影公式為

(4)

式(4)中：fx和fy分別為圖像像素單位下的x和y方向的焦距；(cx,cy)為主導點，即圖像中心坐標，這些均為相機內參數；R、t分別為旋轉和平移參數矩陣，為相機外參數；s為齊次比例。

由于攝像機相對于皮帶位置固定，于是攝像機的內外參數可以通過攝像機標定計算得到，利用張正友標定法[16]，分兩步標定攝像機內外參數。首先用攝像機拍攝不同姿態的棋盤格圖像，估計攝像機內參數。然后假設傳送帶平面為x-y平面，z軸垂直于傳送帶平面，選擇傳送帶平面任意一點為坐標原點，將棋盤格放到傳送帶上估計攝像機外參數。于是圖像坐標系下估計的皮帶運動模型可以通過求解式(4)轉換為皮帶實際運動速度。

(5)

式(5)中：fr為視頻幀率。由于皮帶為平面，其任意位置的運動速度相同，因此點xc的選擇對最后的結果無影響。

2 實驗驗證

在8個皮帶監控視頻序列數據上實驗驗證提出的方法。視頻序列均為在實際現場拍攝，每個視頻長度為15 s，幀率為25 幀/s。其中視頻序列1～6為皮帶堆煤勻速運動情況，7為皮帶無煤勻速運動情況，8為皮帶無煤停止情況，5～7存在視頻抖動。

基于C++語言和opencv庫編程實現。為了縮短計算時間，特征點提取和匹配步驟在gpu環境下實現。實驗測試環境硬件配置為：Inter i7 7700HQ CPU，8 GB內存和NVIDIA GTX 1050Ti。在實驗中，參數δ和Nm設定為15和10。

8個視頻序列特征點匹配結果如圖2～圖4所示。背景區域紋理清晰，特征點較多。由圖2可知，當皮帶堆煤運動時，皮帶區域紋理較明顯，特征點充足。由圖3可知，當皮帶無煤運動時，皮帶區域紋理不明顯，但多幀累積的特征點也能滿足模型估計的需要，而且誤匹配點能夠準確地剔除。由圖4可知，當皮帶靜止時，所有特征點均為背景點，因此速度測試結果為0。

藍色圓圈標記背景特征點，綠色圓圈與線段標記 皮帶特征點對，紅色圓圈標記誤匹配點圖2 皮帶堆煤運動時相鄰幀特征點匹配結果Fig.2 Feature point matching results of adjacent frames when the belt is moving with coal piling onto it

藍色圓圈標記背景特征點，綠色圓圈與線段標記 皮帶特征點對，紅色圓圈標記誤匹配點圖3 皮帶無煤運動時(視頻序列7)相鄰幀特征點匹配結果Fig.3 Feature point matching result of adjacent frames when the belt is moving without coal (Video Sequence 7)

藍色圓圈標記背景特征點，紅色圓圈標記誤匹配點圖4 皮帶無煤靜止時(視頻序列8)相鄰幀特征點匹配結果Fig.4 Feature point matching result of adjacent frames when the belt is static without coal (Video Sequence 8)

8個視頻序列的每幀測速結果變化曲線如圖5所示。可以看出，皮帶區域紋理較明顯時，測試結果更穩定。視頻序列的測試結果與測試時間如表1所示，包括圖像坐標系下速度均值和標準差，以及運行時間均值和標準差。從表1中可以看出，皮帶堆煤情況下，測試速度離散程度(標準差/均值)在±1.6%～±8.7%；皮帶無煤時，速度離散程度為±14.0%；皮帶靜止時能準確判斷出來。另外，測速運行時間大致與感興趣區域大小相關，視頻序列1、2能夠滿足實時性，即每幀需要時間小于40 ms，其他視頻序列接近實時，可以通過提升硬件性能改善。表2給出了在有抖動的視頻序列上，方法有無抖動偏移量補償的對比結果。從速度標準差結果可以看出，視頻抖動偏移量估計能夠提高測速結果的穩定性。

視頻序列號標記在對應曲線尾端圖5 皮帶速度-時間曲線Fig.5 Speed-time curves of belts

表1 皮帶測速結果信息

表2 視頻抖動補償對測速結果影響

3 結論

提出一種基于累積圖像特征點匹配的智能皮帶測速方法，得到以下結論。

(1)將多幀特征點對累積估計皮帶的運動模型可以解決低紋理區域特征點不充足的問題。

(2)利用背景區域特征點匹配估計視頻抖動偏移量，并對皮帶特征點位置進行補償，可以減輕視頻抖動引起的測試結果不穩定。

(3)圖像坐標系下的結果可以通過標定的攝像機參數轉換到世界坐標系下皮帶運動速度。

(4)實現了煤炭工業場景中皮帶智能測速，可用于檢測皮帶打滑問題，保證了設備故障能夠及時報告，保障了工作人員的生命安全和企業財產安全。