基于井下移動圖像采集的目標識別與精確定位方法

劉毅， 翟貴盛

(中國礦業大學(北京) 機電與信息工程學院， 北京 100083)

0 引言

煤炭是我國的主要能源，目前煤礦多采用井工開采方式，井下易發生各類災害與事故。井下人員定位系統是煤礦安全避險“六大系統”之一，是煤礦安全生產的重要保障[1]。因此，井下定位技術研究具有重要意義。現有的定位技術中，全球定位系統(Global Positioning System，GPS)等衛星定位系統無法應用于井下定位；基于接收信號強度指示(Received Signal Strength Indication，RSSI)的井下定位系統誤差達10 m以上；基于無線電波飛行時間的井下定位系統目前定位精度最高可達0.3 m，但易受巷道的形狀、分支和巷道中固有設施及移動人員、車輛等影響，定位精度波動較大，難以進一步提高。

目前煤礦朝著智能化方向發展，現有定位技術難以滿足井下智能設備高精度定位需求。因此，需要從新的技術層面探索研究井下精確定位方法，以進一步提高井下定位精度。本文提出了一種基于井下移動圖像采集的目標識別與精確定位方法,通過識別井下移動采集圖像中的目標物，在已知目標物位置的情況下測量人員或移動設備與目標物間的距離，實現井下精確定位。

1 方法流程

基于井下移動圖像采集的目標識別與精確定位方法的流程如圖1所示。

圖1 基于井下移動圖像采集的目標識別與精確定位方法流程Fig.1 Flow of target identification and precise positioning method based on underground moving image collection

(1) 井下移動圖像采集：通過井下工作人員或移動設備攜帶的攝像機主動式采集前方環境的圖像信息。

(2) 圖像預處理：對采集的圖像進行預處理，為目標檢測做準備。

(3) 井下圖像目標檢測：對經過預處理的圖像進行目標檢測，檢測出測距需要的目標物，為后續測距做準備。

(4) 目標物測距：對井下圖像目標檢測得到的目標物進行測距。

(5) 定位：參考目標物的已知位置數據,獲得井下人員或移動設備的位置。

限于篇幅，本文主要介紹井下圖像目標檢測和目標物測距與定位的相關研究內容。

2 井下圖像目標檢測

2.1 圖像預處理

由于煤礦井下環境特殊，全天人工照明，加上粉塵和潮濕等因素的影響，井下采集的視頻、圖像往往存在照度低、光源分布不均勻、幾乎沒有色彩信息等特點，加大了圖像分析檢測的難度，也不利于后續進一步利用井下的圖像、視頻信息[2]。另外，不同于井下傳統的固定攝像設備，通過移動設備采集井下圖像、視頻時，很難保證攝像機和目標物體相對靜止，容易出現模糊的情況。因此，有必要在檢測識別之前對圖像、視頻進行預處理。

在實驗室模擬井下巷道環境，使用移動攝像機采集模擬井下標牌圖像信息，并通過自適應直方圖均衡化方法[3]對采集到的原始圖像進行預處理，結果如圖2所示。通過圖像預處理，增加了圖像對比度，使圖像更加清晰。

(a) 原圖

2.2 目標檢測算法

2.2.1 傳統算法

傳統的井下目標檢測算法主要包括灰度圖像匹配算法和特征圖像匹配算法。灰度圖像匹配算法通過遍歷原始灰度圖像，尋找與灰度模板圖像匹配程度最高的區域[4]，從而實現目標檢測。該算法復雜度低，匹配準確率較高。特征圖像匹配算法通過檢測原始圖像中的不變特征，實現目標匹配[5-6]。該算法對于圖像的尺度變換、仿射變換等具有良好的適應性。

2.2.2 基于深度學習的目標檢測算法

基于深度學習的目標檢測算法主要分為2類:一類是以R-FCN(基于Region的全卷積網絡)、Fast R-CNN(基于Region的快速卷積網絡)等為代表的二階段算法[7-9]，另一類是以YOLO(You Only Look Once)、SSD(Single Shot Multibox Detector)為代表的一階段算法[10]。雖然一階段算法檢測準確度稍低于二階段算法，但運行效率高。SSD采用多尺度的金字塔結構特征層組對目標進行分類和定位[11]，適應性優于YOLO，因此本文采用SSD作為研究模型。

SSD算法框架如圖3所示。其中淺層網絡特征圖感受野較小，主要用來檢測小目標物體；深層網絡特征圖感受野較大，主要用來檢測大目標物體。

圖3 SSD算法框架Fig.3 Frame of SSD algorithm

2.2.3 數據增強SSD算法

通過數據增強可以減少網絡的過擬合現象，對參與訓練的圖片進行變換，從而獲得泛化能力更好的網絡模型。在進行SSD數據集訓練時，通過引入噪聲擾動和對比度變換等進行數據增強，具體方法如下：① 在原始圖像中引入不同程度的椒鹽噪聲，擴增訓練樣本，增強網絡對一般性噪聲信息的魯棒性。② 在訓練過程中，對原始圖像進行灰度處理，增強檢測網絡對巷道環境光照不足、光照變化、色彩信息缺失等環境影響因素的魯棒性。③ 通過隨機改變原始圖像的亮度值來調整原始圖像的對比度。

2.3 實驗分析

2.3.1 傳統算法目標檢測實驗

在實驗室模擬井下環境，移動采集包含待測目標物的圖像，以驗證灰度圖像匹配算法和特征圖像匹配算法的匹配效果。灰度匹配模板如圖4所示，灰度匹配效果如圖5所示。特征匹配效果如圖6所示，左側為匹配模板圖像，右側為匹配目標圖像，黃線連接的是匹配特征點。計算各算法的匹配準確率,分析算法性能，結果如圖7所示。

圖4 灰度模板Fig.4 Grayscale template

分析實驗結果可知：灰度圖像匹配算法受限于模板特征，準確率受距離影響較大，到0.7 m時已無法匹配；特征圖像匹配算法在適應性方面好于灰度圖像匹配算法；隨著距離增大，2種傳統算法的匹配準確率下降明顯，不適用于本文移動圖像檢測應用場景。

圖5 灰度匹配效果Fig.5 Gray matching effect

圖6 特征匹配效果Fig.6 Characteristic matching effect

(a) 灰度匹配算法

(b) 特征匹配算法

2.3.2 SSD算法目標檢測實驗

在實驗室走廊模擬井下巷道弱光環境，工作人員攜帶攝像機在巷道中移動，采集目標圖像，建立模擬井下數據集。總樣本數為4 806，其中訓練樣本數為3 845，測試樣本數為961。

通過增加椒鹽噪聲、灰度處理和對比度增強的方式對樣本集進行數據增強處理，效果如圖8所示。

使用模擬井下數據集對SSD網絡進行訓練，得到檢測模型，通過測試集驗證模型檢測性能，檢測結果如圖9所示。檢測性能對比見表1。

實驗結果表明，與傳統算法相比，SSD算法對距離和角度變化的適應能力更好，距離為4.5 m時平均檢測精確率仍達89.2%。數據增強SSD算法提高了魯棒性，平均檢測精確率比SSD算法高1.7%，可以更好地適應復雜環境。

(a) 原圖

(c) 灰度處理

(a) SSD算法

(b) 數據增強SSD算法

表1 SSD 算法檢測性能對比Table 1 Detection performance comparison of SSD algorithm

SSD算法、數據增強SSD算法的檢測效果對比如圖10所示。可見，通過合理的數據增強操作可提高SSD算法對井下圖像目標的識別性能。實驗中所使用的模擬里程標志牌相對墻壁具有比較明顯的差異，而且只有一種待測目標物，這些條件均減輕了深度學習訓練的壓力，因此,目標檢測精度比較高。在井下真實環境中，針對標志牌的設立應制定相關標準，標志牌與周圍環境必須有明顯的區分度。

3 煤礦井下測距與定位

3.1 坐標系轉換

通過攝像機采集目標圖像并完成測距和定位，首先需進行物理坐標系和像素坐標系之間的轉換。像素坐標系中點p的像素坐標(u,v)代表該點在數字圖像數組中的行列數；物理坐標系中點p的坐標(x,y)表示像素在圖像中的位置[12-13]。2種坐標系的轉換關系如圖11所示，坐標轉換關系為

(a) SSD檢測結果

(b) 數據增強SSD檢測結果

(c) 檢測結果放大對比

(1)

式中：sx，sy為圖像平面中不同方向上單位距離的像素數；(u0,v0)為原點坐標，即攝像機光軸與圖像平面的交點坐標。

圖11 物理坐標系與像素坐標系轉換Fig.11 Transformation between physical coordinate system and pixel coordinate system

圖像物理坐標系與像素坐標系間的轉換關系可表示為[14]

(2)

式中dx，dy分別表示單個像素在x和y方向上的物理尺寸。

3.2 單目測距方法

為了盡可能滿足實時性要求，本文采用基于小孔成像原理的單目測距方法[15]檢測移動攝像機與目標物的距離，如圖12所示。

圖12 單目測距方法Fig.12 Monocular distance measuring method

將移動攝像機理想化成一個點，已知待測目標物的高度為L，測得目標物在圖像上的高度為l，由幾何關系可得當前攝像機光心與待測目標物之間的距離d為

(3)

式中f為攝像機焦距。

根據式(2)可得x=(u-u0)dx，y=(v-v0)dy，此時目標物在成像平面的高度的平方為

[(um-un)dx]2+[(vm-vn)dy]2

(4)

式中:(xm,ym),(xn,yn)表示目標物在成像平面的預測矩形框右側的兩頂點坐標;(um,vm),(un,vn)表示目標物預測矩形框右側的兩頂點坐標。

設ax=f/dx,ay=f/dy，代入式(3)和式(4)可得攝像機與待測目標物之間的距離為

(5)

3.3 方向判定與定位

測量出移動攝像機與待測目標物之間的距離后，還需要確定待測目標物與移動攝像機的相對位置關系，即方向判定。在本文實驗模擬環境中，將模擬里程標志牌分別部署在墻壁兩側，統一進行圖像采集，并統一進行訓練和目標檢測。在實際應用中，標志牌是固定在墻壁一側的，需在其左側和右側分別進行圖像采集，單獨進行分類訓練，才能實現攝像機方向識別。在已知目標物位置的前提下，當定位系統完成目標物的檢測、測距和方向判定后，以目標物位置數據作為參照點坐標，即可實現攜帶攝像機的人員、車輛或設備等移動目標的定位。

4 實驗分析及井下應用

4.1 實驗分析

基于VS 2012、OpenCV視覺庫和Matlab平臺進行實驗。選用可設置視頻分辨率的攝像機作為圖像采集設備，所采集的圖像像素為600×800。攝像機內參矩陣為

(6)

從式(6)可知攝像機基本參數：ax=659.831 2，ay=580.782 9，成像平面原點像素坐標為(u0,v0)=(328.399 1,412.290 2)。

在實驗室模擬環境中，采用基于井下移動圖像采集的目標識別與精確定位方法計算移動攝像機與待測目標物之間的距離，結果見表2。由表2可知，隨著測量距離的增加，測量精度有所下降。

表2 測距實驗結果Table 2 Ranging experiment results

4.2 井下現場應用

在國家能源集團寧夏煤業有限責任公司雙馬煤礦井下現場，采用KT559-S2本質安全型智能手機采集環境圖像，如圖13所示。基于攝像機標定數據進行測距，結果見表3。由表3可知，在井下應用時，基于井下移動圖像采集的目標識別與精確定位方法可在一定距離范圍內得到較理想的效果。當待測目標物距離較近時，測量誤差在3%之內；隨著距離的增加，測量精度有所下降。

(a) 5 m處目標物

(c) 15 m處目標物

表3 井下測距結果Table 3 Underground ranging results

5 結論

(1) 隨著距離增加，傳統的灰度圖像匹配算法和特征圖像匹配算法的匹配準確率下降明顯，不適用于本文移動圖像檢測應用場景。

(2) 與傳統算法相比，SSD算法對距離和角度變化的適應能力更好，在距離為4.5 m時有效檢測率仍達89.2%。數據增強SSD算法提高了魯棒性，檢測精確率比SSD算法高1.7%，可以更好地適應復雜環境。

(3) 實驗和井下應用結果表明，基于井下移動圖像采集的目標識別與精確定位方法在2～10 m范圍內可得到較理想的效果，隨著距離的增加，測量精度有所下降。雖然該方法仍存在一定誤差，但其計算簡便高效，可以滿足井下定位應用要求。