復合式圖像監測技術在井下測量中的應用

張桁維，郝敬賓，朱文杰，盧震，楊乾龍

（中國礦業大學機電工程學院，江蘇 徐州 221116）

復合式圖像監測技術在井下測量中的應用

張桁維，郝敬賓，朱文杰，盧震，楊乾龍

（中國礦業大學機電工程學院，江蘇 徐州 221116）

煤礦井下的空間變形是煤礦開采過程普遍存在的一種現象，即時對巷道變形預警可以保證煤礦井下安全生產，考慮到井下巷道中光源色溫、光線照度等條件限制，以及井下作業環境粉塵較大，會造成獲取的井下巷道圖像失真甚至無法獲取有效信息。本系統采用雙目視覺和激光測距相結合的方法來提高井下空間可視化環境的測量效果，通過數據比較實現處理和分析圖像，可以長時間、精確地、非接觸地進行井下巷道變形和圍巖形貌的測量。

復合式圖像監測；井下可視化；巷道變形；圍巖形貌

0 引言

中國煤炭產量在整個全球產量中的份額達到了37%，但我國礦井事故死亡人數卻占全世界煤礦死亡總人數的70%左右，致使我國的煤礦事故頻發的因素主要有礦井下特殊的作業環境，作業人員素質參差不齊，井下環境的突發性，多樣性以及企業管理人員安全意識不足。隨著煤礦井下的安全生產面臨越來越嚴峻的形勢，礦井安全監控以及檢測系統得到了快速發展，由最初的瓦斯遙測系統開始實現單一的瓦斯監測到目前單方面、多參數監控系統實現對井下軌道運輸、環境安全、皮帶運輸、通風、排水等各大系統的監控，并隨著計算機技術和網絡技術的發展，已研制出KJ90、KJ4等監控系統以及MSNM、WEBGIS等綜合化和數字化的煤礦安全網絡監測管理系統，提高了煤礦生產的安全保障性［1-3］。

大部分發達國家利用人工智能，圖像處理等領域的前沿技術，結合網絡傳輸技術，已經研發出把視頻、數據集合于一體同時兼容各種專用視頻監控系統功能的綜合系統，將信號控制、圖像識別、通信功能合成一體，多樣化發展、靈活性強、兼容性好、便于無線接入技術的引入［4，5］。

但由于煤炭的采掘主要以井下采掘為主，生產條件極為惡劣；有甲烷等爆炸性氣體、以及井下低光源、多粉塵的工作環境特別是瓦斯爆炸、冒頂、垮塌等事故時有發生，這就要求井下監控測量系統能夠提供工作面的測量數據［6］。然而，目前的監控系統存在很多的不足，由于它監控的基本信號為模擬信號，從監控現場得到的相關圖像只用于在視頻顯示器上顯示，依賴于工作人員的觀察和判斷，無法實現精確的數據測量和收集任務，井上監控人員就無法做出準確快速地判斷，就會對井下作業人員的生命安全產生一定的威脅。

為克服已有井下可視化監控系統的不足之處，本文采用將雙目視覺和激光測量相結合的復合式圖像監測技術，以實現在低光源、高粉塵等極端環境下井下可視化監測，為井下作業安全預警提供及時準確的數據支持。

1 復合式圖像監測的工作原理

本系統利用搭載在高精度旋轉云臺上的激光測量儀和雙目攝像頭組成，兩個攝像頭對同一目標物拍攝兩幅圖像，并采用雙目視覺和激光測距相結合的方法來對井下巷道進行測量。雙目攝像頭對井下的巖壁進行圖像提取，通過選擇像素點，記錄每一個像素點相對于整個圖像的坐標（X，Y），激光測量儀對圖像上選擇點進行掃描，得到選擇點相對于激光測距儀的距離S，通過每一個選擇點的坐標（X，Y，S）以便于構建井下巷道三維模型，并采用圖像增強技術來處理圖像，圖像的線性拉伸、對數指數拉伸、直方圖均衡化、圖像正規化、直方圖高斯化、高通濾波、低通濾波、帶通濾波、全方向的各種濾波，紋理增強等是圖像增強的主要方法［7］。

雙目攝像頭的工作原理是利用三角測距原理即已知兩攝像頭的位置，且同時知道同一物體在2個攝像頭中的成像位置，利用三角原理計算物體在空間的位置。

如圖2所示，考慮最簡單的情形，L和R分別為2個參數相同的攝像頭，f為2個攝像頭的焦距，L和R光軸平行，與X軸重合，Y軸垂直于紙面。以R的原點或投影中心的偏移量為b，b成為立體視覺系統的基線，L的攝像頭坐標系為世界坐標系目標點為P，P在左右攝像頭中投影的x坐標分別為x1，x2。根據空間幾何的原理，有如下公式［3］：

圖2　三角測距原理示意圖Fig．2 Triangle Ranging Principle Diagram

式中：b—L、R兩點間的距離；x1—A、B兩點間的距離；x2—C、D兩點間的距離；f—攝像頭焦距；y1，y2—P在左右攝像頭中投影的y坐標；Z—P在Z軸的坐標。

已知（x1，y1），（x2，y2），焦距f和基線長度b即可以得到P點的三維坐標（X，Y，Z）：

式中：f—焦距；X，Y，Z—P點的三維坐標；x1，y1—P在左攝像頭中投影的x坐標和y坐標；x2，y2—P在右攝像頭中投影的x坐標和y坐標。

系統采用光學測量技術，擁有測距遠、非接觸式、快速性好、系統柔性好，精度優良等優點，利用經發射裝置發射一束激光到達被測物體表面再按原路徑返回，由時間計數器計算得光束由發射到被接收所用時間，然后算出儀器到被測點的距離。

激光測距技術是光波測距中的一種測距方式，根據測量時間方法的不同，激光測距儀通常可分為相位式和脈沖式兩種測量形式。激光測量技術的工作原理示意圖如圖3所示。

圖3　激光測量原理示意圖Fig.3 Laser ranging principle diagram

在此基礎上，應用如濕敏傳感、溫度傳感、氣敏傳感、測距傳感等多傳感器的傳感信息，利用信息冗余分析與融合濾波進行信息消噪，同時對色溫、照度等因素進行估計與補償，實現異構傳感信息之間的最優互補。進一步，分析衍射效應和聚焦誤差對分辨率的影響，基于異構信息融合，采用基于尺度不變特征和變換設計特征匹配算法進行匹配，修正全景模型偏差并重構細節信息。

對于一臺雙目攝像頭，由于安裝誤差會使攝像頭和激光發射器之間的位置產生誤差，所以在第一次測量前，應對攝像頭和激光發射器進行標定以提高測量的精度。

同時，為了更好地對前期圖像的采集可能出現質量不足進行處理，將在后期在線監控的過程中，運用實時攝像所獲取的信息，通過雙目攝像頭獲取的圖片拼接與成像特征提取，結合超分辨率重建方法，進行多次離線或在線漸進補償，以提高信息重構的質量與精度。該檢測系統直觀地監測煤礦井下巷道空間的變化情況，處理和分析巷道圖像，使測量的可靠性和重復率均滿足要求，并根據測量結果，對煤礦井下作業環境中的圍巖空間變形進行早期預警。

2 復合式圖像監測裝置的設計與實現

復合式圖像監測裝置由雙目攝像頭和激光測量儀組成，激光測量儀安裝在雙目攝像頭的上方，使兩者位于同一測量原點。雙目攝像頭對井下的巖壁進行圖像提取，激光測量儀對巖壁進行掃描，操作人員觀看照片，標定需要進行測量的地方，利用激光測量儀獲得標定位置的巖壁區域距離數據，并通過換算得到所需數據。

該檢測系統的基礎是硬件系統，系統的組成決定了井下圖像采集的質量，對最終的測量結果會產生很大的影響。本系統主要部件包括：激光測量儀、高精度旋轉云臺、雙目攝像頭和無線收發模塊，它們是整個系統的關鍵，該檢測系統由煤礦井下圖像采集系統和煤礦井上圖像分析系統兩部分組成。煤礦井下數據收集系統實現生產現場巷道空間采集和圖像傳輸，井上圖像分析系統分析獲得的數字化圖像，得出巷道空間變形的數據。

該檢測系統的遠程控制與協調由以下兩步組成：控制指令由控制鍵盤傳送給現場主機，主機直接控制高精度旋轉云臺，使雙目攝像頭對準被測量巷道圍巖表面，照明系統將井下照亮并以固定的時間間隔，對井下巷道內巖壁的情況進行連續的自動測量和采集圖像。計算機對圖像進行分析處理，圖像處理過程包括對圖像中巷道的巖壁特征識別、寬度和高度測量，得到巷道信息，為建立井下巷道三維模型提供理論依據。

整個系統的工作流程如圖4所示，雙目攝像頭用來采集圖像，旋轉部件帶動激光發射器在一定的角度內旋轉以便激光發射器的照射范圍可以覆蓋整個圖像，旋轉云臺使雙目攝像頭可以拍攝到一周360°的圖像，得到的數據由無線收發模塊傳送到主機內，從而進行實時圖像顯示和巷道虛擬重現。

圖4　監測裝置硬件系統示意圖Fig.4 Monitoring device hardware system schematic diagram

3 結論

該系統能提供連續的井下圖像同時可以實時顯示出礦井下巷道圍巖表面狀況，使信息直觀化、可視化，并比對數據庫的信息及時做出預警，以便于井下問題被測量者提早覺察并做出及時的應對，提高了測量效率，節省了成本。

本文綜合考慮了煤礦井下實際的工作環境，對基于圖像處理技術的巷道圍巖空間變形檢測系統的總體設計進行了闡述。該檢測系統具備對煤礦井下巷道圍巖空間變形進行預警的功能，直觀的顯示了巷道圍巖空間變形的程度，給我國礦井的安全管理和生產提供了科學依據，具有一定的推廣價值。

［1］趙修霞.礦井安全監控系統可靠性研究［D］.山東：山東輕工業學院，2011.

［2］朱文杰，郝敬賓，楊乾龍，盧震，張珩維.巷道圍巖表面變形的激光測量方法研究［J］.煤礦安全，2015.

［3］楊武，姚錫凡，范路橋，基于雙目視覺定位的排爆機器人控制系統［J］.微計算機信息，2008，2.

［4］劉尹霞，馬恒.機器視覺技術遠程煤塵顆粒在線檢測［J］.遼寧工程技術大學學報（自然科學版），2012，6.

［5］邢喆.礦井深部開采巷道維修及其支護理論與應用［J］.黑龍江科技信息，2007，17.

［6］張琦，張柯.激光的特點及其在測距上的應用［J］.辦公自動化雜志，2011，211.

［7］魏連云，王懷強，鄧恒淹，等.圖像增強技術在煤礦巖層監視系統中的應用研究［J］.科技資訊，2009，35.

Application of Compound Image Monitoring Technology in Mine Measurement

ZHANG Heng-Wei，HAO Jing-Bin，ZHU Wen-Jie，LU Zhen，YANG Qian-Long
（College of Mechanical and Electrical Engineering，China University of Mining and Technology，Xuzhou Jiangsu 221006，China）

Deformation of the coal mine space is a common phenomenon in the process of coal mining，and deformation forecast in advance can ensure the safety production in mine.Considering the restriction of the temperature of the light source，light intensity and a lot of dust in the mine which will cause image distortion and even cannot obtain the effective information，the system adopts the combination of binocular vision and laser ranging in order to improve the measuring results of coal mine.Through the data comparison，the system can realize the image processing and analysis，meanwhile the measurement can be accurate，non-contact and last a long time when measuring the deformation of the surrounding rock in tunnel.

composite image monitoring；mine visualization；deformation of the coal mine；morphology of the surrounding rock

TD76

A

10.3969/j.issn.1002-6673.2015.02.034

1002-6673（2015）02-089-03

2015-03-07

國家自然科學基金項目（51305443）；863計劃項目（2012AA062100）“本科教學工程”國家級大學生創新訓練項目（201310290015）

張桁維（1993-），男，陜西西安人，本科生在讀。參與發表論文兩篇，申請發明專利一項；郝敬賓（1982-），男，江蘇徐州人，工學博士，講師，研究方向：快速成形與快速模具制造及激光微納米加工技術，發表學術論文十二篇，申請國家發明專利兩項。