基于機(jī)器視覺(jué)的液壓支架高度測(cè)量方法

郝丁丁 王淵 郭衛(wèi)

摘 ?要： 針對(duì)煤礦井下液壓支架工況復(fù)雜，高度檢測(cè)和控制難度較大等問(wèn)題，提出一種巷道環(huán)境下液壓支架高度非接觸式測(cè)量方法。該方法采用基于雙邊濾波的單尺度Retinex圖像增強(qiáng)算法得到增強(qiáng)圖像，再對(duì)增強(qiáng)圖像進(jìn)行邊緣檢測(cè)、PPHT處理，求解出液壓支架結(jié)構(gòu)件的真實(shí)角度，間接測(cè)量出液壓支架高度。實(shí)驗(yàn)結(jié)果表明，該液壓支架高度測(cè)量方法可有效地煤礦井下視頻圖像中進(jìn)行測(cè)高，且誤差小于2 mm。

關(guān)鍵詞： 液壓支架; 高度測(cè)量; 機(jī)器視覺(jué); 圖像增強(qiáng); 性能比較; 誤差分析

中圖分類號(hào)： TN307?34 ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A ? ? ? ? ? ? ? ? ? ? ? 文章編號(hào)： 1004?373X（2020）02?0138?04

Method of hydraulic support height measurment based on machine vision

HAO Dingding， WANG Yuan， GUO Wei

Abstract： As for the problems of complex working conditions and larger difficulty in height detection and control of hydraulic support for underground coal mine， a non?contact measuring method for the height of hydraulic support under the roadway environment is proposed. In this method， the single scale Retinex image enhancement algorithm based on bilateral filtering is used to obtain the enhanced image， and then the edge detection and PPHT processing of it are carried out to solve the true angle of the hydraulic support structure component and indirectly measure the height of the hydraulic support. The experimental results show that the height measurement method of the hydraulic support can effectively measure the height in the video image of underground coal mine， and the measurement error is less than 2 mm.

Keywords： hydraulic support; height measurement; machine vision; image enhancement; performance comparison; error analysis

0 ?引 ?言

在運(yùn)用采煤機(jī)截煤所提供的高度調(diào)控的情況下，液壓支架能夠提供高度檢測(cè)[1?2]參考數(shù)據(jù)。這對(duì)于其自動(dòng)移降柱起到了過(guò)程控制策略的支撐作用。不過(guò)，對(duì)于工作面液壓支架來(lái)說(shuō)，在高度方面，無(wú)論是控制，還是檢測(cè)都有難度。其原因?yàn)槊旱V井下工況非常復(fù)雜。現(xiàn)如今的測(cè)量方法十分不理想：僅僅借助于機(jī)械裝置進(jìn)行讀數(shù)并且記錄方式為人工。

現(xiàn)有井下低照度環(huán)境下視頻圖像增強(qiáng)算法主要有三種：直方圖均衡化[3]、中值濾波、雙邊濾波[4?5]。直方圖均衡濾波算法處理后圖像灰度級(jí)衰減，造成細(xì)節(jié)丟失，且出現(xiàn)局部過(guò)亮或偽輪廓現(xiàn)象。而就中值濾波而言，則對(duì)紋理破壞較大。雙邊濾波往往將圖像細(xì)節(jié)在高頻濾噪中丟失。Retinex算法容易在明暗對(duì)比強(qiáng)烈處產(chǎn)生“光暈現(xiàn)象”，使得邊緣保持性較差。基于雙邊濾波的單尺度Retinex算法利用取對(duì)數(shù)的方法將照射光分量和反射光分量分離，用高斯模板對(duì)原圖像作卷積，得到低通濾波后的圖像，再用原圖像減去低通濾波后的圖像，得到高頻增強(qiáng)的圖像。一方面對(duì)該圖像做基于灰度值的局部對(duì)比度增強(qiáng)，并補(bǔ)償圖像進(jìn)行亮度估計(jì)情況下的損失;另一方面，在圖像的亮度估計(jì)之中，采用雙邊濾波算法，然后取反對(duì)數(shù)，最終得到增強(qiáng)后的圖像。

1 ?液壓支架高度測(cè)量原理

為了將液壓支架姿態(tài)描繪出來(lái)，通過(guò)測(cè)量液壓支架結(jié)構(gòu)件的角度值，建立數(shù)學(xué)模型計(jì)算出液壓支架結(jié)構(gòu)高度值。在結(jié)構(gòu)件輪廓邊長(zhǎng)數(shù)據(jù)的基礎(chǔ)上，完成液壓支架垂直高度逆向運(yùn)算，也就是h1，h2和h3。這三個(gè)數(shù)值的和即為總高度H。角度值測(cè)量液壓支架高度原理圖如圖1所示。

由于工作面具有一定的傾角，需要將坐標(biāo)系旋轉(zhuǎn)，以標(biāo)準(zhǔn)水平面作為基準(zhǔn)。仰俯采狀態(tài)液壓支架測(cè)高原理圖如圖2所示。

使用已經(jīng)標(biāo)定好的CCD相機(jī)對(duì)液壓支架進(jìn)行視頻采集。并進(jìn)行視頻幀圖像增強(qiáng)處理和角度實(shí)時(shí)測(cè)量。為了獲取將攝像機(jī)內(nèi)外參數(shù)，在單目CCD攝像機(jī)的標(biāo)定之中選用張正友標(biāo)定法。以地面為基準(zhǔn)面，且取經(jīng)過(guò)CCD攝像機(jī)上某一參考點(diǎn)豎直于地表平面的軸為Z軸，相互的向量X，Y分別為X軸，Y軸確定世界坐標(biāo)系。標(biāo)定好的場(chǎng)景中，P點(diǎn)在世界坐標(biāo)[[XWYWZW]T]與攝像機(jī)坐標(biāo)[[XCYCZC]T]間變換關(guān)系為：

[XCYCZC=UXWYWZW+T] （1）

式中，T和U分別為其外部參數(shù)的平移向量和旋轉(zhuǎn)矩陣。

2 ?圖像增強(qiáng)算法

本文算法流程圖見(jiàn)圖3。

[Retinex]算法可簡(jiǎn)述如下：

[R（x，y）=logS（x，y）-log[F（x，y）*S（x，y）]] （2）

式中：[Gauss]核為[F（x，y）=λexp（-（x2+y2）c2）];“[*]”表示卷積運(yùn)算;[c]為控制鄰域范圍的尺度常量;[λ]為歸一化常數(shù)，使得[F（x，y）dxdy=1]。

采用雙邊濾波進(jìn)行亮度估計(jì)，公式為：

[hx= ? ? ?k-1x-∞+∞-∞+∞fξcξ，xsfξ，fxdξ] ?（3）

歸一化常數(shù)為：

[k（x）=-∞+∞-∞+∞c（ξ，x）s（f（ξ），f（x））dξ]

式中，[c（ξ，x）]表示臨近點(diǎn)[ξ]與中心點(diǎn)[x]之間的距離相似度，而就中心點(diǎn)[x]和臨近點(diǎn)ξ而言，其亮度相似度是用[s（f（ξ），f（x））]來(lái)表示的。其具體情況如下：

[cξ，x=e-12ξ-xσd2]

[s（f（ξ），f（x））=e-12δ（f（ξ），f（x））σr2]

基于灰度值的局部對(duì)比度提升算法選擇3×3模板在圖像滑動(dòng)，局部對(duì)比度增強(qiáng)算法可表示為：

[g（x，y）=s·f（x，y）+（1-s）·g_（x，y）] （4）

式中：[g（x，y）]為當(dāng)前像素點(diǎn)[f（x，y）]鄰域內(nèi)均值;s是表征增強(qiáng)程度靈敏度的系數(shù)。

3 ?液壓支架高度測(cè)量方法

對(duì)于低照度原圖要獲得識(shí)別度比較高的圖像，需要借助于圖像增強(qiáng)算法進(jìn)行處理。而就ROI，也就是感興趣區(qū)域而言，在設(shè)置并提取該區(qū)域的情況下，同步實(shí)施圖像角度的測(cè)量。這樣，先采集原圖經(jīng)灰度化處理，并借助于ROI區(qū)實(shí)施邊緣檢測(cè)，在累計(jì)概率霍夫變換[6?7]之后，獲取液壓支架邊緣直線的斜率并進(jìn)行角度計(jì)算。最終根據(jù)角度和液壓支架結(jié)構(gòu)件的輪廓長(zhǎng)度，間接測(cè)量出液壓支架高度。

要對(duì)圖像里面亮度變化顯著的像素點(diǎn)集合實(shí)施識(shí)別，就要借助于邊緣檢測(cè)[8?9]。而常用圖像邊緣檢測(cè)方法通過(guò)計(jì)算圖像梯度，然后根據(jù)給定的灰度控制閾值來(lái)處理圖像。本文所實(shí)施的邊緣檢測(cè)濾波選用傳統(tǒng)Canny算子。對(duì)于圖形旋轉(zhuǎn)，采用累計(jì)概率霍夫變換（PPHT）直線檢測(cè)，這樣，相比于標(biāo)準(zhǔn)霍夫變換，計(jì)算的時(shí)間會(huì)因?yàn)橛?jì)算量的減少而縮短。最終，將檢測(cè)結(jié)果在原圖像上進(jìn)行標(biāo)記。在CCD攝像機(jī)標(biāo)定之中，將其安裝于液壓機(jī)模型的側(cè)面。在此基礎(chǔ)上，實(shí)施液壓支架視頻圖像的采集，環(huán)境設(shè)置兩組：一組為理想環(huán)境;另一組模擬煤礦井下巷道低照度，低對(duì)比度，高噪聲環(huán)境，取其液壓支架的同位置實(shí)施同時(shí)序2幀圖像進(jìn)行對(duì)比。現(xiàn)場(chǎng)采集的圖像解析度為640×480，圖4是液壓支架圖像采集中兩組不同環(huán)境下的對(duì)比。

4 ?實(shí)驗(yàn)結(jié)果及分析

經(jīng)對(duì)比，針對(duì)煤礦井下復(fù)雜環(huán)境噪聲較多，分別采取灰度圖雙邊濾波、中位數(shù)濾波、直方圖均衡濾波、基于雙邊濾波的SSR算法的圖像增強(qiáng)算法對(duì)圖像進(jìn)行處理[10?11]。所有算法先進(jìn)行灰度變換，再對(duì)圖像的對(duì)比度實(shí)施適度擴(kuò)展，并且從主觀評(píng)價(jià)方法和客觀評(píng)價(jià)方法[12?13]兩方面入手進(jìn)行比較。相關(guān)參數(shù)設(shè)置如下：[σd]=3，[σr]=0.1，[σd]和[σr]分別代表空間距離相似度和色彩范圍相似度的靈敏度。濾波窗口大小為11×11，s=10，c=250，[λ]=exp（0.5）。實(shí)驗(yàn)結(jié)果如圖5所示。

圖5f）～圖5j）為同一ROI區(qū)域提取結(jié)果。圖像增強(qiáng)實(shí)驗(yàn)結(jié)果經(jīng)對(duì)比，本文給出的4種方法增強(qiáng)效果存在較大差異。從主觀條件上看，圖5g）的去噪效果非常明顯，不過(guò)，因?yàn)楣饩€較暗，所以效果并不好，盡管在亮度和去噪方面有所改善;圖5h）則存在諸如圖像邊緣模糊和照度偏暗現(xiàn)象;圖5i）層次感明顯，邊緣銳化不足;圖5j）較完整地保留邊緣的細(xì)節(jié)信息，層次感表達(dá)較好，視覺(jué)效果突出。

圖6所示為4種算法處理的灰度值直方圖。

從圖6對(duì)比可看出：原始圖像的明暗區(qū)域灰度值分布不均衡;圖6b）～圖6d）的灰度值分布改善則并不大;圖6e）灰度值在明暗區(qū)域占比均勻，亮度方面有所增強(qiáng)，輪廓細(xì)節(jié)在對(duì)比度較高的情況下更加清楚。

運(yùn)用客觀評(píng)價(jià)方法對(duì)誤差進(jìn)行衡量，采用均方誤差（MSE）、信噪比（SNR）、峰值信噪比（PSNR）、平均絕對(duì)誤差（MAE）和運(yùn)行時(shí)間為評(píng)價(jià)標(biāo)準(zhǔn)。4種算法增強(qiáng)圖像的質(zhì)量評(píng)價(jià)如表1所示。

由表1可知，就直方圖均衡化算法而言，其增強(qiáng)效果不佳，但在對(duì)比度和運(yùn)行時(shí)間上有優(yōu)勢(shì)。從MSE和PSNR上看，灰度雙邊濾波算法和中位數(shù)濾波算法沒(méi)有較好的保真效果。基于雙邊濾波的SSR算法對(duì)比度高，保真效果好，圖像邊緣突出，綜合效果好。

就基于雙邊濾波單尺度Retinex圖像增強(qiáng)算法而言，在運(yùn)用該算法的液壓支架高度的測(cè)量之中，分別將液壓支架調(diào)到不同的角度，將本文方法與實(shí)際液壓支架高度測(cè)量值進(jìn)行差異對(duì)比。表2表示為相關(guān)的結(jié)果。

5 ?結(jié) ?論

本文提出一種煤礦井下巷道環(huán)境下液壓支架高度測(cè)量方法，該方法將圖像增強(qiáng)算法與單目視覺(jué)相結(jié)合，對(duì)液壓支架高度進(jìn)行非接觸式測(cè)量。液壓支架高度測(cè)量方法采用了基于雙邊濾波單尺度Retinex圖像增強(qiáng)算法，并從主觀評(píng)價(jià)方法和客觀質(zhì)量評(píng)價(jià)兩方面比較幾種圖像增強(qiáng)算法的性能。結(jié)果表明，該算法提高了圖像的對(duì)比度和信噪比，突出了圖像的細(xì)節(jié)和邊緣信息，提高了運(yùn)算效率。實(shí)驗(yàn)證明，所提方法高度測(cè)量誤差小于2 mm，滿足工業(yè)應(yīng)用要求。

參考文獻(xiàn)

[1] 程耀，陳兆星，蔡永倫，等.一種可調(diào)節(jié)的液壓支架高度測(cè)量裝置：CN204154234U[P].2015?02?11.

[2] 牛劍峰.液壓支架高度測(cè)量技術(shù)研究與應(yīng)用[J].煤礦機(jī)械，2015，36（5）：210?212.

[3] 宋文，程智林.一種基于暗通道的自適應(yīng)直方圖增強(qiáng)去霧方法：CN105225210A[P].2016?01?06.

[4] 梁廣順，汪日偉，溫顯斌.基于雙邊濾波與非局部均值的圖像去噪研究[J].光電子·激光，2015（11）：2231?2235.

[5] 王一帆，尹傳歷，黃義明，等.基于雙邊濾波的圖像去霧[J].中國(guó)圖象圖形學(xué)報(bào)，2014，19（3）：386?392.

[6] MAO S B. Exact pupil detection algorithm combining Hough transformation and contour matching [J]. Journal of computer applications， 2016（5）： 16?19.

[7] JIAO J， GONG X， GUO H. Airport runway detection based on local Hough transform [J]. Journal of equipment academy， 2017（3）： 64?71.

[8] DU Y， TONG M， ZHOU L， et al. Edge detection based on Retinex theory and wavelet multiscale product for mine images [J]. Applied optics， 2016， 55（34）： 9625.

[9] LENG X， JI K， XING X， et al. Hybrid bilateral filtering algorithm based on edge detection [J]. Iet image processing， 2017， 10（11）： 809?816.

[10] 寇興元.基于Retinex理論的圖像增強(qiáng)算法研究[D].沈陽(yáng)：沈陽(yáng)航空航天大學(xué)，2015.

[11] 劉曉陽(yáng)，喬通，喬智.基于雙邊濾波和Retinex算法的礦井圖像增強(qiáng)方法[J].工礦自動(dòng)化，2017，43（2）：49?54.

[12] 韓澤，藺素珍.基于主客觀評(píng)價(jià)相關(guān)性的多波段融合圖像評(píng)價(jià)方法[J].光電工程，2017，44（9）：895?902.

[13] 張小利，李雄飛，李軍.融合圖像質(zhì)量評(píng)價(jià)指標(biāo)的相關(guān)性分析及性能評(píng)估[J].自動(dòng)化學(xué)報(bào)，2014，40（2）：306?315.

作者簡(jiǎn)介：郝丁丁（1992—），男，陜西榆林人，碩士，研究方向?yàn)槊旱V機(jī)械及其自動(dòng)化、計(jì)算機(jī)視覺(jué)。