基于CNN與SVDD的掘進機智能監測系統設計

葛 垚, 孫 強, 王坤東

(1.上海交通大學 精密工程及智能系統研究所，上海 200240；2.兗礦東華重工有限公司 采掘裝備制造分公司，山東 鄒城 273500)

?

基于CNN與SVDD的掘進機智能監測系統設計

葛 垚1, 孫 強2, 王坤東1

(1.上海交通大學 精密工程及智能系統研究所，上海 200240；2.兗礦東華重工有限公司 采掘裝備制造分公司，山東 鄒城 273500)

通過激光標志物的卷積神經網絡(CNN)檢測，與標志物中心點的奇異值分解(SVD)重構，實現了掘進機在巷道坐標系下的坐標估計。通過基于支撐向量數據描述(SVDD)的陀螺儀靜止狀態抖動抑制，與參考系變換，實現了機身與掘進臂的姿態檢測。通過基于OpenGL的圖形學引擎，實現了工作面場景的實時虛擬渲染。測試結果表明：系統能夠準確可靠地完成工作面場景下掘進機監測任務。

卷積神經網絡； 奇異值分解； 支撐向量數據描述； 三維重構； 姿態估計

0 引 言

隨著礦山機械化水平的提高，采用懸臂式掘進機進行開采已成為相關企業的標準生產方式。但是受限于有限的自動化程度，目前操作工人仍需進入高粉塵、有塌方危險的工作面最前線監測生產情景。這樣的生產實踐與當前國家建設數字礦山，推進危險生產環境無人化的號召是不相合的。近些年來，工業機器人定位[1]與姿態檢測[2]取得了長足進步。但是，這些解決方案在設計時均未考慮礦山生產這一特殊應用環境。因此，設計一套適用于礦山環境的掘進機智能檢測系統，準確、可靠地完成工作面場景下掘進機監測，成為了一個急需解決的課題。

本文根據礦山生產的特殊環境需求，綜合基于卷積神經網絡(CNN)的坐標估計、以及基于支撐向量數據描述(SVDD)的姿態估計，設計了支持場景實時渲染的掘進機智能監測系統，實現了掘進機狀態參數的有效監測。

1 系統架構

掘進機智能監測系統的原理圖如圖1所示。系統硬件由加裝防爆工業攝像機、防爆陀螺儀與防爆工業計算機的掘進機，以及十字形激光指示器組成。工業攝像機采用震有科技的KBA12W礦用本安無線攝像儀，兩臺工業攝像機分別安裝在掘進機機身前部左、右兩側，兩工業攝像機的作用如下：一是負責采集工作面的圖像，將經過增強后的圖像呈現給后方的操作工人，供操作工人生產決策使用；二是配合工業計算機，完成十字形激光標志物的檢測，進而完成整個場景的三維重構。系統中使用的防爆陀螺儀，系通過對TI TM4C129姿態檢測評估套件加裝防爆外殼獲得，兩枚防爆陀螺儀分別安裝對心安裝在掘進臂與掘進機機身上，以完成掘進臂與掘進機機身的姿態檢測。工業計算機為上海鑠放電子科技提供的高配置工業計算機，工業計算機用于實現整個系統所需的全部算法，并且通過圖形界面，匯總性地向操作工人展示工作面的全部信息。

圖1 系統原理圖Fig 1 System principle diagram

系統軟件由以下五個子系統組成：工作面場景采集、場景圖像增強、場景三維重構、掘進機姿態估計以及虛擬場景渲染。工作面場景采集通過封裝震有科技提供的傳輸服務實現；場景圖像增強通過對比度均衡算法與小波降噪算法，增強工作面場景圖像質量；場景三維重構通過CNN算法實現標志物中心點檢測，在此基礎上,基于對極幾何、奇異值分解(SVD)與平移變換實現了掘進機在巷道參考系下坐標的三維重構；掘進機姿態估計通過SVDD算法，實現了陀螺儀靜止狀態下的抖動抑制，通過坐標變換算法，實現了以巷道為參考系的姿態檢測；虛擬場景渲染基于OpenGL，將掘進機在巷道內的位置，與機身、掘進臂的姿態以三維圖形的形式展示給操作工人，幫助工人實現360°無死角場景觀察。

2 圖像處理

圖像處理子系統的流程如圖2所示。

圖2 圖像處理流程圖Fig 2 Workflow of image processing

2.1 圖像增強

當系統在工作面條件下工作時，下列兩個因素將對工業攝像機的成像產生不利影響：一是工作面處不充分的照明會導致場景的輪廓信息無法有效地被操作工人感知;二是工業攝像機成像過程本身會給圖像引入一定的噪聲。為了解決上述兩個問題，采用了先對圖像進行對比度均衡，然后再對圖像進行小波降噪的方案，實現工作面原始場景的圖像增強。

對比度均衡算法[5]是圖像處理中的經典算法。其算法原理是通過對原始圖像的像素值進行變換，使變換后像素值分布接近均勻分布，從而增強人眼對圖像中信息感知能力的一種算法。算法可通過調用OpenCV的相關服務實現。

在測試過程中發現，對比度均衡算法會放大工業攝像機的成像噪聲，故對均衡后的圖像進一步采用Wavelet Shrinkage算法進行進一步降噪。小波算法的開發通過調用Matlab Wavelet Toolbox完成，算法相關參數設定如下：小波基選擇Daubechies族的sym6小波，分解層數為4，降噪方法選擇Penalize Low。將選擇的小波濾波器組導出為Matlab腳本文件，然后使用Matlab Compiler交叉編譯為DLL庫，即可集成入系統軟件之中使用。

2.2 標志物中心點檢測

為了實現場景的三維重構，首先需要完成十字形激光標志物中心點檢測。在測試過程中發現，由于標志物所在平面的不規則性，基于Hough變換與模板匹配[3]的傳統檢測方案無法可靠地檢出光斑中心，故最終采用基于CNN的方案進行檢測。

相比基于Hough變換的解決方案，基于CNN的方案無需人工設計特征模板，能大幅減輕人工調參的工作量，只需要采集并標注的足夠多的圖像，然后進行數值優化即可完成檢測與識別的任務[6]。

首先，將中心點檢測問題化為如下的有監督回歸問題進行求解。原始數據集由1 000張含有標志物的圖像(來自左、右攝像頭的圖像各500張)及相應的中心點像素坐標組成，其中原始圖像作為輸入特征，中心點像素坐標的兩個分量作為待預測的變量。訓練CNN網絡，使其預測的中心點像素坐標，與實際像素坐標的L2范數誤差最小，即

(1)

式中 g:X→Y為將含十字形光斑圖像映射為光斑中心點像素坐標的CNN網絡；Xn,Yn分別為在訓練集中序號為n的訓練圖像與其中標志物中心點的像素坐標。

最終部署的CNN結構如表1與表2所示。

表1 卷積層網絡結構

表2 全相連層網絡結構

其中,全相連層的激活函數為ReLU，輸出層不采用Softmax層，直接以最后一次線性變換的結果作為輸出進行預測。在全相連層，采用Dropout與全相連層系數的L2范數約束進行規約，防止過擬合。在整個訓練過程中，按8︰2的比例切分訓練集與測試集，以測試集上的誤差為模型性能表現的評估依據，引入Early Stopping的機制進一步約束，以保證模型的檢測性能。最終部署的CNN網絡在訓練集與測試集上的重構RMSE誤差分別為0.457與0.680。上述算法可借助Caffe框架方便地實現，并集成到系統軟件中。

2.3 巷道參考系下掘進機坐標的三維重構

檢出標志物中心點后，由于可以事先設定標志物中心點在巷道參考系中的坐標，故只需估計標志物在左側攝像機參考系內的三維坐標，即可得到重巷道參考系下掘進機的三維坐標。

重構算法首先需要對兩臺工業攝像機分別進行單目標定，以減輕鏡頭成像畸變對重構的影響；在此基礎上，算法還需估計雙目攝像機的幾何參數，從而將原始成像場景變換到標準場景下。上述兩部分算法均可通過調用OpenCV的相關服務實現。

(2)

由于觀測誤差的存在與數值穩定性的要求，上述方程需要使用SVD分解進行求解。由于OpenCV未提供相關服務，系統使用C++實現了上述算法。

得到標志物在左側攝像機參考系內的三維坐標后，由于左側攝像機在機身參考系中的坐標，以及標志物在巷道參考系內的坐標均為已知，故對相關坐標進行平移變換，即可算出掘進機在巷道參考系中的三維坐標，從而實現場景的三維重構。

3 姿態估計

姿態檢測子系統首先通過移植TI官方的驅動庫實現了掘進臂與機身在北—偏—東參考系下的姿態估計。相比標準擴展卡爾曼濾波(EKF)姿態估計算法[4]，系統在以下兩個方面進行了創新。完整的算法流程如圖3所示。

圖3 姿態估計流程圖Fig 3 Workflow of altitude estimation

首先，通過使用SVDD[8]算法，實現了靜止狀態與運動狀態的二分類，抑制了傳統姿態估計算法在靜止狀態下估計值的震蕩現象。

SVDD是一個單類分類器，考慮到掘進機采用液壓傳動，靜止狀態在整個工作周期中所占比例較大，故將靜止狀態下九軸傳感器的輸出數據作為NormalData,運動狀態下輸出數據作為負樣本，進行模型訓練。原始數據集由10萬條九軸傳感器的輸出數據組成，其中NormalData占80 %，負樣本占20 %。SVDD的兩個參數，核與異常率分別選擇如下：由于測試結果表明，二類數據在高維空間中近似線性可分，故選擇線性核；通過參數枚舉，發現當異常率取0.05時，模型分類的準確率最高，故取異常率為0.05。在整個訓練過程中，按8∶2的比例切分訓練集與測試集，當模型取上述參數時，SVDD的分類準確率為99.87 %，可以達到委托方的應用需求。

考慮到井下電磁環境極其復雜，以及掘進作業的特點，系統選擇以掘進作業起始姿態定義的參考系為參考系，進行姿態估計，即

u0=RNED(ψ0,θ0,φ0)TRNED(ψ,θ,φ)u

(3)

式中 ψ,θ,φ/ψ0,θ0,φ0為當前姿態、掘進作業起始姿態在北—偏—東參考系下的歐拉角；RNED(ψ,θ,φ)/RNED(ψ0,θ0,φ0)為從北—偏—東參考系到當前姿態、掘進作業起始姿態定義的參考系的旋轉變換矩陣；u/u0分別為掘進臂、以及機身上參考點，以陀螺儀安裝處為原點，在當前姿態、掘進作業起始姿態定義的參考系下的坐標。

測試結果表明:上述參考系選擇能夠大幅簡化標定過程：系統只需通過多次測量取平均值的方法，估計作業起始姿態，即可實現掘進臂與機身當前姿態的實時跟蹤。

4 虛擬場景渲染

虛擬場景渲染子系統的流程如圖4所示。子系統以圖像處理子系統給出的位移估計，以及姿態估計子系統給出的機身、掘進臂姿態估計為輸入，通過計算機圖形學，生成虛擬工作面場景，并輸出到GUI。

圖4 場景渲染流程圖Fig 4 Workflow of scene rendering

整個系統由通用腳本解析器，與場景描述腳本兩部分組成。通用腳本解析器能夠解析ASCII碼編碼的字符串格式的繪圖命令，然后通過OpenGL相關服務實現繪圖操作。綜合考慮顯示需求，系統總共設計了光照、材質定義，平移、尺度及旋轉變換，基本圖元—正方體與球體繪制7大類共計11條繪圖命令，這些命令都采用了命令名后附加命令參數的格式，這樣，通過將輸入參數轉化為適當的命令參數，即可實現基于參數的場景渲染。場景描述腳本使用預定義的繪圖命令描述待渲染場景。系統在啟動后會將描述腳本以字符數組的形式加載到內存中，當場景參數發生更新后，只需修改對應參數所在內存單元的數值，即可實現場景的實時更新。

為了克服傳統三視圖觀察視角的局限性，子系統還實現了水晶球觀測模型，這樣操作工人可通過鍵盤操作，實現對場景360°遠近可調的無死角觀察。通過進一步豐富檢測細節，子系統能夠比傳統的三視圖提供更多的有效信息。

5 實驗測試

系統測試在兗礦集團東華重工掘進機測試車間進行。整個系統安裝在EBZ220型掘進機上，主要對系統與正前方壁面距離的估計能力、機身與掘進臂姿態的估計能力以及系統的實時渲染能力進行了測試。

圖5 實驗測試Fig 5 Experimental test

5.1 正前方壁面距離估計能力測試

測定了系統在距離的典型動態范圍：3.00～7.00m內的估計性能。測試結果如表3所示。系統估計精度已達到生產需求。

表3 距離估計測試結果

5.2 姿態估計與實時渲染能力測試

當兩陀螺儀的姿態估計更新速率設定為25 Hz時，姿態估計與渲染系統能夠實時跟蹤系統的運動。渲染結果如圖6所示。

圖6 姿態估計與實時渲染測試Fig 6 Test of altitude estimation and realtime rendering

6 結束語

本文論述了掘進機智能監測系統中關鍵技術及其實現，重點論述了圖像處理子系統中基于CNN網絡的標志物中心點檢測算法，姿態估計子系統中基于SVDD的靜止狀態下抖動抑制算法，相對掘進起始位置姿態估計算法，以及虛擬場景渲染子系統中基于計算機圖形學的實時渲染系統的實現。實驗測試結果表明:選擇的算法能夠達到預定的檢測精度，相比傳統系統，新系統能夠更好地滿足一線操作工人的監控需求，能夠為國家數字礦山與安全生產的戰略規劃提供有效保障。

[1] 王殿君.雙目視覺在移動機器人定位中的應用[J].中國機械工程，2013,24(9):1155-1158.

[2] 秦 勇,臧希喆,王曉宇,等.基于MEMS慣性傳感器的機器人姿態檢測系統的研究[J].傳感技術學報,2007,20(2):298-301.

[3] 田 娟,鄭郁正.模板匹配技術在圖像識別中的應用[J].傳感器與微系統,2008,27(1):112-117.

[4] 陳航科,張東升,盛曉超,等.基于Kalman濾波算法的姿態傳感器信號融合技術研究[J].傳感器與微系統,2013,32(12):82-89.

[5] Gonzalez R C.Digital image processing[M].New York:Prentice-Hall,2014:205-215.

[6] Benigo Y,Courville A,Vincent P.Representation learning:A review and new perspectives[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(8):1798-1828.

[7] Hartley R,Zisserman A.Multiple view geometry in computer vision[M].New York:Cambridge University Press,2004:312-315.

[8] Tax D M,Duin R P.Support vector data description[J].Machine Learning,2004,56(2):45-66.

王坤東，通訊作者，E—mail:kdwang@sjtu.edu.cn。

Design of intelligent monitoring system for mining machines based on CNN and SVDD

GE Yao1， SUN Qiang2， WANG Kun-dong1

(1.Institute of Precision Engineering and Intelligent Systems,Shanghai Jiao Tong University, Shanghai 200240,China; 2.Mining Machinery Manufacturing Co Ltd,Yankuang Donghua Group, Zoucheng 273500,China)

By detection of convolutional neural network(CNN)of laser marker and reconstruction of singular value decomposition(SVD) of center of markers,coordinates estimation of machine in tunnel coordinate is achieved.By jitter suppression of gyro in resting state based on supporting vector data description(SVDD)and transformation of

ystem,body and robotic arm altitude estimation are achieved. Based on OpenGL,real-time virtual rendering of scene of working face is achieved.Experimental results show that the system is able to monitor mining machine in working face scene accurately and reliably.

convolutional neural network(CNN); singular value decomposition(SVD); support vector data description(SVDD); 3D reconstruction; altitude estimation

2015—11—09

10.13873/J.1000—9787(2016)10—0076—04

TP 242

A

1000—9787(2016)10—0076—04

葛 垚(1990-)，男，山西太原人，碩士研究生，研究方向為機器學習在工程問題中的應用。