基于不同深度識別算法的礦井水位標尺刻度識別性能分析與研究

曹玉超，范偉強

(中國礦業大學(北京)機電與信息工程學院，北京 100083)

隨著計算機技術的發展，圖像識別技術越來越受到關注，圖像識別水災具有諸多優點:① 非接觸，減少因為水流運動、水質、泥沙對傳感器設備的破壞;② 可視化，可以在井上實時查看水位情況，及時排除誤報影響;③ 復用性高,不用單獨布置設備，可以采用井下已有攝像頭進行監測;④ 可靠性高，攝像設備安裝在防爆殼體內，不易受到礦井潮濕環境影響。為此，筆者提出一種基于殘差神經網絡的礦井水位標尺刻度識別方法。

殘差連接的思想起源于中心化,將輸入數據減去均值進行中心化轉化，能加速系統的學習速度。文獻[12]通過跳層連接(shortcut connection)分別將輸入層，隱藏層單元激活值，梯度誤差和權重更新中心化，大大提升了梯度下降算法的訓練速度。文獻[13]研究了在各種不同配置下，shortcut connections能提高隨機梯度下降算法的學習能力和模型的泛化能力，并在圖像分類和重構任務上進行了實驗。文獻[14]首次明確的提出了殘差網絡結構(Residual Neural Network)，解決了深度神經網絡中產生的退化問題。文獻[15-16]實驗驗證了深層網絡訓練完成后隨機去除某些層，網絡性能不會有太多的退化。文獻[17]深入的闡明了shortcut connections對訓練深度網絡的影響，模型的不可識別所造成的奇異性是訓練深度網絡的最大瓶頸，進而降低學習效率，shortcut connections能有效的消除這些奇異性，從而加快學習效率。但是這些算法對于神經網絡的網絡深度對整體識別效果影響卻沒有研究，識別率不能隨著網絡的加深而無限制提高，在特定數量的數據集上，具有最優的網絡層數，過多的網絡層數會導致參數訓練不充分，進而導致網絡性能退化，網絡層數過少會出現過擬合現象，識別率降低。為此，筆者研究了不同深度算法對井下水位標尺刻度目標的識別率的影響。

1 網絡設計及識別原理

圖像的目標檢測效果與深度學習網絡的深度密切相關，但并不是網絡層次越深，識別率越高。對淺層網絡的優化無法明顯提升識別效果情況下，越來越多的學者開始研究深層次網絡，但是單純堆疊加深網絡時，梯度消失(在神經網絡中，當前面隱藏層的學習速率低于后面隱藏層的學習速率，即隨著隱藏層數目的增加，分類準確率反而下降的現象叫做梯度消失)現象越來越明顯，很容易影響識別效果，殘差神經網絡能很好的解決梯度消失的問題。

如圖1所示兩層網絡結構，對于第1層網絡，假設a[l]為第1層神經網絡輸入，a[l+1]為經過第1層神經網絡之后的輸出，w[l+1]為第1層神經網絡的權重，b[l+1]為第1層神經網絡的偏置，則有

z[l+1]=w[l+1]a[l]+b[l+1]

(1)

a[l+1]=g(z[l+1])

(2)

式中，z[l+1]為輸入經過第l+1層后沒有進入激活函數之前的輸出值。

圖1 殘差網絡結構示意

對于第2層則有

z[l+2]=w[l+2]a[l+1]+b[l+2]

(3)

a[l+2]=g(z[l+2])

(4)

按照如圖1所示的short cut短連接，則有

a[l+2]=g(z[l+2]+a[l])

(5)

a[l+2]=g(w[l+2]a[l+1]+b[l+2]+a[l])

(6)

假設在大型網絡的輸出激活值

g(a[l])=a[l]

(7)

如果w[l+2]趨近于0，b[l+2]趨近于0，則

a[l+2]=g(a[l])=a[l]

(8)

如圖1所示，由于shortcut存在，輸入可以直接傳遞到后面的層，信息的完整性得以增強和保護，使得深層網絡可以學習這些特征，避免了傳統的卷積層在傳遞信息時，隨著網絡層次的加深，信息丟失或是損耗。

以R-CNN[18]為代表的候選區域(region proposal)方法，將檢測過程分為2步，首先找到候選框，區分圖像中的目標與背景，然后將候選框進行分類識別。Fast R-CNN[19]對損失函數進行了改進，使用了多任務損失函數，CNN網絡訓練中直接添加了邊框回歸，雖然識別效果提升，但是訓練和測試速度仍然很慢，Faster R-CNN[20]改進了建議框的產生方式，采用卷積網絡使得建議框數量大幅減少，檢測效率大幅提升，但是和以YOLO[21-23]為代表的端到端的回歸分析相比，在速度表現方面差強人意。雖然YOLO的檢測速率較高，但是對小目標的檢測精確度很低。據此，筆者設計了1種241層殘差神經網絡，用以檢測煤礦水位標尺圖像，網絡結構如圖2所示，網絡由31個殘差塊構成，分別在第1，2，12，12，4個殘差塊進行步長為2的下采樣，并分別加入1個padding層，1個卷積層，1個BN(Batch Normalliziton)層，1個Relu層，每個殘差塊由2個卷積層，2個BN層,2個Relu層，1個Residual層共7層組成，殘差神經網絡可以保證隨著網絡深度的加深，梯度不會消失。由于本文探測目標尺度較小，所以需要在較小的尺度下訓練和識別，筆者分別在120層、208層引出張量和第240層進行融合，第120層卷積層張量的網格尺度為52×52，第208層卷積層的張量的網格尺度為26×26，第241層張量的網格尺度為13×13，網格劃分越小對小物體的檢測能力越好。

圖2 網絡結構

預測特征圖如圖3所示，每1個filter負責預測在特定尺度下目標的信息,共有1 792(256+512+1 024)個filter組成的特征圖表示了在待檢測特征圖中待檢測的目標的數量，目標的分類，目標的中心參數，目標的大小參數等關鍵信息。

圖4為刻度目標識別的原理:刻度識別的任務分為3個層級，首先需要在待檢測的圖像中確定刻度目標的位置參數，其次需要確定刻度目標的形狀參數，然后確定刻度目標的所屬類別。將待測圖像按照網格劃分，通過卷積層不斷的提取參數。圖4中，tx，ty為刻度目標的中心位置參數;tw，th為形狀參數;c1為左刻度的置信度;c2為右刻度的置信度;p0為是探測物體前景而不是背景的概率。

圖3 特征向量

圖4 檢測原理

模型預測目標和真實值之間的關系可以用損失函數表述，本文采如式(9)所示的損失函數Loss。

(9)

2 模型的訓練與調整

2.1 模型訓練設置

筆者采用python編程，在Intel i7、十六核1.8 GHz、內存32 G、顯卡GTX1080TI、64位ubuntu16.04操作系統上進行了模型的訓練與調整，訓練數據集圖像來自神華寧夏煤業集團有限責任公司雙馬煤礦43煤輔用巷道，由1 000張960×544像素jpg格式圖片構成，為了關注時間和空間的關聯性，測試數據集由視頻幀按照時間順序逐幀分割為連續的100張圖像組成。

2.2 模型的測試評估

如圖5所示，模型的損失值從第3次開始迅速變小，到第100次左右開始走向平穩，在訓練模型中，模型的優劣與迭代次數密切相關，但并不是迭代次數越多模型越好，訓練次數越多時，容易導致過擬合的出現，需要對訓練出來的模型進行評估調整，混淆矩陣(con fusion matrix)是判斷分類器好壞的重要指標，見表1。

左側刻度的識別率Preleft可以記為

(10)

式中，Aleft為測試集左刻度檢測正確的個數(模型計算出來的IOU與閾值比較，如果大于閾值記為正確檢測的個數);Bleft為測試集實際左刻度的個數，同樣的右側刻度識別率可以計為

圖5 損失值Loss隨迭代次數的變化曲線

表1 混淆矩陣

(11)

式中，N為個數。

則平均識別率mAP:

(12)

召回率Recall表示樣本中的正例被預測正確的比例:

Recall=TP/(TP+FN)

(13)

f1[24]值如下:

f1=2×mAP×Recall/(mAP+Recall)

(14)

圖像識別效果如圖6所示。

圖6 識別效果

3 實驗分析

3.1 識別率

不同置信度閾值下識別率、召回率、f1值如圖7所示，圖7(a)，(b)為左、右刻度在不同置信度閾值下識別率、召回率、f1值，圖7(c)為識別率、召回率、f1值的平均值。在置信度0.1，0.2附近整體的識別率都較低，隨著閾值增長，左刻度的召回率逐漸升高，右刻度先升高然后降低，降幅較大，所以平均召回率趨勢下降較大，左刻度的識別率在0.4閾值處較大，右刻度的識別率隨著閾值的增大逐漸增大，f1值在3幅圖中都是先增大后減小，按照識別率>召回率>f1值順序可以看出在閾值0.4附近，識別率最高為97%，召回率最高為96%，f1值最高為97%。預測張量含有所有邊界框的信息，低于閾值的邊界框的相應向量值被置位為0，所以隨著置信度的提高，一些比較低可能性的目標被篩選出去，所以TP和FP的值會逐漸變小，根據式(10)，以左側為例:如果TP為固定值，隨著FP變小，Preleft逐漸變大;如果FP為固定值，隨著TP的變小，Preleft會逐漸小。根據本文實驗，在參數0.4的時候識別率最高。

圖7 不同置信度閾值下的識別率、召回率、f1值

3.2 損失值(Loss)分析

為了驗證本文網絡結構的性能，筆者分別對其他幾種深度網絡進行了實驗，分別為RN59(59層殘差網絡)，RN87(87層殘差網絡)，RN129(129層殘差網絡)，RN297(297層殘差網絡)。圖8(b)為第2～52輪訓練損失值，圖8(c)為第950～1 000輪損失值。隨著網絡層數的加深，訓練損失值減少的速度放緩，其中RN59，損失值下降速度最快，RN297為最慢。在1 000輪左右損失值平穩性如圖8(c)所示，RN297的振幅較大，最大振幅達到21，本文算法和其他2種網絡深度算法表現較好，損失值穩定在17左右。

圖8 不同網絡深度的Loss損失值

3.3 網絡深度對識別影響比較分析

網絡深度是指神經網絡的層數，神經網絡的層數越多，深度越深。圖9表示不同網絡深度在不同的置信度閾值下的識別率、召回率、f1值。圖9(a),9(b),9(c)表示左刻度的識別率、召回率、f1值，本文算法在置信度0.4時最大分別可以達到94%，99%，97%;圖9(d),9(e),9(f)表示右刻度的識別率、召回率、f1值,本文算法在置信度0.4時最大分別可以達到99%，92%，97%。圖9(g),9(h),9(i)為平均識別率、平均召回率、平均f1值，本文算法在置信度0.4時最大分別可以達到97%，96%，97%?？梢钥闯?，識別率并不能隨著網絡的加深而無限制提高，深層網絡會帶來梯度不穩定，彌散，進而導致網絡退化，雖然可以通過一定的方法進行優化，但卻沒辦法從根本上消除。網絡加深反而會導致性能開始下降。加深的模型導致某些淺層的學習能力下降，限制了深層網絡的學習，識別率反而下降。

3.3.1PR曲線分析

圖10表示不同網絡深度的PR曲線，圖10(a)表示左刻度的PR曲線，圖10(b)表示左刻度召回率在0.1～0.9放大的PR曲線?？梢钥闯霰疚牟捎玫木W絡深度算法的PR曲線在所有曲線的最上方，性能優于其他網絡深度;圖10(c)表示右刻度的PR曲線，圖10(d)表示右刻度召回率在0.1～0.9放大的PR曲線，本文采用的網絡深度的算法雖然在召回率0.7～0.9時的識別率低于RN297和RN59，但是在其他召回率期間性能表現較好。

圖9 不同網絡深度的識別率

圖10 不同網絡深度的PR曲線分析

3.3.2ROC曲線分析

圖11為本文采用的網絡深度的算法和其他幾種網絡深度的ROC(受試者工作特征曲線,Receiver Operating Characteristic Curve，簡稱ROC曲線)曲線對比，橫軸為FPR(False Positive Rate)，縱軸為TPR(True Positive Rate)，越靠近左上角的ROC曲線性能越好，此時，假陽性和假陰性的總數最少。可以看出本文網絡深度算法的ROC曲線的性能均優于其他曲線的性能，表現最好，其次為RN87，RN129表現最差。

圖11 不同網絡深度的ROC分析

圖12 不同算法的性能比較

圖13 耗時對比

3.4 其他不同算法的平均識別率

為了分析算法的性能，筆者選取了其他幾種常見的算法進行比較，參與比較的算法有YOLOv3-k-101[25],YOLOv3-Big-Object[26],small-OD[27],CMNet[28]，如圖12所示，本文算法在置信度閾值0.4時的識別率最高為97%，召回率為96%，f1值為97%，均優于其他算法。

3.5 其他不同算法的時間分析

圖13為本文算法與其他算法的時間比較，可以看出整個的訓練時間要比測試時間高出1個數量級，這是因為在訓練階段需要計算Loss值，并利用反向傳播更新卷積層的權值參數，所以耗費時間較大。而網絡結構的增大會相應的增大訓練時間，但是相對于性能的提升，時間的開銷可以容忍。圖13(a),(b)分別為本文算法相對于其他算法的訓練時間和測試時間比較，可以看到本文算法在訓練時間開銷上僅次于CMNet，測試時間比較長大約為47 ms。

4 結 論

(1)建立了一種基于殘差神經網絡的礦井水位標尺刻度識別方法，采集工作面和巷道水位標尺圖像，將圖像刻度中心位置參數，形狀大小參數，刻度分類提取為特征向量，通過殘差神經網絡進行訓練，當網絡訓練穩定后，將待檢測圖像進行相同的操作得到特征向量，將特征向量解析為圖像刻度目標的關鍵信息，實現水位標尺的刻度檢測。

(2)針對不同的網絡深度進行了實驗，比較了不同深度下訓練階段的損失值下降速率和穩定性、平均識別率、f1值、PR曲線、ROC曲線、訓練耗時、測試耗時。

(3)實驗驗證了不同的置信度閾值對識別率的影響，低閾值情況下，張量預測有效邊界框變多，同時判斷為負樣本概率增加，導致識別率較低。隨著閾值增高，處理張量有效邊界框變少，整體預測樣本數量變少，判斷為負樣本的概率降低，識別率增加。置信度到達一定閾值，負樣本數量開始對識別率影響加大，導致識別率降低。本文實驗在置信度0.4閾值處具有最高識別率97%。

(4)通過與YOLOv3-k-101,YOLOv3-Big-Object,small-OD,CMNet算法進行比較，本文在時間開銷略多情況下，性能明顯提升。