視覺感知技術在選煤廠的應用研究

楊 碩 佟建楠

(1.煤炭科學研究總院唐山研究院，河北省唐山市，063012；2.天津大學電氣自動化與信息工程學院，天津市南開區，300072；3.唐山學院土木工程學院，河北省唐山市，063000)

1 引言

視覺感知是以計算機視覺和機器學習為基礎進行測量、分析、評估和決策的無損智能測控技術。研究將視覺感知技術應用于選煤廠人員和環境的監測過程，實現人機在復雜多樣的工礦環境中協同運轉的自適應控制要求，用以提高選煤廠生產過程的智能化程度。

隨著選煤廠各個系統功能的逐漸細分，對生產崗位的具體化要求不斷提高，本文針對生產線各個操作環節的關鍵崗位，提出基于人臉識別和動態目標檢測的人員行為感知方案。目前，人臉識別算法主要分為基于全局特征的PCA、LDA、ICA算法和基于局部特征的LBP、SIFT算法，由文獻可知，基于全局特征的識別算法對人臉的光照、尺度、位姿、遮擋等因素變化的魯棒性較差，不適于在選煤廠低照度、多變性的環境中應用；常用的動態目標檢測算法包括高斯背景建模法和幀差法；幀差法容易引入噪聲并產生大量空洞，對后續確定目標對象造成影響。針對上述算法存在的問題，設計了一種基于局部特征的HOG算法進行人臉檢測，通過混合高斯背景建模實現人員的動態識別，并結合兩種算法提出針對人員行為的感知策略。

管道系統是實現介質和洗水閉路循環的重要工藝環節，在煤炭洗選過程中，管路網絡的接口、閥門，與介質桶、水池、設備的銜接處極易發生物料的跑、冒、滴、漏現象。由于選煤廠作業空間狹窄，照明不足，人員無法全面監測生產環境中的積水面積，形成難以評估的危險區域，存在極大的安全隱患。由文獻可知，應用基于重心或頂點的輪廓積分法可以測量具有規則幾何形狀的目標面積；基于動態輪廓線模型的圖像法可精確測量目標面積，但需人工預設輪廓線的初位置，無法自動測量。針對上述方法不足，本文提出了基于參考物的環境視覺感知方法測量積水面積。

2 視覺感知系統

視覺感知系統是選煤廠日常人員和環境感知功能的具體應用單元，由于選煤廠現場環境復雜特殊，因此對視覺感知系統的實時性、準確率和重復率要求較高。本文研究提出的視覺感知系統控制方案如圖1所示，包括物理層、數據鏈路層、控制層和決策層。

圖1 視覺感知控制系統方案

物理層和數據鏈路層是視覺感知系統信息獲取和傳輸的硬件架構。物理層設計符合選煤廠光照變化的工業級光學成像模型，光學系統通過光路控制單元將光信號聚焦到成像平面，并按實際補光需要進行調整達到光照整體均勻分布效果，以保證圖像清晰度，完成對檢測目標的成像和圖像數據采集等基礎工作；數據鏈路層應用數字通信網絡，實現數據在上下級單元間的高速、穩定和精確傳輸。在研究過程中，選取選煤廠常規視頻監控系統作為成像和傳輸平臺，以驗證視覺感知系統的普適性要求。控制層和決策層是視覺感知系統的算法中樞，控制層通過圖像處理和人員環境感知算法，從圖像中提取滿足感知系統需要的目標特征；決策層通過大數據處理單元對檢測對象的目標特征進行統計和計算，得到分析結果，實現系統對人員和環境感知的功能。

3 人員行為感知

人員行為感知是針對人與環境、人與設備交互作用中發生的違規現象進行視覺檢測的過程。為了滿足在行為感知過程中對目標特征提取和匹配等算法的有效性，將原始圖像進行預處理，以剔除圖像中潛在的干擾因素，并應用Adaboost人臉探測算法定位圖像中人臉的精確位置。本文提出的人員行為感知算法流程如圖2所示。

圖2 人員行為感知算法流程

3.1 人臉識別檢測

通過人臉識別檢測，對進入檢測區域的人員進行身份辨識，完成對非法人員的鑒別報警，并實現對選煤廠各個關鍵崗位工作人員到崗情況的自動統計。針對選煤廠的光照變化特點，本文應用HOG算法對待檢測圖像進行特征提取，采用K近鄰分類器(KNN)完成人臉目標的匹配工作。人臉識別算法流程如圖3所示。

圖3 人臉識別算法流程

(1)為了提高不同光照成像條件下對匹配精度的魯棒性要求，對定位的人臉圖像進行Gamma歸一化處理。

(2)應用[-1，0，1]和[1，0，-1]T梯度算子與原圖像I(x,y)做卷積運算，得到水平和豎直方向的梯度分量見式(1)和式(2)，求取各像素點的梯度大小和方向見式(3)和式(4)：

式中：Gx(x,y)——水平方向梯度；

Gy(x,y)——垂直方向梯度；

G(x,y)——梯度幅值；

θ(x,y)——梯度方向。

(3)將人臉圖像劃分為包含8×8個像素的若干細胞單元(cell)，將細胞單元分成9個梯度方向塊，對其中的像素點的梯度信息進行加權投影并統計梯度值，得到每個細胞單元的梯度方向直方圖。

(4)將32×64個細胞單元組成一個區塊(block)，將區塊內所有細胞單元的特征向量進行串聯，并通過式(5)所示函數對每個區塊分別進行歸一化，以得到對局部光照和對比度的變化具有較強健壯性的HOG描述符。

(5)

式中：ν——特征向量；

ε——極小常量。

(5)將人臉圖像內的所有區塊的HOG描述符串聯，得到圖像的HOG特征向量f={x1,x2,…,xn}。

(6)應用K近鄰分類器，計算待測人臉圖像特征向量和人員數據庫中所有圖像描述符的歐氏度量，以獲得最小距離，設定匹配閾值，若該距離小于或等于閾值，則圖像相似度較高。如果在K個測試樣本中多數屬于一個集合，則該人臉圖像樣本也屬于此集合，人員匹配識別成功，為合法工作人員，并記錄到崗情況。

3.2 動態目標檢測

在人臉識別檢測的基礎上，研究對監控場景中的動態目標進行檢測，自動捕捉人員與設備的運動情況，并將選煤廠各個崗位操作規程作為程序化邏輯判斷條件，用以評估人員行為的合理性，并向安全監管人員提供實時有效的監測數據。假設在自然條件下受環境因素影響，像素點灰度值隨時間的波動變化近似符合高斯分布，且任何一種分布都可以表示為多個高斯分布的加權擬合。由于選煤廠監控畫面中的場景變化雜亂無序，本文以電工檢修過程為例，應用混合高斯背景模型實現對人員或設備等動態前景的檢測。人員動態檢測如圖4所示。

把采集的視頻序列中各幀圖像定義為一個時間序列:{Z1，Z2，…，Zn}，用k個高斯分布來表征每幀圖像中各像素點特征，建立的混合高斯背景模型見式(6)，并初始化均值和方差等模型參數。

(6)

式中：k——高斯分布數量，k=3；

Xi,t——圖像序列在t時刻第i點的像素值；

wi,t——圖像序列在t時刻第i個高斯分布的權重；

μi,t——圖像序列在t時刻第i個高斯分布的均值；

η(Xi,t,μi,t,∑i,t)——高斯概率密度函數。

(7)

按照式(8)對高斯分布由高到低排序，設定背景模型的比例閾值為T，計算得到前V個高斯分布來表征背景圖像，以完成對動態目標的識別檢測。

(8)

圖4 人員動態檢測

3.3 行為感知策略

通過對生產系統各個環節工作人員的人像和崗位信息的錄入，建立崗位人員數據庫，將監控畫面中采集的人像作為待測目標，結合對設備、時間和地點的分析，按照識別算法將待測人像與數據庫圖像進行1∶n匹配，實現對人員在崗情況、人數和工種的統計，作人員識別算法性能見表1。

表1 工作人員識別算法性能

由表1可以看出，算法的識別率受到不同工況環境中光照和遮擋等外界因素的影響而浮動，但仍能在較短時間內達到97.61%、89.43%、91.14%和94.29%的識別精度，這是一種實時性和準確性較高的選煤廠人員識別解決方案。

在各崗位工作人員身份的識別前提下，按照背景建模算法提取圖像中人員或設備等動態目標，以各個工種程序化的操作規程作為邏輯判斷條件為視覺檢測提供依據，對人員行為的合理性進行判斷；結合對設備動態狀況的感知，完成對人員行為危險性的評估。在實驗測試中，圖像在第157幀時，背景模型清晰、穩定，可以快速識別畫面中出現的多個動態目標，結合預定義的行為策略能夠完成對人員行為合理性的感知功能。

4 環境感知

選煤廠洗水環路系統的跑、冒、滴、漏不僅會引起潮濕環境下設備的電氣短路，還會在地面形成煤泥水淤積的暗坑，嚴重威脅人員的生命安全，如何精確估計生產區域積水面積成為環境感知的關鍵問題。本文提出在自動識別積水區域的基礎上，計算積水面積值完成對環境的評估，為降低地面污漬對目標區域形狀分析的影響，首先對當前幀圖像進行形態學處理。環境感知算法流程如圖5所示。

圖5 環境感知算法流程

4.1 積水區域識別

積水區域識別如圖6所示。在對積水區域的識別過程中，由于不均勻的光照影響，容易在積水表面發生圖6(a)所示明暗不同的鏡面效應，導致常規的基于灰度信息的圖像分割方法難以對感興趣的目標區域進行準確分割。研究針對彩色圖像應用更接近于人眼色彩感知的HSV空間，通過互不相關的亮度(V)和色彩(H、S)分別對圖像進行處理，處理算法見式(9)～式(11)：

(11)

將圖像按照式(9)～式(11)進行處理后，由RGB顏色空間轉化為圖6(b)所示的HSV空間，其中Tmax和Tmin分別為R、G和B中的最大值和最小值；由圖6(c)、圖6 (d)和圖6 (e)所示的分別對H、S和V分量圖進行圖像分割，可較好地識別圖像中明亮和陰暗積水區域。

圖6 積水區域識別

在圖像分割過程中，為了避免由光照不均造成局部積水區域的識別缺失問題，提出基于PCNN模型的積水區域自動分割算法，針對圖像的輪廓和局部細節進行不同層次的分割，效果如圖6(f)所示；最后對圖像中的連通區域進行如圖6(g)所示的擬合，以實現對積水區域的識別。

4.2 積水面積計算

研究假設數字圖像由像素點組成，且每個像素點均可以表示一定的實際面積值，所以積水區域的實際面積值可以由已知參考物的面積求得，本文將參考物設置在垂直于地面的管路或墻壁上。在實際應用中，由于成像設備主光軸與積水地面不垂直，根據光學成像原理會產生一定的透視畸變，研究通過分別設置在水平和垂直兩個平面上的相同參考物，計算校正系數，完成對圖像的透視畸變的幾何校正見式(12)：

(12)

式中：Pv——垂直參考物圖像包含像數點數；

Av——垂直參考物圖像實際面積值，m2；

kc——校正系數；

Pl——水平參考物圖像包含像數點數；

Al——水平參考物圖像實際面積值(Av=Al)，m2。

在求得校正系數后，測量原理計算積水區域的面積值見式(3)：

(13)

式中：Aa——積水面積值，m2；

Ar——參考物面積，m2；

Pa——積水區域圖像包含像素點數；

Pr——參考物圖像包含像數點數。

在實驗過程中，由于積水區域的形狀復雜，難以獲得積水面積的真實值，研究在選煤廠實際生產區域應用薄膜附水法，通過在已知面積的不規則薄膜上充水模擬實際場景，以驗證算法的精度。積水面積測量結果見表2。

表2 積水面積測量結果

由表2可得，算法的相對測量誤差隨模擬面積的增加而減小，在2.859～11.536 m2試驗范圍內的相對誤差小于1.17%，能有效反映過水區域的面積變化，所以參考物測量法的精度適用于選煤廠積水區域面積的計算。

4.3 環境感知策略

在有效提取積水區域范圍和精確計算積水面積的基礎上，提出面積容忍極值法，通過比較實測面積與容忍極值，評估洗水環路系統的跑、冒、滴、漏等現象的嚴重等級，實現對選煤廠環境的感知功能。

5 結論

視覺感知技術是選煤廠實現人員、設備和環境三者間協調、高效、自主運行的有效手段。本文首先基于人臉識別和動態檢測算法建立了具有良好魯棒性和實時性的人員行為感知策略，實現了對人員行為合理性的判斷和危險性的評估；其次提出基于積水區域識別和面積計算的環境感知策略，在完成對積水面積精確計算的情況下，對選煤廠洗水環路系統跑、冒、滴、漏現象的嚴重性進行分析。目前該課題仍存在以下關鍵技術難題：

(1)在人臉識別算法中，通過設定歐式距離的閾值來控制人員匹配結果，如何在準確性和成功率相互制約的前提下，設計具有自適應性閾值設定方法是下一步人員感知算法的主要分析方向。

(2)在積水區域識別算法中，在保證算法實時性的情況下，提高對連通區域的擬合精度以完成對水域范圍內小面積干燥區域的有效識別，仍需在環境感知算法中作進一步研究。