基于超像素粒化與同質圖像粒聚類的礦井人員圖像分割方法

李曉宇，楊 維，劉 斌，范偉強，張向陽

(1.中國礦業大學(北京) 機電與信息工程學院，北京 100083; 2.北京交通大學 電子信息工程學院，北京 100044; 3.國家能源集團 寧夏煤業有限責任公司雙馬煤礦，寧夏 銀川 750408)

煤炭資源科學化、精準化開采是煤炭工業可持續發展的必然趨勢[1-2]，其中對煤礦井下作業人員進行信息化、智能化管理是奠定煤炭工業高質量發展[3-4]的重要基礎。近年來，機器視覺技術已逐漸開始在煤礦領域嶄露頭角，如:孫繼平[5]探討了礦用機器視覺的特點及其在煤礦井下的應用;曹玉超等[6]提出了將機器視覺技術應用于礦井水災圖像識別中;田子建等[7]提出基于機器視覺的煤巖界面識別研究;趙曉莉等[8]提出基于機器視覺的礦井天輪偏擺監測系統設計方法。然而，由于煤礦井下環境特殊[9]，如非均勻照度[10]，低對比度[11]，大型機械設備的陰影等對井下人員圖像的成像質量產生較大影響，導致圖像像素特征復雜多變，這使得機器視覺在處理礦井人員圖像方面存在一定困難。人員圖像分割是機器視覺應用于礦井人員管理中的一項關鍵技術，對井下人員監控[12]、檢測[13]、定位[14]和跟蹤[15]等研究具有重要意義。

傳統圖像分割方法主要包括基于像素灰度值的閾值法[16]、像素聚類法[17]、邊緣分割法[18]、區域生長法[19]、圖割法[20]等，均已成熟應用于解決各類場景下的圖像分割問題。然而，閾值分割法對噪聲敏感，對灰度差異不明顯，對于灰度值相近的不同目標重疊區域的分割并不理想;邊緣分割法不能得到更好的區域結構，且噪聲抗擾度與檢測精度之間存在沖突;區域分割容易導致圖像過度分割;聚類分割法沒有考慮空間信息，對噪聲和灰度不均勻性敏感;圖割法是一種交互式的分割方法，要求用戶在圖像中指定前景和背景，不便于自動分割。此外，上述方法均忽略了像素間的潛在相關信息，不適用于對礦井非均勻照度下的人員圖像進行分割。

近年來，基于超像素模型的圖像分割方法在計算機視覺技術應用中顯現出顯著優勢[21-23]，將具有相似顏色、紋理和亮度特征的像素劃分為固定數量的不規則超像素塊，即圖像中的大量像素特征信息由少量的超像素表示。基于顏色和距離相似性的簡單線性迭代聚類(Simple Linear Iterative Clustering,SLIC)算法[24-25]吸引了越來越多研究者的關注，該算法生成的超像素大小均勻，能夠更好地擬合目標邊界，此外，超像素數量只由一個參數控制，同一超像素中像素之間的差異很小。SLIC模型易于實現和操作，在處理各種隨機不確定復雜場景時具有良好的魯棒性和適應性，但在煤礦領域的應用近乎空白。

筆者研究了井下人員圖像分割方法，緊密結合SLIC超像素?；Ｐ秃屯|圖像粒聚類思想，充分考慮了超像素間的語義信息和像素間的空間聯系。筆者應用SLIC將人員圖像粒化為超像素塊，分析并選擇表示超像素數量的最優輸入參數;通過計算RGB相似度值區分人員超像素與背景超像素，RGB相似度值由超像素和離線標記像素的RGB均值度量;建立人員超像素的區域鄰接圖，利用人員超像素及其鄰居超像素的RGB均值檢測欠分割人員超像素(Under-segmented Personnel Superpixel，UPS)，通過提出的基于RGB最小距離差 (Minimum Distance Difference based on RGB,MDD-RGB)模型將欠分割人員超像素再分割為2個子超像素，其中一個子超像素為背景超像素，另一個為精英人員超像素(Elite Personnel Superpixel，EPS);將具有最相似超像素特征值的鄰接精英人員超像素定義為同質圖像粒(Homogeneous Image Granules，HIG)，根據所提同質圖像粒聚類(Homogeneous Image Granules Clustering,HIGC)模型將同質圖像粒聚類形成多個同質人員區域，所有同質人員區域最終構成完整人員區域。通過對多種場景下實驗的定性和定量分析，驗證了本文方法的可行性和有效性。

1 人員圖像分割算法框架

本文算法面向計算機視覺下的礦井人員分割識別問題，以實現對井下人員的智能化監控管理?，F場人員圖像分割需要依賴于事先采集的歷史人員圖像信息，通過提取歷史人員圖像中人員像素圖像特征初步判定出人員超像素。因此，如圖1所示，本文算法結構由離線數據準備和在線數據測試2部分組成。離線工作主要是準備樣本人員圖像及其相關數據，在線測試工作包括以下幾個方面:① SLIC算法初始?；藛T圖像;② 人員超像素與背景超像素分離;③ 欠分割人員超像素識別及二次分割;④ 同質圖像粒聚類及同質人員區域生成;⑤ 從圖像中分割出人員區域。

圖1 人員分割算法框架結構Fig.1 Framework structure of personnel segmentation algorithm

2 基于SLIC的人員圖像超像素?；?/h2>

2.1 m值選擇

SLIC的?；Y果與它的輸入參數預分割超像素數量m密切相關，無論m偏大或偏小，都會影響測試圖像的?；Ч?。較大的m值在增加SLIC計算復雜度的同時會引起過分割現象，不利于算法后期的同質圖像粒聚類;較小的m值容易導致人員超像素欠分割，不能充分將人員像素區域精確粒化。

本節研究離線狀態下對應于不同m值的人員圖像SLIC粒化準確度，為在線分割人員圖像選擇出最佳m值。 粒化準確度定義為正確分割人員超像素數量與m的比值。實驗步驟如下:

(1)備份樣本人員圖像，在備份圖像中標記人員區域并提取其掩模圖像，如圖1所示。記錄掩模圖像中對應于人員區域的像素點位置。

(2)以不同的m值對樣本人員圖像進行SLIC超像素粒化，?；Y果如圖2所示。

圖2 不同m值的SLIC人員圖像分割Fig.2 SLIC segmentation of personnel image with different m values

(3)提取超像素中的像素點位置，并與掩模圖像中的人員像素位置進行比較。若該超像素的所有像素點位置均屬于掩模圖像中的人員像素位置，則將該超像素定義為正確分割人員超像素;若該超像素中只有部分像素點位置屬于掩模圖像中的人員像素位置，則將該超像素定義為誤分割人員超像素。將其中所有像素位置均不屬于掩模圖像中人員像素位置的超像素定義為背景超像素。

(4)統計正確分割人員超像素數量，計算不同m值對應的超像素粒化準確度，如圖3所示。

圖3 不同m值對應的人員超像素?；瘻蚀_度Fig.3 Granulation accuracy of personnel superpixels with different m values

(5)選擇粒化準確度最高的m值為在線測試圖像的最優輸入值，此時m值對應400。m<400時人員超像素分割不充分，m>400時反而降低了粒化準確度。

2.2 人員超像素判定

在對人員圖像進行SLIC?；?，需要標注離線樣本圖像I′，如圖4所示。將C,Ct,Cb分別定義為I′中所有顏色成分、人員區域顏色成分、背景顏色成分。圖4(a)為原始樣本圖像，Ct如圖4(b)標注樣本所示。I′的作用是為圖像I的在線分割提供參考。

圖4 樣本圖像標記Fig.4 Marking of sample image

Ct與Cb的之間的關系定義為

C=Ct∪Cb，Ct∩Cb=?

(1)

(1)將人員圖像I與最優m值輸入SLIC進行初始?；?，如圖5(a)，(b)所示。

(2)

(3)

(4)

(5)

(6)

(7)

圖6顯示了本節算法所判定的人員超像素，其中紅色邊框表示一類人員超像素，黃色邊框表示二類人員像素。

圖6 人員超像素類型Fig.6 Types of personnel superpixels

2.3 欠分割人員超像素檢測與二次分割

MDD-RGB 步驟如下:

(1)建立一類人員超像素的區域鄰接圖，輸出以任意pspj為中心的鄰居超像素列表Lj，記錄每個pspj及其鄰居超像素pspjr(r=1,2,…,m-1)，r為pspj的鄰居超像素數量。

(8)

(9)

(10)

且

(11)

或

(12)

(13)

(14)

圖7 欠分割人員超像素二次分割Fig.7 Secondary segmentation of under-segmented personnel superpixel

(7)順序延伸超像素標簽l，更新I中超像素并獲得新標簽l′。

3 同質人員圖像粒聚類

為有效分割人員區域，需要充分考慮超像素之間潛在的語義信息和空間結構關系。本文將具有最相似圖像特征的精英人員超像素定義為一組同質圖像粒，選用精英人員超像素的灰度G和紋理特征作為搜索同質圖像粒的依據，紋理特征由灰度共生矩陣的4個特征能量En、對比度Co、同質性Ho、熵Em表示，提取它們的特征均值組成精英人員超像素的五維特征向量V=(G,En,Co,Ho,Em)，為便于算法計算，對5個特征分量值作歸一化處理。同質圖像粒聚類促進同質區域的形成[26]，進一步地，同質區域彼此融合得到完整的人員區域。同質圖像粒的聚類如圖8所示，圖8(a)為草裙圖像粒的聚類，圖8(b)為人員手部聚類。

本節HIGC算法步驟如下:

(1)選擇任意Epspj(j=1,2,…,q+n)為初始種子點，n為更新l后新增的人員超像素標簽數量。計算Lj中pspj與pspjr(r=1,2,…,m+n-1)的超像素特征值距離差D，公式為

(15)

(16)

(3)建立Ra的鄰居圖像粒列表La，重復執行步驟(1),(2)直到滿足如下條件:

(17)

(4)選擇下一個Epspj，重復步驟(1)～(3)直到算法遍歷完所有精英人員超像素(完成同質圖像粒聚類)。

(5)合并所有Ra。

本文規定鄰居超像素全部為背景超像素的Epsp為孤立同質人員圖像粒，在算法中按背景圖像粒處理。

4 實驗結果及分析

為評估本文算法性能，分別采集了運輸巷、掘進巷、工作面和變電站4種不同場景下的井下人員圖像，如圖9(a)～(d)所示。本文中的人員圖像均采集于寧夏靈武市馬家灘鎮雙馬煤礦，現場拍攝環境:DS-FB4024?？低暦辣瑪z像機，低照度，粉塵質量濃度3.2 mg/m3，濕度60%，溫度17 ℃，二氧化碳體積分數0.04%。實驗環境:CPU處理器Intel(R)Core (TM)i5-2450M,2.5 GHz 主頻，4 GB內存，64-bit Windows 7操作系統，Matlab R2016b編程工具。

4.1 SLIC ?；c欠分割人員超像素檢測

對圖9(a)～(d)中的原始圖像進行SLIC初始分割，根據2.1節方法計算所得其最優m值均為200。圖9(e)～(h)為人員圖像的SLIC?；Y果，圖9(i)～(l)為對欠分割人員超像素進行了標注。

圖9 人員圖像超像素粒化及欠分割檢測Fig.9 Personnel image superpixel granulation and under-segmentation detection

圖9(a)中的人員位于4-1煤輔助運輸巷，在光照不足或人員顏色與背景難以區分之處產生了欠分割人員超像素，圖中共檢測了6處欠分割人員超像素并由5個黃色邊框標記，最上方的邊框內包含2個相鄰的欠分割人員超像素。圖9(b)中的人員位于I0104106回風巷，經SLIC?；笤瓐D被分割為人員與背景2類超像素，然而巷道內特殊的光照條件也導致了欠分割人員超像素的出現，圖中共檢測了3處欠分割人員超像素并由3個黃色邊框標記。圖9(c)中的人員位于I0104301綜采工作面，大部分人員超像素與背景超像素是相互獨立且不兼容的，但仍存在少量欠分割人員超像素，由3個黃色邊框標記。圖9(d)中的人員位于具有較多供電設備的變電所內，背光照射條件及設備與人員顏色的相似性造成了一些欠分割人員超像素的出現，共檢測了7處并由6個黃色邊框標記，人員左肩處的邊框內包含2個欠分割人員超像素。

4.2 MDD-RGB 二次分割

本節對4.1節中的欠分割人員超像素進行二次分割測試。MDD-RGB將欠分割人員超像素中的像素點分為2類，在本文中屬于監督學習的數據分類方法，為此本節列出了5種分類學習算法與MDD-RGB 進行對比，分別有KNN(K-Nearest Neighbor)[27]，NB (Naive Bayes)[28]，LDA (Linear Discriminate Analysis)[29-30]，QDA(Quadratic Discriminate Analysis)[31]，SVM (Support Vector Machine)[32-33]。為使所有算法具有相同的測試條件，本實驗中的訓練樣本統一選自于欠分割人員超像素本身Lj中的人員超像素和背景超像素，實驗結果如圖10所示。

如圖10所示，對于圖10(a)中的6個欠分割人員超像素，KNN有效分割了其中4個，剩余2個失敗，分割成功率約為67%，NB，LDA和QDA有效分割了其中5個，1個失敗，分割成功率約為83%，SVM和MDD-RGB有效分割了全部，無失敗分割，分割成功率為100%;對于圖10(b)中的3個欠分割人員超像素，KNN，NB，QDA，SVM 和 MDD-RGB 有效分割了全部，無失敗分割，分割成功率為100%，LDA有效分割了其中2個，剩余1個失敗，分割成功率約為67%;對于圖10(c)中的3個欠分割人員超像素，5種對比算法及MDD-RGB 均有效分割了全部，無失敗分割，分割成功率為100%;對于圖10(d)中的7個欠分割人員超像素,KNN 有效分割了其中5個，剩余2個失敗，分割成功率約為71%，NB 有效分割了其中6個，剩余1個失敗，分割成功率約為86%，LDA，QDA，SVM和MDD-RGB有效分割了全部，無失敗分割，分割成功率為100%。

為進一步驗證MDD-RGB的有效性，使用精確度Precision和召回率Recall兩項分割指標評價其性能[34]，公式為

(18)

(19)

式中，PT為檢索到的人員像素點;PF為檢索到的背景像素點;NF為未檢索到的人員像素點。

本節中，用于計算分割指標的像素點均屬于4.1節中的欠分割人員超像素。通常情況下，Precision和Recall越大，算法分割性能越好，但2者之間存在沖突關系。引入F-Measure[34]可綜合評價Precision和Recall，定義為

(20)

顯然，F-Measure同時考慮了Precision和Recall的結果，F-Measure越大，算法性能越好。各算法分割指標的數據結果見表1。

從表1可以看出，圖10(a)中，MDD-RGB的精確度Precision高于其他5種對比算法，召回率Recall較低，僅高于LDA,F-Measure略低于NB和SVM;圖10(b)中，MDD-RGB的精確度Precision高于其他5種對比算法，召回率Recall略低于KNN和QDA，F-Measure僅次于KNN;圖10(c)，(d)中，MDD-RGB的精確度Precision、召回率Recall和F-measure值均領先于其他5種比較算法。

圖10(a)，(b)關于5種對比算法的Precision,Recall和F-Measure三項指標的均值和MDD-RGB的指標值比較如圖11所示。圖11(a)中，MDD-RGB的精度值明顯高于比較算法，召回值略低于比較算法，但F-Measure值仍高于比較算法。圖11(b)中，MDD-RGB的3項指標值均明顯高于比較算法，充分說明了MDD-RGB可以有效地二次分割欠分割人員超像素，且分割性能較好。

4.3 HIGC 同質圖像粒聚類

本節對同質圖像粒聚類算法HIGC進行測試，列出了3種聚類算法及2種需要設定分割標簽數的典型圖像分割算法作為對比，分別有K-means[35]，HC(Hierarchical Clustering)[36-37]，GMM (Gaussian Mixture Model)[38]，Ostu[39]，Ncut multiscale[40]。

圖12展示了離線樣本圖像中人員區域的主要標記部分，分別對應于圖9 (a)～(d)。根據離線樣本數據庫的標記類型，將所有算法關于圖10(a)～(d)的聚類標簽數量分別設置為6，6，6和5(所有的背景標記部分視為一個聚類標簽)。圖13為人員區域的全局分割結果。

圖10 不同算法的二次分割結果對比Fig.10 Comparision of the secondary segmentation result of different algorithms

表1 不同算法分割性能比較Table 1 Comparison of segmentation performance of different algorithms

圖11 算法性能均值對比Fig.11 Comparison of the mean values about algorithm indicators

圖12 樣本圖像主要標記成分Fig.12 Main marker components in the sample images

圖13 人員圖像分割結果對比Fig. 13 Comparison of segmentation results of miner image

由圖13可知，K-means基本可將人員區域從背景中分離出來，但是一些背景超像素被錯誤聚集到人員區域中，直接降低了對人員區域的分割準確性。 HC對于圖13(b)的分割效果較其他圖像要好，但圖13(b)中存在個別人員圖像粒被錯誤聚類，使得人員區域沒有得到準確分割。GMM對于圖13(a)，(b)，(d)的分割效果較圖13(c)要好，但圖13(a)，(b)，(d)中仍有一部分人員圖像粒被視為背景錯誤分割。Ostu是一種基于像素灰度閾值的分割方法，對人員的分割效果較差，局部區域分割過度，另外，井下光照條件較差，像素灰度值隨機變化，使得人員的分割效果不清晰。Ncut-Multiscale側重于全局分割，在聚類標簽數量較少的情況下容易忽略細節，同時分割結果中人員目標不夠顯著，很難從背景中分辨出人員。HIGC直接對同質人員圖像粒進行聚類，在不受背景超像素干擾的情況下，將具有相同標簽的同質圖像粒逐個合并，分割效率較高，分割效果相對較好。

本節進一步對K-means，HC，GMM和HIGC四種算法的性能進行定量分析并比較其聚類精度，定義同質人員圖像粒的聚類精度Accuracy公式為

(21)

式中，Np為每個聚類標簽中的同質人員圖像粒數量;Nr為每個聚類標簽中的超像素總數。

圖14以折線圖形式呈現了4種算法的聚類精度，橫坐標為聚類標簽，縱坐標為每個聚類標簽下對應的同質人員圖像粒聚類精度。

圖14 同質人員圖像粒聚類精度對比Fig. 14 Comparison about clustering accuracy of homogenous image granules

如圖14所示，4幅圖中的聚類精度均在區間[0,1]內，但數據變化形式各不相同。圖14(a)中，K-means和HC的數值變化區間約為[0.08，0.80]，說明人員圖像粒與背景超像素并沒有完全分離。GMM和HIGC的變化范圍基本在[0，1]內，但HIGC的數據顯示出更好的極化特性，6個標簽中有4個等于1，1個接近1，剩余1個接近0。圖14(b)中，4種算法的數值變化范圍均在[0，1]內，說明所有算法均可以準確分離部分人員和背景，但HIGC呈現出最好的極化特征，6個標簽中有5個等于1，1個等于0，沒有中間過渡值。圖14(c)中，4種算法的數值變化范圍均在[0，1]，同理4種算法都可以將部分人員與背景準確分離，但對于HIGC而言，6個標簽中有3個等于1，2個接近1，1個接近0，極化特性比其他算法更明顯。圖14(d)中，K-means與HC的數值變化區間為[0，0.9]，GMM與HIGC的變化范圍在[0，1]。理想情況下，聚類的結果是只有1個標簽值為0，其余都為1，HIGC在5個標簽中有3個等于1，1個接近1，1個等于0，較其他3種算法要好。綜合分析圖14可看出，HIGC更符合理想狀態，其聚類效果優于其他3種算法。

5 結 論

(1)提出了一種基于超像素特征和同質圖像粒聚類的人員分割方法，該方法利用SLIC將人員圖像?；癁槌袼貕K并對欠分割人員超像素進行二次分割，通過計算欠分割人員超像素與其相鄰超像素之間的RGB顏色關系獲得精英人員超像素，精英人員超像素在其鄰域列表中搜索同質圖像顆粒進行聚類，形成同質人員區域，多個同質人員區域最終形成完整人員區域。

(2)就4幅人員圖像的二次分割測試而言，所提MDD-RGB算法的F-Measure值分別較對比算法的平均值高出2.11%，3.36%，13.16%，6.82%。針對4幅人員圖像中同質圖像粒的聚類精度分析，所提HIGC的精度分別達到99%，100%，94.4%和93.75%?？梢?，本文方法在對人員圖像的分割質量上具有較好的性能，這對基于計算機視覺的礦井圖像分析研究具有一定的參考價值。