基于多特征融合的防爆自動導引車避障方法研究

萬偉　劉子龍　孫帥　張瑩

摘? 要：為解決在工廠環境中防爆自動導引車（Automated Guided Vehicle，AGV）難以在不同光照條件下實現行人檢測的問題，本文提出將“結構光+雙目視覺相機”的圖像采集方案應用于爆炸性危險環境。針對傳統的基于RGB（代表紅、綠、藍三個通道的顏色）圖像的HOG-LBP（Histogram of Oriented Gradient-Local Binary Pattern）方法受光照影響較大且對特征利用率低的情況，設計了基于RGB-D（RGB-Depth）圖像的HOG-CLBP（Histogram of Oriented Gradient-Completed Local Binary Pattern）框架，并提出了一種改進的多特征融合方法，通過支持向量機分類實現實時行人目標檢測。實驗驗證該方法可以有效解決在不同光照條件下實現對行人目標的檢測，從而實現避障功能。

關鍵詞：雙目視覺;行人檢測;避障;特征融合

中圖分類號：TP29? ? ?文獻標識碼：A

Abstract： This paper proposes an approach to applying image acquisition with "structured light + binocular vision camera" to an explosively dangerous environment since it is difficult for explosion-proof Automatic Guided Vehicle （AGV） to detect pedestrians under different lighting conditions in factory environment. Traditional HOG-LBP （Histogram of Oriented Gradient-Local Binary Pattern） method based on RBG （red， blue， green） channels of images is greatly affected by illumination and has low utilization rate. Therefore， a HOG-CLBP （Histogram of Oriented Gradient-Completed Local Binary Pattern） framework based on RGB-D （RGB-Depth） images is designed， and an improved multi-feature fusion method is proposed to realize real-time pedestrian target detection through support vector machine classification. Experiments verify that this method can effectively solve the problems of pedestrian targets under different lighting conditions to achieve the obstacle avoidance function.

Keywords： binocular vision; pedestrian detection; obstacle avoidance; feature fusion

1? ?引言（Introduction）

防爆AGV是指依據GB3836系列國家標準[1]設計，經相關防爆檢驗檢測機構認證，可以應用于爆炸性危險環境的裝備有自動導引裝置的多功能移載運輸車。隨著2019年10月1日防爆電器正式被納入CCC（China Compulsory Certification）認證管理范圍，自2020年10月1日起，未取得3C證書和認證標志的防爆產品被禁止出廠、銷售、進口，或在其他經營活動中使用，因此防爆AGV具有極為廣闊的市場前景。

與通用型AGV結構相同，防爆AGV主要通過隔爆型、增安型和本質安全型等[2]防爆方式解決AGV小車的控制單元、驅動單元等部分的電氣防爆問題。由于應用環境的特殊性，通用型AGV常用的激光雷達等避障方案在爆炸性危險環境中較難解決防爆安全問題。由于AGV運行軌跡通常較為固定，且在爆炸性環境中對于物料堆放有著嚴格的規定，因此本文中需要躲避的障礙對象主要為出現在小車前進路線上的行人。本文設計了“結構光+雙目視覺相機”的圖像采集方案，通過HOD-CLBP框架實現行人檢測從而進行避障。

2? ?相關工作（Related work）

行人檢測就是通過圖像采集設備對工作環境進行視頻或圖片采集，對目標圖像中的行人與其他內容進行區分，簡單地說就是一種單一分類問題。本文的主要工作內容是對訓練集中的圖像分別提取HOG特征[3]和CLBP特征[4]，通過改進的特征融合算法對提取到的特征進行融合，再使用融合后的特征訓練分類器獲得分類模型。應用過程中，針對不同的光照條件，使用“結構光+雙目視覺相機”[5]對目標區域進行深度圖像采集，使用訓練好的分類器對行人目標進行檢測。

HOG特征假設一個對象可以根據其邊緣方向和大小來表征。此外，它考慮用圖像的小矩形區域來處理圖像，這使得算法不受光度或幾何變換的影響。但是單一HOG特征對圖像信息的描述不夠完整，對目標檢測的精度較低[6]。傳統的LBP特征只計算了相鄰像素與中心像素間的差值信息，而不計算像素的幅值信息，導致圖像部分紋理信息的缺失。本文通過CLBP特征對圖像的符號、幅值及中心灰度特征分別進行提取和融合，對圖像的紋理信息進行全面描述，大幅提升了圖像紋理信息的準確性。通過改進的特征融合算法融合提取到的特征值和特征向量，最后使用SVM（Support Vector Machines）分類器[7]對圖像進行分類。圖1為本文設計的方法實現流程。

3? ?算法與實現（Algorithm and implementation）

3.1? ?深度HOG特征

在特征提取步驟對數據集的深度圖像提取方向梯度直方圖特征即為HOG特征。

（1）圖像預處理與gamma歸一化。

（2）梯度計算。使用一維離散微分模板[-1，0，1]和[-1，0，1]T

計算水平方向和垂直方向的梯度值。通過式（1）和式（2）分別計算和方向的梯度、，對原始圖像進行卷積。

（3）梯度幅值和角度。使用上一步獲得的和，通過式（3）和式（4）計算梯度幅度和角度。

（4）直方圖計算。如圖2所示，輸入的圖像被分割為單元化的小矩形區域，其中每個單元由8×8個像素組成。然后計算每個單元的直方圖。直方圖通常定義為一個元素數組，其中每個元素表示數據集中一系列值的出現頻率。對于每個像素，計算九個區間的直方圖。將0°—180°的角度均分為20°的小區間。在單元格中，與每個像素對應的梯度值被添加到對應的區間中。

為了進一步提升精確度，通過雙線性插值將幅度離散化至每個區間。對于單元格中的每個像素，對其大小進行雙線性插值到其對應的區間和其最近的鄰域中。對每一格中的所有像素執行此操作，就得到一個單元格的直方圖。接下來再對圖片進行分塊，每一塊由2×2個單元格組成，每個塊與前一個塊重疊50%。因此，每個塊具有36維特征向量。

（5）歸一化。歸一化是影響檢測精度的關鍵步驟。本文中，使用L2-norm歸一化來進一步提高可靠性和精度。如式（5）所示，用表示歸一化特征向量;即為第k個塊的特征向量;?是一個常數，用來避免出現分母為零的情況。圖3為HOG算法提取的梯度特征。

3.2? ?CLBP特征

如圖4（a）和圖4（b）所示，將圖像中的某一像素記為，以其為中心的九宮格中的個相鄰像素記為，將與的差值記為，獲得的向量即表示像素處圖像的局部信息。

向量可以進一步表示為符號與幅值的乘積形式，將的符號與幅值分別記為、：

由前人實驗可以得知，圖像中像素的差值信息比幅值信息包含的有效數據更多，CLBP特征將幅值和差值信息進行了有效的融合，并且利用了中心像素的信息，進一步表述圖像的紋理特征。

將CLBP特征的符號信息、幅值信息及中心像素灰度三個算子分別設為CLBP_S、CLBP_M、CLBP_C。其中，CLBP_S與傳統的LBP特征一樣，可以表示為：

圖5為圖像的CLBP特征提取結果圖。在本文中，通過聯合的方式建立這三種算子的聯合直方圖，用以完整表述圖像的紋理信息，并在后續的特征融合階段與HOG特征融合后形成特征模型，用以訓練分類器。

3.3? ?特征融合

通過對經典的線性判別分析（Linear Discriminant Analysis）理論[8]的深入研究，采用特征權重組合的算法對提取到的特征進行融合，在實驗中對算法權重系數進行優化以改進識別效果。

以、分別表示同類樣本相似性的均值和對應的差平方;代表和樣本的特征相似度，其中和均來自容量為的行人樣本，即可得到如下公式：

同理，用、分別表示行人樣本和其他類型樣本相似性的均值和對應的差平方，則權重系數可以表示為：

將前面提取到的HOG特征與CLBP特征匹配其對應的權重系數，再對特征進行融合，用融合后的特征向量訓練分類器實現行人的分類。

4? ?實驗與分析（Experiment and analysis）

實驗環境為Intel Core i7-8750H、GPU版本1050Ti、4GB內存，實驗環境系統為Ubuntu16.04、Python3.7、Opencv3.3.1[9]。由于實際條件，文中使用CVC-02-Classification數據集對分類器進行訓練和測試。該數據集主要為行人數據，訓練集和測試集的正負樣本情況如表1所示，并且該數據集提供RGB圖像和對應的深度圖。

本文中設計的算法實現過程如下：

（1）使用CVC-02-Classification數據集提供的訓練圖片進行HOG特征和CLBP特征的提取。

（2）通過改進的特征融合算法對提取的特征進行融合，并對SVM分類器進行訓練獲取模型。

（3）使用CVC-02-Classification數據集提供的測試圖片進行測試，并根據測試數據計算特征權重獲取新的特征向量。

（4）將新的特征向量輸入SVM分類器中獲得完整的行人檢測算法。

實驗中，為了驗證算法在深度圖目標識別中的優越性，我們在數據集提供的深度圖與RBG圖上分別進行實驗，并與傳統HOG-LBP算法進行對比[10]。我們在訓練集上分別進行HOG和CLBP特征融合，將融合后的特征用于訓練SVM分類器，以確定權重向量和偏差。實驗數據如表2所示。實驗結果表明，該方法識別準確率達到92.29%。

由圖6（a）和圖6（b）對比實驗結果可以看出，在RGB圖中右側的兒童，由于距離過遠圖像提供的特征不足，且由于衣服和路面顏色接近、灰度值接近，導致漏檢。圖6（c）和圖6（d）中左下角穿白色衣服的行人由于姿態及在圖像中比例較小而被漏檢。在兩組對比實驗的深度圖實驗結果中均檢測到目標。

通過分析漏檢的測試圖片發現，多數漏檢情況如圖7所示，圖片中行人軀干大部分被其他已檢測出的行人遮擋，或者前景已經識別出行人，背景中的目標被漏檢。根據本文的實際應用背景，當前景中識別出目標，AGV小車即會采取制動措施躲避目標，如圖7所示的情況不會對背景中的行人造成危險。而對比實驗結果也可以看出，用深度特征訓練的分類器的漏檢情況明顯優于在RGB圖上的實驗情況。

5? ?結論（Conclusion）

本文提出了用“結構光+雙目視覺相機”來解決爆炸性危險環境中AGV小車避障過程中的行人檢測問題。在實際應用中，可根據不同光照情況，分別通過結構光或雙目相機系統采集目標的深度圖。基于深度圖的改進HOG+CLBP特征融合的行人檢測方法在Intel Core i7-8750H、Python3.7、Opencv3.3.1實驗環境下取得較好的實驗效果。實驗證實，算法實時性與準確性可以基本滿足爆炸性危險環境下AGV小車對于實時行人檢測的需求。本文中使用的CVC數據集均為站立狀態下的行人，與實際工作環境下可能存在不同工作姿態的工人有一定差異，后續將對不同姿態下行人目標的檢測進行研究，進一步提升該方法的可靠性與實用性。

參考文獻（References）

[1] GB 3836.1—2010 爆炸性環境 第1部分：設備通用要求[S].北京：中國標準出版社，2011.

[2] Emil Pop， Gabriel-Ioan Ilcea， Ionut-Alin Popa. Distance Control and Positive Security for Intrinsic Equipment Working in Explosive Potential Atmospheres[J].Engineering， 2018，10（3）：75-84.

[3] Xiong Zhang， Shangguan， H.， Ning， A.， et al. Pedestrian Detection with EDGE Features of Color Image and HOG on Depth Images[J]. Automatic Control and Computer Sciences， 2020（54）：168-178.

[4] 滿忠昂，劉紀敏，孫宗錕.基于局部二值模式與深度置信網絡的人臉識別[J].軟件工程，2020，23（05）：13-16;12.

[5] Qian Zhang， Guoqin Gao， Mengru Liu. Pose detection of parallel robot based on improved Hough-K-means and SURF algorithms[J]. The Journal of Engineering， 2019（22）：24-29.

[6] 王志寬.改進的量子模型與灰色理論相結合圖像融合算法的研究[D].天津：天津工業大學，2018.

[7] Redouan Lahmyed， Mohamed El Ansari， Ayoub Ellahyani. A new thermal infrared and visible spectrum images-based pedestrian detection system[J]. Multimedia Tools and Applications， 2019， 78（12）：61-85.

[8] Hu Wei， Shen Weining， Zhou Hua. Matrix Linear Discriminant Analysis[J]. Technometrics， 2020， 62（2）：196-205.

[9] 孫思瑞，陶月松，陳彬，等.基于Opencv的雙目視覺智能防撞系統[J].自動化技術與應用，2020，39（05）：11-14.

[10] 程海鷹，王鳳隨，朱樹明.基于HOG-LBP特征和SVM分類器的視頻摘要方法[J].四川理工學院學報（自然科學版），2018，31（04）：43-48.

作者簡介：

萬? 偉（1993-），男，碩士生.研究領域：機器視覺，機器人控制.

劉子龍（1972-），男，博士，副教授.研究領域：控制科學與控制理論，機器人控制.

孫? ?帥（1993-），男，碩士生.研究領域：非接觸型監測，機器學習.

張? ?瑩（1993-），女，碩士生.研究領域：機器人控制，神經網絡.