基于雙目視覺和約束條件的行人目標定位

楊志光 張永林 謝經(jīng)明 陳幼平

1.武漢輕工大學，武漢，4300232.華中科技大學國家數(shù)控技術工程研究中心，武漢，430074

?

基于雙目視覺和約束條件的行人目標定位

楊志光1張永林1謝經(jīng)明2陳幼平2

1.武漢輕工大學，武漢，4300232.華中科技大學國家數(shù)控技術工程研究中心，武漢，430074

針對行人檢測中計算量大、訓練分類器耗時和無法滿足實時性要求等問題，提出了一種基于雙目視覺的行人目標定位方法。該方法利用圖像處理技術獲取候選輪廓，將輪廓的幾何特征作為約束條件來篩選候選輪廓;利用雙目視覺獲取輪廓的深度信息后，將深度信息作為約束條件對候選輪廓進行進一步篩選。通過深度信息和幾何信息的共同約束，識別出行人的頭部輪廓，從而實現(xiàn)對行人目標的定位。實驗結果表明，該方法減小了計算量，提高了檢測精度。

雙目視覺；圖像處理；行人檢測；目標定位

0 引言

機器視覺利用攝像機代替人眼對物體進行檢測、跟蹤和識別[1]。當前，獲取實時客流量對地鐵部門提高工作效率有著重要的現(xiàn)實意義[2]。因此，筆者將機器視覺運用于客流量統(tǒng)計系統(tǒng)，提出一種基于雙目視覺的目標定位方法，實現(xiàn)對行人的檢測。

傳統(tǒng)行人檢測技術易受到行人姿態(tài)、光照、背景、陰影、遮擋等因素的影響[3]，使得行人檢測成為機器視覺領域的難點。目前，行人檢測方法一般分為外觀特征提取和分類器學習兩種。外觀特征提取算法又可分為標量特征運算和矢量特征運算。其中，標量特征運算的速度快、實時性好，但易受外部光線因素的影響，魯棒性較差[4]；矢量特征運算主要考慮特征的梯度向量，魯棒性較好，但計算量大，難以滿足系統(tǒng)實時性的要求。常用的分類學習方法有支持向量機[5]、神經(jīng)網(wǎng)絡[6]和自適應增強算法[7]?；诜诸悓W習的檢測方法具有較好的魯棒性，正確率也較高，但分類器的訓練比較耗時，且算法復雜度較高，難以滿足實時監(jiān)控的需求。

本方法的實際應用環(huán)境——地鐵站的光照條件穩(wěn)定，故以標量特征運算為基礎，提出一種基于雙目視覺的行人定位方法。通過雙目視覺系統(tǒng)來獲取物體相對于攝像機的深度信息，利用深度信息排除低于指定高度的目標，如行李箱、手提袋、寵物等,并增加一個目標輪廓幾何約束，來排除輪廓較小或者較大的目標輪廓。上述兩個約束的篩選提高了系統(tǒng)對行人目標的辨識率。故本方法在提高標量特征運算魯棒性的同時，又保證了系統(tǒng)的實時性。

1 算法流程

1.1 圖像的獲取與技術流程圖

筆者利用2個CCD相機(采取相互平行的拍攝方式)來實現(xiàn)圖像和視頻的采集。目標識別的技術流程如圖1所示。

圖1 技術流程圖

1.2 攝像機的標定

攝像機標定過程涉及4個坐標系：世界坐標系、攝像機坐標系、圖像物理坐標系和圖像像素坐標系[8]，它們之間的位置關系如圖2所示。

圖2 坐標系之間的關系

(1)圖像像素坐標系O0UV。該坐標系以圖像左上角O0為原點，某個像素的坐標(u，v)為該像素在圖像上所對應的列數(shù)與行數(shù)，坐標軸的單位為像素。

(2)圖像物理坐標系O1XY。將攝像機光軸與攝像機成像平面的交點作為原點O1(圖像像素坐標系的中心位置)，坐標軸的單位為mm。圖像物理坐標系主要用來描述點在圖像中的物理位置。

(3)攝像機坐標系OcXcYcZc。將攝像機的光心Oc作為原點，攝像機的光軸作為Zc軸，平面OcXcYc與攝像機成像平面平行，坐標軸的單位為mm。攝像機光心到成像平面的距離稱為攝像機的焦距f，f=OcO1。

(4)世界坐標系OwXwYwZw。世界坐標系用來描述物體的具體位置，可以根據(jù)實際要求，設定世界坐標系的原點與方向，坐標軸的單位為mm。

略去詳細的數(shù)學推導，圖像像素坐標系與世界坐標系之間的轉換關系可表示為

(1)

fx=f/dxfy=f/dy0T=[0 0 0]

其中，單位像素的尺寸(mm×mm)為dx×dy，O1在圖像像素坐標系中的坐標為(u0，v0)。R和T由攝像機坐標系和世界坐標系的相對位置關系決定，R為3×3的正交旋轉矩陣，T為3×1的平移向量。根據(jù)三角測量原理，Zc可通過計算兩幅圖像的視差得到。fx、fy、u0、v0均只與攝像機的內(nèi)部結構有關，稱為內(nèi)部參數(shù)。R和T由攝像機坐標系和世界坐標系的相對位置關系決定，稱為外部參數(shù)。

1.3 幾何信息約束的特征提取

本文以行人為研究對象，通過圖像處理，提取行人的外部輪廓，將原來復雜的圖像簡化成便于識別的特征信息，并利用約束條件，對圖像中的輪廓進行分類、識別和處理。

1.3.1 運動物體目標提取

本文采用運動物體目標檢測算法來識別行走中的行人。最常見的運動目標檢測算法有光流法、幀差法、背景減法。背景減法的主要思想是建立一個背景模型，將視頻中的每幀圖像減去背景模型，得到該幀圖像與背景模型之間的差異，即找出運動的目標[9]。該算法對背景的穩(wěn)定性要求較高，但算法的復雜性相對較低。程序的工作場景為地鐵站，地鐵站內(nèi)的照明條件良好，背景模型的穩(wěn)定性較高。故本文采取背景減法來檢測運動目標，降低算法的復雜度，縮短算法的計算時間。

本文將運動物體目標提取分為以下幾個步驟：

(1)根據(jù)算法建立背景模型。由于場景并非靜止不變，故將背景模型按照一定的速率進行更新，利用高斯濾波處理背景，提高背景模型的魯棒性[10]。

(2)讀取視頻中的一幀圖像，通過對圖像進行處理，減弱噪聲對圖像的影響。

(3)將當前幀的圖像減去背景模型，得到只含有運動目標的圖像，并對其進行二值化處理。

(4)為了減小二值化處理后噪聲的干擾，再次利用圖像處理來優(yōu)化圖像。

1.3.2 幾何信息約束的圖像特征提取

本研究中先采取形態(tài)學操作來處理圖像，再用矩形來標記圖像中的每個輪廓，最后利用幾何約束來篩選矩形所代表的輪廓。

形態(tài)學運算的基本思想是用具有一定形態(tài)的結構元素找到圖像中的對應形狀，以達到圖像分割識別的目的，其基本操作有膨脹、腐蝕、開啟和關閉。在人群擁擠的情況下，若直接對每個行人進行輪廓提取，則當兩個人挨在一起時，系統(tǒng)會誤將兩人認作一人，從而降低算法的精確度[6]。本文通過形態(tài)學處理，簡化每個目標的基本形狀，提高算法精度。

用于標記的矩形為圖像中輪廓的外接矩形，本文通過外接矩形的參數(shù)來描述每個輪廓的相關信息。輪廓的相關信息包括輪廓的相對位置坐標和輪廓的相對大小。本文設置幾何信息約束，利用幾何信息約束對目標進行篩選，將處于規(guī)定面積范圍內(nèi)的輪廓信息提取出來。目標特征提取的流程分為以下幾個步驟：

(1)對圖像進行形態(tài)學操作，通過形態(tài)學操作來填補待測目標上的空洞，讓待測目標變得更加完整。

(2)對圖像進行形態(tài)學腐蝕操作，通過腐蝕操作減小待測目標之間發(fā)生干涉的可能性。

(3)用外接矩形依次標記圖像中的輪廓曲線，記錄外接矩形的相關參數(shù)。

(4)利用設置閾值來篩選外接矩形的大小，進而判斷該輪廓曲線是否為行人的頭部輪廓曲線。

1.4 立體匹配

立體匹配是指在不同攝像機所采集的素材中找到同一目標所對應的特征點。在對圖像特征點進行匹配時，需要添加約束準則，一般采用的約束準則有：極線約束、唯一性約束、相似性約束、順序性約束。

由于實際場景中的待匹配輪廓不多，故本文采用順序性約束。左側攝像機拍攝的圖像稱為左圖像，右側攝像機拍攝的圖像稱為右圖像。順序性約束采取的準則：用數(shù)字依次標記左右圖像中的每個外接矩形框，標記的順序遵循從上到下、從左到右的規(guī)律，左右圖像中標記數(shù)字相同的特征點被認為是來自同一目標。

1.5 深度信息約束

實際應用場景存在許多除行人以外的物體，如手提袋、行李箱、嬰兒車等，這些物體會對系統(tǒng)的精確度造成影響。由于這些物體與行人頭部存在高度上的差別，故本文利用雙目視覺系統(tǒng)來計算圖像中每個輪廓的深度信息，通過深度信息對圖像中的輪廓進行篩選，提取處于某一高度范圍內(nèi)的目標輪廓。

通過立體匹配，我們可以得到同一目標在左右相機中的位置坐標，將該坐標代入式(1)進行計算，即可獲取目標相對于相機安裝位置的深度信息。再用相機安裝位置的高度減去該目標的深度信息，得到該目標的實際高度。設置深度信息約束，利用深度信息約束對目標高度進行篩選，將處于規(guī)定高度范圍內(nèi)的輪廓信息視為行人的頭部輪廓。

2 實驗數(shù)據(jù)及分析

本文實驗采用微視公司的MSS2 CCD攝像頭(2個)，通過相機拍攝圖像的方式模擬從視頻幀中獲取某幀圖像，以對算法進行初步的驗證，最后用實時采集視頻的方式來驗證算法的穩(wěn)定性。

本文利用張友正標定法[10]，選用棋盤平面靶標，該標定板的參數(shù)如下：每個格子的規(guī)格為15 mm×15 mm。在MATLAB中利用TOOLBOX_calib標定工具箱實現(xiàn)相機的標定。左相機的內(nèi)參數(shù)矩陣為

右相機的內(nèi)參數(shù)矩陣為

對比左右相機的內(nèi)參數(shù)矩陣可以看出，左右相機的焦距近似相等。實驗圖像的分辨率(單位為像素)為1280×1024，相機的主點坐標(光心坐標)的理論值(單位為像素)應為(640，512)，左右相機的主點坐標的誤差約為30像素。

以下為標定相機所得外參數(shù)，其中，旋轉矩陣為

平移矩陣為

[-82.34 -1.01 -2.90]T

由于采取的拍攝方式為兩相機平行拍攝，故外參數(shù)的旋轉矩陣理論值為3階單位矩陣，從標定結果上看，該旋轉矩陣近似等于3階單位矩陣。平移矩陣中第一個參數(shù)應為兩相機的安裝距離，另外兩個參數(shù)應為0，即外參數(shù)的理論平移矩陣為[x0 0]T。從標定結果上看，平移矩陣同樣接近理論值，故相機標定的實驗結果較為理想。

為了測試算法的性能，在VS2010平臺下進行了算法的測試。圖3所示為背景模型，圖4為實時采集的圖像。

圖3 背景模型 圖4 實時采集圖像

由圖5可以看出，通過背景減法可以提取出場景中的目標。由于本文旨在提取行人頭部的輪廓，故通過提高相機的曝光量來減小外界光線對圖像產(chǎn)生的影響。從圖6可以看出，形態(tài)學處理后，圖5中的空洞填滿了，并且圖像中的輪廓更加平滑，減小了輪廓之間發(fā)生干涉的可能性。圖7所示為利用canny算子提取的目標輪廓，通過輪廓的外接矩形來標記每一個輪廓，并用外接矩形的參數(shù)來描述目標輪廓的相關信息。外接矩形的參數(shù)如表1所示。由表1可以看出，輪廓2的矩形框面積遠大于其他輪廓。從圖8可以看出，通過幾何約束的篩選，本方法可以將不符合幾何信息約束條件的輪廓2排除。

圖5 背景減法處理結果 圖6 形態(tài)學處理結果

圖7 提取輪廓邊界結果 圖8 幾何約束篩選結果

輪廓矩形框中心坐標(像素，像素)矩形框面積(像素2)1(171，113．5)99002(382．5，157)207483(466．5，116．5)136734(409．5，412)13462

通過立體匹配，我們可以若判斷出同一目標在左右圖像中的坐標，將2個坐標代入式(1)進行計算，獲得目標在世界坐標系下的相對位置坐標，通過世界坐標即可獲取該目標的深度信息，如表2所示。

表2 計算世界坐標系下相關參數(shù)

筆者將世界坐標系的原點設在左相機的光心處。世界坐標系的坐標軸方向與相機坐標系的坐標軸方向一致，通過計算目標在世界坐標系下的坐標，獲取目標相對于左相機安裝位置的位置信息。相機的安裝高度約是2300 mm，減去3個行人頭部世界坐標的Z軸坐標516.8 mm、503.6 mm和582.4 mm，計算出參與測試人員的身高為1783.2 mm、1796.4 mm和1717.6 mm。測試人的實際身高約為1.78 m、1.81 m和1.70 m，故本方法可以較準確地獲取目標的深度信息。實驗欲提取位于高度為1.75～1.85 m的輪廓信息，故將深度信息約束的范圍設置為450～550 mm。從圖9可以看出，通過深度信息的篩選，本方法可以將不符合深度信息約束條件的輪廓4排除。

圖9 深度信息篩選結果

為了檢測本方法的穩(wěn)定性，在實驗室內(nèi)對算法進行了測試，實時采集視頻，模板檢測法與本文檢測方法的檢測結果如表3所示。

表3 兩種方法比較結果

3 結語

本文利用2個相機同時觀測物體時存在視差的原理來得到物體的深度信息，通過深度信息和幾何特征信息的共同約束將行人頭部輪廓從圖像中識別出來。通過對比實驗可以看出，本方法比模板檢測法更省時，滿足了實時檢測的要求。但該方法對只有部分身體位于相機視場下的行人還存在一定的誤報。因此，在后續(xù)的研究中，將著重測試該方法在實際場合下的有效性，使其更加貼近實際應用。

[1] 關勝曉.機器視覺及其應用發(fā)展[J].新型儀器與智能儀表，2005(9):88-92. Guan Shengxiao.Machine Vision and Its Application[J]. New Type of Instrument and Intelligent Instrument,2005(9):88-92.

[2] 劉潤莉.地鐵運營客流量計算模型研究[D].成都：電子科技大學，2012.

[3] 顧德軍，伍鐵軍.一種基于人頭特征的人數(shù)統(tǒng)計方法研究[J].機器制造與自動化，2010，39(4)：134-138. Gu Dejun, Wu Tiejun. Research of Statistical Method Based on the Number of Head Features[J]. Machine Building & Automation, 2010，39(4)：134-138.

[4] 顧騁，錢惟賢，陳錢，等.基于雙目立體視覺的快速人頭檢測方法[J].中國激光,2014，42 (1)：1-6. Gu Cheng, Qian Weixian, Chen Qian, et al. Rapid Head Detection Method Based on Binocular Stereo Vision[J]. Chinese Journal of Lasers, 2014，42 (1)：1-6.

[5] 陳雙玉，王海輝，吳云韜，等.基于雙目立體視覺和SVM算法行人檢測方法[J].華中科技大學學報，2015，43(增刊1)：140-143. Chen Shuangyu,Wang Haihui,Wu Yuntao,et al. Approach of Pedestrian Detection Based on Binoc-ular Stereo Vision and SVM Algorithm[J]. Journal of Huazhong University of Science and Technology,2015，43(S1)：140-143.

[6] Zhao L, Thorpe C E. Stereo and Neural Network-based Pedestrian Detection [J]. IEEE Transactions on Intelligent Transportation Systems, 2000, 1(3): 148-154.

[7] 楊英，劉衛(wèi)國，鐘令，等.基于AdaBoost行人檢測優(yōu)化算法的研究[J].機電工程，2014，31(10)：1347-1351. Yang Ying,Liu Weiguo,Zhong Ling,et al. Based on AdaBoost Pedestrian Detection Research of Optimization Algorithm[J]. Mechanicaland Electrical Engineering,2014，31(10)：1347-1351.

[8] 李鵬，王軍寧.攝像機標定方法綜述[J].山西電子技術，2007(4)：78-79. Li Peng,Wang Junning. Overview of Camera Calibration Methods[J].Shanxi Electronic Technology，2007(4)：78-79.

[9] 王奎奎，玉振明.融合背景減法和幀差法的運動目標檢測[J]. 視頻應用與工程，2015,39(24)：94-99. Wang Kuikui,Yu Zhenming. Moving Object Detection Combining Background Subtraction and Frame Difference[J].Video Application & Project, 2015,39(24)：94-99.

[10] Zhang Zhenyou, Deriche R，F(xiàn)augeras O. A Robust Technique for Matching Two Uncalibrated Images through the Recovery of the Unknown Epipolar Geometry[J].Artificial Intelligence，1995,78(1/2):87-119.

(編輯 張 洋)

Target Positioning of Pedestrian Based on Binocular Vision and Constraints

Yang Zhiguang1Zhang Yonglin1Xie Jingming2Chen Youping2

1.Wuhan Polytechnic University，Wuhan，430023 2.National NC System Engineering Research Center， Huazhong University of Science and Technology，Wuhan，430074

When confronting the problems in pedestrian detection such as large amount of calculation, time-consuming of classifier training and unfulfilled real-time requirements, a pedestrian detection method was proposed based on binocular vision. In this method, a lot of candidate contours might be obtained by processing image, and the geometrical characteristics of contours were used as a constraint to filter candidate contours. In the meantime, binocular camera might be used to get depth informations of the candidate contours, and the depth informations were used as a constraint to filter the candidate contours. By the constraints of depth informations and geometrical informations, contours of pedestrians’ heads might be identified and the pedestrians’ localization might get. The experimental results show that the method reduces the amount of calculation, and enhances the detection accuracy.

binocular vision; image processing; pedestrian detection; target positioning

2016-07-29

湖北省科技計劃資助項目(2014BEC056)

TP216

10.3969/j.issn.1004-132X.2016.23.009

楊志光,男, 1991 年生。武漢輕工大學機械工程學院碩士研究生。主要研究方向為機器視覺。張永林,男, 1962 年生。武漢輕工大學機械工程學院教授、博士研究生導師。謝經(jīng)明,男, 1965 年生。華中科技大學機械科學與工程學院副教授。陳幼平,男, 1957年生。華中科技大學機械科學與工程學院教授、博士研究生導師。