基于雙目視覺的機(jī)器人運(yùn)動(dòng)目標(biāo)檢測與定位*

崔寶俠， 欒婷婷， 張　馳， 段　勇

(沈陽工業(yè)大學(xué) 信息科學(xué)與工程學(xué)院， 沈陽 110870)

?

基于雙目視覺的機(jī)器人運(yùn)動(dòng)目標(biāo)檢測與定位*

崔寶俠， 欒婷婷， 張馳， 段勇

(沈陽工業(yè)大學(xué) 信息科學(xué)與工程學(xué)院， 沈陽 110870)

針對(duì)移動(dòng)機(jī)器人自定位精度低的問題，提出了先由靜止的工作機(jī)器人進(jìn)行自定位，再對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行檢測和定位的方法.基于HSV模型顏色特征，工作機(jī)器人分割出人工路標(biāo)并進(jìn)行自定位，利用幀間差分法將采集到的視頻圖像序列中相鄰兩幀作差分運(yùn)算，提取出運(yùn)動(dòng)目標(biāo)，并通過雙目立體視覺視差原理計(jì)算出運(yùn)動(dòng)目標(biāo)的絕對(duì)坐標(biāo)，幫助運(yùn)動(dòng)目標(biāo)完成定位.結(jié)果表明，該方法定位精度高于傳統(tǒng)的移動(dòng)機(jī)器人自定位的定位精度，且算法的實(shí)時(shí)性好，具有現(xiàn)實(shí)的研究意義.

雙目視覺； 移動(dòng)機(jī)器人； 幀間差分法； 運(yùn)動(dòng)目標(biāo)； 人工路標(biāo)； HSV模型； 閾值分割； 定位

雙目立體視覺采用的是類似于人的左右眼識(shí)別、理解外界的方式，利用左右兩部并行排列的CCD鏡頭分別獲取外界圖像，對(duì)兩幅圖進(jìn)行處理以獲得外界的3D信息[1].雙目立體視覺是計(jì)算機(jī)視覺研究中的一個(gè)重要分支，能直接模仿人類雙眼處理客觀場景[2]，可以代替人類在危險(xiǎn)系數(shù)較高的場合(如重度污染區(qū)、核輻射區(qū)以及有炸彈包裹的大樓等)工作[3].

定位是其執(zhí)行其他任務(wù)的前提和基礎(chǔ)，也是評(píng)價(jià)機(jī)器人性能的關(guān)鍵指標(biāo)之一[4].目前的雙目視覺移動(dòng)機(jī)器人在定位過程中，一般都是采用移動(dòng)機(jī)器人用雙目攝像機(jī)直接采集路標(biāo)完成自定位的方法，這種方法簡單高效，但是具有一定的缺陷，即雙目視覺傳感器可能由于過快或不平穩(wěn)的運(yùn)動(dòng)使得采集路標(biāo)的圖像模糊不準(zhǔn)確，導(dǎo)致自定位誤差較大，而且移動(dòng)機(jī)器人可能運(yùn)動(dòng)到陰暗或難以采集路標(biāo)的位置，會(huì)出現(xiàn)無法采集到路標(biāo)的情況.

針對(duì)以上缺陷，文中提出了一種新的定位方法，即由另一個(gè)機(jī)器人代替移動(dòng)機(jī)器人完成定位，負(fù)責(zé)定位工作的機(jī)器人可以在能夠檢測到路標(biāo)和移動(dòng)機(jī)器人的位置保持靜止?fàn)顟B(tài)，利用傳感器完成自定位，再為移動(dòng)機(jī)器人進(jìn)行定位并實(shí)時(shí)為其傳達(dá)位置信息.

工作機(jī)器人整體的定位流程如圖1所示，工作機(jī)器人首先采集帶有移動(dòng)機(jī)器人與人工路標(biāo)的視頻，然后對(duì)視頻進(jìn)行兩方面的處理：一方面是分割提取人工路標(biāo)并找到其質(zhì)心，根據(jù)視差原理求出工作機(jī)器人與人工路標(biāo)質(zhì)心的相對(duì)位置，在實(shí)驗(yàn)環(huán)境中已知人工路標(biāo)的質(zhì)心坐標(biāo)，這樣就能求出工作機(jī)器人的絕對(duì)坐標(biāo)，從而完成其自定位；另一方面工作機(jī)器人通過對(duì)視頻圖像的處理提取出運(yùn)動(dòng)目標(biāo)，也根據(jù)視差原理得到工作機(jī)器人與移動(dòng)機(jī)器人的相對(duì)位置，由于工作機(jī)器人的絕對(duì)坐標(biāo)已經(jīng)得到，因此可以計(jì)算出移動(dòng)機(jī)器人的絕對(duì)坐標(biāo)，即完成了工作機(jī)器人自定位及對(duì)運(yùn)動(dòng)目標(biāo)檢測與定位的任務(wù).

圖1　工作機(jī)器人整體定位流程圖Fig.1　Flow chart of total positioning of work robot

本文分別介紹人工路標(biāo)與運(yùn)動(dòng)目標(biāo)的檢測方法，并通過實(shí)驗(yàn)比較了工作機(jī)器人幫助移動(dòng)機(jī)器人自定位法與傳統(tǒng)移動(dòng)機(jī)器人自定位法的優(yōu)劣.

1　目標(biāo)檢測

1.1人工路標(biāo)檢測

1.1.1HSV顏色模型

RGB色彩空間是一種常見的顏色表示法，通常攝像機(jī)拍攝到的圖像都是基于RGB模型，但RGB色彩空間與人眼的感知差異大，其空間的相似不代表實(shí)際顏色的相似[5].為了符合人的視覺特征，同時(shí)也由于從RGB到HSV的轉(zhuǎn)換是一個(gè)簡單且快速的非線性變換[6]，本文采用HSV色彩空間顏色模型，如圖2a所示.在HSV色彩空間顏色模型中，H和S是色度信息，且獨(dú)立于亮度信息V，這是HSV模型的一個(gè)重要優(yōu)點(diǎn)[7].色調(diào)(H)代表顏色信息，取值范圍為0～360°，對(duì)其設(shè)定閾值可以區(qū)分不同顏色的路標(biāo)；飽和度(S)表示顏色的深淺，取值范圍為0～1，S越大，顏色越深；亮度(V)表示顏色的明暗程度，取值范圍為0～1，V越大，物體亮度越高.將HSV圓柱模型展開成如圖2b所示平面模型，色彩從左至右代表模型中H分量沿逆時(shí)針方向從0°變化到360°，從下至上代表飽和度S由中心向圓周漸變，最右側(cè)灰度圖代表亮度V.

圖2　HSV模型示意圖Fig.2　Schematic HSV model

1.1.2基于顏色特征提取人工路標(biāo)

本文設(shè)計(jì)的人工路標(biāo)是由紅、藍(lán)、黃三種顏色組成的矩形紙板.圖3a所示為左目攝像機(jī)拍攝到的機(jī)器人所處環(huán)境示意圖；利用HSV顏色模型對(duì)H、S、V三分量進(jìn)行閾值的設(shè)置即可將人工路標(biāo)提取出來(如圖3b所示)，但效果不理想，人工路標(biāo)內(nèi)部有細(xì)小的空洞；而利用相關(guān)運(yùn)算對(duì)其進(jìn)行圖像處理后，人工路標(biāo)內(nèi)部細(xì)小的空洞被填平，提取效果較好，如圖3c所示.

1.2運(yùn)動(dòng)目標(biāo)檢測

1.2.1幀間差分法

幀間差分法[8]是通過對(duì)視頻圖像序列中相鄰兩幀作差分運(yùn)算來獲得運(yùn)動(dòng)目標(biāo)輪廓信息，即

(1)

對(duì)差分結(jié)果閾值判斷可以采用式(2)，即

圖3　人工路標(biāo)分割提取結(jié)果示意圖Fig.3　Schematic segmentation and extraction results of artificial landmark

(2)

大于閾值的判斷為前景，小于閾值的則判斷為背景，從而突出運(yùn)動(dòng)區(qū)域，確定運(yùn)動(dòng)目標(biāo).幀間差分法的優(yōu)點(diǎn)是算法實(shí)現(xiàn)簡單，對(duì)光線等場景變化不太敏感，穩(wěn)定性好.

1.2.2檢測結(jié)果

移動(dòng)機(jī)器人水平向右運(yùn)動(dòng)，圖4a、b分別為運(yùn)動(dòng)過程中雙目攝像機(jī)左目采集到的第2幀和第3幀視頻圖像，圖4c為利用幀間差分法檢測到的運(yùn)動(dòng)目標(biāo)示意圖.檢測結(jié)果顯示，幀間差分法能夠?qū)⑦\(yùn)動(dòng)目標(biāo)的輪廓提取出來.

圖4　采用幀間差分法檢測運(yùn)動(dòng)目標(biāo)Fig.4　Detection of moving object with frame differential method

2　自定位與運(yùn)動(dòng)目標(biāo)定位

2.1雙目立體視覺原理

利用兩臺(tái)攝像機(jī)從兩個(gè)視點(diǎn)觀察同一景物，以獲取在不同視角下的感知圖像，通過計(jì)算空間點(diǎn)在兩幅圖像中的視差來獲取目標(biāo)物體的三維坐標(biāo)，該原理即是視差測距原理[9].空間點(diǎn)在雙目攝像機(jī)中的成像示意圖如圖5所示.

2.2工作機(jī)器人自定位

首先，基于HSV顏色特征對(duì)采集到的左右兩幅圖像中的人工路標(biāo)進(jìn)行閾值分割，其次，計(jì)算左右兩幅圖像中人工路標(biāo)的中心點(diǎn)坐標(biāo)，將其作為一對(duì)匹配點(diǎn)，利用雙目視覺視差原理計(jì)算人工路標(biāo)在攝像機(jī)坐標(biāo)系下的三維坐標(biāo)，由于人工路標(biāo)是人為設(shè)置的，其在坐標(biāo)系下的絕對(duì)坐標(biāo)已知，由此可以得到攝像機(jī)坐標(biāo)系與環(huán)境坐標(biāo)系的轉(zhuǎn)換關(guān)系.利用此關(guān)系可以計(jì)算出工作機(jī)器人的絕對(duì)坐標(biāo)，從而完成工作機(jī)器人自定位.

圖5　空間點(diǎn)在雙目攝像機(jī)中成像示意圖Fig.5　Schematic imaging of space point in binocular camera

2.3運(yùn)動(dòng)目標(biāo)定位

目前，視頻運(yùn)動(dòng)目標(biāo)定位方法主要有基于區(qū)域生長法、水平垂直投影法以及基于模式分類法[10].基于投影定位方法思路簡單，易于實(shí)現(xiàn)，精確度高，本文采用基于投影的運(yùn)動(dòng)目標(biāo)定位方法.將運(yùn)動(dòng)目標(biāo)的像素值設(shè)為255，其余所有點(diǎn)的像素值設(shè)為0，通過對(duì)含有運(yùn)動(dòng)目標(biāo)的二值圖像進(jìn)行逐行以及逐列掃描，可以得到運(yùn)動(dòng)前景對(duì)應(yīng)的像素點(diǎn)在水平方向以及垂直方向的具體分布情況及坐標(biāo)值.

通過逐行掃描可以得到運(yùn)動(dòng)目標(biāo)對(duì)應(yīng)像素的最小行號(hào)rmin和最大行號(hào)rmax，同理通過逐列掃描可以得到運(yùn)動(dòng)目標(biāo)對(duì)應(yīng)像素的最小列號(hào)cmin和最大行號(hào)cmax，由此可以得到矩形框的兩個(gè)對(duì)角點(diǎn)(cmin，rmin)和(cmax，rmax)，矩形的中心點(diǎn)坐標(biāo)為

xmid=cmin+(cmax-cmin)/2

(3)

ymid=rmin+(rmax-rmin)/2

(4)

式中：xmid為中心坐標(biāo)的橫坐標(biāo)值；ymid為中心坐標(biāo)的縱坐標(biāo)值.

將雙目攝像機(jī)拍攝到的左右兩幅圖像中的運(yùn)動(dòng)目標(biāo)檢測出來，并用矩形框標(biāo)記，得出運(yùn)動(dòng)目標(biāo)的中心點(diǎn)坐標(biāo)，將其作為一對(duì)匹配點(diǎn)，利用雙目立體視覺視差公式即可求出運(yùn)動(dòng)目標(biāo)在攝像機(jī)坐標(biāo)系下的三維坐標(biāo).由于已經(jīng)通過工作機(jī)器人自定位得到攝像機(jī)坐標(biāo)系與世界坐標(biāo)系之間轉(zhuǎn)換關(guān)系，因此，可以計(jì)算出運(yùn)動(dòng)目標(biāo)在環(huán)境坐標(biāo)系下的絕對(duì)坐標(biāo)，由此完成運(yùn)動(dòng)目標(biāo)定位過程.

3　實(shí)驗(yàn)仿真

本文使用的機(jī)器人是由北京博創(chuàng)興盛技術(shù)有限公司開發(fā)的自主移動(dòng)機(jī)器人旅行家Ⅱ號(hào)，該機(jī)器人為兩輪差動(dòng)式控制，在機(jī)器人本體上安裝了由加拿大Point Grey Research公司生產(chǎn)的Bumblebee2雙目攝像機(jī)，攝像機(jī)固定在機(jī)器人頂部，以期獲得較好的圖像采集角度.旅行家Ⅱ號(hào)機(jī)器人本體如圖6所示，Bumblebee2攝像機(jī)的性能參數(shù)如表1所示.

圖6　旅行家Ⅱ號(hào)機(jī)器人Fig.6　Voyager Ⅱ robot表1　Bumblebee2雙目攝像機(jī)性能參數(shù)Tab.1　Performance parameters for Bumblebee2 binocular camera

性能參數(shù)數(shù)值傳感器SonyCCD攝像頭2個(gè)有效像素640×480,每個(gè)像素7.4μm基線12cm焦距3.8mm幀率15幀/s快門速度0.01～66.63ms

3.1運(yùn)動(dòng)目標(biāo)檢測仿真結(jié)果

裝有雙目攝像機(jī)Bumblebee2的移動(dòng)機(jī)器人為工作機(jī)器人，實(shí)驗(yàn)環(huán)境中將另一臺(tái)移動(dòng)機(jī)器人作為運(yùn)動(dòng)目標(biāo).運(yùn)動(dòng)目標(biāo)在實(shí)驗(yàn)環(huán)境中分別作縱向運(yùn)動(dòng)與橫向運(yùn)動(dòng)，運(yùn)動(dòng)速度為0.1 m/s，如圖7所示.墻上貼有由紅、藍(lán)、黃三種顏色構(gòu)成的人工路標(biāo)，雙目攝像機(jī)對(duì)工作機(jī)器人所處環(huán)境每1 s采集一幀圖像，共采集15幀.

圖7　實(shí)驗(yàn)環(huán)境Fig.7　Experimental environment

圖8為檢測運(yùn)動(dòng)目標(biāo)縱向運(yùn)動(dòng)示意圖，圖8a～d分別為雙目攝像機(jī)采集到的原始視頻第5幀和第12幀左右兩幅圖像；圖8e～h為利用幀間差分法對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行檢測并用矩形框進(jìn)行標(biāo)記的結(jié)果示意圖.

圖9為檢測運(yùn)動(dòng)目標(biāo)水平運(yùn)動(dòng)示意圖，圖9a～d分別為雙目攝像機(jī)采集到的原始視頻第7幀和第12幀左右兩幅圖像；圖9e～h分別為利用幀間差分法對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行檢測并用矩形框進(jìn)行標(biāo)記的結(jié)果示意圖.

3.2傳統(tǒng)移動(dòng)機(jī)器人自定位

傳統(tǒng)移動(dòng)機(jī)器人縱向與水平運(yùn)動(dòng)自定位數(shù)據(jù)如表2和表3所示.

3.3工作機(jī)器人幫助運(yùn)動(dòng)目標(biāo)定位

人工路標(biāo)檢測結(jié)果數(shù)據(jù)顯示如表4所示，工作機(jī)器人自定位數(shù)據(jù)如表5所示，運(yùn)動(dòng)目標(biāo)縱向運(yùn)動(dòng)定位數(shù)據(jù)如表6所示，運(yùn)動(dòng)目標(biāo)水平運(yùn)動(dòng)定位數(shù)據(jù)如表7所示.

圖8　檢測運(yùn)動(dòng)目標(biāo)縱向運(yùn)動(dòng)示意圖Fig.8　Schematic detection for longitudinal motion of moving object

圖9　檢測運(yùn)動(dòng)目標(biāo)水平運(yùn)動(dòng)示意圖Fig.9　Schematic detection for horizontal motion of moving object表2　傳統(tǒng)方式縱向運(yùn)動(dòng)自定位數(shù)據(jù)Tab.2　Self-positioning data for longitudinal motion with traditional method

圖像絕對(duì)坐標(biāo)測量值mm絕對(duì)坐標(biāo)真實(shí)值mm誤差mm相對(duì)誤差%第4幀(1274.7,1420.6,742.3)(1340,1400,800)(65.3,20.6,57.7)(4.87,1.47,7.21)第5幀(1314.8,1505.4,790.8)(1340,1500,800)(25.2,5.4,9.2)(1.88,0.36,1.15)第6幀(1312.9,1528.3,842.3)(1340,1600,800)(27.1,71.7,42.3)(2.02,4.48,5.29)第7幀(1393.6,1505.4,893.8)(1340,1700,800)(53.6,194.6,93.8)(4,11.45,11.73)第8幀(1365.1,1576.0,940.6)(1340,1800,800)(25.1,224,140.6)(1.87,12.44,17.58)

通過與傳統(tǒng)機(jī)器人自定位數(shù)據(jù)的對(duì)比可以看出，利用工作機(jī)器人代替移動(dòng)機(jī)器人進(jìn)行定位的精度要高于移動(dòng)機(jī)器人自定位的精度.只有極少部分?jǐn)?shù)據(jù)顯示移動(dòng)機(jī)器人的定位誤差更小，但大多數(shù)的情形下，采用工作機(jī)器人自定位再對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行檢測與定位的方法精度更高.雖然本文所述方法算法較多，但算法比較簡單，實(shí)時(shí)性好，充分滿足要求.

表3　傳統(tǒng)方式水平運(yùn)動(dòng)自定位數(shù)據(jù)Tab.3　Self-positioning data for horizontal motion with traditional method

表4　人工路標(biāo)檢測結(jié)果Tab.4　Detection results of artificial landmark

表5　工作機(jī)器人自定位數(shù)據(jù)Tab.5　Self-positioning data of work robot

表6　運(yùn)動(dòng)目標(biāo)縱向運(yùn)動(dòng)定位數(shù)據(jù)Tab.6　Longitudinal motion positioning data of moving object

表7　運(yùn)動(dòng)目標(biāo)水平運(yùn)動(dòng)定位數(shù)據(jù)Tab.7　Horizontal motion positioning data of moving object

4　結(jié)　論

本文提出的運(yùn)動(dòng)目標(biāo)檢測與定位的思路是首先利用定位機(jī)器人自定位，再對(duì)運(yùn)動(dòng)目標(biāo)定位.實(shí)驗(yàn)結(jié)果表明，工作機(jī)器人自定位相對(duì)誤差不足1%，運(yùn)動(dòng)目標(biāo)縱向運(yùn)動(dòng)與水平運(yùn)動(dòng)定位的相對(duì)誤差在多數(shù)情況下低于工作機(jī)器人自定位的誤差，且算法的實(shí)時(shí)性較好，具有現(xiàn)實(shí)的研究意義.

[1]吳若鴻.基于特征匹配的雙目立體視覺技術(shù)研究 [D].武漢：武漢科技大學(xué)，2010.

(WU Ruo-hong.Research on binocular stereo vision technology based on feature matching [D].Wuhan：Wuhan University of Science and Technology，2010.)

[2]杜宇.三維重建中雙目立體視覺關(guān)鍵技術(shù)的研究 [D].哈爾濱：哈爾濱理工大學(xué)，2014.

(DU Yu.Research on key technology of binocular stereo vision in three-dimensional reconstruction [D].Harbin：Harbin University of Science and Technology，2014.)

[3]余俊.基于雙目視覺的機(jī)器人目標(biāo)檢測與控制研究 [D].北京：北京交通大學(xué)，2011.

(YU Jun.Research on target detection and robot control based on binocular vision [D].Beijing：Beijing Jiaotong University，2011.)

[4]張本法，孟祥萍，岳華.移動(dòng)機(jī)器人定位方法概述 [J].山東工業(yè)技術(shù)，2014(22)：250.

(ZHANG Ben-fa，MENG Xiang-ping，YUE Hua.Outline of mobile robot localization methods [J].Shandong Industrial Technology，2014(22)：250.)

[5]黃雁華，武文遠(yuǎn)，龔艷春，等.量化顏色直方圖的改進(jìn)與應(yīng)用 [J].光電技術(shù)應(yīng)用，2011，26(4)：76-80.

(HUANG Yan-hua，WU Wen-yuan，GONG Yan-chun，et al.Improvement and application of color histogrm [J].Electro-optic Technology Application，2011，26(4)：76-80.)

[6]郭英華.基于HSV色彩空間的圖像分割 [J].黑龍江冶金，2011，31(2)：35-37.

(GUO Ying-hua.Image segmentation based on HSV color space [J].Heilongjiang Metallurgy，2011，31(2)：35-37.)

[7]陳向東，李平.基于色彩特征的CAMSHIFT視頻圖像汽車流量監(jiān)測 [J].沈陽工業(yè)大學(xué)學(xué)報(bào)，2015，37(2)：183-188.

(CHEN Xiang-dong，LI Ping.Vehicle flow detection with CAMSHIFT video images based on color feature [J].Journal of Shenyang University of Technology，2015，37(2)：183-188.)

[8]張曉慧.視頻監(jiān)控運(yùn)動(dòng)目標(biāo)檢測算法的研究與實(shí)現(xiàn) [D].西安：西安電子科技大學(xué)，2012.

(ZHANG Xiao-hui.Research and implementation on moving object detection algorithm in video surveill ance [D].Xi’an：Xidian University，2012.)

[9]靳盼盼.雙目立體視覺測距技術(shù)研究 [D].西安：長安大學(xué)，2014.

(JIN Pan-pan.Study on the technology of binocular stereo vision measurement [D].Xi’an：Chang’an University，2014.)

[10]張君昌，李明，谷衛(wèi)東.融合減法聚類與C-均值聚類的目標(biāo)定位方法 [J].計(jì)算機(jī)仿真，2012，29(7)：269-273.

(ZHANG Jun-chang，LI Min，GU Wei-dong.Joint subtractive clustering and C-means clustering object Location algorithm [J].Computer Simulation，2012，29(7)：269-273.)

(責(zé)任編輯：景勇英文審校：尹淑英)

Moving object detection and positioning of robot based on binocular vision

CUI Bao-xia, LUAN Ting-ting, ZHANG Chi, DUAN Yong

(School of Information Science and Engineering, Shenyang University of Technology, Shenyang 110870, China)

In order to solve the problem that the self-positioning precision of mobile robot is low, a method, where the self-positioning of stationary work robot is firstly performed and then the moving object is detected and positioned, was proposed. Based on the HSV model colour feathers, the work robot divided the artificial landmark and performed the self-positioning. In addition, the differential operation for two adjacent frames in the collected video image sequence was performed with frame differential method, and the moving object was extracted. The absolute coordinates of moving object were calculated with binocular stereo vision parallax principle, which could help the moving object to complete the positioning. The results show that the positioning accuracy of the proposed method is higher than that of traditional mobile robot, and the algorithm shows good real-time performance and has the practical significance.

binocular vision; mobile robot; frame differential method; moving object; artificial landmark; HSV model; threshold segmentation; positioning

2015-08-27.

國家自然科學(xué)基金資助項(xiàng)目(60695054)； 遼寧省高等學(xué)校優(yōu)秀科技人才支持計(jì)劃(LR2015045).

崔寶俠(1962-)，女，遼寧沈陽人，教授，博士，主要從事過程控制、管理信息系統(tǒng)及決策支持系統(tǒng)等方面的研究.

10.7688/j.issn.1000-1646.2016.04.11

TP 391.4

A

1000-1646(2016)04-0421-07

*本文已于2015-12-07 16∶18在中國知網(wǎng)優(yōu)先數(shù)字出版. 網(wǎng)絡(luò)出版地址： http：∥www.cnki.net/kcms/detail/21.1189.T.20151207.1618.024.html