基于正交雙相機(jī)的洗車定位算法研究

朱 敏，吳志偉

（電氣與自動(dòng)化工程學(xué)院 合肥工業(yè)大學(xué)，合肥 230009）

0 引言

經(jīng)濟(jì)的發(fā)展給人們生活質(zhì)量帶來了巨大的改變，汽車數(shù)量日益增多后對(duì)洗車行業(yè)的服務(wù)要求也是越來越高。現(xiàn)在我們熟知的洗車方式還是傳統(tǒng)人工洗車，但人工洗車還是存在著許多弊端。傳統(tǒng)的人工洗車行業(yè)逐漸的滿足不了現(xiàn)在人們對(duì)洗車行業(yè)的要求；如今在洗車市場(chǎng)中洗車機(jī)的普及率還不是很高，使用較為廣泛的洗車機(jī)有無接觸自動(dòng)洗車機(jī)和毛刷式自動(dòng)洗車機(jī)[1～3]。本文提出正交雙相機(jī)車身定位算法洗車機(jī)是基于圖像視覺的自動(dòng)洗車機(jī)，采用圖像視覺技術(shù)能夠精確的得到車身特征點(diǎn)的位置坐標(biāo)[4,5]；并且使用六自由度洗車臂可以利用它的靈活性好，幾乎可以在任何角度下工作。這種精巧的結(jié)構(gòu)設(shè)計(jì)不但在性能上有很好的保障，而且它所要求的場(chǎng)地面積也比較小。與現(xiàn)階段市面上常見兩種類型的洗車機(jī)相比，本洗車系統(tǒng)存在著很好的市場(chǎng)價(jià)值。

1 系統(tǒng)平臺(tái)

1.1 圖片采集平臺(tái)

為了能夠有效的采集到汽車車身的圖片信息，本系統(tǒng)對(duì)拍攝相機(jī)的位置進(jìn)行固定，其示意圖如圖1所示。

圖1 相機(jī)位置示意圖

待洗汽車停放區(qū)域?yàn)橐粔K白色的矩形區(qū)域，汽車車身的圖像采集由兩個(gè)互相垂直放置的相機(jī)完成；其中1號(hào)相機(jī)負(fù)責(zé)拍攝汽車的正視圖，2號(hào)相機(jī)負(fù)責(zé)拍攝汽車的側(cè)視圖。

1.2 車身特征點(diǎn)的確定

本系統(tǒng)的核心就是在于提取車身的外圍坐標(biāo)，但經(jīng)過圖片處理之后得到的汽車外圍輪廓圖像包含了大量的外圍點(diǎn)坐標(biāo)信息，這樣就會(huì)導(dǎo)致計(jì)算復(fù)雜，降低了算法的可靠性。經(jīng)過對(duì)車身邊緣輪廓特點(diǎn)的分析，本文采取在汽車邊緣輪廓提取有代表性的特征點(diǎn)，利用特征點(diǎn)坐標(biāo)代替大量外圍點(diǎn)坐標(biāo)信息。特征點(diǎn)的確定如圖2所示。

圖2 特征點(diǎn)位置示意圖

記圖2車身側(cè)視圖中的特征點(diǎn)分別為A、B、C、D、E、F、G；由于汽車的車身圖像是軸對(duì)稱圖形，則對(duì)應(yīng)于車身的另一側(cè)特征點(diǎn)分別記為A'、B'、C'、D'、E'、F'、G'。因此只要求出這兩組點(diǎn)的坐標(biāo)，即可定位[6]整個(gè)車身。

2 側(cè)視圖中特征點(diǎn)坐標(biāo)的求解

2.1 圖像預(yù)處理及車身輪廓提取

由于拍攝環(huán)境的原因，圖像采集難免會(huì)有噪聲。因此在對(duì)車身圖像進(jìn)行算法處理之前首先需要對(duì)圖像進(jìn)行去噪。對(duì)經(jīng)過灰度化和去噪處理的車身圖像進(jìn)行二值化分割，最終將原圖像中的背景和車身目標(biāo)分割開來。但本文接下來只需要對(duì)車身的邊緣[7]進(jìn)行處理，所以通過提取最大連通區(qū)域算法對(duì)圖像進(jìn)行處理，得到最大連通區(qū)域并將其單獨(dú)顯示出來，結(jié)果如圖3所示。

圖3 最大連通區(qū)域示意圖

2.2 車身輪廓的直線擬合

提取最大連通區(qū)域之后，就得到本文所需要處理的車身的主要輪廓信息。由圖3可以看出，雖然得到了車身的主要邊緣信息，但車身的各部分邊緣都是由曲線組成；如果直接對(duì)車身進(jìn)行直線檢測(cè)的話得到的效果不會(huì)太好。通過對(duì)圖3進(jìn)行像素掃描，對(duì)不同曲線段的像素點(diǎn)進(jìn)行分割，得到六個(gè)不同的點(diǎn)集，分別為點(diǎn)集M1、M2、M3、M4、M5、M6。不同的點(diǎn)集里存放著車身不同曲線段的像素點(diǎn)坐標(biāo)。本文接下來采用最小二乘法分別對(duì)六個(gè)不同的點(diǎn)集進(jìn)行直線擬合[8,9]，得到車身各部分曲線段的近似直線，并且相鄰部分的直線之間會(huì)有一個(gè)交點(diǎn)，該交點(diǎn)就是本文包圍車身所確定的特征點(diǎn)。

假設(shè)給定一系列離散點(diǎn)組成的坐標(biāo)集合，即為M={（x0，y0），（x1，y1），…（xn，yn）}，直線擬合目的就是找到一個(gè)函數(shù)f（x）kx+b使得f（x）函數(shù)盡可能的擬合離散坐標(biāo)點(diǎn)集M。最小二乘法擬合直線函數(shù)f（x）的主要原理是：對(duì)于f（x）=kx+b求得其對(duì)于各個(gè)離散點(diǎn)平方差的最小值，如式(1)所示：

當(dāng)Q取最小時(shí)，求k、b的值。

因?yàn)樽鴺?biāo)點(diǎn)集M中的離散點(diǎn)均為已知變量，問題可轉(zhuǎn)化為求解Q=f（k，b）的最小值，即求解點(diǎn)（k，b）使得 Q=f（k，b）在此點(diǎn)處取得極小值。使用偏導(dǎo)數(shù)求 f（k，b）極小值：

點(diǎn)集M1、M2、M3、M4、M5、M6進(jìn)行直線擬合結(jié)果如圖4所示。

圖4 車身直線擬合示意圖

2.3 霍夫直線檢測(cè)

經(jīng)過最小二乘法直線擬合之后，得到了離散點(diǎn)集擬合的直線并顯示在原圖中，但不同的擬合線段的直線方程并沒有得到；因此選擇使用霍夫直線檢測(cè)在相鄰的擬合直線之間做二次檢測(cè)對(duì)擬合過的直線進(jìn)行霍夫直線檢測(cè)。當(dāng)檢測(cè)到直線之后可以由代數(shù)法計(jì)算出直線的交點(diǎn)。

1）霍夫直線檢測(cè)

本文采用累計(jì)概率霍夫變換進(jìn)行對(duì)擬合的直線進(jìn)行檢測(cè)，OpenCV標(biāo)準(zhǔn)函數(shù)庫中的HoughLinesP()函數(shù)可以實(shí)現(xiàn)直線檢測(cè)功能；將圖4作為檢測(cè)函數(shù)的第一個(gè)參數(shù)，即原圖像；第二個(gè)參數(shù)是存放著檢測(cè)到直線的起始坐標(biāo)點(diǎn)。在下文中求解相鄰擬合直線之間的交點(diǎn)時(shí)就會(huì)使用第二個(gè)參數(shù)中存放的坐標(biāo)點(diǎn)。

2）代數(shù)法求解交點(diǎn)

經(jīng)累計(jì)概率霍夫變換檢測(cè)得到兩相交的直線后，利用下述的代數(shù)法求解出交點(diǎn)坐標(biāo)。

假設(shè)已知兩條直線l1、l2的方程如下：

并且已知兩直線l1、l2上的兩點(diǎn)分別為A1（x1，y1）、A2（x2，y2）和B1（x1*，y1*）、B2（x2*，y2*），則可求得兩直線的系數(shù)分別為：

將兩直線的參數(shù)代入即可求出交點(diǎn)的坐標(biāo)，對(duì)上述車身擬合直線進(jìn)行霍夫直線檢測(cè)以及代數(shù)法計(jì)算出交點(diǎn)像素坐標(biāo)，結(jié)果如下：

特征點(diǎn)A（12，198）、特征點(diǎn)B（27，135）、特征點(diǎn)C（131，116）、特征點(diǎn)D（231，70）、特征點(diǎn)E（366，70）、特征點(diǎn)F（501，123）、特征點(diǎn)G（520，207）

3 車身正視圖中特征點(diǎn)坐標(biāo)的求解

對(duì)側(cè)視圖經(jīng)過上面步驟處理只能得到車身一側(cè)的特征點(diǎn)坐標(biāo)，為了得到車身另一側(cè)的特征點(diǎn)坐標(biāo)需要對(duì)車身的主視圖進(jìn)行處理計(jì)算出車身的寬度信息。通過尋找最小包圍矩形算法得到能將車頭完整包圍的最小矩形，并計(jì)算出這個(gè)最小矩形各頂點(diǎn)的坐標(biāo)，車身的寬度[10]就是頂點(diǎn)橫坐標(biāo)之差。再將上述計(jì)算出的特征點(diǎn)進(jìn)行坐標(biāo)的平移即可得到車身四周的特征點(diǎn)坐標(biāo)。對(duì)車身主視圖處理過程如下：

首先對(duì)1號(hào)相機(jī)拍攝到的車身主視圖進(jìn)行圖像處理，主要處理過程與對(duì)車身側(cè)視處理過程基本一致，結(jié)果如下：

圖5 圖像處理結(jié)果示意圖

得到車身主視圖的二值化圖像以后，再利用OpenCV中minAreaRect()函數(shù)對(duì)車頭主視圖進(jìn)行尋找最小包圍矩形。運(yùn)行結(jié)果如圖6所示。

圖6 運(yùn)行結(jié)果示意圖

最小包圍矩形的頂點(diǎn)像素坐標(biāo)為：

頂點(diǎn)r0（61，309）、頂點(diǎn)r1（61，44）；

頂點(diǎn)r2（443，44）、頂點(diǎn)r3（443，309）。

根據(jù)得到最小包圍矩形的頂點(diǎn)坐標(biāo)可知車身的寬度即矩形左右對(duì)稱頂點(diǎn)的橫坐標(biāo)之差。

4 坐標(biāo)的轉(zhuǎn)換

通過上述算法處理過程對(duì)圖像處理計(jì)算出的坐標(biāo)是在像素坐標(biāo)系中的像素坐標(biāo)，并將其經(jīng)過坐標(biāo)系轉(zhuǎn)換至世界坐標(biāo)系中；最后將車身特征坐標(biāo)傳輸給洗車機(jī)械臂[11]的軌跡規(guī)劃中使用。坐標(biāo)系轉(zhuǎn)換關(guān)系如下為：

式(3)中Zc為空間中的點(diǎn)在相機(jī)坐標(biāo)系中Z軸方向的坐標(biāo)，本文中即表示為相機(jī)距離車身的距離，在本系統(tǒng)中1號(hào)相機(jī)的Zc設(shè)定為2m，2號(hào)相機(jī)的Zc設(shè)定為3m。

等式左邊的矩陣為定位到的車身邊緣點(diǎn)的像素坐標(biāo)。

等式右邊第二個(gè)矩陣為相機(jī)的外參矩陣，其中包括旋轉(zhuǎn)矩陣和平移矩陣。

右邊第三個(gè)矩陣為車身邊緣點(diǎn)在世界坐標(biāo)系中的坐標(biāo)，也就是所要轉(zhuǎn)換得到的坐標(biāo)值。

通過對(duì)相機(jī)的標(biāo)定得到上述相機(jī)的各參數(shù)如下：

內(nèi)部參數(shù)矩陣為：

外部參數(shù)矩陣為：

將相機(jī)的各參數(shù)矩陣以及車身的各特征點(diǎn)的像素坐標(biāo)代入式(4)中，對(duì)矩形頂點(diǎn)r0（61，309）和矩形頂點(diǎn)r3（443，309）坐標(biāo)轉(zhuǎn)換結(jié)果為r0'（-94，69，200）、r3'（92，69，200）因此車身的寬度為d=|(-94)-92|=186單位為cm。

則最終車身兩側(cè)的特征點(diǎn)坐標(biāo)如表1所示。

表1 特征點(diǎn)坐標(biāo)

5 結(jié)語

本文給出了一套完整的基于圖像視覺自動(dòng)洗車系統(tǒng)車身特征點(diǎn)的定位算法，通過本算法能夠得到精確的車身特征點(diǎn)位置信息。并將這些描述汽車車身位置信息的點(diǎn)坐標(biāo)傳輸給洗車機(jī)械臂再結(jié)合六自由度機(jī)械臂靈活性可以很好的提高洗車的效率和洗車效果，和市場(chǎng)上的洗車機(jī)相比有比較好的優(yōu)勢(shì)，具有一定的市場(chǎng)和推廣意義。