基于多特征的實時立體視覺檢測方法

劉 博，陳 劍，周 平，譚治英

（中國科學院 合肥物質科學研究院 先進制造技術研究所，江蘇 常州213164）

0 引 言

當前機器人、智能移動平臺已經取得了較好的發展和應用，但是在一些需要精密裝配和微細操作的稍高技術場合的應用中卻遇到了很大的障礙，尤其在一些工序復雜，檢測精度要求高，工作效率很高的場合，傳統機器人、智能移動設備幾乎不可用或是很難應用，或是成本代價很高［1，2］。為解決上述問題，需要解決的關鍵技術就是滿足實時性的高精度立體視覺檢測。近年來，在機器人導航、車輛自動駕駛及基于視覺導航的移動平臺等領域，國外對于立體視覺檢測技術開展了大量研究工作，但大部分研究工作集中在道路、室外等大場景下目標感興趣區域的識別［3，4］或者場景分割［5，6］。國內學者在立體視覺檢測領域也開展了大量研究工作，目前已經取得了一系列的研究成果。有學者提出一種頻率域和空間域相結合的方法進行3D 特征匹配［7］；有學者在三維重建技術研究中，提出了一種通過硬件的并行計算解決3D 場景重建中的大規模數據處理的方法［8］；吳曉軍等提出一種基于可見外殼與多視圖三維點云有機融合的多視圖立體三維重建孔洞修復算法，用于增加三維重建算法的魯棒性［9］；李懷澤等提出了一種基于旋轉多視角的立體視覺圖像特征匹配方法［10］；劉海濤等提出了一種基于流形學習的三維步態識別方法［11］。

然而，上述國內外研究中所提到的方法，多側重于目標識別準確率提升方面的研究，使立體視覺檢測能夠達高精度，并能同時滿足實時性要求的方法還比較少。本文通過使用兩個低分辨率的雙目立視覺相機獲取目標在立體視覺下的圖像，使用Harris進行角點特征提取時融合激光器特征，增加特征提取準確率，并采用基于圖像輪廓方向向量的圖像金字塔特征結合線激光特征的方法進行目標初步檢測，然后結合立體視覺圖像特征及激光位移傳感器所提供的精確位移信息，控制高分辨率單目相機結合感興趣區域的元件圖像先驗知識特征進行精確檢測。通過分析多種不同的視覺、激光傳感器的特征信息特點，提出了一種基于多特征的實時立體視覺檢測方法，從而在保證較小時耗的情況下實現了立體視覺系統的精確檢測。最后通過實驗分析了該方法的可行性。

1 基于雙目視覺及激光特征的粗略檢測

基于立體視覺的檢測主要包括場景3D 坐標云數據的獲得以及場景的檢測兩部分，通過場景檢測獲取目標的圖像位置信息，結合場景的3D 坐標云數據從而實現目標在3D空間中的立體檢測。本文在檢測算法不同的階段采用了相應的特征融合方法，從而使最終的檢測算法同時滿足較小的時耗性和較高的檢測精度。

1.1 雙目立體視覺3D云數據的獲取

雙目立體視覺3D 信息獲取是基于視差原理［12］，如圖1和式 （1）所示。

圖1 雙目立體成像原理

式中：ZC——物體表面特征點到左、右攝像機光心平面的垂直距離；（Xw，Yw，Zw）——特征點的世界坐標系坐標；（U0，V0）——圖像中心的像素坐標；（U，V）——被測點的圖像坐標系坐標；dx、dy——在水平和垂直方向上相鄰像素之間的物理距離；R——一個3＊3 的旋轉矩陣；T——一個平移向量。

雙目立體視覺3D 云數據獲取過程如圖2所示。

圖2 雙目立體視覺3D 云數據獲取流程

本文采用了一種融合了激光器特征的Harris角點檢測算法進行特征提取，其中Harris角點提取實現原理如下［13］

式中：Ex，y——窗口 內 的 灰 度 變 化 度 量；wx，y——窗 口 函數，一般定義為wx，y＝e（x2＋y2）／σ2；I——圖像灰度函數?？梢娊屈c的獲取主要是通過窗口內的灰度值變化獲得，而像素灰度值容易受到外界環境變化的影響，從而影響角點特征提取的準確性。考慮到進行相機標定特征提取時，標定板的圖像區域是黑白相間的網格圖，如圖3所示。

圖3 雙目立體視覺系統平臺及相機標定設備

本文采取的方法是控制點激光器在標定板上成像，其中激光器成像在圖像中有如下顯著特征：在顏色特征方面，激光器在圖像中的產生的標志點對于函數

有較強響應 （其中，R、G、B 分別為圖像中的顏色分量）。再結合激光標志點的形狀特征，從而能夠獲取激光標志點在圖像中位置。統計以標志點為中心的矩形框內的灰度直方圖信息，如圖4所示。

圖4 基于激光器特征的直方圖統計模型

由于標定板的網格特性，矩形框被分為多個 （圖4 模型中為P1－P4這4個）黑白區域，進行區域內的直方圖統計，則統計特性會出現兩個明顯的峰值，分別對應灰度值Imin和Imax，利用上述灰度值取Imin＋μ，Imax－μ為閾值將圖像進行分段二值化后再代入式 （2）進行角點檢測，從而增加了顏色特征明顯的像素權重，從而抑制了灰度變化的過渡區域像素對于角點位置的影響，提高角點檢測的準確性。

經過相機標定后就可以獲得相機的內參以及兩個攝像機之間的相對位姿關系，代入式 （1）便可得到場景的3D云數據。

1.2 3D目標的識別

考慮到在一般場合下待識別的元件與背景之間存在比較明顯的輪廓特征，所以本文采用了一種基于輪廓方向向量的圖像金字塔特征結合線激光特征的方法進行3D 目標識別。

在目標模板創建和檢測過程中，首先使用圖像預處理及雙邊濾波的方法獲取模板點與帶匹配點的邊緣方向向量，然后計算模板中所有點的歸一化方向向量和搜索圖像相應區域的歸一化方向向量的點積的總和，并以此作為匹配度量值，計算公式如下所示

其中，d′＝ （ti，ui）T，ex，y＝ （vx，y，wx，y）T分別為模板和搜索區域所對應的方向向量，為匹配度量值。方法中使用了歸一化處理，從而很大程度上減小線性的光照變化等外界干擾因素。

傳統的圖像金字塔是將圖像與模板多次縮小2倍建立起來的數據結構，如圖5所示。首先在圖像金字塔最高層上搜索，得到模板的所有實例都將追蹤到圖像金子塔的最底層［14］。

圖5 圖像金字塔數據結構

雖然這種做法對于較大模板的搜索區域非常小，跟蹤匹配到金字塔最底層能夠大大減小耗時，但對于金字塔頂層搜索時由于分辨率較低，誤匹配率較高，如果所有的誤匹配都跟蹤到金字塔的最底層，對于匹配耗時和準確率都會產生不利影響。本文采用了圖像金字塔特征與線激光特征相結合的方法，同樣首先在圖像金字塔的最高層進行搜索，一旦搜索到候選區域，則啟動線掃描激光特征檢測，如圖6所示。

圖6 圖像金字塔搜索過程

上述A、B、C這3個候選區域包含兩個誤檢測區域，通過線激光的特征運用形態學處理，可以排除誤檢測區域，如圖7，圖8所示。

圖7 線激光特征檢測平臺

根據線激光在物體表面形狀特征的變化，運用形態學等圖像處理算法可以實現對于候選區域的檢測，從而為后續模板檢測提供更精確的候選區域及降低時耗性，3D 目標檢測結果如圖9所示。

圖8 線激光特征檢測結果

圖9 雙目立體視覺的3D 目標檢測

其中，“Image＿Left”、“Image＿Right”分別為雙目立體視覺系統中左、右兩相機采集到的圖像，”Image＿Result”為在深度信息圖中的3D 目標檢測結果，“參數信息”中為感知過程中的參數信息及場景目標的最終坐標信息（以左相機的相機坐標系原點作為世界坐標系的原點）。

2 基于感興趣區域的精確檢測

本文使用的機器人機械控制平臺如圖10所示。

機器人控制系統按照粗略檢測信息將固定在機器人手臂上的高分辨率單目相機移動到場景目標感興趣區域的預設相對位置處，通過激光位移傳感器提供的位移信息，從而實現目標的精確檢測。

通過目標的粗略檢測，可以獲取目標檢測元件相對小范圍的感興趣區，感興趣區域形狀結構比較單一，所以使用單目相機進行感興趣區域檢測時，根據元件形狀的先驗知識采用針對規則圖形的特征檢測算法，從而減小整個過程的時耗，例如針對前面圖9中的3D 檢測目標，其左側部位有一個形狀規則的元件孔，本文采用了根據元件先驗知識限定參數區間的Hough圓檢測方法進行感興趣區域的檢測，從而提高Hough圓檢測算法精度并減少耗時。

圖10 雙臂機器人機械控制平臺

3 實驗及結果分析

進行目標初步檢測的雙目立體視覺系統使用兩個德國AVT 公司Prosilica GC660工業相機組成，相機的分辨率為659×493，幀率119fps，像元尺寸5.6μm。鏡頭采用日本KOWA 工 業 千 萬 分 辨 率 高 清 鏡 頭LM12JC10M：2／3″12mm／F1.8，10Megapixel。感興趣區域精確感知的單目相機使用的是德國AVT 公司Prosilica GC2450工業相機，相機分辨率為2448×2050，幀率15fps，像元尺寸3.45μm。鏡頭使用日本 KOWA 工業千萬分辨率高清鏡頭LM50JC10M：2／3″50mm／F2.8，10Megapixel。機器人手臂末端的激光位移傳感器采用是德國SICK OD5－350W100：解析度5μm，測量范圍：350±100mm，重復精度：15 μm。實驗使用的工控機是研華IPC－610：Intel（R）Core i7 2600CPU，4G／500G，2千兆網口 （單目相機使用千兆網卡進行圖像采集）。軟件開發環境使用VS2010。

首先采用本文提出的融合了激光器特征的Harris角點檢測算法進行相機參數標定，根據標定參數使用圖像金字塔特征與線激光特征相結合的方法進行目標的快速粗略檢測，根據檢測信息及激光位移傳感器提供的位移信息和元件的先驗知識，通過感興趣區域的檢測從而實現對于待檢測元件的實時精確檢測。最后，與傳統的雙目相機與單目相機組合的立體檢測方法進行實驗對比，驗證了本方法在檢測精度及時耗性方面都有較大的優勢。實驗采用NDI Optotrak Certus動作捕捉系統進行檢測目標的實際位姿測量，該系統的分辨率可以達到0.01 mm。系統的時耗情況通過計算軟件代碼運行的時鐘周期數獲得。

立體視覺目標檢測精度及時耗見表1。

表1 立體視覺目標檢測精度及時耗

4 結束語

本文通過分析多種不同的視覺、激光傳感器的特征信息，在立體目標檢測算法中進行多特征信息的融合，首先在Harris角點特征提取時融合了激光傳感器特征，提高了角點檢測的精確度，然后使用基于圖像輪廓方向向量的圖像金字塔特征結合激光線成像特征的方法進行目標粗略檢測，最后通過激光位移傳感器提供位移信息結合元件感興趣區域的先驗知識特征控制高分辨率的單目相機實現立體目標的高精度實時檢測。實驗結果表明，所提出的方法具有較高的計算效率和準確性，能夠實現較為理想的實時立體視覺檢測。

［1］Flores－Abad A，Ma O，Pham K，et al.A review of space robotics technologies for on－orbit servicing ［J］.Progress in Aerospace Sciences，2014，68：1－26.

［2］Peng J，Xu W，Wang Z，et al.Dynamic analysis of the compounded system formed by dual－arm space robot and the captured target［C］／／IEEE International Conference on Robotics and Biomimetics，2013：1532－1537.

［3］Zhang Y，Song S，Tan P，et al.PanoContext：A whole－room 3Dcontext model for panoramic scene understanding ［G］.LNCS 8694：Springer International Publishing Computer Vision－ECCV，2014：668－686.

［4］Wojek C，Roth S，Schindler K，et al.Monocular 3dscene modeling and inference：Understanding multi－object traffic scenes［G］.LNCS 6314：Computer Vision－ECCV.Springer Berlin Heidelberg，2010：467－481.

［5］Ess A，Mueller T，Grabner H，et al.Segmentation－based urban traffic scene understanding ［C］／／Proceedings British Machine Vision Conference，2009.

［6］Gupta S，Girshick R，Arbelaez P，et al.Learning rich features from RGB－D images for object detection and segmentation［G］.LNCS 8695：Computer Vision－ECCV.Springer Interna－tional Publishing，2014：345－360.

［7］Zhao Z S，Feng X，Teng S H，et al.Multiscale point correspondence using feature distribution and frequency domain alignment［J］.Mathematical Problems in Engineering，2012，17（2）：632－646.

［8］Liu X，Gao W，Hu Z Y.Hybrid parallel bundle adjustment for 3Dscene reconstruction with massive points［J］.Journal of Computer Science and Technology，2012，27 （6）：1269－1280.

［9］WU Xiaojun，WEN Fei，WEN Peizhi.Hole－filling algorithm in multi－view stereo reconstruction ［J］.Journal of Computer－Aided Design ＆ Computer Graphics，2013，24 （12）：1606－1613 （in Chinese）. ［吳曉軍，文飛，溫佩芝.多視圖立體三維重建中的孔洞修復算法 ［J］.計算機輔助設計與圖形學學報，2013，24 （12）：1606－1613.］

［10］LI Huaize，SHEN Huiliang，CHENG Yue.3Dreconstruction method based on turntable multiple－view registration ［J］.Journal of Computer Applications，2013，32 （12）：3365－3368 （in Chinese）.［李懷澤，沈會良，程岳.基于旋轉多視角深度配準的三維重建方法 ［J］.計算機應用，2013，32（12）：3365－3368.］

［11］LIU Haitao，WANG Zengfu，CAO Yang.3D robust gait recognition based on manifold learning ［J］.Pattern Recognition and Artificial Intelligence，2011，24 （4）：464－472 （in Chinese）.［劉海濤，汪增福，曹洋.基于流形學習的三維步態魯棒識別方法 ［J］.模式識別與人工智能2011，24 （4）：464－472.］

［12］YING Zai’en，LI Zhengyang，PING Xueliang，et al.Robot calibration based on binocular vision dynamic tracking ［J］.Application Research of Computers，2014，31 （5）：1424－1427 （in Chinese）.［應再恩，李正洋，平雪良，等.基于雙目視覺動態跟蹤的機器人標定 ［J］.計算機應用研究，2014，31 （5）：1424－1427.］

［13］TAO Zhijiang，HUANG Hua.Fundus images mosaic based on improved Harris and SIFT algorithm ［J］.Computer Engineering and Design，2012，33 （9）：3507－3511 （in Chinese）.［陶治江，黃華.基于改進的Harris和SIFT 算法的眼底圖像拼合 ［J］.計算機工程與設計，2012，33 （9）：3507－3511.］

［14］LUO Gui’e.Some issues of depth perception and three dimention reconstruction from binocular stereo vision ［D］.Changsha：Central South University，2012 （in Chinese）. ［羅 桂娥.雙目立體視覺深度感知與三維重建若干問題研究［D］.長沙：中南大學，2012.］