基于3D視覺傳感器邊緣識別和追蹤算法的研究

趙躍東，孫多潤，郭警中，劉煥曉，傅成林，王 銳，王 勇

（安徽維德工業(yè)自動化有限公司，安徽 合肥 230000）

隨著人工智能的迅速發(fā)展，計算機視覺的應(yīng)用越來越廣泛，例如：智能交通系統(tǒng)、視頻監(jiān)控系統(tǒng)以及基于視覺的行為分析系統(tǒng)等等，雖然經(jīng)過幾十年的發(fā)展，但是視覺跟蹤問題仍然是一個重要的但是嚴(yán)峻的話題；本文基于3D視覺傳感器邊緣識別和追蹤算法采獲取相機運動軌跡，并通過直接交互對點云進行分割。統(tǒng)計飛點濾波器對模型噪聲點進行抑制，最后將模型轉(zhuǎn)換到以模型幾何中心點為原點，以包圍盒最長邊為Z軸，以最短邊為X軸的模型坐標(biāo)系。

1 相關(guān)技術(shù)概述

1.1 3D視覺傳感器

機器視覺作為人工智能領(lǐng)域發(fā)展最快速的分支之一，從20世紀(jì)50年代起主要基于二維圖像的分析、識別與解釋；到60年代逐漸從二維平面過渡到三維計算機視覺研究，根據(jù)二維圖像提取出多面體的三維結(jié)構(gòu)，并描述它們的形狀空間關(guān)系；再到70年代，Marr教授提出了在視覺系統(tǒng)中第一個較為完善的框架-Marr視覺理論[1]，同時也將機器視覺的研究推向了一個新階段；而自80年代以后，愈來愈多新方法、新概念被提出，并且機器視覺的研究不再僅僅局限于實驗室，而開始被更多地應(yīng)用于實際生活、生產(chǎn)中。機器視覺系統(tǒng)主要是用計算機來模擬人的視覺功能，從客觀事物的圖像中提取信息，進行處理并加以理解，最終用于實際檢測、測量和控制。

1.2 邊緣識別

基于Sobel算子的邊緣檢測算法定位準(zhǔn)確，具有一定的抗噪能力，雖然單邊響應(yīng)差。但其計算簡單是一種十分常用的邊緣檢測算法。圍繞該算法的基于FPGA應(yīng)用的研究也相對較多。Canny邊緣檢測算法是經(jīng)典的邊緣檢測算法中理論最為完善，效果最好的。

1986年Canny提出好的邊緣檢測算法應(yīng)該滿足的三個準(zhǔn)則：信噪比準(zhǔn)則，定位精度準(zhǔn)則，單邊響應(yīng)準(zhǔn)則，同時列出了函數(shù)表示。其中要提高信噪比就需要濾波平滑消除噪聲，但濾波的平滑效果同樣會作用到邊緣像素點，使圖像邊緣模糊，影響到邊緣檢測的定位精度。

1.3 追蹤算法

3D視覺識別系統(tǒng)中還有一個極為重要的部分那就是對目標(biāo)物體的識別，一般來說按照被識別目標(biāo)不同可以分為了兩種：靜態(tài)追蹤和動態(tài)追蹤。動態(tài)識別是借助于動態(tài)視頻的基本序列來實現(xiàn)的。不過不管是動態(tài)還是靜態(tài)，識別過程都是固定的首先是對物體進行檢測，然后把關(guān)鍵的物體特征進行數(shù)據(jù)提取，之后按照數(shù)據(jù)類型對應(yīng)的規(guī)格參量進行分類。關(guān)于目標(biāo)對象的分類也是與提取特征有直接關(guān)系的，常見分類包括支持向量機、卡爾曼濾波等等?？柭鼮V波模型不僅能夠涵蓋圖像在時間空間上的實時信息還具有著很高的魯棒性，所以被很多專家學(xué)者使用在動態(tài)圖形的追蹤領(lǐng)域。卡爾曼濾波理論的主要算法基礎(chǔ)是最大似然準(zhǔn)則，在該基礎(chǔ)下的卡爾曼濾波模型識別能力較低，所以本文選取的是擴展C型卡爾曼濾波模型，在實際檢測過程通過加入狀態(tài)中心參數(shù)來實現(xiàn)模型的擴展，然后依次為基本再借助于狀態(tài)空間的隱射算法建立更加科學(xué)的模型。由上文的介紹可知我們已經(jīng)成功取得實驗所需的圖像，由于一個物體圖像中包含不止一個表情識別的提取特征，因此需要通過計算特定關(guān)鍵點的方式計算出實驗圖像的所有特征數(shù)據(jù)，然后借助于擴展性卡爾曼濾波模型進行追蹤。

2 算法總體框架

在本章中，基于卡爾曼濾波的多特征協(xié)同作用的多目標(biāo)跟蹤算法主要包含2個部分：目標(biāo)檢測、運動目標(biāo)模型。在目標(biāo)檢測階段，本論文采用方向梯度直方圖和支持向量機來對目標(biāo)檢測檢測。

2.1 運動目標(biāo)檢測

在對人臉表情生物特征進行提取過程中，Gabor往往會因為函數(shù)配置系統(tǒng)的不同會得到一個函數(shù)族群，通過此族群Gabor函數(shù)，就可以實現(xiàn)對圖像多角度，多尺度的生物特征的提取和研究。二維Gabor函數(shù)可以用以下方式進行表示：

由此可知，二維Gabor函數(shù)其實就是在復(fù)平面上經(jīng)過了直流偏移和高斯函數(shù)加窗處理的振蕩波。

其中：x為二維空間點也是濾波器的有效參數(shù)。kμ，v是由多個Gabor函數(shù)組成，其直主要代表濾波器的中心頻率，反映特定方向上所獲得額最大響應(yīng)，σ為常量，exp（ikμ，vx）為復(fù)數(shù)域的振蕩函數(shù)。

對Gabor函數(shù)進行傅里葉變換，結(jié)果如下式所示，對結(jié)果分析可知，二維Gabor函數(shù)是一個帶通濾波器，常用于特征的檢測和提取。

鑒于二維Gabor函數(shù)可直接被濾波器采用，所以在對二維圖像進行Gabor變換的整個過程中也是對二維圖像進行濾波進而提取圖像特征的過程。在此過程中，原有的圖像會在濾波器下進行不同角度的重合，當(dāng)圖像的紋理方向和濾波器中重合時，此時濾波器就會產(chǎn)生及時的反饋，進而達到對圖像生物紋理提取的目的。當(dāng)所提取的生物特征屬性角度適宜，范圍夠廣時，此時系統(tǒng)就可以將原圖像的紋理特性全部提煉出來。

圖1 5尺度8方向的Gabor小波實部

所以說，對圖像做的二維Gabor濾波響應(yīng)應(yīng)該是一個復(fù)數(shù)響應(yīng)，這樣的響應(yīng)由兩部分構(gòu)成，即實部和虛部。圖像的Gabor特征都可以用該結(jié)果的實部、虛部、幅值和相位進行表示。一般情況下，Gabor函數(shù)的實部和虛部在圖像變換周圍是不夠穩(wěn)定的，但是幅值和相位在這些位置卻具有良好的光滑性，不會出現(xiàn)強度較大的震蕩，所以，本文在獲取圖像Gabor特征時采用的是對濾波結(jié)果的幅值提取的方法，如下式所示。

為了能夠得出Gabor濾波器在圖像特征上更加清楚的響應(yīng)特性，進行下面的試驗分析，在對人臉圖像進行濾波的時候使用Gabor濾波器，將得到的幅值變化情況提取出來

2.2 目標(biāo)模型

為了表示每一個運動目標(biāo)與其他運動目標(biāo)的區(qū)別，本論文可以提取該運動目標(biāo)本身的固有屬性，比如運動目標(biāo)的外觀顏色直方圖、可以體現(xiàn)目標(biāo)顏色空間信息的紋理特征以及目標(biāo)位置的空間信息，并以此來計算目標(biāo)與候選目標(biāo)之間的相似度，進一步地，可以根據(jù)目標(biāo)所處的不同狀態(tài)（遮擋、不遮擋、背景相似度），調(diào)節(jié)每一種模型所占的比例。

2.3 跟蹤策略

所謂的運動目標(biāo)檢測就是在有序的圖像或視頻中將感興趣的目標(biāo)從相對復(fù)雜的背景中找出來。但是，由于目標(biāo)發(fā)生形變、光照出現(xiàn)變化、目標(biāo)被擋住、背景出現(xiàn)擾動等因素的存在，使運動目標(biāo)檢測變得更加困難，往往會出現(xiàn)目標(biāo)檢測或追蹤不正確的問題，有時甚至?xí)鼓繕?biāo)丟失。此外還存在外界光照強度的變化，因此借助動態(tài)檢測來提取運動前景，進而達到減小搜索范圍的目的。

在跟蹤過程中，每隔一段時間t取出一幀圖像，每得到K幀圖像，就更新一次背景圖像。背景圖像中的每個像素的值是這K張圖像中所有對應(yīng)位置的像素的中值。設(shè)背景圖像為bg（x，y），得到的K張圖像的集合為imgs，則有：

跟蹤視頻中每幀都會生成一張運動二值圖，用來標(biāo)記當(dāng)前幀中的所有運動像素（與背景圖對應(yīng)像素差值大于閾值th的像素）。對于所有視頻幀中的運動像素，將運動二值圖中對應(yīng)位置的值置 1，否則置0。為了解決靜止人臉的檢測問題，將上一幀所有檢測到的人臉區(qū)域標(biāo)記為運動區(qū)域（在運動二值圖中將所有對應(yīng)位置標(biāo)記為1）。將圖像灰度化之后，運動二值圖的運算可以表示為：

通過跟蹤視頻采集后的圖像都需要經(jīng)過一定程度的圖像預(yù)處理，這樣對于后續(xù)的檢測、識別都具有非常明顯的優(yōu)勢。

3 算法實驗分析

未驗證以上算法的可靠性，本文策劃了實驗來對算法進行分析，如圖對毛球罐，風(fēng)扇盒子和紅茶分別進行建模；將待重建的物體置于由雜志頁覆蓋的旋轉(zhuǎn)平臺上（雜志頁紋理豐富用以增加 跟蹤算法的穩(wěn)定性），打開攝像機，手動緩慢旋轉(zhuǎn)平臺，采集圖像，圖2左邊欄展示的是采集的三個物體的部分視角圖像，可以看到由雜志覆蓋的旋轉(zhuǎn)平臺。采集圖像一周后采集月15～25張圖片，即可交由重建算法進行物體重建。重建結(jié)果可見圖2右邊欄，可見對于一般的幾何體，該方法可以有效地進行重建。表1比較了重建后尺寸與真實尺寸，可以兩者的誤差基本在1cm以內(nèi)，基本可以用于位姿估計和機器人抓取規(guī)劃。

圖2 實驗重建結(jié)果

表1 模型重建值和真值對比

4 結(jié)論

實現(xiàn)了一種基于旋轉(zhuǎn)平臺與RGBD相機的簡易模型重建方法。該方法3D視覺傳感器邊緣識別和追蹤算法采獲取相機運動軌跡，并通過直接交互對點云進行分割。統(tǒng)計飛點濾波器對模型噪聲點進行抑制，最后將模型轉(zhuǎn)換到以模型幾何中心點為原點，以包圍盒最長邊為 Z軸，以最短邊為X軸的模型坐標(biāo)系。該方法簡易可靠，可用于中小型物體的三維重建。