基于機器視覺的運動目標識別與定位

趙佳冉，張愛華，姜超群，蔣群，李建軍

（1 中原工學院 電子信息學院，鄭州 450007；2 新鄭市恒凱電子科技有限公司，鄭州 450007）

0 引言

機器視覺技術和數字圖像理論的快速發展，使得目標識別與分揀技術日漸成熟，且性能持續提升。在工業生產領域應用機器視覺技術［1］和圖像識別原理實現工業智能分揀。該類方法具有較強的靈活性和適應能力，使工業生產速度得到很大提升，同時減少了人力資源的消耗［2-6］。

張大為等人［3］基于機器視覺設計了可實現不同運行速度下的物料抓取的機器人自動上料系統。徐青青［4］利用智能分揀系統能夠實現不同物體識別分類并獲取位姿，但均存在算法不易移植的問題。彭杰等人［5］對不同位姿下的鋁件和有機玻璃通過條形碼進行分揀，但應用場景受限。王詩宇等人［6］利用并聯機械手機器人和康耐視相機搭建智能分揀系統，克服光照因素影響的同時解決因為環境改變程序不適應問題，成本較高。

針對以上問題，設計了基于機器人視覺的運動物體形狀識別與定位方案，該方案可應用于實驗教學，所以成本較低、應用場景廣泛且算法易于移植。

1 目標物體識別分揀系統

物體識別分揀系統主要由傳送模塊、機器視覺模塊、運動控制模塊和抓取模塊四部分組成。對此可做流程闡述如下。

傳送模塊負責運動目標物體的運動數據；機器視覺模塊對采集到的圖像做預處理，物體輪廓提取判斷物體形狀、獲取物體重心坐標，為實現物體分揀提供必要信息；運動控制模塊在調控X軸、Y軸移動的同時，控制Z軸運動到目標物體坐標進行吸取；抓取模塊負責物體的吸放操作。

圖1 系統工作流程Fig.1 System workflow

2 相機標定

由于相機鏡頭透鏡的存在，使得光線投影到成像平面的過程中會產生畸變，此時就需要對相機進行標定。通過標定，獲取相機的內參矩陣和外參矩陣，得到相機坐標系在世界坐標中的位置信息。相機坐標系與世界坐標系的關系［7］可表示為：

其中，R表示該相機的旋轉矩陣；T表示偏移向量；矩陣 [Xw YwZw1]T表示空間點在世界坐標系下的向量；[Xc Yc Zc1]T表示空間點在相機坐標系下的向量。

將相機坐標系（Xc，Yc，Zc）轉換至理想投影平面坐標系（Xu，Yu），可表示為：

其中，f為攝像頭焦距。由理想投影平面坐標系（xu，yu）到實際的投影平面坐標系（x，y）之間的轉換關系為：

其中，k1，k2為徑向畸變系數；p1，p2為切向畸變系數；r為點距成像中心的距離。

實際投影平面坐標（x，y）和相機圖像坐標（u，v）的線性轉換關系可分別表示為：

其中，（u0，v0）為基準坐標，表示圖像的中心坐標；Δx和Δy分別表示坐標軸中水平和垂直方向相鄰的2 個像素之間的距離（mm／pixel）；fx和fy表示單個像素的焦距。結合式（1）、式（4）～（5）可得到具體的表達式為：

4.鄉鎮級社會保險費征收機構。按照全區統一規劃，鄉鎮設置勞動保障事務所或勞動保障服務中心，主要提供社會保險相關服務。

其中，s表示比例因子。

由此就可以得到圖像中像素坐標系和世界坐標系的對應關系式。

3 圖像處理

3.1 圖像預處理

圖像預處理是物體形狀識別中不可或缺的一步，實際圖像采集時，外部環境干擾較大，為了消除無關信息的影響，需要對圖像進行預處理。本文采用高斯濾波方法對圖像進行濾波。利用二進制閾值分割方法中的Otsu 算法［8］將物體和背景分離，增強物體形狀識別可靠性。

Otsu 算法在實際圖像分割中是最佳的閾值選取算法，該算法計算簡單且不受圖像亮度和對比度的影響，能將物體和背景更好地分離出來，使后期的物體形狀識別更加準確。

其它類型的閾值分割算法是用戶自定義閾值，而Otsu 閾值類型通過大津算法，自動獲取合適閾值進行Binary 二值化，所以該方法更適合應用在工程實踐中。圖2 是利用Otsu 閾值分割方法對目標物體分割后的圖，可以看出該方法可以很好地分離出物體和背景。

圖2 Otsu 閾值分割Fig.2 Otsu threshold segmentation

Otsu 閾值類型通過大津算法，自動獲取合適的閾值進行Binary 二值化［9］。Otsu 算法原理為：令｛0，1，2，……，L -1｝ 表示一幅大小為M ×N像素的數字圖像中的L個不同的灰度級，用ni表示灰度級為i的像素數。圖像中的像素總數為MN＝歸一化直方圖具有分量pi＝ni／MN，選擇一個閾值T，并用其把輸入圖像閾值化處理為2 類：C0和C1。這里，C0由圖像中灰度值在［0，T］范圍內的所有像素組成，C1由灰度值在［T +1，L -1］范圍內所有像素組成。由P0（T）、P1（T）、μ0（T）、μ1（T）和σ20（T）、σ21（T）分別表示2 類的累計概率、平均灰度和方差，各值間的關系列出公式見如下：

3.2 形狀識別

圖像特征提取采用了多邊形逼近的方法，獲取目標基本輪廓。多邊形逼近主要應用approxPolyDP多邊形擬合函數識別物體形狀，該函數采用道格拉斯-普客算法（Douglas-Peucker）實現擬合函數的運算［10］。

算法應用步驟為：首先，做目標曲線的一條弦，假設目標曲線的首點為A，尾點為B，首尾相接得到一條直線AB，將該直線視為目標曲線的弦。然后尋找目標曲線與弦間的最大距離點C，使曲線和弦之間的最大距離為d，將d與預先設置好的閾值進行比較，若小于指定閾值，則這一段直線可近似為目標曲線，此段曲線處理完畢。如果距離d大于閾值，則用點C將線段分為AC和BC兩段，繼續上述操作，直到所有曲線處理結束。在本文中通過分別定義輸出的多邊形點集，將其作為多邊形的邊長，由此確定多邊形的形狀，形狀示意如圖3 所示。

圖3 Douglas-Peucker 逼近曲線示意圖Fig.3 Schematic diagram of Douglas-Peucker approximation curve

3.3 運動目標定位

利用灰度重心法計算物體的重心［11］來定位運動目標位置。其重心坐標通過求圖像的矩的方法得到，如果將圖像的像素記為密度函數f（x，y），對像素點求期望即為圖像的原點矩。原點矩的公式為：

其中，mpq表示圖像中所有像素的總和，每個像素的x，y都要和相應的比例因子xp，yq相乘。

由于圖形的一階矩是與圖形的形狀有關的，因此在本方案中采用一階矩的方法求取物體的重心，重心的求取公式為：

其中，m00表示圖像上所有非零區域，處理輪廓的長度為：

三角形重心位置如圖4 所示，可通過上述一階矩的運算求解得到。采用相似方法可求解其它圖形的重心坐標。

圖4 三角形重心示意圖Fig.4 Center of gravity of the triangle

4 系統實驗驗證

為了驗證算法的有效性，通過搭建的智能分揀裝置對運動目標進行抓取實驗。

當獲取運動物體的傳送帶位置信息后，對運動控制模塊發送信號，驅動三軸桁架機械臂運動到指定位置對物體進行吸取。

上位機界面如圖5 所示，左框為攝像機采集到的原圖，右框顯示結果為物體形狀和此時重心位置坐標，同時可通過速度窗口設置傳送帶傳送速度。抓取實物圖如圖6 所示。

圖5 系統上位機界面Fig.5 Upper computer interface of the system

圖6 目標物體抓取圖Fig.6 Grasping diagram of target objects

通過程序調試進行多次實驗，物體的識別成功率在速度為20 mm／s 時見表1，30 mm／s 時見表2。

表1 速度為20 mm／s 識別成功率Tab.1 Recognition success rate at a speed of 20 mm／s

表2 速度為30 mm／s 識別成功率Tab.2 Recognition success rate at a speed of 30 mm／s

從表1、表2 可以看出，不同形狀物體抓取成功率不同，隨著傳送速度的提升，物體抓取成功率開始下降。

5 結束語

本文利用.NET Framework 作為實驗裝置的開發平臺，在VS2015 環境下，使用C＃語言作為程序開發語言，采用EmguCV 中的算法庫對運動物體進行識別。利用Otsu 閾值分割算法自動獲取合適閾值，結合輪廓逼近方法獲取目標物體形狀，實現目標物體識別。通過攝像機坐標和傳送帶坐標之間的轉換關系，確定運動物體重心坐標的運動軌跡，實現目標物體定位，最終實現分揀。

本系統主要是實驗室演示裝置，實驗中因為對光源處進行遮光處理，排除外界光照影響，在實際工業應用時可能會出現因受到外界光照影響導致物體識別錯誤的情況，所以在實際應用中由于光照產生物體誤檢仍亟待進一步深入研究。