3D視覺表面匹配技術在曲軸毛坯無序抓取中的應用

陸賢輝 申紅森

摘 要：本文主要研究對無序排列曲軸毛坯的自動抓取，通過3D視覺技術實現空間位置搜索，并轉換為機器人抓取坐標，在實際運行過程中，為解決3D算法在速度、可靠性、穩定性等方面的不足，視覺識別成功率低，機器人抓取發生碰撞的問題，利用全局模型局部匹配的算法優化基于PPF特征的投票原理，最終實現高效穩定的3D物體匹配識別，并實現了無序排列曲軸毛坯穩定、可靠、快速的抓取，滿足了現實生產過程的需求。

關鍵詞：3D視覺 無序抓取 Point Pair Feature （PPF） 投票原理

Abstract：This paper researched the robot loading system for the free-form crankshaft. It was applied with 3D visual camera to search the object in a big steel case， and it would communicate with the robot and sent the coordinate of the specific character in the whole crankshaft. In the practice， the paper propound a new algorithm to improve the Voting Scheme based on PPF and more efficiently matched objects in the point clouds The method was met the production requirement and achieved the stability， reliability and high efficiency in the robot loading system for the free-form crankshaft.

Key words：3D visual camera， free-form， Point Pair Feature （PPF）， Voting Scheme

在工廠自動化、智能化的發展進程中，機器視覺技術扮演著一個重要的角色。而一般的2D視覺是可以用來進行工業產品的檢測與定位，難以精確呈現待檢測和識別的物體的三維信息，視覺工件定位與抓取技術則在工業各領域中的應用越來越廣泛，特別是在一些環境惡劣、定位精度要求較高的情況下[1] [2]。在實際生產中，經常出現要求從雜亂無章的物料周轉箱或料框中逐一抓取工件的情況，目標工件相互重疊、相互遮掩，對于此類應用，基于2D機器視覺的機械臂抓取技術顯然無法有效地完成作業任務，然而，3D機器視覺可以很好地解決此問題[3]。本文以實現了發動機曲軸毛坯從原包裝自動上線為對象，采用激光三角3D視覺相機和普通碼垛機器人，輔助以自主設計開發的專用夾具，代替之前人工上料工作，取得不錯的效果，完善了3D視覺算法在類似曲軸等復雜回轉體零件上的應用場景，開發了面向工業應用場景的視覺操作系統，優化了視覺匹配算法模型，形成了適合于曲軸等產品的視覺標定流程。

1 項目目標和技術方案規劃

1.1 項目要實現的目標

項目現場為曲軸毛坯人工上料工位，計劃實現機器人自動從料框中抓取無序排列的毛坯，人工只需要將料框推到規定的范圍內即可，其余動作由機器自動完成。

節拍要求為30秒/件，抓取成功率高于98%。

1.2 無序零件自動抓取動作流程設計

對現場使用場景進行分析，項目計劃實現的動作流程如圖1所示。

1.3 項目動作時間分析

由表1動作時間分析，可以看出整個循環在30秒也內，可以滿足現場需要。

1.4 系統控制框圖

項目的主要控制邏輯是機器人到達指定位置后，發信號給工控機，請求坐標信息，工控機收到請求后會調用3D相機進行拍照，并計算出待抓取零件的坐標，通過工業通訊總線反饋給機器人，機器人根據反饋的路徑坐標，進行零件抓取動作，動作完成后，再次請求坐標信息。見圖2系統控制框圖。

1.5 相機的選擇

項目測試了兩種相機：

線激光掃描相機，SICK Trispector1060，采用激光三角測量法（Laser triangulation），激光光源投射到物體的表面，相機的鏡頭和激光成一定的角度，生成物體表面的輪廓線，物體在輪廓在激光線處通過，生成多條物體表面的輪廓線，相機將輪廓線組成一副3D的圖像，3D圖像是基于掃描技術，因此物體與相機必須要發生相對運動。

線激光掃描成像原理如圖3所示。

優點，成像穩定，受自然光干擾少，缺點是視野小，需要移動相機掃描成像。

成像效果見圖4。

RVBUST RVC-X E20， 3D工業相機采用465 nm藍色條紋光投影光源和高分辨率傳感器，通過單次快照面陣成像，不需要掃描移動機構。

激光面陣成像原理示意見圖5。

空間光源成像，無須移動相機，視野大，點云密度低，465nm為可見光源，會受到自然光干擾。

激光面陣成像效果如圖6所示。

1.6 項目Demo測試平臺

為了驗證3D表面匹配理論、算法和機器人手眼標定程序，項目使用Trispector 1060 和UR協作機器人UR5進行測試，通過測試，發現算法的符合度可以達到使用要求。

Cognex公司的3D相機3D-A5000，輻以配套軟件VisionPro 的3D工具集（包括 PatMax 3D），能夠解決3D定位和機器人引導，如圖7Cognex 3D-A5000系列產品。

SICK公司的機器人PLB 3D定位系統，通過3D視覺方案實現三維掃描定位，通過導入零件數據模型到配套軟件，實現零件的定位匹配，分析工件抓取優先級，引導機器人快速抓取工件，避開上下層工件相互干擾。系統由一臺三維相機、一套零件定位軟件以及相機的控制系統通信集成工具組成。該相機提供準確可靠的三維圖像，受環境光影響小。

當前國內外3D產品層出不窮，而且大部分產品都是軟硬件打包在一起，算法和硬件高度集成，利用通用3D相機自主算法實現的案例比較少。而自主算法實現具有更大的操作自由空間，有利于以后的產品升級和應用擴展，因此，作者帶領團隊通過這個項目，另辟蹊徑，研究了3D視覺定位引導機器人技術，為工業領域引用3D視覺技術提供了另一種選擇。

2 項目軟硬件平臺

2.1 項目硬件選擇

結合項目節拍時間，工作場地，料框大小等因素，項目最終選定采用RVBUST RVC-X E20 3D工業相機和FANUC-2000iB/165F機器人來完成項目。

同時，也開始了設備布局及工件抓手同步機械設計，見圖8所示。

2.2 項目軟件平臺

項目軟件用Vs2017 community 15.9.31 編譯，界面使用Qt 5.12.3 LTS設計。基于qt的軟件界面設計如圖9所示：

項目用到的視覺算法庫有OpenCv4.30和Halcon 18.12。

3 視覺程序設計

3.1 3D表面匹配理論

3D匹配的兩個對象之一是3D相機拍照獲取真實零件無序堆放的場景（scene），另一個是產品零件的數模（model），這兩個對象都要轉化成有限的點云集合數據，通過PPF（point pair feature）算法匹配零件的位置。Lowe D G提出的SIFT算法[4]在機器視覺領域得到廣泛的應用。梁元月等利用SIFT算法具有尺度不變特性而對移動、旋轉、噪音、縮放和遮擋等多種圖像變化都有較強的適應能力[5]。

零件的數模處理，根據零件數模，創建點云對特征的模型，通過定義Point Pair Feature（PPF 描述了兩個有向點（oriented points）的相對位置和姿態）來構建特征矢量的集合以及每個特征矢量對應的點集對，構建哈希表作為模型的Global Model Description，為以后的匹配算法做準備。

通過3D相機獲得到零件（曲軸毛坯）點云（.ply格式文件）。稀疏化模型和場景以提高匹配速度，之后再采用一種高效的投票機制，在二維搜索空間里做局部匹配。這種算法既保證了識別率，也兼顧了匹配速度，算法概要見圖10全局模型局部匹配算法概要圖。

3.2 模型創建流程

導入零件的3D模型，因為視覺可見的為沿曲軸軸向表面，重直于軸向的表面在匹配中幾乎不起作用，我們在模型預處理過程中就刪除這些表面，以提高匹配的分值。

用sample_object_model_3d算子對模型進行稀疏化采樣處理，以提高匹配速度，采樣率越高匹配精度越高，匹配運算耗時也高。

使用surface_normals_object_model_3d 和select_points_object_model_3d算子對模型進行法向篩選，刪除對匹配貢獻較少的曲面。處理后的模型如圖11所示。

使用create_surface_model算子創建全局模型。

3.3 表面匹配

在3D場景找到曲面模型的最佳匹配，匹配到的模型的3D位姿會賦值給Pose，它表示3D模型在坐標系中的位姿。用到的算子如下：

find_surface_model（：： SurfaceModelID，ObjectModel3D， RelSamplingDistance，KeyPointFraction， MinScore，ReturnResultHandle， GenParamName，GenParamValue ： Pose， Score， SurfaceMatchingResultID）

該算子實現的過程如下：

第一步：近似匹配，在真實場景中找到模型的大概位姿。為了提高匹配速度，要對真實場景點云進行均勻采樣，也要設置關鍵點比率，從而使對象在遮擋時也能最好使得關鍵點能夠覆蓋模型的表面。增加關鍵點，會使得匹配更加穩定，但是匹配速度會慢。

第二步，優化匹配位姿：這一步是對第一步得到的位姿進行優化，提高位姿的匹配精度。優化位姿的目標是使場景中的采樣點到模型中對應點所在的平面的最近距離最小，通過計算場景中模型點的數量與模型總點數之比，獲得每個位姿的新的匹配得分，近似認為是場景可見部分的得分，這個得分比近似匹配的分數更加穩定、精確。

第三步：稠密位姿優化：使用和第二步一樣的原理，將第二步找到的位姿場景中的所有的點進行重新取樣，計算其與模型中對應點的平面距離，因為取點數量比第二步多，獲得的匹配位姿精度也得到進一步提高。

3.4 工件高度比較

通過獲取匹配的位姿在高度方向的坐標，進行迭代比較，得到位姿最高的零件，算法算述如下：

vector<int>：：iterator it;

for （it = iObjIds.begin（）; it ！= iObjIds.end（）; it++）

{

GetObjectModel3dParams（hvObjs[it]， "center"， &hvObjCtr）;

if （hvObjTopPs < HTuple（hvObjCtr[2]））

{

// 返回最高點工件序號 ： hvObjTopId

hvObjTopPs = （（const HTuple&）hvObjCtr）[2];

hvObjTopId = *it;

}

}

4 機器人與視覺系統坐標標定

4.1 點的坐標變換與剛性物體空間位置變換相關理論

矩陣使用大寫字母加粗來表示（例：R），向量使用小寫字母加粗表示（例：t）。對于直角坐標系{A}，空間任一點p1的位置可以用3x1的列矢量p1來表示。將坐標系{A}進行旋轉矩陣R變換和平移矢量t變換后得到點p2，點p2的關系有：

其中，齊次變換矩陣H可用于剛體在空間內的變換，手眼標定的目標就是矩陣H的求取過程，而抓取位置的變換則是使用H的逆陣。

我們可以用描述空間一點的變換方法來描述物體在空間的位置和方向。例如，圖4.1（a）所示，物體可由固定該物體的坐標系內的六個點來表示。

如果首先讓物體繞z軸旋轉90°，接著繞y軸旋轉90°，再沿x軸方向平移4個單位，那么，可用下式描述這一變換：

這個變換矩陣表示對原參考坐標系重合的坐標系進行了旋轉和平移操作。

我們可以對上述剛性物體的六個點變換如下：

變換結果如圖12（b）。

4.2 手眼標定過程中坐標變換關系鏈

本項目中相機固定位置拍照，機器人移動抓取，如圖13所示，抓取位姿的求解變換是先從相機坐標系換算到機器人本體坐標系，再從工具坐標系轉換到工件位置。

相機固定機器人抓取位姿變換關系公式描述如下：

系統選取了27個點進行了標定手眼標定，標定原始數據如下（部分數據）

最終獲得的轉換矩陣描述如下：

# Rotation angles [deg] or Rodriguez vector：

r 0.00771315076525138 0.381556878028913 0.118107038887647

# Translation vector （x y z [m]）：

t 981.840139561957 -1106.82354359607 -691.74442885262

4.3 手眼標定結果使用

對于標定出來的轉換矩陣，通過式4.4描述的換算關系實現物料抓取位姿的求?。?/p>

使用以下算子實現：

pose_invert（BaseInCamPose， CamInBasePose）

pose_compose（CamInBasePose， ObjInCamPose，ObjInBasePose）

5 問題總結及推廣

（1）零件料框包裝干擾問題解決。零件運輸過程中為了防潮，在外框包了一層塑料薄膜，抓取過程中，塑料薄膜掉落，會擋住相機視線，需要在外框增加卡槽，防止塑料薄膜掉落。（2）機器人手眼標定注意事項。機器人手眼標定過程中，需要視覺系統識別出的位置和機器人的抓取中心，即TCP重合，視覺標定程序設計過程中要確認這一點，否則變換矩陣求取的結果是不準確的。（3）抓取點相鄰的零件干涉問題處理。最初設計的抓取點位于曲軸的第三主軸頸位置，該位置接近零件的重心，但也是曲軸相互干涉最多的位置，卡爪沒有夾緊空間。經分析后，項目改變抓取點，更改到零件互相接觸少的芯軸位置。

通過一系列技術和工程手段，3D算法實現了零件的匹配和定位，再根據手眼標定的結果進行坐標變換，并將抓取坐標發給機器人，機器人執行程序進行抓取和送料操作，項目最終實現了用戶的需求。截止筆者收稿，設備已經完成5萬根曲軸的抓取，成功率超過98%。

參考文獻：

[1]宋麗梅.雙目立體機器視覺檢測系統及應用[J].西南科技大學學報，2006，21（1），第30～34頁.

[2]吳亞鵬.基于雙目視覺的運動目標跟蹤與蘭維測量[D].西北大學碩士論文，2008，第1～2頁.

[3]張孫亞.面向分揀系統的機器視覺相關技術研究[D].華南理工大學碩士學位論文，2017，第5～6頁.