基于卷積神經網絡的改進機械臂抓取方法*

蔡 晨 魏國亮

（上海理工大學光電信息與計算機工程學院 上海 200093）

1 引言

近年來，計算機視覺在機器人［1］、視覺現實、物體識別、深度圖像繪制等領域得到了廣泛的應用。最近一些研究已將計算機視覺應用于機械臂抓取任務中。傳統的機械臂方法基于人工示教，為避免外界環境的干擾，需將機械臂固定在某一抓取位置。與之相比，基于計算機視覺的機械臂抓取方法以計算機為大腦感知外界環境，以機械臂為操作手完成響應，對復雜場景中的不確定因素有較好的處理能力［2］。

基于計算機視覺的機器人抓取結合了模式識別技術和圖像處理技術，通過對采集設備獲取的圖像進行分析和處理，完成對目標的位置提取和方位估計，然后由機械臂接收信息并完成抓取任務。以往的抓取方法主要依賴于手動特征如ORB［3］、SIFT［4］等，這些方法對人工特征有較高的要求，對目標物體的形狀、大小、角度等因素較為敏感。因此，傳統的手工特征提取方法具有較弱的泛化能力，不能穩定地應用于多變的場景中。除此之外，基于目標局部轉換的方法［5～6］也取得了一定的成功。

在過去的幾年里，我們見證了深度學習在計算機視覺領域的一場革命。深度學習直接性地從像素級數據中學習到圖像的內在聯系與深度信息，在許多場景理解任務中取得了空前的性能，在目標檢測、物體分割與分類等任務中的表現極為突出。卷積神經網絡（CNN）的起源可追溯至數十年前［7］，得益于并行計算設備與大型數據集的發展、在線資源可訪問性能［9～10］及其在建模［8］中的優勢，CNN取得了快速的發展。最近，CNN也被用于學習如何檢測機械臂最優抓取姿態。

在本文中，我們利用文獻［11］中的算法框架。采用基于深度網絡的兩級級聯系統完成機械臂抓取中最優位置的檢測。第一步為選擇一組包含目標對象的候選抓取區域。第二步在前一步的基礎上檢測并獲得最佳抓取位置。為了追求更高的準確度，我們在機械臂抓取網絡的建立過程中做了以下工作：

1）將Mask R-CNN應用于機械臂抓取，以獲得抓取目標像素級分類信息，得到準確目標位置。

2）在對RGB-D圖像進行預處理的過程中引入引導濾波，并采用逆距離加權方法優化抓取中心的深度信息，以獲得更優的抓取位置。

3）將本結構應用于COCO和自建數據集。與現有的抓取框架進行對比，分析網絡的性能，并通過實驗驗證了該方案的可行性。

2 相關工作

目標檢測通常采用基于區域建議的方法，Ross Girshick［12］提出的一系列CNN算法（R-CNN）是目標檢測領域中的里程碑。R-CNN及其派生（Fast R-CNN，Faster R-CNN等）借助CNN具有良好的特征提取和分類性能的優點，采用啟發式方法完成分類與回歸。R-CNN系列網絡雖顯著地提高了檢測精度，但嵌有RPN的2-stage結構框架決定了其不具備實時性的性能。基于區域的全卷積網絡（R-FCN）［13］通過位置敏感分數圖來解決目標檢測的敏感定位問題，并構建了基于R-FCN的2-stage目標檢測框架，使檢測精度和速度上取得了良好的平衡。YOLO［14］（You Only Look Once）均勻地在圖片的不同位置進行密集抽樣，采用不同尺度和長寬比，利用CNN提取特征后直接進行分類與回歸。完成端到端的檢測，從而大大提高了速度。其派生YOLO2保持原有速度的同時提高了精度［15］。SSD（Single Shot-MultiBox Detector）［16］在多尺度特征圖采用卷積核來預測候選框的類別分數、偏移量，對不同尺度的目標均有較高的檢測精度。

機械臂抓取目標物時依賴于精確的坐標定位，然而基于邊界框的物體檢測只是粗略的估計物體的位置，不能滿足機器人準確抓取的要求。實例分割是對圖像中的每個目標進行檢測，并且為每一個目標計算出一個像素級別的掩模，這樣可以更加準確地獲取物體的目標位置。Mask R-CNN［17］將一個實例分割任務合并到Faster R-CNN［18］檢測框架中，從而形成一個多任務學習模型，該模型為每個實例對象預測一個邊界框和一個分割掩碼。

3 最佳抓取位置的檢測

系統框架和算法流程如圖1所示。該系統主要包括RGB-D攝像機Kinect 2.0和UR3機械臂。攝像機垂直懸掛在桌子上方。該方法主要由目標檢測部分、改進中心點算法和坐標系匹配三部分組成。

圖1 實驗框架和算法流程

3.1 網絡框架

為了避免傳統機械臂抓取中的局限性，降低操作的復雜度，本文利用Mask R-CNN獲取目標的掩模圖像。網絡以校正后的RGB圖像作為CNN特征提取網絡（如ResNet）的輸入，根據參數設置生成多個候選框，稱為興趣區（ROI）。區域網絡（RPN）和邊界框回歸（BB）對ROI的前景和背景進行分類，選擇合適的閾值，得到一組前景概率較高的區域。通過RoI Align層運算，使輸出特征圖與輸入圖像的位置信息相對應。然后，利用三個分支網絡獲取前景概率較高的區域內目標對象的類型、位置和掩碼信息，完成目標物體的實例分割，使機械臂抓取的姿態估計能夠精確到像素級。圖2顯示了Mask R-CNN的網絡結構。

圖2 Mask R-CNN的網絡結構

3.2 中心坐標計算

根據現實中物體的固有特性，我們假定物體表面光滑，其深度值不存在隨機不規則變化。使用高斯濾波等線性濾波算法中的濾波核與待處理的圖像本身邊緣信息無關，而引導濾波考慮了原圖像的邊緣信息。在對深度圖像的平滑過程中，以原RGB圖像作為引導圖像，添加到深度圖像的過濾過程中。所述濾波圖像的色度通道包含與所述引導圖像的亮度通道一致的連續邊緣。基于此，我們選擇引導濾波器對深度圖進行去噪處理。

圖3 導向過濾過程示意圖

我們將深度圖像P作為輸入圖像，將顏色圖像I作為引導圖像，如圖3所示。引導函數表示了支持窗口中輸出和輸入之間的線性關系。式（1）為輸出圖像Q計算公式。

其中，wk表示以K點為中心的支持窗口的區域，i表示wk的像素索引，點i的輸出值qi通過其輸入值Ii的線性變換得到，ak和bk代表該線性函數的參數。

對于抓取中心的選擇，我們采用常用的重心法，其中心位置的獲取如式（2）所示。

其中，Dx和 Dy表示x和y的范圍，hi表示 xi或 yi的值的數目。

根據中心位置深度信息的提取，考慮了周圍像素的深度信息，加權后得到確定Z軸值，替代直接讀取二維位置的深度值作為三維的值的方法。式（3）給出了反距離加權法的精確表達式。

其中，λi表示 zi的權重，定義如式（4）。其中 di是中心點和位置i之間的距離。

3.3 坐標系匹配

在進行坐標系匹配之前，首先需要用張正友標定方法［20］對攝像機進行標定，從而得到攝像機的內參數和外參數。

為獲取機械臂坐標系下目標物體的三維位置信息，我們需完成目標坐標由圖像坐標系至世界坐標系、世界坐標系至機械臂基座坐標系的轉換。

第一步為圖像坐標系至世界坐標系的轉換。先將針孔成像模型的齊次世界坐標退為三維坐標系，如式（5）所示。其中，R和t為該轉換過程的旋轉矩陣與平移矩陣。

由于 det(m)=axay≠0，det(R)=1，式（5）可轉化為式（6）。即利用內參，外參和物體中心的像素坐標，可獲得目標在世界坐標系中的坐標。

第二步為世界坐標系至機械臂基座坐標系的轉換。在匹配之前，首先需要確定世界坐標系的方向。如圖4（a）所示，通過圖像的坐標系方向來定義世界坐標系的方向。后將機械臂TCP移動到標定板坐標系的原點，記錄坐標 Ar:(xar，yar)，進行若干距離的移動后，定義坐標Br:(xbr，ybr)，在向量AB任一側存在點Cr:(xcr，ycr)，并根據條件DC與AB垂直，在AB上確定D點。我們定義Ar為AB在機械臂坐標系下的原點坐標，AB的方向表示世界坐標系在機械坐標系的x方向，DC的方向表示y方向，如圖4（b）所示。大部分時候A，B，C三個點不足以與世界坐標系匹配，根據匹配方法，我們會得到4對不同的表現形式，圖4（c）和4（d）為Br在第四象限，Cr在AB的順時針和逆時針方向位置的實例。

圖4 坐標匹配的示例圖

由于機械臂抓取需要感知物體深度，故將深度相機采集到的視差轉換為世界坐標系下的z軸坐標。由機械臂手工示教所得參數，將世界坐標系下z軸坐標轉換至機械臂基座坐標系下，從而得到機械臂進行抓取的三維目標位置信息。

4 實驗與分析

4.1 實驗環境

為了評估本算法在現實世界中的可行性，本文進行了多種機械臂抓取實驗對比。本實驗利用UR3作為抓取設備，Kinect 2.0作為數據采集設備。

4.2 基于Mask R-CNN的目標檢測與分割

在對目標檢測網絡進行訓練以及微調時實驗環境為Ubuntu系統，并使用顯卡GTX1080對訓練過程進行加速。Mask R-CNN模型所依賴的深度學習框架是基于帶有Tensorflow后端的Keras。模型訓練所需設置的超參數如下：1）采用SGD對Mask R-CNN進行微調，初始學習率設置為0.001；2）網絡每次迭代的樣本的批大小（batch size）為64，網絡在訓練集上共迭代275次；3）權重衰減項weight_decay為0.0005，無阻尼Nesterov動量為0.9。

本文利用不同尺度下的樣本圖像檢驗Mask R-CNN目標檢測模型對不同尺度目標的檢測能力，驗證模型的精度。圖5為目標對象在不同采集高度下的檢測準確率。實驗結果表明，當圖像中目標物體的尺寸適中時，精度相對較好；當樣本圖像中物體的尺寸過大或過小時，精度相對較差。

圖5 不同尺度下的檢測結果

4.3 坐標系轉換實驗

本文采用引導濾波對深度圖進行降噪處理，使深度圖更為平滑。圖6中顯示了引導過濾的預處理對比深度圖。

圖6 導向濾波的結果對比

本文對瓶子的兩種位姿進行對比實驗，放置形態如圖7所示。Kinect被放置在三個不同的高度。通過機械手的示教，可以分別在600mm和720mm、500mm和630mm、750 mm和890 mm三個不同姿態的高度上檢測出瓶子的最佳抓取深度。

圖7 瓶子的兩種位姿

表1顯示了不同位姿下改進方法得到的深度值與中心坐標點對應的深度值的比較，可見考慮周圍信息后抓取位置更接近最優。

表1 深度計算的對比實驗結果

5 結語

本文提出了一種基于Mask R-CNN的機械臂抓取最佳位置檢測框架，實現了對抓取目標的精確分類和定位。與傳統的機械臂抓取方法相比，該算法增強了目標定位的準確性。采用改進的中心點算法，對深度圖進行濾波降噪處理，得到更精確的三維抓取位置。同時，通過標定得到攝像機的內參與外參，從而完成目標位置由圖像坐標系至機械臂基座坐標系的轉換。本文將深度相機放置在工作臺頂部，利用UR3型機械臂進行抓取實驗。實驗結果證明了基于Mask R-CNN的機械臂抓取框架的有效性。