基于改進Faster RCNN的工業機器人分揀系統①

孫雄峰,林 滸,王詩宇,鄭飂默

1(中國科學院大學,北京 100049)

2(中國科學院 沈陽計算技術研究所 高檔數控國家工程研究中心,沈陽 110168)

分揀機器人作為一種專用機器人的形式,通常只能完成特定的工件分揀任務.在目前實際應用中,很多機器人是通過示教或是離線編程方式完成一些固定的操作[1].近年來,隨著機器視覺的發展,在機器人中引入視覺模塊,在機器人視覺系統中利用圖像處理技術[2]對工件圖像進行預處理,利用特征工程技術[3]抽象出特征向量,進而由具體的像素坐標框定出目標位置并對目標進行分類.這種方法雖快速然精度不足,難以滿足更加智能化場景的需求.

隨著深度學習的發展,物體檢測的相關研究呈現出從具體目標到泛化目標,從特征工程到深度學習的發展趨勢.檢測的目標從特定的幾種物體到任意物體,檢測算法采用的特征從簡單的像素,到統計型描述子,再到卷積神經網絡中間層,并且特征從稀疏到稠密、從主觀設計的人工特征到可以抽象高層語義信息的自動生成特征.在物體檢測中,特征是核心.更具表達力的特征往往帶來更優良的結果.而在工業生產中,并無成熟的深度學習算法應用,究其原因,就是深度學習算法尚且無法滿足工業的實時性要求.

面向實時的Faster RCNN[4]算法在檢測速度上的提升給工業機器人帶來了新的變化,它基本滿足了工業實時性要求.同時,Faster RCNN 作為一種通用算法框架,不同于特征工程技術主觀設計的人工特征,只要數據滿足,經訓練后的模型能自動生成更具表達力的特征,使得可以檢測更為復雜、更為廣泛的目標,就能做到萬事萬物皆可檢測.

1 分揀機器人的硬件構成

機器人分揀系統包括機器人模塊、檢測模塊、通信模塊、傳送帶裝置和待分揀對象[1].如圖1所示,為分揀機器人硬件構成,其中不包括計算機.

圖1 機器人分揀系統硬件構成

機器人模塊包括阿童木并聯機械手機器人,機器人控制柜、示教編程器和驅動各關節的伺服交流電機組成.機械臂末端為氣動吸盤,用于吸取傳送帶上物體,并放入特定位置.

檢測模塊分為硬件和軟件兩部分.康耐視In-Sight7000 型工業相機作為硬件部分捕獲圖像,相機將固定在傳送帶上方.軟件部分為Faster RCNN 檢測算法,處理輸入圖像數據并得到目標類別和位置.

通信模塊為一小型局域網,用于工業相機圖像和檢測模塊數據間傳輸.

傳送帶為長為一米的皮帶輸送機,用于輸送目標對象.本研究中以工廠工件作為分揀對象.

2 分揀機器人工作原理

本系統中研究的重點在于檢測算法的實現,分揀系統分為訓練和測試兩部分.通過已標定的數據訓練Faster RCNN 算法模型,將訓練好的模型部署到系統的檢測模塊中.測試時,將芯片放在傳送板上以模擬工業傳送環境.相機以等時間間隔方式拍攝圖像,保證芯片在通過相機視野區域時,相機將捕獲到此芯片圖像,考慮到經由通信模塊將傳入的圖像作為輸入,在計算機中檢測模塊運行Faster RCNN 算法,將處理后結果作為輸出.輸出結果為此圖像中目標物體的類別和矢量位置坐標,再由通信模塊傳入并聯機器人控制器.計算機會記錄當前圖像的拍攝時間、數據傳輸時間和算法檢測消耗時間,由于傳送帶傳送速度恒定,機器人控制系統將獲取到此目標的運動后位置和類別.考慮到機械臂的運動速度,機械臂隨之執行抓取動作,將目標物體放入其所屬類別指定位置.

3 Faster RCNN

Faster RCNN 作為一種通用的物體檢測框架,它是在已有的算法框架上進行的改進.RCNN[5](Regions with CNN features)方法將CNN(卷積神經網絡)與區域候選框相結合,在此基礎上又出現了Fast RCNN[6]和Faster RCNN 算法.它們的基本思想都是將原始圖片劃分成不同的候選框,然后將卷積神經網絡CNN 作為一種特征提取器,將候選框提取出一個特征向量,并訓練一個分類器對特征向量進行分類.如圖2所示,目標檢測由這3 部分構成.

圖2 目標檢測構成

R-CNN 采用了遷移學習的方法,訓練時基于softmax 分類器在ImageNet[7]上預訓練好的模型使用領域特定的PASCAL VOC[8]數據集進行網絡微調.

在RCNN 基礎之上,Fast RCNN 借助選擇性搜索方法獨立生成候選框,使用經典分類網絡AlexNet[9]或VGG-16[10]對候選框進行特征提取得到ROI 層,并使用多任務損失訓練分類器和回歸器.其中的RoI (Regionof-Interest)池化層,有效解決了網絡低層無法訓練的問題,從而提高了檢測精度.

然而Fast RCNN 依舊無法進行實時檢測,其候選框生成階段是獨立于模型訓練和測試過程的,在測試時必須先進行候選框生成,因而候選框生成階段反而成了實時檢測的瓶頸[11].

不同于Fast RCNN 中借用選擇性搜索方法生成候選框,Faster RCNN 基于卷積神經網絡網絡提出了區域提取網絡(Region Proposal Network,RPN)生成候選框,依然使用Fast R-CNN 作為檢測子.RPN 與Fast RCNN 其實是共享了提取特征的卷積層,從而RPN 與Fast RCNN 結合成了單個統一的Faster RCNN 網絡.如圖3所示,可以將其大體分為卷積主干網絡、RPN微型網絡、Fast RCNN 檢測子和多任務損失四部分.

圖3 Faster RCNN 算法框架

本研究基于工業實時性要求,對Faster RCNN 的RPN 微型網絡進行改進,對卷積主干網和多任務損失函數進行了調整,更改了RPN 微信網絡的anchor 尺度并降低了特征提取維度,加快模型的檢測過程.

3.1 卷積主干網

Faster R-CNN 中的卷積層借用的是經典分類模型的卷積層架構及其預訓練好的權重,將分類任務預訓練好的模型用于相似的檢測任務上,直接對分類模型進行權值調整,這大大減少了模型訓練量.

如圖4所示,本研究中的卷積主干網借用VGG-16 分類模型的卷積層部分,特征圖輸出前沒有進行池化,這一點稍有變化.所有的卷積操作的步長為1,邊界填充為1,卷積核寬、高為3×3,這保證了卷積前后圖像寬高不變,池化層(pooling)采用2×2 且步長為2 的最大池化,池化層不影響圖像的通道數目,但每次池化過后圖像的寬高都將減半.卷積的通道數有64、128、256、512 等情況,通道數量表示圖像經卷積提取特征后的特征圖數量.每個卷積層之后ReLu 激活函數進行非線性變換,此操作不影響特征的寬高及通道數目.因而輸入圖像經過13 層卷積和4 層池化后得到的輸出特征圖的寬高變為原圖像的1/16,通道數目由RGB 三通道變為512.

圖4 Faster RCNN 的卷積主干網

3.2 改進的RPN 微型網絡

RPN 微型網絡采用滑動窗口方式對特征圖上的每個點生成輸入圖像上的9 個anchor.如圖5所示,為特征圖中心點對應在輸入圖片上的anchor.外黑框為800×600 像素點的原始圖像,內、中、外三種粗細方框分別代表128、256、512 三種大小的尺度,每個尺度下又有縱橫比為1∶2、1∶1、2∶1 三種情況,因而每個滑動窗口對應9 個anchor.

圖5 特征圖中心點對應的anchor

在原始anchor 中,為了保證能自適應各種尺度的目標物體,設置了128、256、512 這三種尺度,由于在實驗工業相機固定不動,實際得到的目標圖片不會由于距離產生大尺度的變化,因而在本研究中,進行尺度上的縮小和集中,改進為32、64、128 三種尺度,縱橫比依舊不變.

而三種尺度三種比例的anchor 設置,這相當于特征圖中的一個點能夠對應到原始圖片感受野中的9 個區域,每個區域對應了一個anchor.而通過有監督學習的參數訓練,模型能夠將參數調整到使計算得到的特征圖能夠對應到原始圖片中的物體.較小的尺度能夠捕獲到物體間的細小差異,這使得不同類別物體能夠得到區分,而較大的尺度能夠保證覆蓋原始圖片即全部感受野,這使得原始圖片不會遺漏未檢測到的物體.

由于攝像機的視野固定,因而傳送帶上的待分揀物體呈現在攝像機中的大小不會由于距離的遠近產生變化,因而其尺度變化具有一致性,也就是說,相同類別的物體在圖像中占據的像素大小差異不會產生大的差異.而原始anchor 中設置的尺度變化過大,并不適宜物體尺度變化不大的情況.因而將原始尺度進行縮小以適應尺度一致的情況是有必要的.

如圖6所示,為RPN 網絡結構.對于給定的輸入圖像,經由卷積層產生卷積后特征圖.RPN 微型網絡在卷積后特征圖上滑動一個3x3 的小窗口,每個窗口映射到一個256 維的特征向量,接著將特征向量送入兩個分支網絡：cls 分類網絡和reg 回歸網絡.在這里,將原始的512 維特征向量改進為256 維特征向量,加快了檢測的速度.

Cls 分類器對窗口映射的特征向量進行分類,對每個anchor 預測一個前景概率和后景概率,因而會有2×9=18 個概率值,用18 個神經元表示.Reg 回歸器對窗口映射的特征向量進行回歸,對每個anchor 預測中心點坐標及寬高的偏移量,用(tx,ty,tw,th)表示,因而會有4×9=36 個偏移量,用36 個神經元表示.注意到對特征圖的處理是以滑動窗口方式進行的,因而這些過程可以通過卷積操作實現.

圖6 RPN 微型網絡

3.3 多任務損失

對于RPN 的訓練,本研究采用多任務損失,將分類器的交叉熵損失與回歸器的SmoothL1 損失相結合.為了多任務損失L({pi},{ti}),其分類損失為Lcls(pi,p*i),回歸損失為Lreg(ti,ti*).對于所有樣本的多任務損失L({pi},{ti})為

其中,Ncls和Nreg為標準化項,λ為權衡系數.

考慮單個樣本的分類損失

其中,p*為anchor 對應的類別標記,p為其對應類別標記的預測概率.

多任務損失中只計算標記為正的anchor 的回歸損失,單獨考慮回歸器損失函數

其中,

ti和ti*由四元組表示,為了表示上的簡便,去掉下標i,只考慮單個樣本下的回歸器對anchor 預測偏移ti及ground truth 對anchor 的真實偏移ti*.

其中,

RPN 網絡采用隨機梯度下降SGD 方法優化多任務損失函數L({pi},{ti}),使得損失函數最小,模型在優化過程中完成參數的調整,找到一個局部最優解.在測試時,使用RPN 對每個anchor 預測出類別概率及標記為正的anchor 的回歸偏移量.將RPN 微型網絡的輸出采用非極大抑制方式得到回歸偏移校正的候選框.

3.4 Fast RCNN 檢測子

在Fast RCNN 檢測子中需要注意兩點,其一是分層采樣加快隨機梯度下降的訓練速度,其二是感興趣ROI 池化層反向傳播特征圖到池化層的映射可能會有重疊,需要對重疊部分的梯度殘差進行累加計算.

如圖7所示,將候選框proposal 在特征圖feature上對應部分進行ROI 池化,得到ROI 特征圖,接著使用全連接FC 進行特定類別的權值計算.同樣的,檢測部分還是采取Fast R-CNN 中的多任務損失作為優化目標從而調整權值.測試時,檢測網絡在FC 層之后只計算虛線部分得到預測的類別及位置,并經過非極大抑制后得出最終的預測結果.

圖7 Fast RCNN 檢測子

4 實驗結果及分析

實驗采用自標定數據集對模型進行訓練,將訓練好的模型部署在機器人視覺模塊中.實驗過程為在傳送帶上放置不同類型的待分揀對象,隨著傳送帶的恒定運動到達工業相機視野,相機等時間間隔拍攝照片同時通過通信模塊傳輸到視覺系統進行處理.此時Faster RCNN 算法的卷積主干網絡將逐層提取圖片特征,注意到此時模型的參數已經固定,在一次計算完畢后得到此張圖片的卷積后特征圖.一方面改進后RPN 網絡將對此特征圖生成候選框,另一方面此特征圖直接送入Fast RCNN 檢測子,同候選框一起生成感興趣區域得到ROI 池化層,通過分類損失和回歸損失對候選框的類別和位置參數進行調整,得到更加精細的結果.若判斷出相機視野中存在待分揀目標,視覺系統會將此結果以一定的數據通信格式發送給機器人控制系統,隨后在經過時間計算后,機械臂將擺動到相應位置吸取此目標.

如表1所示,為不同方法的訓練時間和測試時間及準確率比較結果.可以看出這些模型訓練時間耗時較長,這是由于數據集較大,數據的存儲與傳輸也比較耗時.而基于Canny 算子的方法訓練時間較短,是因為相比卷積神經網絡方法,它只需要訓練一個SVM 分類器,其特征向量的提取采用圖像處理和Canny 邊緣檢測算子等操作,無需訓練.從測試時間可以看出,Fast RCNN 無法滿足工業實時性需求,而Faster RCNN 也只是勉強實時,并不能做到真正實時.

表1 不同方法對比

分析改進的Faster RCNN 模型檢測時間的效果,可以發現測試時間顯著縮減.這是由于將原始維特征向量改進為256 維特征向量,將特征維度縮減了一半,這減少了模型的參數數量,并減少了每張圖片候選框生成的個數,因而通過特征圖生成候選框需要的時間更短,而實驗結果也證實了這一點.

雖然模型的訓練時間相比而言變化不大,但其檢測速度大大加快,這使其真正做到了工業實時,能夠應用在工業生產中.這種改進是基于相機固定不變的情況下,因而其準確率并沒有太大的降低.相比于Canny算子方法而言,雖然沒有其快速,但是已經能達到工業實時性標準,并且相比而言,其準確率也有顯著提升.

5 總結與展望

相比傳統方法而言,深度學習方法準確率高,然而其在工業中實時性要求大多算法難以滿足.針對相機固定的工業分揀機器人,通過對勉強實時的Faster RCNN算法進行改進,本研究將其應用到機器人視覺系統中,做到了真正實時,在分揀正確率上有了顯著提升.Faster RCNN 的改進,使其能自由應用于各種場景,這提升了機器人的環境適應能力,并提升了其智能程度和技術水平.然而此種方法在分揀成功率上尚有提升空間,接下來的研究計劃是分析工業場景的特點,研究單階段算法框架如YOLO[12]和SSD[13]算法,選取更針對性的算法框架,在滿足工業實時性的基礎上進一步提升分揀效果和智能化程度.