基于ReLU神經網絡的移動目標視覺伺服研究

，

(浙江工業大學 信息工程學院，杭州 310023)

0 引言

機器人視覺伺服系統是將視覺傳感器技術與機器人控制相結合以提高系統的性能與靈活性，從而使得機器人能夠更好地完成所交予的任務[1]。一般可將該系統分為3個方面：視覺系統、控制策略以及實現策略[2]。其中，視覺系統主要任務是采集目標所處環境圖像，經由圖像處理算法和模型計算得出目標的位置信息。而控制策略則是需要結合視覺系統提供的信息對末端執行器進行閉環控制，驅動其運動至期望位姿。這種視覺伺服系統增強了機器人與外界的交互能力，使得它能夠應用在許多領域如：工業分揀機器人、農業采摘機器人等等[3]。

為了使機器人視覺伺服系統能夠具有更好地完成對運動的跟蹤以及抓取任務，就需要設計性能良好的視覺系統以及控制策略以解決移動目標檢測和機器人實時控制的問題。需要視覺系統能夠完成對移動目標進行檢測并估計其狀態的任務。控制策略則需要滿足機器人實時控制的要求，結合視覺系統提供的信息完成任務。在基于位置的視覺伺服控制中，控制策略就是找出關節空間增量到笛卡兒空間增量的非線性映射。目前，這種映射關系多用高維非線性矩陣表示，這種方法存在著兩點不足：其一，各個關節之間存在著復雜的耦合關節，使得解耦過程過于復雜并且可能存在增根，此時就需要依據結果特點來確定位姿，不適用于實時控制；其二，可能存在多解，傳統方法難以得到單一優化解。對此，已有一些研究是利用神經網絡通過學習能夠表達任意非線性連續函數的特性來解決該問題[4]。其原理就是利用人工神經網絡對視覺伺服系統中不確定的模型進行辨識，并將辨識后得到模型用于伺服控制。主要成果集中于在先驗知識較少的情況下，利用神經網絡逼近視覺反饋中非線性的模型完成視覺伺服任務，如Ker R[5]通過設計BP(Back Propagation)神經網絡來辨識各關節角度與末端位姿的關系，并將訓練后的神經網絡用于對機械臂的控制并完成避障任務，通過實驗結果證明神經網絡控制機械臂可以很好地完成任務并避免奇異問題。也有將RBF(Radial Basis Function)神經網絡與模糊控制結合，Spyros N[6]采用多個徑向基函數網絡模型與專家系統相結合，大大減少了訓練時間，降低了系統誤差，并成功應用于機器人逆運動學控制中。

本文利用ViBe算法構建視覺系統來完成檢測運動目標任務，并將神經網絡應用于機器人運動控制中，從而解決機器人實時控制的問題。同時選擇修正線性單元(Rectified Linear Unit)[7]作為神經網絡的神經元，通過設計架構以及學習算法，以提高網絡模型的逼近精度以及泛化性能。之后結合機器人逆運動學構建神經網絡控制器并通過實驗結果驗證方法的有效性。實驗主要是在NAO機器人平臺上建立視覺伺服系統，完成對于給定的移動目標物體抓取任務。利用視覺系統提供的位姿信息，確定抓取路徑，控制機器人手臂完成對目標物體進行跟蹤、抓取操作。最后依據實驗結果驗證上述方法的有效性和可行性。

1 視覺系統設計

在機器人視覺伺服系統中，視覺系統主要負責感知目標所處環境信息以及提取目標信息。由于采集的圖像中包含許多的冗余信息，如何從中提取出有效的信息就是圖像處理算法所需要做的工作。另外，當目標處于運動狀態，如何快速地檢測與估計目標狀態也是設計視覺系統時需要考慮的問題。

1.1 單目定位模型

一般可將視覺系統分為圖像信息采集和視覺處理兩部分,圖像信息采集就是依據相機模型將三維空間投影到二維圖像空間的過程,視覺處理則是處理已經獲取到的圖像信息從而得到視覺反饋的過程。NAO機器人一般利用本身配置的兩個相機模型為針孔模型的攝像頭感知其所處環境。攝像機可隨著頭部的關節運動而改變視角，從而獲取更大的視角。

利用NAO的單個攝像頭對目標進行定位，主要原理是依據小孔透視模型建立起像平面坐標與實際空間中的三維坐標之間的映射關系，從而完成視覺定位任務，依據已知信息計算得出目標在機器人坐標系下的三維坐標。其中最重要的就是如何從采集的圖像中有效地提取出目標特征，以及利用目標特征結合已知模型對當前位置狀態進行估計，模型如圖1所示[8]。

圖1 NAO機器人單目定位模型

圖中oc為圖像空間坐標系，ow為機器人坐標系，(u0,v0)為圖像中心坐標，h1為目標高度。基于視覺的定位的有以下步驟：建立機器人坐標系，構建模型并推導出像平面坐標與實際空間中的三維坐標兩者之間的運算關系，從而計算得出目標在機器人坐標系下的空間位置。若目標中心在像平面上的坐標為(u,v)，則其在像平面上的坐標為圖像中心的物理尺寸為像素差與尺度因子的乘積，如公式(1)所示:

(1)

其中：dx,dy為相機尺度因子。依據三角函數關系結合攝像頭焦距f，則有

(2)

根據上述公式可得

(3)

依據三角形相似原理可求得目標物體的空間坐標為(xt,yt,h1)。

(4)

上述這種基于NAO機器人的機械機構的單目視覺定位模型，結構較為簡單、便于實現具有廣泛的應用性。但是其精度主要卻決于攝像頭標定的精度，需要確定精準的內外參數，并且測量范圍較為狹小。要想準確地獲取目標在圖像空間的特征坐標(u,v)，就必須要對采集到的數字圖像進行處理，從而剔除無效信息。

1.2 移動目標檢測算法設計

由于需要對運動目標進行操作，所以需要對采集到圖像進行運動檢測以便于區分前景與背景。依據NAO機器人計算能力以及內存，本文選用ViBe算法作為運動檢測算法[9]。這種算法具有初始化速度快、內存消耗和占用資源較少等優勢，較為適合用于機器人視覺伺服系統中。其原理以及算法步驟可總結如下：

1)初始化建模，依據采集的單圖像中每個像素點的空間分布特性進行背景模型，如公式(5)所示:

(5)

2)對t=k時刻之后采集到圖像序列基于閾值采取前景背景分割操作，通過設定閾值來檢測運動目標，如公式(6)所示:

(6)

3) 背景模型更新，每個像素點在依據公式(5)建立背景模型后，都有一定概率更新模型，通過結合步驟(2)來檢測運動目標。

將上述算法用于NAO機器人視覺伺服系統中，其結果如圖2(a)、(c)所示。將原圖像轉換為灰度圖，依據上述算法進行前景與背景的分割。

圖2 運動目標檢測結果

期望通過運動檢測算法可以得到當前處于運動狀態的目標，并提取它的特征，也就是計算出目標質心在像平面中的坐標(u,v)。在圖像處理中，常常用幾何不變矩[10]來作為目標的重要特征。這類特征可以客觀地區域形狀目標的幾何特征，其具有旋轉、平移、尺度等特性的不變特征，其形式如公式(7)所示。

(7)

可通過零階矩M00和一階矩M10、M01來求取目標質心。這種方法對噪聲不敏感，抗干擾能力比較強，并且精度也有保證，如公式(8)所示。

(8)

上述圖像處理方法得到目標特征在圖像空間中的位置，再結合公式(3)、(4)可有效地對目標的空間位置進行提取，其結果如圖3(d)。為了完成對目標抓取的操作，就需要估測目標在下一時刻的位置。將目標運動視為空間中勻加速的質點，建立位移和速度的模型，如公式(9)所示：

vt=vt-1+aΔt

(9)

式中，t代表當前時刻，xt、vt、a分別代表目標的位移、速度、加速度。依據公式(9)得到系統的狀態方程和觀測方程為:

(10)

式中，W(t) 、V(t) 分別為系統噪聲和觀測噪聲。依據公式(10)以及卡爾曼濾波[11]來預測目標在下一周期的狀態。將上述視覺系統用于基于位置的視覺伺服中，可以獲取運動目標當前所處位置以及預測下一周期的狀態。這樣可以為機器人閉環控制系統提供控制目標，方便后續的末端執行器的操作，從而完成任務。

2 機器人控制策略設計

由于神經網絡具有如下特點：能夠學習和適應嚴重不確定性系統的動態特性，同時通過修正連接強度來充分逼近任意復雜的非線性系統。它的研究和應用己經廣泛滲透到智能控制、非線性優化、機器人等各個領域。尤其是在機器人逆運動學中，利用神經網絡可以解決機器人逆雅可比矩陣實時求解的問題，從而避免計算量大、系統結構復雜等缺陷。

2.1 神經網絡控制器

在機器人視覺伺服系統的控制策略中，控制器依據當前系統狀態和期望輸出從而進行控制策略計算，輸出除了單一的控制量，也可以指一串動作或一個決策。利用神經網絡構建控制器就是模擬上述過程。比較典型的應用就是利用神經網絡直接逆控制，其基本原理就是將神經網絡模型被直接用作誤差閉環系統的反饋控制器。但是直接逆模型控制法沒有考慮系統本身的狀態，為了改善控制性能，通常在輸入端引入了系統當前的狀態。這種控制方法具有兩個優勢[12]：網絡只是在感興趣的工作范圍內訓練，因而所有信號皆由期望輸出派生；直接最小化網絡輸出的誤差，算法較為簡單。在這種控制方法中，常用的Sigmoid系激活函數作為神經網絡的神經元，其形式如公式(11)所示：

(11)

式中，u為節點輸入，y為節點輸出。這類激活函數具備很好特性可以將模擬信號的特征空間上的映射。但是在學習時需要將誤差從輸出層反向傳播，在各層要乘當前層的輸入神經元值以及其一階導數，如公式(12)所示：

(12)

由于y′∈(0,1)，導致每經過一個隱含層，其誤差都是成倍的衰減。如若加深神經網絡結構，就會使得梯度不斷的衰減，甚至于消失，導致網絡難以學習。這就使這類神經網絡在逼近精度以及泛化性能上都有所限制，利用其構建的控制器性能較差。為了提高神經網絡的刻畫能力，本文選用ReLU來替代傳統的Sigmoid作為神經網絡的激活函數。因為ReLU是一個分段線性的函數，其結構如公式(13)：

f(u)=max(0,u)

(13)

其優勢在于：梯度不飽和，因此在反向傳播過程中，減輕了梯度彌散的問題，神經網絡前幾層的參數也可以很快的更新。計算速度快;在學習過程中，Sigmoid函數計算激活值時需要計算指數，而ReLU函數僅需要設置閾值。加快了傳播的速度。因此，可以極大地加快收斂速度。所以構建深層ReLU神經網絡可以獲得更好的擬合精度和收斂速度，從而取得較好的控制效果。其結構如圖3所示，輸入層以及隱含層節點皆選用ReLU，再在輸出層添加一個較為平滑的激活函數，最終就會得到一個平滑的函數近似。

圖3 ReLU神經網絡結構

利用ReLU神經網絡模型逼近機器人關節狀態、期望末端執行器的位姿增量與機器人關節增量之間的關系，如公式14所示：

Δqt+1=F(qt,Δxt+1)

(14)

并將準則函數定義為：

(15)

公式中m代表樣本數量，Δqt+1期望的關節增量，F(qt,Δxt+1)為當前網絡的輸出。通過不斷地訓練，可獲得ReLU神經網絡控制器。

2.2 基于神經網絡的視覺伺服系統

機器人視覺伺服控制系統由兩個閉環構成，外環為笛卡兒空間的位置環，內環為各個關節的速度環。視覺位置反饋由圖像采集、特征提取、笛卡兒空間三維坐標求取等部分構成。由視覺系統獲取期望的位置和姿態與機器人末端執行器的位姿進行比較得到位姿偏差，根據位姿偏差設計機器人位姿調整策略，也就是在笛卡兒空間規劃一條可行的路線完成任務。得期望的機器人末端執行器在笛卡兒空間的運動速度，利用ReLU神經網絡控制器計算出各個關節空間的速度。由關節控制器，根據各個關節的期望運動速度，對機器人運動進行控制，其具體結構如圖4所示。

圖4 神經網絡基于位置的視覺伺服控制系統框圖

上述控制結構與傳統的基于位置的視覺伺服相比，利用ReLU神經網絡代替逆雅可比控制，以獲得更好動態性能。

3 實驗結果及分析

實驗主要在NAO機器人平臺上進行，這是一種結構與人體相似的類人型機器人，具有多個自由度并且搭載多種傳感器，能夠進行機器人控制、視覺伺服、人機交互等多種實驗[13]。本文實驗的主要步驟是利用視覺系統對運動目標進行快事識別以及定位，并基于控制策略驅動機器人末端執行器對目標進行抓取，從而完成任務。

首先控制機械臂在空間內做2 000次的隨機運動，將記錄下的數據作為訓練集，用于離線訓練神經網絡。利用圖3結構的ReLU網絡模型進行學習，并應用于機器人視覺伺服系統中，作為閉環控制的控制器。之后構建如圖4結構的視覺伺服系統，利用其視覺系統對運動目標進行檢測，之后結合定位模型得到當前的位置。通過卡爾曼濾波預測目標在下一周期的位置，將結果與當前機械臂末端執行器空間位置的偏差以及各個關節當前狀態作為神經網絡控制器的輸入量，從而得到各個關節增量。再由關節控制器，控制關節運動。運動過程中，NAO機器人右臂各關節角變化，如圖5所示，圖中各曲線代表關節在執行任務期間速度的變化。

圖5 關節角度變化圖

末端執行器在空間中的位姿以及目標的運動軌跡，如圖6所示，圖中NAO機器人右臂的末端執行器在神經網絡控制器的驅動下，向目標靠近。

圖6 末端執行器與目標空間軌跡

在機械臂運動期間，其誤差變化如圖6所示。從圖中可以看出兩者誤差在不斷縮小，最終可完成抓取任務。依據上述實驗結果可以證明所提方法能夠有效地完成對運動目標的跟蹤以及抓取任務。同時也驗證將ReLU神經網絡用于構建視覺伺服系統控制器的可行性。

4 結論

神經網絡能夠逼近非線性函數并且不依賴于系統的模型的能力，使得可以將其作為機器人控制的基礎。本文提出基于ReLU神經網絡構建機械臂運動學控制器，并結合ViBe運動檢測算法設計視覺系統以完成對移動目標跟蹤抓取的任務。通過實驗結果，證明上述方法能夠有效地解決了視覺系統對運動目標檢測和定位的問題和機器人實時控制的問題以及算法的可行性。神經網絡控制器是解決非線性的機器人控制問題的較為有效的方法，所以隨著神經網絡結構和訓練算法的發展，其在機器人控制中將得到更好的應用。