有限訓(xùn)練樣本下基于深度領(lǐng)域自適應(yīng)的機(jī)器人物體抓取

王宗偉

（1.中國(guó)科學(xué)院上海微系統(tǒng)與信息技術(shù)研究所上海200050；2.上海科技大學(xué)上海201210；3.中國(guó)科學(xué)院大學(xué)北京100049）

在受限環(huán)境下，給定一個(gè)或多個(gè)物體作為輸入，機(jī)器人旨在尋求最大化抓取成功概率的機(jī)器爪配置。但是，因?yàn)榇ト∥矬w的形狀各異、擺放姿態(tài)不同、周圍感知環(huán)境類似光照條件的變化等因素的干擾使該問題非常具有挑戰(zhàn)性。近年來，視覺感知的方法[1-8]在機(jī)器人抓取問題上正在吸引越來越多的注意。簡(jiǎn)單地說，這些方法從訓(xùn)練樣本中學(xué)習(xí)一個(gè)預(yù)測(cè)抓取角度和位置的模型。因?yàn)槊總€(gè)物體的抓取角度并不唯一，人工標(biāo)注這些樣本將耗費(fèi)大量時(shí)間和人力。此外，人工也不可能將所有可能的抓取角度都標(biāo)注出來。一種替代方法是通過機(jī)器人物理實(shí)驗(yàn)[5]或者仿真的方法[9]來收集樣本。這種方法可以半自動(dòng)化，節(jié)省了大量的人力，但對(duì)于未曾出現(xiàn)在訓(xùn)練集里的樣本，抓取成功率會(huì)下降很多。

為了克服上文提到的問題，本文引入深度領(lǐng)域自適應(yīng)（deep domain adaptation）的方法將在已經(jīng)標(biāo)注的外部數(shù)據(jù)集上學(xué)到的抓取知識(shí)遷移到待抓取的新物體上。為描述方便起見，在本文中，我們稱已經(jīng)被標(biāo)注的大量樣本集叫做“源域”（source domain），被標(biāo)注的待抓取物體組成的少量樣本集叫做“目標(biāo)域”（target domain）。

1 相關(guān)研究

1.1 抓取規(guī)劃（Grasp Planning）

機(jī)器人抓取是物體操縱領(lǐng)域研究最為廣泛的一個(gè)課題。一般來說，目前抓取的方法可以分為兩種，一種是幾何驅(qū)動(dòng)的，另一種是數(shù)據(jù)驅(qū)動(dòng)的。其中幾何驅(qū)動(dòng)方法在早期的研究中較為常見。給定待抓取物體的三維模型，幾何驅(qū)動(dòng)的模型使用解析方法計(jì)算最合適的抓取配置[10]。這種方法的難點(diǎn)在于怎樣理解給定場(chǎng)景下物體姿態(tài)的幾何特性。為了與數(shù)據(jù)庫中的物體模型進(jìn)行匹配，點(diǎn)云注冊(cè)是必須的。然而，感知物體姿態(tài)本身就是一個(gè)很難的課題，而且對(duì)于不在數(shù)據(jù)庫中的新物體，還需要為其新建一個(gè)三維模型。

另一條路線是使用機(jī)器學(xué)習(xí)技術(shù)學(xué)習(xí)一個(gè)從圖片或者深度信號(hào)到抓取配置的映射。相比于人工設(shè)計(jì)的特征，深度神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)到更加復(fù)雜、更抽象的表征[11]，使用深度學(xué)習(xí)技術(shù)能夠大幅提高抓取性能。自然地，機(jī)器學(xué)習(xí)方法都需要大量的訓(xùn)練樣本，如引言所述，收集到大量樣本很困難。其中文獻(xiàn)[5]利用機(jī)器人真實(shí)抓取實(shí)驗(yàn)獲取了4萬多的樣本，但樣本分布很不均衡，負(fù)樣本個(gè)數(shù)明顯多于正樣本。

1.2 領(lǐng)域自適應(yīng)（Domain Adaptation）學(xué)習(xí)

給 定 source domain和 target domain，source domain擁有大量已經(jīng)標(biāo)注的數(shù)據(jù)，target domain擁有較少的或者沒有標(biāo)注數(shù)據(jù)，source domain和target domain分布不同。領(lǐng)域自適應(yīng)學(xué)習(xí)應(yīng)意在縮小二者分布上的差異、最大化二者之間的共有特性，并將在source domain學(xué)到的知識(shí)遷移到target domain，達(dá)到提升模型在target domain上性能的目的[12-15]。領(lǐng)域自適應(yīng)學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域已經(jīng)被研究多年，近來隨著深度學(xué)習(xí)的發(fā)展，deep domain adaptation方法的性能最優(yōu)，已被廣泛應(yīng)用。然而本文是第一次將deepdomain adaptation方法引入機(jī)器人抓取問題上，并針對(duì)機(jī)器人抓取問題提出了新的目標(biāo)函數(shù)。

2 方法

本部分首先回顧機(jī)器人抓取問題的定義，然后為了減少過擬合的風(fēng)險(xiǎn)，我們用softmax分類器替換多個(gè)二分類器，最后我們將深度領(lǐng)域自適應(yīng)方法引入到機(jī)器人抓取問題上。

2.1 機(jī)器人抓取問題回顧

依據(jù)文獻(xiàn)[5]，機(jī)器人抓取仿真的定義如下：給定一張圖片，對(duì)于其中的特定物體，預(yù)測(cè)其最可能成功的抓取角度θ。因?yàn)棣仁沁B續(xù)的，自然地這是一個(gè)回歸問題。但是回歸θ很困難，原因如下：1）因?yàn)樽ト∷俣鹊膯栴}，很難采樣足夠多的、窮盡所有角度的樣本；2）對(duì)一個(gè)特定物體而言也存在著多種抓取角度。為了簡(jiǎn)化這個(gè)問題，θ被平均分成K個(gè)區(qū)間，具體來說，圖像中的物體首先被裁剪出來然后被送到一個(gè)卷積神經(jīng)網(wǎng)絡(luò)中（CNN）去，在這個(gè)網(wǎng)絡(luò)的最后一層輸出，我們估計(jì)一個(gè)K維的概率向量，其中第k維表示這個(gè)物體能夠在θk抓取成功的概率。

2.2 softmax角度回歸

一次成功的物體抓取依賴于3個(gè)因素：精準(zhǔn)的物體定位、正確的抓取角度預(yù)測(cè)和精密的機(jī)器爪。假定物體定位和機(jī)器爪都是理想的，那么預(yù)測(cè)一個(gè)合適的抓取角度變成了問題的核心。在我們的實(shí)驗(yàn)中，我們發(fā)現(xiàn)通過上述描述的目標(biāo)函數(shù)訓(xùn)練的模型經(jīng)常給出錯(cuò)誤的角度預(yù)測(cè)。原因在于公式（2）假定一個(gè)物體存在多個(gè)抓取可能并試圖訓(xùn)練多個(gè)，比如K個(gè)二值分類器，但在只有少量訓(xùn)練樣本的情況下，每個(gè)分類器只能分得1/K的樣本，因此模型很容易陷入過擬合。

為了解決這個(gè)問題，我們用一個(gè)多分類器softmax替代多個(gè)二值分類器。盡管一個(gè)物體可能存在多個(gè)合適的抓取角度，但我們限制一個(gè)物體只有一個(gè)最合適的抓取角度。這樣做的好處是所有的訓(xùn)練樣本都是softmax分類器的輸入，降低了過擬合的風(fēng)險(xiǎn)。用softmax回歸抓取角度的目標(biāo)函數(shù)如下：

2.3 領(lǐng)域自適應(yīng)機(jī)器人抓取

依賴于學(xué)習(xí)的模型通常需要大量的訓(xùn)練數(shù)據(jù)，深度學(xué)習(xí)對(duì)數(shù)據(jù)的需求尤為明顯。對(duì)機(jī)器人抓取來說，在實(shí)際中，我們很容易從收集到大量公共數(shù)據(jù)，然而對(duì)我們要抓取的物體來說，手頭數(shù)據(jù)一般不足。只用我們自己的待抓取物體或者使用公共數(shù)據(jù)作為訓(xùn)練集都不是最優(yōu)的選擇。原因是前者會(huì)導(dǎo)致訓(xùn)練的模型在訓(xùn)練集上嚴(yán)重過擬合，泛化性能不佳，而因?yàn)閿?shù)據(jù)分布上的差異，后者得到的模型在待抓取物體上性能會(huì)下降很多。為了充分利用公共數(shù)據(jù)和我們自己收集的數(shù)據(jù)，我們引入深度領(lǐng)域自適應(yīng)的方法。

2.3.1 source domain與target domain的差異

在有關(guān)domain adaptation的研究中，最大平均差異（maximum mean discrepancy，MMD）經(jīng)常被用來度量source domain與target domain之間的差異。MMD計(jì)算source data與target data在特征空間上各自均值之間的歐式距離。為了降低特征維度，像文獻(xiàn)[17]那樣，我們?cè)诰W(wǎng)絡(luò)的最后一層之上添加一層特征適應(yīng)層（feature adaptation layer，fc_adapt）。給定兩個(gè)抓取角度相同的物體，我們強(qiáng)制訓(xùn)練的模型預(yù)測(cè)相同的抓取角度，不管他們來自哪個(gè)域。現(xiàn)在我們正式定義angle-wise MMD損失函數(shù)如下：

2.3.2 保留target domain的判別能力

文獻(xiàn)[18]表明當(dāng)神經(jīng)網(wǎng)絡(luò)由淺入深時(shí)，學(xué)到的特征會(huì)從一般變的越來越跟任務(wù)相關(guān)。在我們的設(shè)計(jì)中，fc_adapt是倒數(shù)第二層，因此source domain和target domain在這一層不共享參數(shù)，他們?cè)谶@一層的特征分別用fc_adapt_s和fc_adapt_t表示。這樣一來，fc_adapt_t保留了target domain的判別能力。

遵循以上兩條原則，我們?cè)O(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)圖

2.4 目標(biāo)函數(shù)

訓(xùn)練過程分為兩個(gè)階段，第一階段與文獻(xiàn)[5]相同，公式（2）作為我們的目標(biāo)函數(shù)，訓(xùn)練過程是在source數(shù)據(jù)集上完成的。訓(xùn)練的模型用于機(jī)器人抓取實(shí)驗(yàn)的物體定位。一旦我們得到了準(zhǔn)備的物體定位，抓取成功就依賴角度預(yù)測(cè)了。領(lǐng)域自適應(yīng)下抓取角度預(yù)測(cè)的目標(biāo)函數(shù)如下：

其中λ是一個(gè)超參數(shù)，它控制著兩個(gè)域之間的混合程度以及我們希望目標(biāo)域在多大程度上保存它自身的區(qū)分度與判別能力。

3 實(shí)驗(yàn)

3.1 訓(xùn)練集

我們使用文獻(xiàn)[5]公開的數(shù)據(jù)集作為源數(shù)據(jù)集，自己收集的作為目標(biāo)數(shù)據(jù)集。將訓(xùn)練、驗(yàn)證和測(cè)試樣本合并后，源數(shù)據(jù)集總共有6266個(gè)正樣本和44301個(gè)負(fù)樣本。目標(biāo)數(shù)據(jù)集共有5064個(gè)正樣本，其中4078個(gè)被用于訓(xùn)練，剩下的作為測(cè)試集。所有圖像的大小被調(diào)整到227×227，而且都減去均值（104，117，124）。需要注意的是當(dāng)我們采用公式（5）作為我們的目標(biāo)函數(shù)時(shí)，只有正樣本參與模型訓(xùn)練。

3.2 訓(xùn)練和評(píng)估設(shè)置

這部分比較deep domain adaptation方法與其他基礎(chǔ)實(shí)驗(yàn)在測(cè)試集上的性能。我們考慮了4種基礎(chǔ)實(shí)驗(yàn)：source only（只用source data訓(xùn)練），target only（只用target data訓(xùn)練），mixed（將source data與target data混在一起訓(xùn)練），finetune（先在source data上預(yù)訓(xùn)練，再在target data上微調(diào)）。這4個(gè)實(shí)驗(yàn)全部使用公式（3）作為目標(biāo)函數(shù)。

實(shí)驗(yàn)全都基于Tensorflow實(shí)現(xiàn)。在所有的實(shí)驗(yàn)中，學(xué)習(xí)率都設(shè)定為2.5e-3，K=18，也即是我們將180度平均分成18個(gè)區(qū)間。SGD優(yōu)化器被采用，batch size為144我們依據(jù)模型在測(cè)試集上的最好表現(xiàn)來選取fc_adapt的維度，最終其維度被設(shè)定為128。給定測(cè)試樣例，我們依據(jù)如下標(biāo)準(zhǔn)如下度量模型性能：‖θ?-θ‖1≤1。其中θ?是模型預(yù)測(cè)的角度，θ是標(biāo)定真實(shí)角度。因?yàn)闄C(jī)器爪的精度原因，誤差在10度內(nèi)都是可以被接受的。

實(shí)驗(yàn)結(jié)果如表1所示。從中可以看出domain adaptation的性能最佳，超過target only2.84個(gè)百分點(diǎn)。

表1 各方法測(cè)試結(jié)果

4 結(jié)論

本文將domain adaptation方法引入到機(jī)器人抓取領(lǐng)域，并提出將多個(gè)二分類器用一個(gè)多分類器替代的方案。該方案一是有效減少了模型過擬合的風(fēng)險(xiǎn)，二是可以充分利用公共數(shù)據(jù)和我們自己采集的數(shù)據(jù)，將在source domain學(xué)到的抓取知識(shí)遷移到target domain，實(shí)驗(yàn)結(jié)果證實(shí)了該方案可以提高機(jī)器人抓取的成功率。