基于NAO機器人的數字識別

劉雪峰 陳曄 王元杰 龐彬堯

（中北大學 電氣與控制工程學院， 山西 太原? 030051）

摘? 要： 機器人擁有多種應用，其中較為重要的是圖像識別能力，而它們的圖像識別網絡均需要不斷的訓練，才能準確地識別物體。為解決NAO機器人在室內環境下實時數字識別問題，重新設計圖像識別模塊，在TensorFlow中搭建兩種數字識別系統，一種基于BP神經網絡，另一種基于卷積神經網絡（CNN）。在相同的數據集上，BP神經網絡與CNN在仿真中都取得了較好的效果，但在真實的機器人上運行時，CNN在有限的實驗次數內得到了更好的數據，被證明是一種更有效的數字識別系統。

關鍵詞： 數字識別; NAO機器人; 圖像識別; BP神經網絡; 卷積神經網絡; 仿真分析

中圖分類號： TN911.72?34? ? ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼： A? ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）14?0173?04

Digital recognition based on NAO robot

LIU Xuefeng， CHEN Ye， WANG Yuanjie， PANG Binyao

（School of Electrical and Control Engineering， North University of China， Taiyuan 030051， China）

Abstract： Robots have a variety of applications， the most important of which is the image recognition， and the image recognition network requires constant training to accurately identify objects. In order to solve the real?time digital recognition problem of NAO robot in indoor environment， the image recognition module was redesigned， and two digital recognition systems were built in the TensorFlow， one based on BP neural network and the other based on CNN （convolutional neural network）. The BP neural network and CNN have achieved good results in the simulation on the same data set， but when running on a real robot， CNN gets better data in a limited quantity of experiments， which is proved to be a more efficient digital identification system.

Keywords： digital recognition; NAO robot; image recognition; BP neural network; convolutional neural network; simulation analysis

0? 引? 言

機器人技術是機械、電子、計算機科學、控制、人工智能等技術的交叉領域[1]。這個多學科領域誕生于50年代中期，近幾十年來發展非常迅速。如今，機器人相對成熟，可以在全球范圍內大規模部署智能機器人開始參與提高人類的生活質量[2]。

由SoftBank機器人制造和商業化的NAO仿人機器人，具有25個自由度，配備兩個攝像頭、一個IMU（慣性測量裝置）、聲納傳感器、壓力傳感器和編碼器[3]。Choregraphe 2.1.4自帶的Vision模塊有Face Detection，? Learn Face， Record Video， Select Camera等[4]。

數字識別技術在這種信息大爆炸的AI時代，可以很好地節省人力、物力和財力。故本文主要運用卷積神經網絡的數字識別系統，先由NAO機器人用攝像頭采集圖像，通過局域網傳輸給PC，對采集的圖像進行處理分割，再經卷積神經網絡識別（需要預先訓練），最后反饋給機器人并使其做出響應。

隨著深度學習的不斷進步，涌現了各具特色的學習框架，其中，TensorFlow由Google研發，作為最受歡迎的開源項目，它提供了大量的API，便于研究者使用，故本文采用此框架。

1? 軟硬件設計

實驗在SoftBank NAO人形機器人3.2版上進行。對于圖像識別，使用了NAO頭部內的兩個攝像頭，其為是VGA攝像機，可產生高達30 Hz的視頻流。兩個相機的水平視場（FOV）為47.8°，垂直FOV為36.8°，并使用YUV 422色彩空間。NAO機器人攝像頭視場如圖1所示。本文為便于處理，僅使用單目。

在實驗期間，NAO正在運行Choregraphe 2.1.4。使用的軟件架構在Ubuntu 18.04下運行，采用的是Python 27。圖像處理時，使用TensorFlow 1.3.0、OpenCV庫、NumPy包。數據傳輸時，在交互式命令行中使用了WinSCP中的通信協議SETP，實現了圖像的拍攝，以及從NAO機器人內部存儲器傳輸到電腦的過程，以便于后期處理。

2? 神經網絡簡介

大量科學家為了使計算機如人腦般智能，多年來在醫學、生物學、信息學、計算機學等領域進行探索，逐漸形成了一個多學科交叉的領域，稱為神經網絡（Neural Networks，NNs）。它仿照生物大腦的結構和功能構建數學模型，通過神經元間的相互作用，進行訓練學習與動作預測。訓練時將訓練集喂給網絡，使其按規定的算法調整神經元間的權值，以達到預期輸出效果。訓練分為有指導和無指導，有指導是將訓練集喂入，并規定相應的輸出，通過多次迭代得到連接權值。

2.1? BP神經網絡

本文采用的是應用最為廣泛的BP神經網絡，其重點在于反向傳遞，整體過程為：輸入數據、逐層傳遞、輸出結果。將結果與預期對比，判斷其是否要進入反向傳遞過程。當進入反向傳遞后，根據結果與期望的誤差值，采用梯度下降法優化前向傳遞中的權值和閾值，使BP神經網絡最終達到預期效果。

圖2? 典型的神經網絡結構

在TensorFlow中，BP神經網絡的實現較為簡單，分為兩步：第一，定義層數以及每層的神經元個數;第二，建立神經元之間的關系。神經節點的計算也非常簡單，首先，y=tf.matmul（x，w1）+b1，意思是將所有的輸入與權值相乘，對其求和后加上偏置量;其次是設置激活函數，y1=tf.nn.relu（y）。

反向傳播的主要目的是訓練模型參數。TensorFlow提供的訓練方式有：梯度下降法、momentum優化器、adam優化器等，用于優化網絡參數，使得神經網絡模型在訓練數據中的損失函數（loss）盡可能的小。這里采用梯度下降法減小loss值，為了得到較為客觀的誤差信息，便于網絡的評估，采用均方誤差（MES）計算。

訓練規則由會話設定，通過多次迭代，訓練網絡并調整參數，得到可以滿足損失函數值要求的神經網絡。在此同時，還進行了斷點續訓，在一定周期后顯示成功識別率和損失函數值，這樣可以更好地監控訓練進度。

本文BP神經網絡選用三層網絡結構，輸入層將圖形轉化為28×28的圖形，后轉化為784個輸入量喂入網絡，隱含層設置為500個以保證識別精度，輸出設定為10個，分別對應10個數。

2.2? 卷積神經網絡結構框架

本文采用的是在圖像處理方面效果極佳的CNN，其模型如圖3所示。

由Conv. Layer， Subs. Layer， Full connection組成，Conv. Layer配合Subs. Layer將數據特征逐層提出，最終由多個Full connection對結果分類，輸出。它的優點在于，并不需要前期的圖像預處理，而且在卷積時可共享卷積核，對高維數據處理很輕松，不需要手動選取特征。池化主要是為了對特征圖像進行壓縮，簡化結構的復雜程度，提取主要特征，防止過擬合。

卷積神經網絡中前向傳播有幾種不同的環節，所以反向傳播針對不同的層有相應的計算規則[5?6]。對于誤差值的反向傳遞，較為復雜的是從池化層向前傳遞以及從卷積層向前傳遞。在得到每一層的梯度誤差[δl]以后，需要通過誤差對每一層的參數進行迭代。其中，全連接層的原理與BP神經網絡相同，可以按BP神經網絡的反向傳播算法求該層[W，b]的梯度[7?8]。而池化層本身并沒有[W，b]，所以這里只需要求出卷積層中[W，b]的梯度。

本文卷積神經網絡設置了兩個卷積層加池化層，兩個全連接層，以及一個輸出層。卷積層使用5×5卷積核以保證識別精度的同時克服干擾;池化選取2×2卷積核，保證邊緣不丟失;全連接層為512個全連接層;輸出層依舊是10個對應是個數。

3? 結果分析

本文使用的是來自美國國家標準與技術研究所（NIST），由250個不同年齡段，不同工作的人進行書寫的mnist手寫數字數據集，該數據集包含60 000個訓練樣本以及10 000個測試樣本，可以很大程度上滿足神經網絡訓練的需求，達到較為理想的訓練效果[9?10]。

在對網絡進行評價時，考慮loss損失和accuracy準確率。在訓練中，loss值會隨著次數的增加逐漸趨于0，因此，可以反映網絡的效果;accuracy準確率是用單獨的測試集對訓練完成的網絡的輸出結果進行測試，通過準確率的高低來判斷網絡的能力。loss損失和準確率對比如圖4、圖5所示。

由圖4、圖5可以看出，BP神經網絡和CNN都可以解決本文的問題，其中BP神經網絡較為平穩，而CNN則可以更快的收斂;由于數據較為簡單，存在過擬合現象，導致accuracy準確率會突然降低，然而很快又會調整回來。

在現實中測試時，使用了0～9十個數字（手寫體），如圖6所示，對每個數字進行20次測試，總計200次，結果如表1所示（準確率1為BP神經網絡的，準確率2為CNN的），可以看出CNN具有更好的魯棒性和泛化性。

4? 結? 語

本文主要解決了NAO機器人在圖像識別中存在的一些局限性問題，如只能識別特定物體與目標。在室內場景中，將手寫體數字作為目標，然后使用NAO機器人完成定位、識別和反饋。最終證實，CNN在數字識別中的效果優于BP神經網絡。

在實際處理過程中，識別精度還有待提高，可以根據實際情況對圖像進行適當裁剪，減少干擾信息，提高識別精度。本文介紹的框架需要進行預訓練，這取決于預訓練的樣本。當有強干擾項（例如照明、遮擋等）時，精度會降低。接下來，將花費一些時間進行目標檢測，例如Yolo v3和Faster R-CNN等，將不再局限于數字圖像，并且會從圖形中獲取越來越多的信息。

參考文獻

[1] 郝英好.機器人技術發展及其對經濟和社會的影響研究[J].新型工業化，2016，6（11）：68?74.

[2] 張紅霞.國內外工業機器人發展現狀與趨勢研究[J].電子世界，2013（12）：5?7.

[3] BUIHUUTOAN.智能服務機器人控制系統研究與實現[D].南京：南京理工大學，2015.

[4] Softbank. NAOqi documentation [DB/OL]. [2018?03?25]. http：//doc.aldebaran.com/2?1/dev/python/examples/motion/stiffness.html#python?example?motion?stiffness.

[5] 王勇，周慧怡，俸皓.基于深度卷積神經網絡的網絡流量分類方法[J].通信學報，2018，39（1）：14?23.

[6] 余秋婷.基于中間語言的移動應用安全性檢測方法研究[D].杭州：浙江工業大學，2017.

[7] 高玉明，張仁津.基于遺傳算法和BP神經網絡的房價預測分析[J].計算機工程，2014，40（4）：187?191.

[8] 談力.基于相似日選取的小波極限學習機短期負荷預測模型研究[D].南京：南京理工大學，2015.

[9] 宋明順，周涵婷，周立軍，等.基于過程分折法的美國標準化體制形成的驅動因素分析[J].科技管理研究，2018，38（11）：147?153.

[10] 孫巍巍.基于深度學習的手寫漢字識別技術研究[D].哈爾濱：哈爾濱理工大學，2017.