基于Choregraphe的Pepper機器人智能交互開發與應用

◆張欣婷

（國家特種機器人產品質量監督檢驗中心（福建）福建 362011）

1 引言

在現代信息技術的浪潮中，人工智能已經成為當前最為熱門的話題之一。AI+應用于服務業等各個領域。目前，我國正處于中國制造向中國智造邁進的大背景下，機器人產業迎來了全新機遇[1]。在各種機器人品類中，比較典型的就是基于人機交互的智能機器人。Pepper在教育及商業的應用領域極其廣泛，但由于目前日本軟銀已針對中國大陸禁止下載使用應用商店的APP，因此國內使用Pepper的機構紛紛開始加入基于Pepper的應用開發中。對此本文則基于Pepper智能機器人Naoqi平臺進行二次開發，構建一個可用于智能講解的定制化交互解決方案，并對該應用的設計與實現進行詳細敘述。

2 應用整體架構設計

本文主要以智能講解的定制化需求為前提，對Pepper機器人進行研究與設計。設計工作主要以日常講解、規劃引導路徑、人機交互情感交流為目標，采用語音對話方式構建來訪者與機器人之間溝通的橋梁，涉及機器人臉部識別、聽說、肢體表達、周圍環境雷達探測排障等行為方式，以此對來訪者的下一步行為進行判斷與規劃，使Pepper機器人形成閉環系統。具體Pepper機器人交互系統實現框架如圖1所示[2]。

圖1 Pepper機器人交互應用實現框架

根據圖 1看出，本文所設計的智能講解機器人解決方案主要是在Pepper機器人平臺的Naoqi系統進行設計與開發，通過系統中所支持的接口模塊進行二次開發，使該應用能夠滿足引導講解過程中的功能需求。在應用的基本功能中，智能講解機器人通過紅外追蹤和臉部識別模塊喚醒應用的執行，在根據識別到的對話做出不同的行為反饋。語音處理主要由語音識別以及語音合成兩部分構成，智能講解機器人主要通過肢體動作結合語音的方式，來對其情感進行表達，再利用網絡通信功能對系統服務器中的語音功能進行調用，以此實現與來訪者之間的溝通與交互。

3 開發環境介紹與搭建

3.1 硬件環境介紹

本文主要選用 Pepper機器人作為本次設計的開發平臺。Pepper機器人是一種由法國Aldebaran Robotic公司和日本軟銀集團所設計研發的一種可編程仿人機器人。該機器人高約120cm，全身上下遍布著20個自由度及系列傳感器，具體包括紅外線傳感器、聲納傳感器等。同時，Pepper機器人還擁有2個攝像頭以及4個麥克風，CPU主要運行于Linux內核之上。相較于同類型的機器人平臺，Pepper機器人的Naoqi系統具備基礎功能模塊全面這一顯著特征，并且擁有多種傳感器以及豐富的開發接口，能夠為本次智能講解解決方案的設計提供極大的支持。如Pepper機器人內部具備平面運動模塊，能夠對機器人的運動控制起到支持，實現機器人在既定平面進行軌跡直線或者曲線運動；Pepper機器人還具備語音識別功能，能夠根據識別到不同的語言根據既定的代碼觸發不同的事件，這些基礎核心接口的實現使得基于Naoqi的自定義開發提供了強有力的支持。

3.2 軟件開發環境介紹與搭建

Choregraphe 是一款多平臺的應用軟件，用 Choregraphe 可以創建應用于Pepper機器人的行為模塊，并連接到Pepper機器人上，從而測試用戶所創建的行為模塊。簡而言之，Choregraphe 是一款專門用于Pepper機器人應用開發的控制軟件。它采用的是圖形化編程，通過一些指令盒的組合形式，足以實現多種復雜行為，并且Choregraphe還提供給用戶自定義使用 Python 語言編寫模塊和調用SDK接口的功能。通過如下步驟就可以完成無線化進行Pepper應用方案的設計和開發：

（1）將Pepper機器人開啟，在“設置”面板中會顯示當前Pep per機器人的Naoqi版本。將Pepper機器人連接至可用的WIFI中，按下其腹部中的白色按鈕，當WIFI連接成功的情況下 Pepper會說出自己當前的IP地址。

（2）在 https://community.aldebaran.com/en/resources/software中設置機器人為Pepper，Naoqi系統版本為2.5.5后下載對應的Choreg raphe 2.5.10版本。安裝好后啟動Choregraphe 2.5.10，擇“連接”＞連接到”，如圖2所示，輸入Pepper當前的IP地址，端口默認是95 59，點擊連接。連接到Pepper的Naoqi系統后即可進行開發和聯機測試。

圖2 Choregraphe 2.5.10軟件與Pepper機器人的連接設置

3.3 應用詳細設計

整體的智能講解的定制化交互解決方案具體的應用流程圖如圖3所示。

圖3 智能講解定制化交互解決方案流程圖

從圖 3可知，本文中提到的應用在機器人開機后是給其設置了一個觸發器條件（'Launchpad/RobotType'=="Pepper"）當開機程序識別到當前機器人名稱為 Pepper時自啟動該應用。該應用調用Choregraphe中的Face Detection指令盒，當Pepper機器人識別到人臉時即傳遞輸入信號到Face Detection中，并且Face Detection的輸出端激活信號，運行到下一個Human Detected時間軸指令盒和Hello時間軸指令盒中。此時機器人會做出招手動作，并對來訪者發出hello的發音同時Pepper的平面展示器上顯示Hello的動態圖片。整個人臉識別和反饋行為的設計如圖4所示。

識別到人臉后在連續 120秒的時間內如果機器人有識別到匹配的語言會根據usual/usual_mnc.top中的rules給出對應反饋的內容。會話編程在Choregraphe中需要先添加一個Set Language指令盒將語言設置為將語言設置為Chinese，接著添加一個對話框指令盒usual，添加usual主題后生成usual/usual_mnc.top的對話文件。輸入對話規則即可。在該應用方案中也有多個功能性時間軸模塊，在會話中要將輸出端指向對應的功能性時間軸指令盒的方式就是將輸出端名稱設置成一個參數，將這個參數賦值為1即可。整個會話模塊的詳細實現如圖5所示。

圖4 人臉識別模塊的實現示意圖

圖5 會話模塊的實現示意圖

在智能講解機器人解決方案中除了語音會話模塊上，還具備交互行為。例如彈吉他、繞口令、跟來訪者玩游戲互動、按路線進行講解等。這些交互行為都是通過一個或者多個時間軸指令盒編程來實現的。時間軸指令盒分成動作和行為層。整個時間軸都基于時間標尺。運動層就是存儲在時間線上的動作。每個幀對應于機器人關節的位置。當時間軸開始時，時間光標位于開始幀上。然后定期將其增加到下一幀，直到到達“結束幀”。而行為層表示Pepper除了動作之外還將要執行的其他操作，例如播放音樂、播放視頻、發出指定的對話、按照規劃的路徑進行平面移動等。其中平面移動是Pepper特有的一個核心模塊。平面移動的時候，Pepper機器人為了實現避障控制，需要從它的兩個前端聲納獲取信息，對這些數據進行處理，并將清晰的輸出發送給速度和角度控制模塊。為了在未知環境中導航，機器人必須獲取信息、處理信息并為任務提供最佳解決方案。實現其按照規定路徑移動每一條路徑需要新建一個.pmt平面移動項目，在一個時間軸指令盒中行為層插入“面移動項目，在一個時間指令盒，將其參數設置為pmt文件的路徑，如圖6所示。

圖6 平面移動的實現示意圖

另外彈吉他、繞口令、互動游戲的行為層實現如圖7所示。每個行為層的實現還有出現時間軸指令盒嵌套的情況。繞口令中的//部分引用的是Naoqi系統中對于聲音參數的設置，例如音調、語速等等，使得機器人的發音更加貼切和生動。

圖7 交互功能行為層的實現示意圖

4 測試和總結

將程序打包安裝到機器人的Naoqi系統中。按照黑盒測試中的場景法進行功能測試。發現無論是對話功能，還是交互行為，該智能講解機器人都可給出很好的反饋，滿足日常接待來訪參觀人員的需求。但是在運行應用過程中有如下注意事項，在本文中匯總供讀者和廣大Pepper開發人員參考。

（1）Pepper在充電狀態下無法讓其行走。

（2）Pepper在充電口沒有往下蓋好的情況下也不能觸發行走相關的行為。

（3）Pepper電量過低也會導致行為觸發失敗。