基于NAO 機(jī)器人的目標(biāo)跟蹤和人臉識(shí)別研究

馬迎杰，王佳斌

（工業(yè)智能化與系統(tǒng)福建省高校工程研究中心，泉州362021）

0 引言

在日常生活中與人類(lèi)互動(dòng)和支持的輔助和社交機(jī)器人是一個(gè)在研究和工業(yè)社區(qū)中獲得一致興趣的領(lǐng)域。常見(jiàn)的應(yīng)用領(lǐng)域包括通知商業(yè)和展覽場(chǎng)所的客戶(hù)，博物館的訪客指導(dǎo)以及大型超市的購(gòu)物指導(dǎo)。已經(jīng)有許多供應(yīng)商提供機(jī)器人解決方案，其功能可以基本滿(mǎn)足上述應(yīng)用。然而，雖然機(jī)器人平臺(tái)種類(lèi)繁多，但根據(jù)客戶(hù)要求，適應(yīng)和快速調(diào)整輔助機(jī)器人從一種情況到另一種情況的行為仍然是一項(xiàng)挑戰(zhàn)。

NAO 機(jī)器人它是第一臺(tái)專(zhuān)門(mén)設(shè)計(jì)用于與人類(lèi)互動(dòng)的機(jī)器人機(jī)器之一，具有非常友好可愛(ài)的外觀。與機(jī)器人的交互可以通過(guò)語(yǔ)音，手勢(shì)或觸摸完成，并且可以通過(guò)說(shuō)話或使用平板電腦上顯示的視覺(jué)信息進(jìn)行回復(fù)。Nao 處理的功能已經(jīng)允許在日常環(huán)境（例如公共辦公室或商店）中成功部署演示，以及實(shí)施教育應(yīng)用。

然而，我們?cè)O(shè)想的應(yīng)用場(chǎng)景的規(guī)范（例如，商城用戶(hù)協(xié)助）要求機(jī)器人能夠在更嚴(yán)重的部分遮擋條件下以更高的準(zhǔn)確度檢測(cè)、跟蹤和識(shí)別更遠(yuǎn)距離的人。該場(chǎng)景考慮先前未映射的封閉空間的情況，其中機(jī)器人執(zhí)行隨機(jī)搜索以尋找感興趣的用戶(hù)。在檢測(cè)到人時(shí)，機(jī)器人需要跟蹤并移近檢測(cè)到的用戶(hù)以便執(zhí)行面部識(shí)別。機(jī)器人重復(fù)一個(gè)檢測(cè)周期-跟蹤-識(shí)別，直到它能夠找到并識(shí)別需要通知待處理通知的人。本文也是致力于服務(wù)機(jī)器人的研究與開(kāi)發(fā)，作者也是眾多研究者中的一員。從國(guó)外的最新服務(wù)機(jī)器人進(jìn)展來(lái)看，未來(lái)人們對(duì)服務(wù)機(jī)器人的研究肯定一步一步地深入，說(shuō)明筆者所做的研究是有意義的。

1 硬件系統(tǒng)與軟件系統(tǒng)

本文采用的智能機(jī)器人平臺(tái)為NAO 仿人機(jī)器人。其中系統(tǒng)所需要的硬件系統(tǒng)包括攝像頭、CPU、語(yǔ)音合成器、揚(yáng)聲器等。由于識(shí)別算法運(yùn)算量大，而其CPU 運(yùn)算能力較差，同時(shí)需要擔(dān)負(fù)NAO 系統(tǒng)的運(yùn)行，因此難以支撐識(shí)別算法的實(shí)時(shí)運(yùn)算。因此采用通過(guò)機(jī)器人進(jìn)行圖像采集，并將圖像通過(guò)網(wǎng)絡(luò)傳輸?shù)缴衔粰C(jī)進(jìn)行處理，再將識(shí)別結(jié)果返回到機(jī)器人上進(jìn)行跟蹤識(shí)別。在軟件層面，系統(tǒng)是在NAOqi 框架[6]之上開(kāi)發(fā)的，這是機(jī)器人的默認(rèn)環(huán)境。

2 計(jì)算機(jī)視覺(jué)框架描述

機(jī)器人具有稱(chēng)為自主生命的默認(rèn)操作模式，使其能夠活躍并與用戶(hù)交互。這種操作模式使機(jī)器人一旦接近足以吸引機(jī)器人的注意力就能與人接觸。然而，我們提出的方案要求機(jī)器人能夠主動(dòng)檢測(cè)并移動(dòng)到超出其默認(rèn)交互距離范圍的人。此外，人們的檢測(cè)和識(shí)別需要處理目標(biāo)用戶(hù)的部分遮擋的情況，以及不同的照明水平。這促使我們利用外部計(jì)算機(jī)視覺(jué)框架進(jìn)行物體檢測(cè)和人臉識(shí)別。在這項(xiàng)研究中，我們使用YOLO進(jìn)行物體檢測(cè)，使用FaceNet 進(jìn)行人臉識(shí)別。YOLO 是一種在圖像中進(jìn)行物體檢測(cè)的方法，該方法可以通過(guò)卷積神經(jīng)網(wǎng)絡(luò)實(shí)時(shí)地在圖像上的一次通過(guò)中檢測(cè)來(lái)自定義的類(lèi)別列表的所有對(duì)象實(shí)例。YOLO 只用一個(gè)神經(jīng)網(wǎng)絡(luò)和一次評(píng)價(jià)，就直接從輸入的整幅圖像預(yù)測(cè)邊框和類(lèi)別概率。正因?yàn)檎麄€(gè)檢測(cè)流程是一個(gè)網(wǎng)絡(luò)，所以它可以直接進(jìn)行端到端的優(yōu)化。作為一種統(tǒng)一結(jié)構(gòu)，YOLO 的運(yùn)行速度非常快。基準(zhǔn)YOLO 模型每秒可以實(shí)時(shí)處理45 幀圖像，同時(shí)保持較高的目標(biāo)檢測(cè)平均準(zhǔn)確率（mAP）,而且應(yīng)用于訓(xùn)練領(lǐng)域外的圖像時(shí)泛化能力也較強(qiáng)。因此，這種方法足以實(shí)現(xiàn)我們的目標(biāo)，實(shí)現(xiàn)物體的實(shí)時(shí)檢測(cè)。

FaceNet 在考慮人臉識(shí)別任務(wù)時(shí)給出了最佳結(jié)果。對(duì)于圖像中的每個(gè)面，F(xiàn)aceNet 提供了128 個(gè)元素的嵌入，這是通過(guò)將圖像傳遞到深度神經(jīng)網(wǎng)絡(luò)而產(chǎn)生的。從相似面部獲得的兩個(gè)矢量具有彼此更接近的特性。通過(guò)這種方式，可以導(dǎo)出相似性度量，并且可以使用支持向量機(jī)對(duì)面部進(jìn)行分類(lèi)，或者使用k 均值方法進(jìn)行聚類(lèi)。

FaceNet 使用的監(jiān)督培訓(xùn)方法使用大量標(biāo)記圖像，可以在我們遇到不同面部位置和方向，不同光度或圖像質(zhì)量的真實(shí)條件下獲得更好的結(jié)果.

3 架構(gòu)實(shí)施

本文擬議的系統(tǒng)有幾個(gè)組成部分。機(jī)器人平臺(tái)使用來(lái)自?xún)?nèi)部和外部處理的數(shù)據(jù)。內(nèi)部處理是指?jìng)鞲衅鳌⒄障鄼C(jī)和移動(dòng)，而外部處理是指用于獲得所需信息（即人的檢測(cè)和識(shí)別）的圖像處理。

圖1 顯示了系統(tǒng)架構(gòu)。圖像處理任務(wù)在遠(yuǎn)程服務(wù)器上實(shí)現(xiàn)，結(jié)果隨后傳遞給機(jī)器人。對(duì)外部處理的需求是由于機(jī)器人的有限計(jì)算能力，其無(wú)法達(dá)到具有實(shí)時(shí)結(jié)果的良好技術(shù)水平。

人物檢測(cè)模塊將檢測(cè)到的人的邊界框（bbox）信息與深度信息一起轉(zhuǎn)發(fā)給人物跟蹤模塊。該模塊將當(dāng)前檢測(cè)與先前檢測(cè)相關(guān)聯(lián)。此步驟是必需的，因?yàn)闄C(jī)器人必須一次跟蹤一個(gè)人。在并行處理管道中，RGB 圖像被傳遞到面部檢測(cè)和識(shí)別模塊，該模塊能夠提取關(guān)于面部位置和其識(shí)別的人的信息。然后通過(guò)TCP 連接將提取的信息（檢測(cè)到的人的邊界框，跟蹤會(huì)話的id，深度信息和名稱(chēng)）傳遞回機(jī)器人。

圖1 系統(tǒng)架構(gòu)概述

3.1 人員檢測(cè)模塊

系統(tǒng)最重要的組成部分之一是用于人員檢測(cè)的模塊，必須以準(zhǔn)確的結(jié)果實(shí)時(shí)進(jìn)行檢測(cè)，以便跟蹤一致，沒(méi)有錯(cuò)誤。如前所述，對(duì)于此任務(wù)，我們使用YOLO 網(wǎng)絡(luò)，因?yàn)樗苓m合我們的系統(tǒng)，能夠處理大約每秒40 幀。

機(jī)器人產(chǎn)生的圖像流和YOLO 之間的集成在服務(wù)器上運(yùn)行，具有高計(jì)算能力。我們使用來(lái)自NAOqi 框架的ALVideoDevice 模塊來(lái)訪問(wèn)兩種已經(jīng)相關(guān)的圖像流、RGB 和深度。

我們使用預(yù)先訓(xùn)練的YOLO 網(wǎng)絡(luò)進(jìn)行快速檢測(cè)。

圖像的網(wǎng)絡(luò)結(jié)果是一組邊界框以及相應(yīng)的置信度，其中每個(gè)邊界框表示人在圖像像素中的位置。檢測(cè)限于頂部正方形，頂部正方形由檢測(cè)寬度定義。此更改對(duì)于跟蹤部件非常有用，因此機(jī)器人可以將其頭部位置對(duì)準(zhǔn)檢測(cè)到的人的上半身。

3.2 人員跟蹤模塊

圖2 人物跟蹤圖像表示以及角度計(jì)算

其中h 為機(jī)器人站立時(shí)頸部到腳底的高度，h=459.59mm,α為HeadPitch 關(guān)節(jié)當(dāng)前偏移角，即垂直偏移角，可由系統(tǒng)函數(shù)獲得；角度β為NAO 機(jī)器人嘴部攝像頭硬件位置與水平線的夾角，查表可得β=39.74。將相關(guān)數(shù)據(jù)帶入公式可得

在跟蹤過(guò)程中如果要求機(jī)器人與目標(biāo)保持1 米的對(duì)話距離，則每次只需要移動(dòng)S-1 米的距離即可。

在最小深度范圍內(nèi)跟蹤。當(dāng)一個(gè)人離機(jī)器人比深度范圍更近時(shí)，機(jī)器人將要求該人轉(zhuǎn)身并面對(duì)它以便被人臉識(shí)別模塊識(shí)別。

3.3 人臉識(shí)別模塊

如前面所述，用于面部檢測(cè)和識(shí)別的網(wǎng)絡(luò)是FaceNet。使用NAOqi 框架拍攝RGB 圖像，然后將其傳遞到外部服務(wù)器到面部檢測(cè)和識(shí)別模塊，在該模塊中網(wǎng)絡(luò)獲得檢測(cè)。該應(yīng)用程序僅考慮有人情況下檢測(cè)到面部。該檢查基于邊界框完成：如果檢測(cè)到的面部的邊界框在檢測(cè)到的人的邊界框內(nèi)，則關(guān)于面部的信息與該檢測(cè)到的人相關(guān)聯(lián)；否則面部會(huì)被忽略，因?yàn)槲覀儧](méi)有檢測(cè)到人物。第二種情況一般不會(huì)在實(shí)踐中發(fā)生，因?yàn)閅OLO 網(wǎng)絡(luò)在人員檢測(cè)方面給出了非常好的結(jié)果，特別是在某人的面部是可見(jiàn)的情況下。

3.4 用戶(hù)交互模塊

目前，該模塊是針對(duì)我們一開(kāi)始所呈現(xiàn)的場(chǎng)景實(shí)現(xiàn)的，即向所識(shí)別的人發(fā)出關(guān)于個(gè)人消費(fèi)或購(gòu)買(mǎi)問(wèn)題的聲音和視覺(jué)通知，并等待該人的確認(rèn)。

當(dāng)機(jī)器人到達(dá)人時(shí)，基于面部識(shí)別信息，它知道它是否到達(dá)了它正在尋找的人。如果它看不到前面的人的臉，它會(huì)通過(guò)聲音提醒人（例如“你好，請(qǐng)看我！”）。

使用NAOqi 框架模塊實(shí)現(xiàn)與用戶(hù)的交互。機(jī)器人從外部服務(wù)器接收人員的通知，并使用TextToSpeech模塊逐個(gè)開(kāi)始說(shuō)明。它使用TabletService 創(chuàng)建一個(gè)視圖，該視圖還在平板電腦上顯示通知，以便用戶(hù)可以將其標(biāo)記為已讀，或者可以向前或向后瀏覽它們。機(jī)器人解釋的聲音命令用于確認(rèn)提醒或關(guān)閉顯示。它們使用語(yǔ)音識(shí)別模塊進(jìn)行解釋。

4 實(shí)驗(yàn)

4.1 系統(tǒng)實(shí)現(xiàn)

該系統(tǒng)在具有不同人員的實(shí)驗(yàn)室環(huán)境中進(jìn)行了實(shí)驗(yàn)測(cè)試。建議的測(cè)試場(chǎng)景意味著機(jī)器人從隨機(jī)位置開(kāi)始，并開(kāi)始尋找特定的人來(lái)提供通知。機(jī)器人不停地環(huán)顧四周，如果它檢測(cè)到一個(gè)人，它就會(huì)向它們移動(dòng);這個(gè)人可以站立或坐著，它可以被展示的商品等完全可見(jiàn)或部分遮擋。如果檢測(cè)到的人是正確的，那么NAO 將讀出待處理的通知，否則它將繼續(xù)搜索。

機(jī)器人位于初始位置并開(kāi)始旋轉(zhuǎn)，首先是頭部，然后是整個(gè)身體。頭部從右上角到左上角，然后從左下角到右下角進(jìn)行圓周旋轉(zhuǎn)。我們選擇這種行動(dòng)來(lái)檢查機(jī)器人當(dāng)前位置的視野中的所有可能位置。如果沒(méi)有人檢測(cè)到，那么它將以120°旋轉(zhuǎn)整個(gè)身體。當(dāng)檢測(cè)到人時(shí)，頭部和身體旋轉(zhuǎn)都停止，并且下一個(gè)模塊被激活，更準(zhǔn)確地說(shuō)，是并行運(yùn)行的跟蹤和面部識(shí)別。

機(jī)器人將跟蹤檢測(cè)到的人并且將越來(lái)越近，直到達(dá)到預(yù)定義的距離閾值。如果機(jī)器人到達(dá)目標(biāo)，但沒(méi)有檢測(cè)到人的面部，它將要求該人直視它以識(shí)別它們。如果此人被識(shí)別為目標(biāo)人，NAO 將讀出待處理的通知。如果沒(méi)有，它將繼續(xù)搜索。

4.2 系統(tǒng)性能測(cè)試

我們對(duì)人物檢測(cè)和人臉識(shí)別模塊進(jìn)行了定性評(píng)估。目標(biāo)檢測(cè)結(jié)果如表1 所示。

表1 YOLO 與傳統(tǒng)方法比較

從實(shí)驗(yàn)結(jié)果中可以得出：NAO 目標(biāo)檢測(cè)系統(tǒng)實(shí)時(shí)識(shí)別效果與速度滿(mǎn)足實(shí)用要求。

對(duì)于常見(jiàn)視頻320×240 像素大小的圖片，需要耗時(shí)56ms 左右，常見(jiàn)視頻的幀率為24-30 幀/s，也就是說(shuō)每幀時(shí)長(zhǎng)為33-42ms，如果要做到實(shí)時(shí)的人臉檢測(cè)，算法耗時(shí)最好少于20ms，以此為系統(tǒng)的后續(xù)處理留下足夠的處理時(shí)間。為此我們進(jìn)行了圖像大小的耗時(shí)測(cè)試，如表2 所示。

表2 相同圖像內(nèi)容、不同圖像大小耗時(shí)

從實(shí)驗(yàn)結(jié)果中可以得出：選取128×128 大小的圖片滿(mǎn)足實(shí)用條件的要求。

5 結(jié)語(yǔ)

在這項(xiàng)工作中，我們使用NAO 機(jī)器人的傳感器，實(shí)現(xiàn)了在不受控制的封閉環(huán)境中檢測(cè)、跟蹤和識(shí)別人員的目的，證實(shí)了所提出的方法具有有效性。雖然機(jī)器人已經(jīng)能夠在室內(nèi)光照條件不佳的情況下實(shí)現(xiàn)快速、準(zhǔn)確、魯棒的目標(biāo)識(shí)別跟蹤和人臉識(shí)別，但由于實(shí)際的超市環(huán)境可能更為復(fù)雜、干擾因素更多，NAO 機(jī)器人的跟蹤以及識(shí)別算法有待進(jìn)一步的完善。

在未來(lái)的工作中，我們計(jì)劃解決機(jī)器人真正接近用戶(hù)時(shí)遇到的運(yùn)動(dòng)規(guī)劃問(wèn)題，我們可以通過(guò)使用SLAM技術(shù)或通過(guò)提供先前生成的地圖來(lái)擴(kuò)展工作，其中機(jī)器人可以跟蹤已經(jīng)訪問(wèn)過(guò)的位置并將所識(shí)別的人的位置保存地圖上。除了改善NAO 的檢測(cè)和用戶(hù)跟蹤功能外，我們的解決方案還具有可以移植到具有類(lèi)似傳感器和語(yǔ)音交互設(shè)施的其他機(jī)器人平臺(tái)上的優(yōu)勢(shì)。