基于深度相機與色彩跟蹤原理的AI 伴老寵物機器人的設計

方志剛 湯玉堅 龐偉業 張其文*

（蘭州理工大學計算機與通信學院，甘肅 蘭州 730050）

1 概述

當前隨著社會經濟的發展，子女面臨著巨大的工作和生活壓力，導致他們對于父母老人陪伴的時間少之又少，不少子女只有逢年過節才會回家看望獨居的老人。長期以往，獨居老人出現孤獨、抑郁等心理問題，便會飼養寵物陪伴自己。

但是，傳統寵物因為主人行動不便、飼養條件不滿足、沒有科學的飼養知識和易感染疾病等問題，給社會、環境和飼養主人帶來了很大的困擾。比如，由于主人疏于看管，頻頻出現的寵物傷人問題；不少人對于寵物的毛發過敏；寵物隨地大小便，帶來的環境衛生問題等。在此背景下，迫切需要一種可以替代傳統寵物的電子寵物。該項目的需求分析如圖1 所示。

2 陪伴型寵物機器人研究現狀

自20 世紀80 年代開始，我國就有相關高校和科研院所對四足機器人展開系統研究，雖然基礎較弱、起步較晚，但得到了國家的極大重視。目前國內一些公司也研制出陪護型寵物機器人，例如哈瑞斯實業有限公司所研制的仿生智能語音機器狗、南京好兒優機器人科技有限公司研制的可旺智能仿生機器狗等，這些雖然不是大面積被用戶使用，但都較好的實現了智能對話、觸摸交互的功能。

面對日本社會老齡化的壓力，人們投入了大量的人力物力來研究機器人，并取得了一定的成果。例如，日本aist 工業技術研究所的柴田正德開發了一種海豹型老年陪伴機器人paro，它可以感受到主人不同部位的觸摸，產生相應的互動反應，調整運動，并能感受外部聲音以及識別主人的聲音和命令；日本歐姆龍公司開發了一種完全模擬人類交流的新型機器寵物貓，叫做尼奎羅，它集成了機器人感應，控制和人工智能技術，能夠對主人的觸摸做出反應，并表達他們的感受。

綜上所述，無論是國外還是國內的陪護機器人，都僅在某一方面或幾個功能上進行的設計，不能滿足老人的全部需求，且使用的技術與當前物聯網等的高速發展相比較為陳舊。同時，對于外觀上的設計大體是傳統的機器人模型，不符合寵物的外形；在行走方面，帶有沉重的機械感和較高分貝的噪音，對于老人的使用并不友好。

3 系統設計方案

3.1 介紹

本文的最終目標是設計制造一款可以替代傳統寵物的仿生電子寵物，它不僅可以實現傳統統寵物具有的各項能力，而且具有面部識別、人機對話、疾病監控、定位跟蹤、危險報警等多項功能。最終實現對獨居老人的人身安全、健康狀況和心靈情感起到雙重的守護和慰藉。該仿生電子寵物的內部結構和外觀設計如圖2、3 所示。

圖2 仿生電子寵物的內部結構

圖3 仿生電子寵物的外觀設計

3.2 視覺跟蹤系統的設計

本文選取色彩跟蹤算法作為圖像跟蹤的主要方法，基于深度相機設計仿生電子寵物的巡線，將Intel Atom 作為處理器，配合intel realsense d435i 深度相機、串行總線舵機等元件及供電裝置構成視覺巡線。該設計能夠使仿生電子寵物自主巡線、自主識別紅色標識線、自主完成前后、左右、上下運動，可以原地轉彎、低姿態行走等一系列的基本動作。在完成這些基本的動作后，還可以設計更多新的步態動作等，在不影響外部形象的同時還能有效提了仿真性和靈活性。進而實現在仿生電子寵物陪伴老人的過程中，它會更為精確的識別與跟蹤主人或特定的物品。

圖5 深度圖

3.2.1 深度相機的圖像獲取

本文選用了intel realsense d435i 深度相機用于獲取圖像信息，在Ubuntu-ROS 操作系統下搭建視覺方面的配置環境，所得到的RGB 圖和深度圖如圖4、5 所示。在程序中，我們設置了兩個線程，一個控制設備的狀態，如設置深度數據流和視頻流的模式，切換數據流，最重要的是注冊數據流的回調函數，在這個回調函數中主要是對接收到的數據流進行處理，如數據流的深度偽彩色處理。另一個線程連續顯示偽彩色視差和彩色圖像。該步驟的關鍵是對視差圖進行格式化，并將圖像保存到深度數據流處理功能中。但是，深度相機采取到的深度圖中含有環境中的各種信息，如人、花草、地板、障礙物等，其中絕大多信息是干擾無用的。為了能精確確認指令，采取色彩跟蹤算法進行優化設計。

圖4 RGB 圖

3.2.2 色彩跟蹤的主要原理與實驗設計

色彩跟蹤的原理是提取選中目標物體的顏色特征，在把新一幀圖像中的像素點分為與之相似顏色和不相似顏色的兩類點（二值化），并將圖像中的噪點去除；在下一幀中，搜索具有相似特征的像素的連通區域，接近前一幀中物體的位置，得到物體在新幀中的位置。其優勢在于計算量適中，適合用于電量有限的小型實時嵌入式系統，可根據用戶意愿隨時更新所選擇的跟蹤目標，也可以根據目標色彩的面積推斷物體的距離，還可以用于跟蹤視頻流中運動的物體，并且不會被圖像中遠離目標物體的相似物體干擾。

在該項目中我們采用三幀差分法， 三幀差分法采用了連續三幀的圖像進行差分運算，然后對兩個運算的結果進行邏輯與運算獲取包含的共同部分，消除了由于目標位移造成的背景噪聲影響，從而能夠更加精確的提取目標信息。三幀差分法的計算公式如下：

其中In（x，y）為第n 幀的視頻圖像，Dn（x，y）為第n 幀的差分圖像，Bn（x，y）為差分圖像通過閾值threshold 二值化后的結果圖像。

我們基于三幀差分算法采集該寵物機器人拍攝的視頻，對視頻流序列圖像目標提取實驗結果比較分析。視頻圖像的分辨率為1080*720，視頻幀率為每秒29.97 幀，視頻總幀數為2697.3幀，運動目標為視頻中的凳子。實驗數據分別為視頻流序列圖像中的第2000 到2100 幀，截取其中的2050 幀、2060 幀、2070幀用于結果演示，目標提取實驗的結果如圖6、7、8 所示。

圖6 第2050 幀

圖7 第2060 幀

圖8 第2070 幀

由采集圖像所得，我們所設計的電子寵物適用場合為室內，因此可以不用考慮戶外光線等影響因素，所采取的三幀差分算法不僅保證了目標整體輪廓，同時降低了提取錯誤率，能夠準確的提取出運動目標的整體信息。

4 結論

目前，深度相機廣泛應用于智能人機交互、人臉技術、三維重建、機器人技術、AR 等領域。本文在基于深度相機的圖像獲取技術下設計了一款更為仿真與精確識別的陪伴型機器人，該設計將照顧老人與智能機器人結合起來，充分利用了現代人工智能的優勢，解決了照顧老人的距離問題。從服務設計的角度開發寵物伴侶機器人，不僅可以實現產品的功能創新，而且可以通過技術的不斷發展創造新的價值，追求美好生活的意義。