基于樹莓派的目標追蹤系統的設計與實現*

咸陽師范學院計算機學院 楊丙麗 曹佩蕾 姚玉瑩

本文主要針對基于樹莓派的機器人運動時的物體識別、視覺循跡避障、物體追蹤等問題展開研究。借助樹莓派平臺,以其豐富的硬件接口和大量開源的軟件資源作為研究基礎,采用Python程序設計語言編程,使用可以連接樹莓派的攝像頭經行畫面采集,利用OpenCV進行圖像處理,設計了基于樹莓派的目標追蹤系統,以攝像頭為感應,把獲取的圖像視頻進行分析處理后,判斷物體運動軌跡,判斷路徑遇到的障礙,與目標經行對比,實現物體追蹤。

0 緒論

人工智能已是現在研究的熱點,在不同領域的機器人研究中,都少不了有關機器人運動的研究,目前對機器人物體追蹤領域已有研究,但針對不同領域的研究主題大不相同,在不同的研究中,根據設定的不同需求展開特定的研究,尤其在學術論文中涉及的更多,如西北大學張少博的學位論文《基于SSD物體追蹤算法的增強實現系統設計與實現》[1],科學中國人期刊出版的《基于Processing的移動物體追蹤定位》[2]等都介紹了有關機器人運動的研究。本文主要是基于樹莓派針對小車機器人的運動物體識別所涉及的研究,在小車運行過程中,根據實際情況與設計的特定需求,對小車進行控制運動的方向,保證機器人的正常的運動,最終實現物體識別、物體避障、物體追蹤。

1 研究基礎

1.1 樹莓派平臺

樹莓派是一個開放源代碼的硬件平臺,其本身擁有大量且豐富的硬件接口和開源的軟件資源,可直接進行使用。

1.2 OpenCV

OpenCV是一個開源發行的可跨平臺計算機視覺庫,它可以運行在Windows系統、Linux系統、Android系統和Mac OS等操作系統上[3],可使用的范圍非常廣泛,并且提供了Python語言的接口,實現了圖像處理與計算機視覺處理方面的通用算法,可以直接進行使用。

在本項目的研究過程中,主要是通過Python語言編寫程序,用Python語言實現代碼編寫,運用Pygame和樹莓派自身的小車運動函數,通過分析比較攝像頭傳來的圖像、視頻,判定小車的運動軌跡,前進方向。

在圖像獲取方面,利用網絡連接攝像頭獲取實況圖像,采用OpenCV自帶的庫函數VideoCapture對獲取的圖像進行讀取[4],并通過傅里葉變換、Morpholigical過濾、高斯模糊處理、膨脹等圖像處理方法進行處理,來得到更清晰準確的畫面,通過讀取的圖像判斷小車的運動方向。在物體追蹤方面,OpenCV本身內部的追蹤算法可以直接使用,大大方便了我們的研究,也讓小車的運動追蹤更加容易實現。

2 目標追蹤系統的總體設計

小車的主控模塊選用的是樹莓派平臺。樹莓派是一種高性能、價格低廉的微型電腦,采用ARM架構,可運行Ubuntu Linux操作系統,基于此,在本項目中利用樹莓派平臺用Python語言作為系統開發程序語言。

本系統由攝像頭、樹莓派主板、舵機驅動板、開發板、電源等部分組成。其中樹莓派主板為圖像處理模塊,通過Ubuntu Linux操作系統為控制模塊,小車機器人為執行模塊。樹莓派一方面負責與攝像頭連接進行環境圖像采集與手勢識別,另一方面利用串口通信方式將圖像識別數據下發至Ubuntu Linux操作系統。根據物體運行的軌跡,結合物體識別的影像,要求樹莓派讀取攝像頭采集到的圖像信息并進行圖片處理與物體識別,然后將物體識別結果發送到Ubuntu Linux操作系統,驅動板根據Ubuntu Linux操作系統計算得到的舵機數據進行小車機器人舵機控制,同時機器人自身傳感器采集狀態,將狀態信息發送至Ubuntu Linux操作系統,形成閉環控制,完成對小車機器人的控制。攝像頭連接,利用網絡讀取攝像頭獲取的畫面[5],樹莓派獲取后進行分析處理,再將信息傳輸給舵機,控制運轉,舵機作為轉向驅動。penCV算法找出物體的輪廓,利用霍夫變換找出物體的中心坐標和半徑。物體的追蹤使用的硬件為支持樹莓派的USB攝像頭,使用的軟件為OpenCV,應用算法,通過WiFi與RPI進行數據、圖像傳輸,實現遠程控制,電源模塊可為系統供電。

3 控制系統硬件設計

本文主要采用樹莓派4B主板作為核心,它主要通過控制小車機器人的舵機運動來獲取運動畫面,然后對圖像經行處理。樹莓派拓展部可集成電源芯片,支持相應的電源輸入,然后通過拓展板對樹莓派經行穩壓供電。隨后,將訊號發送給舵機,舵機根據控制信號調轉角度,控制馬達轉動。

舵機是一種位置伺服驅動器,主要應用于需要不斷變換角度并且保持持續狀態的控制系統[6]。舵機主要由外殼、電路板、驅動馬達減速器和位置檢測原件構成,操作使用方便。舵機的工作原理是由接收器將信號發送給舵機,由電路板上的IC驅動核心馬達開始轉到,通過減速齒輪將動力傳輸給搖臂,同時再由位置檢測器將檢測到的信號傳輸回去,判斷小車機器人運動位置是否合理,控制小車運動。

4 軟件設計與應用

OpenCV在計算機視覺處理上應用的非常廣泛,且其本身是一個開源的計算機視覺庫,可以通過對攝像頭獲取的圖像視頻進行分析處理,使運動軌跡更為準確,主要功能是實現小車前進、小車后退、小車左轉、小車右轉、小車停止。

當啟用系統后,會根據指令進行相應的運行,根據攝像頭采集的畫面,對圖像進行分塊處理,截取需要的區域,進行運算。根據不同的閾值,確定對應的識別范圍。在小車運行中不斷檢測攝像頭獲取的圖片來調整小車的前進方向,當檢測到的白色色塊寬度大于一定值時,則停止運動。利用OpenCV圖像處處理的常用函數如圖像讀取、圖像邊緣檢測、高斯模糊、膨脹、侵蝕、獲取邊界等算法函數對采集到的圖像經行處理、識別,操控小車的正常運行,變換方向,找到應識別的物體,并在運動過程中避開遇到的障礙物。

5 核心算法

5.1 圖像獲取與分析處理

圖像獲取主要是依靠從連接的攝像頭獲取輸入,利用OpenCV的cv2.VideoCapture(0)函數讀入,通過在樹莓派連接的顯示器上創建一個顯示窗口,顯示讀取得到的圖像視頻畫面,并通過調整窗口的大小,來提高樹莓派的處理速度和人眼觀看的舒適程度。圖像獲取完畢后，根據需要,使用cv2.detectMultiScale()函數對圖像進行灰度處理,利用傅里葉變換、Morpholigical過濾、高斯模糊處理、膨脹等圖像處理方法進行處理,來得到更清晰準確的畫面,便于后續的其他處理操作。

5.2 小車運動

在本文研究的范圍中,小車的運動主要是小車前進、小車后退、小車左轉、小車右轉、小車停止五大基礎動作。利用Import Adafruit_PCA9685,使樹莓派控制舵機驅動板,將舵機初始化,設置好舵機脈沖寬度,根據脈沖信號控制舵機轉動。利用樹莓派的運動函數,設置好運動速度和時間參數,構架起小車運動的運行框架指令,設置調用的關鍵字命令,在運行過程中,根據指令選擇相應的運動方向,控制小車的運動方向。

5.3 物體追蹤

根據處理好后的圖像,利用OpenCV中Rectangle函數對需要確定追蹤或者研究的物體進行繪制一個矩形框,鎖定目標物體,以便其在以后的運動過程中被我們觀察到,并通過觀察目標物體的運動軌跡,確定小車的前進方向,對其實現追蹤。

在OpenCV中主要使用的追蹤算法是KCF算法[7],利用cv2.TrackerKCF_creat進行調用。先由CF算法得到一個濾波矩陣,CF算法將相關濾波的方法用到極致,其核心思想是利用循環矩陣乘以圖片,使圖像產生位移,從而得到大量樣本。把由位移得到的樣本存在一個矩陣中就會組成一個循環矩陣。KCF算法通過平移產生大量樣本,采集大量樣本信息,并且給每個樣本賦予一個標簽,這個標簽會根據離中心的距離,使用高斯分布描述,加快圖像處理速度。

此外,還可以運用形態學動態檢測,根據對目標物體的圖像進行顏色提取、腐蝕、膨脹、高斯模糊、二進制“與”等進行不同程度的處理,是目標圖像與其他圖像區分開來,便于識別,來找到目標物體。具體實現過程如下:

先進性掩膜處理;

使用cv2.inRange函數提取圖像中想要的顏色,并把圖像中需要提取的顏色區域設置為白色,剩下的部分設置為黑色,實現語句m a s k=c v 2.i n R a n g e(h s v,ball_yellow_lower,ball_yellow_upper);

使用cv2.erode 函數,對圖像進行腐蝕處理;加上高斯模糊,可以加強圖像處理,使色彩更加突出,mask=cv2.erode(mask,None,iterations=2);

使用cv2.dila te函數對目標圖像進行膨脹處理,ask=cv2.dilate(mask,None,iterations=2;

使用cv2.GaussianBlur函數,添加高斯濾波,mask=cv2.GaussianBlur(mask,(3,3),0);

使用cv2.bitwise_and函數對圖像每一個像素值進行二進制“與”操作,res=cv2.bitwise_and(frame,frame,mask=mask);

使用cv2.findContours函數來檢測目標圖像中需要追蹤物體的輪廓,對物體的輪廓進行處理

cnts=cv2.findContours(mask.copy(),cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)[-2] ;

最后通過比較cnts的值,進行對應處理。

6 檢測實驗

考慮到實驗環境和小車機器人的穩定性,本項目測試采用室內檢測的方式,在組裝好設備及其他電源、網絡連接良好的狀態下,進行檢測。

在小車運動檢測實驗中,主要是通過計算機指令控制小車的運動,判斷小車是否按指令進行運動,運動狀態情況如何,是否會出現不按規定指令錯誤運行、出現卡頓、小車隨意運動等現象。同時,在運動過程中還可以打開語音播報功能,小車機器人可以根據即將進行的運動狀態自己語言播報要進入的運動狀態,作為運動提示音。

在圖像獲取測試中,首先打開攝像頭,連接網絡,在顯示器上窗口中查看獲取的圖像及視頻,觀察是否可以正確獲取圖像及視頻,以及圖片的清晰度、色彩度等。并根據圖像處理函數調用,觀察圖像處理后的效果,并與原圖像進行對比,觀察兩組圖像的區別。

在目標追蹤測試中,本項目主要是通過追蹤乒乓球進行實驗。首先由攝像頭獲取乒乓球的運動圖像視頻,確定以乒乓球為研究對象,結合圖像處理分析乒乓球的運動軌跡,同時樹莓派將運動指令傳輸給舵機及小車,控制小車按照乒乓球的運動軌跡進行運動追蹤,最后找到乒乓球。

在避障測試中,主要是在小車運動過車中增加障礙物,影響小車當前的前進方向,阻礙小車運動,觀察小車是否根據設定信息,停止運動。

7 結論

本文分析了運動機器人的研究現狀,并通過對研究基礎的大量分析,確定了研究的可行性,對本項目從目標追蹤系統的總體設計、控制系統硬件設計、軟件設計與應用、主要功能實現具體介紹等四個方面介紹了研究的過程與方法。

經過研究發現,小車可以在正確的操作下運動,并轉換方向,正確獲取圖像并處理分析,根據分析處理后的圖像判斷物體的前進方向,經行追蹤,觀察,最后找到目標物體;同時,在遇到障礙物時,也可以經行調轉、避讓、停止運動,實現了最初的設計構想。

但在實驗中也遇到一些問題,如:每一個指令完成后需清除上一指令,才能經行后續指定任務,連接過程不穩定等。在測試的過程中,因環境限制,測試的目標物體單一,對于簡單的物體基本可以實現小車運動及追蹤。因此,該小車的運動測試還應加強,改進運行環境,增強測試難度,再繼續發現并更正存在的問題。在本輪測試中,小車仍還有很大的提升空間,舵機結構、語句操控、攝像頭、語音提醒的方面還有待在后續研究中提高。

引用

[1] 張少博.基于SSD物體追蹤算法的增強現實系統設計與實現[D].西安:西北大學,2018.

[2] 張雯,白文樂,李浩進.基于Processing的移動物體追蹤定位[J].科學中國人,2016(33):39.

[3] 歐陽森,張真.基于樹莓派的預防性輕型除冰機器人行走控制系統設計[J].電氣傳動,2021,51(8):71-76.

[4] 薛志峰,蔣剛,留滄海,等.基于樹莓派的手勢交互六足機器人[J].傳感器與微系統,2021,40(3):87-89.

[5] 劉昕.實時視頻中選定物體追蹤算法的研究[D].長春:吉林大學,2006.

[6] 楊志勇,黃文鋒,劉燦.基于樹莓派的遠程控制智能拍照小車[J].現代電子技術,2019,42(8):168-170+174.

[7] 張建鵬.基于KCF的視頻中運動物體的跟蹤算法研究[D].蘭州:蘭州交通大學,2019.