基于OpenMV視覺技術(shù)對物體識別與跟蹤的實(shí)驗(yàn)研究

楊益寬　王俊偉　孫鈺樟

摘 要 以O(shè)penMV作為圖像處理模塊，搭配兩個(gè)云臺(tái)舵機(jī)設(shè)計(jì)了一個(gè)物體識別與跟蹤實(shí)驗(yàn)系統(tǒng)。介紹了實(shí)驗(yàn)所采用的裝置和具體實(shí)現(xiàn)過程，對舵機(jī)采用了增量式PID算法進(jìn)行控制。該實(shí)驗(yàn)系統(tǒng)實(shí)現(xiàn)了對物體的識別與跟蹤功能。

關(guān)鍵詞 OpenMV 機(jī)器視覺 PID算法 舵機(jī) 識別 動(dòng)態(tài)追蹤

中圖分類號 TP216? ?文獻(xiàn)標(biāo)識碼 A? ?文章編號 1000－3932（2023）04－0569－04

機(jī)器視覺是人工智能正在發(fā)展的一個(gè)分支，隨著人工智能的興起，機(jī)器視覺的前景極好［1］。隨著科技的發(fā)展，各行業(yè)自動(dòng)化、智能化程度不斷加深，未來幾年全球機(jī)器視覺市場將持續(xù)增長。全球機(jī)器視覺產(chǎn)業(yè)正處于一個(gè)逐步與人工智能完美協(xié)調(diào)融合完成工業(yè)生產(chǎn)向智能化轉(zhuǎn)型的新時(shí)期。

國外從20世紀(jì)50年代開始研究二維圖像的統(tǒng)計(jì)模式識別。1965年，ROBERTS L R通過計(jì)算機(jī)程序從數(shù)字圖像中提取出諸如立方體、楔形體及棱柱體等多面體的三維結(jié)構(gòu)，并對物體形狀和物體的空間關(guān)系進(jìn)行描述，其研究工作開創(chuàng)了以理解三維場景為目的的三維機(jī)器視覺研究。該方向的研究在20世紀(jì)90年代進(jìn)入高速發(fā)展期，提出了多種新概念、新方法和新理論［2］。至2006年，隨著深度學(xué)習(xí)概念的提出，機(jī)器可以通過訓(xùn)練自主建立識別邏輯，圖像識別準(zhǔn)確率大幅提升，機(jī)器視覺發(fā)展進(jìn)入一個(gè)新的階段。

我國機(jī)器視覺的研究起步較晚，直至20世紀(jì)90年代才成立了少數(shù)視覺公司。通過搭建簡單的機(jī)器視覺初級應(yīng)用系統(tǒng)，并不斷地培訓(xùn)和引導(dǎo)中國客戶對機(jī)器視覺技術(shù)和產(chǎn)品的理解，讓更多的產(chǎn)業(yè)人員了解到機(jī)器視覺給自動(dòng)化產(chǎn)業(yè)帶來的獨(dú)特價(jià)值和廣闊的應(yīng)用前景［3］。其中煙草行業(yè)和特種印刷行業(yè)成為了早期機(jī)器視覺的受益者，為推動(dòng)機(jī)器視覺在其他行業(yè)的發(fā)展做出了重要貢獻(xiàn)，拉開了中國機(jī)器視覺行業(yè)的歷史帷幕。OpenMV設(shè)計(jì)小巧、編程簡單，可以將其應(yīng)用到很多創(chuàng)意產(chǎn)品上完成與各種機(jī)器視覺相關(guān)的任務(wù)。

OpenMV是一款圖像處理模塊，具有小巧、低功耗、低成本及編程簡單等特點(diǎn)，并搭載了Python腳本，因此在處理復(fù)雜的機(jī)器視覺算法方面有很大的優(yōu)勢。同時(shí)，也可以很輕松地觸發(fā)外部終端拍攝或者執(zhí)行算法，能夠很好地應(yīng)用到很多創(chuàng)意產(chǎn)品上，完成各種機(jī)器視覺相關(guān)任務(wù)。在此，筆者利用其對物體的識別功能，尋找目標(biāo)物體最大色塊區(qū)域，通過串口發(fā)送被跟蹤物體的位置信息，實(shí)現(xiàn)與舵機(jī)云臺(tái)的信息互換，完成了對目標(biāo)物體的識別與跟蹤。

1 實(shí)驗(yàn)介紹

實(shí)驗(yàn)系統(tǒng)的目的是要實(shí)現(xiàn)對物體的識別與跟蹤，系統(tǒng)分為兩個(gè)部分：一部分是以O(shè)penMV為主體的圖像處理模塊，用來實(shí)現(xiàn)對物體的識別功能，并將識別到的位置信息實(shí)時(shí)傳遞；另一部分是系統(tǒng)的跟蹤模塊，由兩個(gè)二自由云臺(tái)舵機(jī)組成，用來實(shí)現(xiàn)系統(tǒng)對物體的跟蹤功能。云臺(tái)舵機(jī)接收OpenMV發(fā)出的位置信息，與OpenMV進(jìn)行數(shù)據(jù)交換。

實(shí)驗(yàn)設(shè)計(jì)的整體邏輯為OpenMV對物體進(jìn)行初步的識別，篩選出被跟蹤的物體，對其進(jìn)行鎖定，其次使用云臺(tái)舵機(jī)的跟蹤功能，通過與OpenMV進(jìn)行數(shù)據(jù)交換，得到被跟蹤物體的實(shí)時(shí)位置，達(dá)到對物體跟蹤的目的，具體流程如圖1所示。

2 實(shí)驗(yàn)設(shè)計(jì)

圖像識別由OpenMV完成。首先初始化攝像頭，尋找目標(biāo)物體，對最大色塊進(jìn)行識別，判斷是否為目標(biāo)物體，框出目標(biāo)物體。物體跟蹤由兩個(gè)9G ST90S舵機(jī)實(shí)現(xiàn)，兩舵機(jī)分別記為X軸舵機(jī)與Y軸舵機(jī)，它們可以與OpenMV進(jìn)行信息交互，采用增量式PID算法控制。

在本次實(shí)驗(yàn)中對綠色小球進(jìn)行識別與跟蹤，在這個(gè)過程中對物體的識別依靠對小球顏色的識別，故需要將OpenMV中的綠色閾值進(jìn)行調(diào)整，目的在于定義綠色，使得OpenMV了解什么是綠色，如圖2所示。在閾值編輯器中，根據(jù)源圖像的基礎(chǔ)，通過對Lab閾值［4］的調(diào)整，使得在二進(jìn)制圖像中只有被跟蹤的小球的影像，便可以得出最佳的顏色跟蹤閾值。

將得到的綠色閾值數(shù)據(jù)賦值給green_threshold，并在OpenMV IDE中的函數(shù)庫調(diào)用image.find_blobs（）函數(shù)對該色域進(jìn)行識別。程序效果如圖3所示。

在OpenMV對物體識別的過程中，倘若在OpenMV傳輸?shù)膱D像中存在小面積的綠色區(qū)域，便干擾了對物體的識別，如圖4所示。

由于在識別的過程中存在綠色色域可能會(huì)對識別造成干擾，故需要對所有可能存在的色域進(jìn)行篩選，再找出最大的綠色色塊，這樣就有效避免了云臺(tái)在跟蹤時(shí)小面積色塊對系統(tǒng)的影響。在程序里筆者定義了一個(gè)find_max（blobs）函數(shù)，用于確認(rèn)在識別圖像時(shí)，系統(tǒng)選擇的是最大色塊。程序運(yùn)行效果如圖5所示。

對小球跟蹤時(shí)，兩個(gè)舵機(jī)分別控制X軸與Y軸，對舵機(jī)的控制采用增量式PID算法，增量式PID算法相較于傳統(tǒng)PID算法的優(yōu)勢為控制量是計(jì)算機(jī)每一次計(jì)算的增量，發(fā)生故障后對系統(tǒng)的影響范圍小［5］。

3 功能實(shí)現(xiàn)

運(yùn)行實(shí)驗(yàn)系統(tǒng)可以實(shí)現(xiàn)對綠色小球的動(dòng)態(tài)追蹤，當(dāng)綠色小球出現(xiàn)在OpenMV的識別范圍內(nèi)時(shí)，系統(tǒng)將會(huì)過濾小面積綠色區(qū)域的干擾，在幀緩存查看器中把綠色小球框出，并在中心區(qū)域用十字標(biāo)出，判斷小球的位置。在移動(dòng)小球位置后，OpenMV再進(jìn)行拍照，對小球的位置進(jìn)行反饋，云臺(tái)得到小球的位置后，通過對舵機(jī)旋轉(zhuǎn)的控制，從而鎖定綠色小球，以實(shí)現(xiàn)對物體的跟蹤。

4 結(jié)束語

實(shí)驗(yàn)基于OpenMV視覺技術(shù)，通過Lab閾值調(diào)整與增量式PID控制算法，不僅完成了對小球的識別，還可以對其進(jìn)行實(shí)時(shí)跟蹤，并將信息顯示出來。整套系統(tǒng)小巧便捷，很大程度上方便了使用者。相對于傳統(tǒng)的跟蹤系統(tǒng)，該系統(tǒng)可進(jìn)行更好地識別和實(shí)時(shí)跟蹤，并具有攝像、監(jiān)控等功能，打破了傳統(tǒng)系統(tǒng)在空間中的局限性。該系統(tǒng)可實(shí)時(shí)顯示圖像，預(yù)測大致運(yùn)動(dòng)方向，可輕松地將其應(yīng)用到很多創(chuàng)意產(chǎn)品中，滿足不同用戶的需求。

參 考 文 獻(xiàn)

［1］ 袁云佳.人工智能的發(fā)展與應(yīng)用綜述［J］.科技風(fēng)，2020（17）：25-26.

［2］ 宋春華，彭泫知.機(jī)器視覺研究與發(fā)展綜述［J］.裝備制造技術(shù)，2019（6）：213-216.

［3］ 朱云，凌志剛，張雨強(qiáng).機(jī)器視覺技術(shù)研究進(jìn)展及展望［J］.圖學(xué)學(xué)報(bào)，2020，41（6）：871-890.

［4］ 鄒秋霞，楊林楠，彭琳，等.基于Lab空間和－Means聚類的葉片分割算法研究［J］.農(nóng)機(jī)化研究，2015，37（9）：222-226.

［5］ 梅真，趙熙臨.基于增量式PID智能車調(diào)速系統(tǒng)的設(shè)計(jì)［J］.湖北工業(yè)大學(xué)學(xué)報(bào)，2015，30（2）：72-76.

［6］ 王祎晨.增量式PID和位置式PID算法的整定比較與研究［J］.工業(yè)控制計(jì)算機(jī)，2018，31（5）：123-124.

（收稿日期：2022-07-06，修回日期：2023-06-08）

Experimental Research on Object Recognition and Tracking Based on OpenMV Vision Technology

YANG Yi－kuan， WANG Jun－wei， SUN Yu－zhang

（College of Mechanical and Electrical Engineering， Hetao University）

Abstract? ?Taking OpenMV as an image processing module and matched with two PTZ servos to realize object recognition and tracking functions was implemented and devices adopted in the experiment and its concrete realization process were described. The incremental PID algorithm was employed for the servo control.

Key words? ?OpenMV， machine vision， PID algorithm， servo， recognition， dynamic tracking