巡邏機器人的圖像采集與處理技術(shù)研究*

盧應(yīng)虎 張青春 王勁堯 楊 陽

（1.淮陰工學(xué)院研究生院 淮安 223003）（2.淮陰工學(xué)院自動化學(xué)院 淮安 223003）

1 引言

移動監(jiān)控是電子巡邏機器人最基本的智能行為。如何在移動過程中有效地采集高質(zhì)量的畫面、識別運動中的目標(biāo)并對目標(biāo)進行跟蹤，是電子巡邏機器人領(lǐng)域研究的關(guān)鍵問題之一。

在此背景下，基于Visual Studio 2017作為開發(fā)環(huán)境，使用Opencv3.4.1強大的函數(shù)庫，Python作為編程語言，通過移動機器人搭載網(wǎng)絡(luò)攝像頭對監(jiān)控區(qū)域進行實時監(jiān)控，并完成圖像去除光照、噪聲等影響因素以及監(jiān)控內(nèi)移動目標(biāo)的檢測、識別。

2 系統(tǒng)設(shè)計要求與方案

2.1 設(shè)計要求

監(jiān)控設(shè)備能夠清晰地采集圖像；監(jiān)控攝像頭能夠自由旋轉(zhuǎn)角度［1］；對于圖像處理可以分為圖像的前期處理與后期處理，前期處理主要是圖像的預(yù)處理，包括對圖像作去噪聲、圖像增強等處理［2］，后期處理主要是對監(jiān)控內(nèi)移動目標(biāo)進行檢測、目標(biāo)的識別，對可疑對象跟蹤［3］。

機器人為四層，由上到下的順序，第一層為LCD顯示屏，第二層為核心板區(qū)域，第三層為擴展板區(qū)域，第四層為帶電機的底板。

2.2 方案設(shè)計

選擇使用螢石C6C攝像頭。它的感光元件為COMS傳感器，該攝像頭的云臺可實現(xiàn)不同位置不同角度的旋轉(zhuǎn)，監(jiān)控范圍更大。

使用Opencv進行圖像處理。Opencv是一個跨平臺的計算機視覺庫［4］。它是一個開放源代碼可視化庫，它為開發(fā)者提供了許多常規(guī)的圖像處理或計算機視覺算法［5］。Opencv庫包括CV、CVAUX、CVCORE、HIGHGUI和CVAM。這里的CV模塊主要用于圖像處理、動態(tài)分析、目標(biāo)跟蹤等。CVAUX模塊是額外的庫，在概括實驗函數(shù)后形成。CXCORE模塊包含幾套基本結(jié)構(gòu)和算法，以便對不同的數(shù)據(jù)類型進行基本運算處理。HIGHGUI是glji庫，包括用戶互動部分。CVAM是Opencv中使用相機的重要模塊。

3 圖像處理的算法研究

由于氣候、照明、傳感器和系統(tǒng)的非線性，目標(biāo)快速移動等原因，監(jiān)測系統(tǒng)中圖像質(zhì)量不高，圖像需要進行事前的處理，能有效地清除噪音，改善圖像質(zhì)量，使圖像清晰［6］，并能提供對目標(biāo)識別和跟蹤的可靠保證。

3.1 圖像增強算法

圖像增強是數(shù)碼圖像處理的基本方法［7］。空間域方法和頻域方法是圖像增強技術(shù)的兩種方法［8］。對空間域中灰度值直接計算的方法為空間域方法［9］。圖像增強技術(shù)提供的公式（1）來描述處理過程。

圖1 空間域增強模型

f（x，y）表示圖像處理前的函數(shù)，g（x，y）是圖像經(jīng)增強后的圖像［10］。h（x，y）為計算處理圖像的相關(guān)函數(shù)。

頻率區(qū)域的方法意味著將現(xiàn)有的域名轉(zhuǎn)換為其他域名。如果在現(xiàn)有的域名中計算或分類不順利時，則轉(zhuǎn)換成更高水平的域名，計算量就會減少，計算工作就會簡單化。圖2為頻域變換增強的流程圖。

圖2 頻域的變換增強

F（u，v）為頻率域增強處理之前的圖像函數(shù)，G（u，v）是處理后圖像的函數(shù)，f（x，y）經(jīng)過傅里葉正變換變成F（u，v）［11］，再經(jīng)修正變換為G（u，v）。H（u，v）是關(guān)于修正方法的一個濾波數(shù)。

圖3 圖像強化效果圖

3.2 圖像二值化算法

圖像的灰度化，就是將圖像中各個位置的像素值用0和1兩個值來表示［12］，圖像的二值化在移動目標(biāo)檢測中被用來分離檢測目標(biāo)和非檢測目標(biāo)［13］，在移動目標(biāo)檢測中，在目標(biāo)被檢測出來后，我們通常將檢測出的目標(biāo)與背景進行二值化，通過設(shè)置合適的閾值，將背景與檢測的移動目標(biāo)分離開來［14］。式（3）給出了圖像二值化的表達式。

上式中，T是我們選定的閾值，圖像中處于位置（x，y）的像素的值Dk（x，y）大于等于閾值T時，則將該點的像素值賦值為1，當(dāng)像素值小于閾值T時將該點的像素值賦值為0。在計算機屏幕顯示中，像素值為1的像素點顯示為白色，像素值為0的像素點顯示為黑色，這樣二值化后的圖像，將由彩色圖像或者灰度圖像轉(zhuǎn)換為黑白圖像，能夠更加突出我們檢測出的目標(biāo)。圖4為圖像二值化效果圖。

圖4 圖像二值化

3.3 圖像濾波算法

圖像噪音是由于拍攝過程中出現(xiàn)失誤而晃動以及拍攝環(huán)境等原因?qū)е屡臄z圖像模糊的現(xiàn)象。另外，在傳輸過程中，由于外部的干涉或者多媒體等問題，產(chǎn)生了椒鹽噪聲和高斯噪音。過濾器可以用來過濾噪音，過濾噪聲的光譜一般位于高頻部分，因此要過濾高頻部分，保留低頻組件，這樣可以大大提高圖像的質(zhì)量，過濾高頻并在光滑的圖像中運行，使用低回放過濾器可以過濾高頻，以下公式是空間單位脈沖響應(yīng)矩陣設(shè)計的系統(tǒng)。

式中，g（i，j）是經(jīng)過卷積變化之后得到的結(jié)果，f（m，n）為初始的灰度值，H是低通卷積因子。

圖5 濾波效果對比圖

3.4 運動目標(biāo)檢測算法

移動目標(biāo)將會對圖像中的關(guān)鍵幀和圖像框進行比較，以確認(rèn)圖像是否會被更改。視頻流由三個類型的編碼框架、預(yù)測框架和可持續(xù)性雙向框架組成，以框架間的差異為例，分析標(biāo)準(zhǔn)檢測原理?？蚣苤g的差異算法是指對兩個或三個框架的連續(xù)的兩個框架進行差異對比，去除有差異的像素，判斷差異的絕對值是否超過了臨界值，如果超過了，就可以決定移動對象達到目標(biāo)探測功能。

本文采用三幀差別化方案，減少了視頻捕捉的重影現(xiàn)象，核心是選擇合適的臨界值。如果選擇的臨界值太小，則無法抑制差異圖像的噪音。如果將臨界值選得過大，就能分辨出差異圖片的部分信息。選擇固定臨界值時，框架之間不可能存在差異。取判決條件為

其中N是檢測的區(qū)域中的像素總數(shù)，并且A可以被設(shè)置為整個幀圖像。最后一項的數(shù)值用來表示整個幀圖像中的照明變化情況，數(shù)值越大明亮變化越大?？梢钥闯?，添加項減輕了光變化造成的影響。

幀間差分可以快速檢測目標(biāo)，三幀比兩幀效果更好，前者解決后者因緩慢移動引起的“重影”現(xiàn)象。

3.5 運動目標(biāo)的跟蹤算法

本文使用了基于活動輪廓模式的移動目標(biāo)追蹤算法，原理是將目標(biāo)的輪廓信息連續(xù)用曲線表示，設(shè)定具有能量的函數(shù)，設(shè)定該函數(shù)的參數(shù)之一的曲線，用函數(shù)解決最小值的方法代替圖像的分割過程，把函數(shù)最小化，作出相應(yīng)的變化，解函數(shù)方程的數(shù)值計算。模式的進化遵循拉格朗州力學(xué)法則，當(dāng)各種力量達到平衡狀態(tài)時，進化就停止，函數(shù)達到最小，在這種狀態(tài)下曲線進化到目標(biāo)的輪廓——最佳位置。

在實平面內(nèi)定義活動輪廓曲線：

活動輪廓模型能量函數(shù)表示為

其中，I表示圖像，▽是梯度算子，其它各項分別表示如下：

根據(jù)上述算法，將矩形框與運動目標(biāo)的輪廓優(yōu)化，使得輪廓逼近，從而得到目標(biāo)輪廓，檢測物體檢測是否結(jié)束，如果沒有，就預(yù)測下一幀運動目標(biāo)大概位置，重復(fù)之前的步驟繼續(xù)對目標(biāo)跟蹤。

4 軟件設(shè)計

4.1 目標(biāo)識別部分設(shè)計

目標(biāo)的識別主要對物體目標(biāo)類型的具體識別，包括人、動物、書等各種類型的識別，并對物體置信度進行評估，將低于5.0評分的物體不進行顯示，下面將具體介紹識別的具體工作過程。

圖6 目標(biāo)識別具體步驟圖

在這個過程中，可以通過非最大抑制函數(shù)得到一系列的矩形，并對這些得到的矩形按置信度評分排序，消除低于置信度的矩形，我們還需要定義一個FLANM匹配器函數(shù)，最后通過數(shù)據(jù)的關(guān)聯(lián)實現(xiàn)識別的功能。

4.2 目標(biāo)的跟蹤部分設(shè)計

目標(biāo)跟蹤是對視頻中的移動目標(biāo)進行位置的跟蹤［15］。本文用到了Opencv中提供的cv2.findContours和cv2.boundinRect函數(shù)，cv2.findContours主要是計算圖像中目標(biāo)的輪廓，cv2.boundinRect主要計算矩形的邊界框，利用YOLOv3算法預(yù)測出邊界框，通過對剩余的邊界框使用非最大抑制算法，去除重疊的邊界框，再對圖片的尺寸進行設(shè)計，通過以上操作就可以實現(xiàn)了對目標(biāo)跟蹤的功能。

通過上述程序介紹，首先需要獲取輸出層的名稱，繪制預(yù)測的邊界框，獲取物體類型的標(biāo)簽和置信度，然后將較低的置信度的矩形框刪除。最終實現(xiàn)運動目標(biāo)的識別與跟蹤。

5 系統(tǒng)調(diào)試

通過打開Visual Studio 2017軟件，打開所屬程序文件，點擊運行按鈕，等待程序的運行，等待大約1min，視頻圖像就可以通過調(diào)取本地攝像頭顯示出來了，可以看到視頻中識別出的人、動物和物體，因為軟件的問題，只能通過英文顯示物體的類型。可以發(fā)現(xiàn)在物體名稱后面有一個小數(shù)，每一個物體都有，這就是置信度，最高的置信度為1，最低的0.5，低于0.5的不予顯示。調(diào)試結(jié)果如圖7～8所示。

圖7 圖像識別調(diào)試

圖8 目標(biāo)跟蹤

6 結(jié)語

本文的研究主要是基于Visual Studio 2017作為系統(tǒng)的開發(fā)環(huán)境，利用Opencv與Python對圖像進行處理，主要分為對圖像采集以及圖像處理方面的研究，在圖像采集方面，我們根據(jù)了用戶所需的要求，保證實時數(shù)據(jù)的采集，在圖像處理方面，首先本文對圖像先進行了圖像增強、圖像灰度變換以及圖像濾波的處理，通過特定的算法進行預(yù)處理，然后研究了圖像中運動目標(biāo)的跟蹤，利用Opencv中的函數(shù)庫進行檢測圖像中的目標(biāo)類型，然后進行目標(biāo)的跟蹤，在此過程中，如果檢測出異常行為，系統(tǒng)會立即發(fā)送信息給巡視機器人的控制端，保持異常行為或者可疑目標(biāo)一直出去鏡頭內(nèi)，如果不在鏡頭內(nèi)，機器人自動尋找目標(biāo)并繼續(xù)檢測。