基于高速DSP深度視頻幀內編碼的農機導航系統設計

伍 坪，秦彩杰

(三明學院 機電工程學院，福建 三明 365004)

0 引言

由于農田作業環境的復雜性，基于電子地圖的農機導航系統相對抽象且缺乏沉浸感，不能夠滿足農機作業的需求[1-3]。為使導航效果更加直觀和生動，可以基于定位視頻的農機導航思路，對原來的農機導航系統進行升級改造，從而達到直觀精準導航的目的[4-5]。采用視頻定位方法可以實現農機的實時定位和自主導航，其核心是建立定位視頻數據庫，然后利用相對目標位置信息對目標進行空間搜索，實現路線和目標的指引[6-10]。但是,在視頻處理時，由于視頻的數據量較大，采用一般的方法很難實現，而采用深度視頻內編碼技術可以有效地降低視頻的處理量，通過圖像邊界檢測算法和編碼可以得到的清晰位置索引，為農機導航系統提供了新的數據處理技術支持[11-13]。

1 基于DSP視頻編碼技術的農機導航系統

近年來，由于3D電影、電視和多種新媒體設備的出現，3D視頻在各個行業都得到了深遠的發展，其處理技術也發展迅速[14-16]。3D視頻系統包括視頻的采集、傳輸、編碼、解碼及顯示功能模塊，對于3D視頻導航系統，如果采用彩色視頻則會出現處理量過大的問題，而采用深度視頻由于其信息量較小，降低了編碼和傳輸的難度，從而將其使用在農機實時導航系統中[17]。基于這種思想，本次提出的農機導航系統基本框架結構如圖1所示。

圖1 基于深度視頻內編碼的農機導航系統Fig.1 Agricultural navigation system based on depth video coding

在傳統的農機導航系統中，采用局部視頻導航存在信息量少和精度低等缺點，而采用DSP處理器可以實現視頻和圖像的大數據處理，從而提高農機導航的精度[18-21]。采用深度視頻幀內編碼技術可以有效地提高視頻和圖像數據的處理速度，結合這些技術構成導航系統，其導航的基本流程如圖2所示。

農機導航系統的硬件搭建主要是DSP處理器和FPGA協同處理器，軟件部分采用基于PC的視頻處理器，可以完成視頻的深度處理和深度視頻的幀內編碼，通過圖像位置的標定，完成目標位置信息識別和導航路徑的規劃。

圖2 農機視頻實時導航基本流程Fig.2 The basic flow of video real-time navigation of agricultural machinery

2 農機實時導航深度視頻幀內編碼DSP圖像處理器設計

通過視頻幀內編碼，可以實時地剔除模糊圖像，得到高清的標定圖像，為精確導航提供依據[22-23]。在視頻幀內編碼之前，需要對視頻進行深度處理，通過處理后得到的深度視頻紋理簡單，為了實現幀內編碼，首先對視頻進行邊緣檢測，得到深度圖像的幀內信息[24-26]。假設深度圖像在水平方向和垂直方向的梯度值分別為hx(i,j),hy(x,y)，最終的梯度信息為ht(i,j)，其表達式為

ht(i,j)=max(hx(i,j),hy(x,y))

(1)

深度視頻的處理是通過計算機軟件獲取的，存在估計不準確的部分，為了剔除估計不準確的部分，本次采用自適應最大類間方差方法提取邊界像素，通過幀內編碼標記邊界和不確定模糊邊界，自適應閾值為

Ta=argmax{w0w1(u0-u1)2，0≤T≤255}

(2)

其中，w0、w1分別表示邊界和不確定模糊邊界的出現頻率；u0、u1表示邊界和不確定模糊邊界像素均值。通過多次實驗發現，采用自適應閾值為Ta/2時，可以較好地對深度視頻的邊界進行幀內編碼，因此最終的邊界可以確定為

Tz={(i,j)|ht(i,j)>Ta/2,i∈[0,w),j∈[0,h)}

(3)

圖像二值化是指用灰度變換來研究灰度圖像的一種常用方法，即設定某一閾值將灰度圖像的像素分成大于閾值的像素群和小于閾值的像素群兩部分。例如輸人灰度圖像函數為f(x,y)，輸出二值圖像函數為g(x,y)，則

(4)

將視頻幀內編碼后，可以實時的得到處理后的圖像，這些圖像可以為農機的導航提供清晰的標記。為了使作物和障礙物的標記更加明確，可以對圖像進一步進行二值化編碼，采用的是Bernsen局部閾值法，假設圖像在像素點(i,j)處的灰度值為f(i,j)，考慮以像素點(i,j)為中心的(2ω+1)×(2ω+1)窗口，則Bernsen算法的具體過程如下：

首先，計算圖像中各個像素點(i,j)的閾值T(i,j)，則

(5)

然后，對圖像中各像素點(i,j)用b(i,j)值逐點進行二值化，即

(6)

用I存儲灰度圖像的值，設I為N×M，把I邊界擴展成(N+2)×(M+2) extend矩陣。Bernsen方法流程圖如圖3所示。

圖3 實時圖像的傳輸和控制過程Fig.3 Real time image transmission and control process

為了實現深度視頻的幀內編碼，需要高速的DSP圖像處理系統，在DSP圖像處理系統中可以采用FPGA模塊，該模塊具有圖像數據緩存接受功能及控制圖像在各器件之間的傳輸等功能，其中圖像的傳輸和控制過程如圖3所示。

FPGA在進行實時圖像傳輸時，需要自身擁有如圖4所示的完備的邏輯功能， 這樣可以為其他的功能器件提供時鐘信號，其運算速度要求較高，這樣才能滿足實時性的設計需求，軟件和硬件的兼容性也要求較高，這樣才能方便系統的調試。

圖4 實時圖像緩存編碼Fig.4 Real-time image transmission and control process

在進行深度視頻幀內編碼時，首先將視頻的第1幀緩存到圖像緩沖模塊1，在第2個周期將第2幀數據緩存到圖像緩沖模塊2上，同時將第1幀圖像發送到運算處理器進行邊界檢測和幀內編碼，即發送給DSP;在第3個周期將第3幀圖像緩沖到圖像緩沖模塊1上，同時將圖像緩沖模塊2的圖像發送到處理器DSP進行邊界檢測和幀內編碼。從整個圖像處理系統來看，視頻和圖像的數據一直保持循環狀態，從而有效保證了導航的實時性。

3 農機導航系統樣機實驗測試

為了測試深度視頻幀內編碼的DSP圖像處理器在農機實時導航上應用的可行性，設計了農機導航的實驗測試樣機。為了降低實驗的難度，采用了低矮植物作為導航追蹤對象，如圖5所示。

圖5 低矮作物農機實時導航過程示意圖Fig.5 Schematic diagram of farm machinery real-time navigation in low crop

本測試以低矮作物作為研究對象，利用攝像機對作物和障礙物進行攝像，并對實時獲得的視頻進行深度視頻幀處理， 利用高速DSP和幀內編碼技術對圖像進行實時處理，其實驗樣機6所示。

圖6 導航實驗測試樣機Fig.6 The navigation test prototype

高清相機安裝在樣機的最前段，DSP圖像高速處理器系統安裝在機身部位。在實際的導航作業時，實驗樣機通過對攝像機實時得到的圖像視頻處理，標定低矮作物和障礙物的具體位置，從而劃定自主導航路線，實現自主導航功能。三維視頻圖像編碼過程，如圖7所示。

圖7 三維視頻圖像編碼過程Fig.7 Three dimensional video coding process

利用深度視頻幀處理技術，將視頻進行圖像色彩處理和圖像標記，利用幀內編碼可以對實時得到的模糊圖像進行篩選，最終得到高清的作物和障礙物標的圖，作為路徑規劃的依據。本次測試得到的自主導航路徑規劃圖如圖8所示。

利用DSP高速圖像處理可以對圖像進行實時處理，在得到高清圖像的同時，標定作物和障礙物的位置，最終得到預設導航線，從而實現了農機的自主導航過程。

圖8 農機導航路徑規劃結果圖Fig.8 The result diagram of navigation path planning in agricultural machinery

4 結論

為了實現現代化農機的實時導航定位，提出了一種基于視頻定位技術的導航系統，并采用視頻深度處理技術和深度視頻編碼技術對實時導航采集信息進行處理，從而解決了實時采集大數據量視頻的快速處理問題。采用DSP處理器提高了圖像的編碼和邊界檢測速度，采用FPGA協同處理器提高了整個系統的協同性，采用VGA接口實現了導航信息的實時顯示。測試結果表明：采用該導航系統可以完成作物和障礙物信息的清晰標定，并完成導航路徑的規劃，為現代農機導航的設計提供了一種新的技術支持。

[1] 李元,何小海,鐘國韻,等.一種基于時域相關性的高性能視頻編碼快速幀間預測單元模式判決算法[J].電子與信息學報,2013,35(10):2366-2370.

[2] 沈燕飛,李錦濤,朱珍民,等.高效視頻編碼 [J].計算機學報,2013,36(11):2341-2355.

[3] 繩偉光,蔣劍飛,何衛鋒.高性能 DSP 的發展現狀與未來趨勢[J].中國集成電路,2011(4):20-25.

[4] 丁有源,汪安民.基于多核任務并行處理的DSP軟硬件設計[J].單片機與嵌入式系統應用,2012(8):43-45.

[5] 熊光明.服務機器人發展綜述及若干問題探討[J].機床與液壓，2007, 25(3): 212-215.

[6] 韓立偉,徐德.基于直線和單特征點的移動機器人視覺推算定位法[J].機器人, 2008, 30(1): 79-90.

[7] 朱大奇,顏明重.移動機器人路徑規劃技術綜述[J].控制與決策, 2010, 25(7): 961-967.

[8] 夏梁盛,嚴衛生.基于柵格法的移動機器人運動規劃研究[J].計算機仿真, 2012, 29(12): 229-233.

[9] 于振中,閆繼宏.改進人工勢場法的移動機器人路徑規劃[J].哈爾濱工業大學學報, 2011, 43(1): 50-55.

[10] 唐曉強,賴惠成.形態學結構元素選取算法的研究[J].通訊技術, 2010, 43(7): 161-162.

[11] 顧寶興,姬長英,王海青,等.智能移動水果采摘機器人設計與試驗[J].農業機械學報,2012,43(6):153- 160.

[12] 李文鳳,彭智勇,李德毅，等.不確定性Top-k查詢處理[J].軟件學報,2012,23(6):1542-1560.

[13] 張曉輝,李瑩,王華勇,等.應用特征聚合進行中文文本分類的改進KNN算法[J].東北大學學報,2003,24 (3):229-233.

[14] 王海青,姬長英,顧寶興,等.基于機器視覺和支持向量機的溫室黃瓜識別[J].農業機械學報,2012,43(3): 163-167.

[15] 王輝,毛文華,劉剛,等.基于視覺組合的蘋果作業機器人識別與定位[J].農業機械學報,2012,43(12): 165-170.

[16] 魏澤鼎,賈俊國,王占永.基于視覺傳感器的棉花果實定位方法[J].農機化研究,2012,34(6):66-68,112.

[17] 高春城.我國農業發展的資源環境問題與展望[J].當代生態農業,2013(4):151-154.

[18] 萬寶瑞.當前我國農業發展的趨勢與建議[J].農業經濟問題,2014(1):110-114.

[19] 徐茂,鄧蓉.國內外設施農業發展比較[J].北京農學院學報,2014,29(2):75-79.

[20] 趙其國.當前我國農業發展中存在的深層次問題及對策[J].生態環境學報,2013,22(6):911-915.

[21] 趙其國,黃國勤,王禮獻.中國生態安全、農業安全及“三農”建設研究[J].農林經濟管理學報,2014, 13(3):237-243.

[22] 袁挺,紀超,陳英,等.基于光譜成像技術的溫室黃瓜識別方法[J].農業機械學報,2011,42(增刊):172-176.

[23] 熊俊濤,鄒湘軍,陳麗娟,等.采摘機械手對擾動荔枝的視覺定位[J].農業工程學報,2012,28(14):36-41.

[24] 郭杰鋒,陳桂林.結構元素選取對基于形態學紅外點目標檢測的影響[J].半導體光電,2009,30(3):469- 472.

[25] 陳曦,譚冠政,江斌.基于免疫遺傳算法的移動機器人實時最優路徑規劃[J].中南大學學報：自然科學版, 2008, 39(3): 577-583.

[26] 呂繼東,趙德安,姬偉,等.采摘機器人振蕩果實動態識別[J].農業機械學報,2012,43(5):173-196.