基于傅里葉描述子和Hu不變矩的油茶果識別

陳斌，饒洪輝，劉木華

(江西農(nóng)業(yè)大學(xué)工學(xué)院 江西省現(xiàn)代農(nóng)業(yè)裝備重點(diǎn)實(shí)驗(yàn)室，江西 南昌 330045)

茶油富含甘油脂、不飽和脂肪酸及各種維生素，具有較高的營養(yǎng)價(jià)值[1]，發(fā)展油茶產(chǎn)業(yè)可以帶動(dòng)區(qū)域經(jīng)濟(jì)的增長。當(dāng)前油茶果采摘主要依賴人工，智能化程度不高。利用機(jī)器視覺輔助采摘油茶果可以提高采摘效率，而識別出油茶果是采摘的前提。青色油茶果在形狀特征上和背景不同，可以作為識別的依據(jù)。傅里葉描述子可以重構(gòu)物體的邊界，抽取輪廓特征，Hu不變矩可以描述物體的區(qū)域特征。因此，可以利用傅里葉描述子和Hu不變矩形狀特征來識別油茶果。

在形狀特征提取方面，李寒等[2]融合快速歸一化互相關(guān)函數(shù)和霍夫變換方法檢測了綠色番茄果實(shí)。孫永香等[3]研究了基于Freeman鏈碼的輪廓跟蹤算法提取果實(shí)圖像外形輪廓的方法，利用鏈碼特性計(jì)算果實(shí)形狀特征參數(shù)，為果實(shí)形狀特征的描述提供了有效的方法。戚利勇等[4]為定量描述黃瓜形狀，應(yīng)用橢圓傅里葉描述子來定量描述黃瓜邊界信息，并進(jìn)行了尺度變換、旋轉(zhuǎn)變換及起始點(diǎn)變換歸一化處理。利用描述子對黃瓜邊界進(jìn)行重建，對重建后邊界做誤差分析。試驗(yàn)結(jié)果表明，采用橢圓傅里葉描述法，只需少量描述子即可完成黃瓜形狀識別，并可準(zhǔn)確重建原始形狀。趙文旻[5]采用霍夫變換方法對多個(gè)粘連蘋果果實(shí)進(jìn)行分離，試驗(yàn)表明，這種方法可以取得較好的效果。謝鋒云等[6]提取蘋果Hu不變矩作為蘋果的形狀特征，依據(jù)隱馬爾可夫模型識別方法，對不同顏色和形狀的蘋果進(jìn)行了分類識別，進(jìn)而完成蘋果分級。試驗(yàn)表明，該方法完成的分級識別率為100%。

在油茶果識別方面，石良德[7]提出了基于色差分量閾值分割的成熟油茶果自動(dòng)識別算法，油茶果及其背景顏色相似時(shí)，易造成誤識別。李昕等[8]提出了基于偏好人工免疫網(wǎng)絡(luò)識別的油茶果多特征融合識別方法。青色油茶果和背景色差不大，較難識別，本文提出一種基于歸一化傅里葉描述子特征和Hu不變矩用BP神經(jīng)網(wǎng)絡(luò)識別油茶果的方法，以期提高油茶果的圖像識別率。

1 油茶果圖像采集與試驗(yàn)環(huán)境

1.1 油茶果圖像采集

2019年9月14—23日晴天在江西省林業(yè)科學(xué)院國家油茶林基地進(jìn)行圖像采集，圖像分辨率為640×480像素。采集了典青、贛興46、贛撫20等34個(gè)品種的油茶果圖像并保存成JPG格式。圖1為拍攝的部分油茶果圖像。

圖1 4個(gè)油茶果品種的圖像

1.2 試驗(yàn)環(huán)境

本試驗(yàn)的計(jì)算機(jī)配置如下:CPU型號是Intel(R) Core(TM)i5-9400F，主頻2.90 GHz，內(nèi)存RAM為32 GB，操作系統(tǒng)是Windows10 64位操作系統(tǒng)。圖像處理軟件使用的是R2016a版本的matlab。

2 油茶果圖像分割

將油茶果圖像進(jìn)行中值濾波和圖像均衡化預(yù)處理，以改進(jìn)圖像質(zhì)量。對預(yù)處理的油茶果圖像從RGB顏色空間轉(zhuǎn)換到HSV顏色空間，H分量有明顯的雙峰特性，因此，提取H分量進(jìn)行閾值分割。得到的二值圖像有小面積圖像殘留和空洞以及毛刺，因此，采用形態(tài)學(xué)開閉運(yùn)算和面積閾值法處理得到分割效果較好的油茶果。圖2為二值化油茶果圖像。

圖2 4個(gè)油茶果品種的二值化圖像

3 傅里葉描述子識別油茶果

3.1 傅里葉描述子原理

傅里葉描述子是將物體的目標(biāo)邊界輪廓曲線構(gòu)建成一維序列，通過對序列進(jìn)行傅里葉描述子變換來獲取傅里葉系數(shù)，用邊界點(diǎn)的坐標(biāo)對序列系數(shù)來描述邊界的形狀[9-11]。假設(shè)邊界上有N個(gè)邊界點(diǎn)，起始點(diǎn)為(x0，y0)，按照逆方向就可以將邊界表示為式(1)所示的坐標(biāo)序列:

s(k)=[x(k)，y(k)]，k=0，1，2，3，…，N-1；

x(k)=xk，y(k)=yk。

(1)

為了將二維表達(dá)轉(zhuǎn)化成一維，引入復(fù)數(shù)表示方法。把目標(biāo)邊界看成從某點(diǎn)開始，順著邊界逆時(shí)針方向旋轉(zhuǎn)一周的周長是一個(gè)復(fù)函數(shù)，設(shè)為s(k)，則有:

s(k)=x(k)+j·y(k)，k=0，1，2，…，N-1。

(2)

用一維離散傅立葉變換系數(shù)a(u)表示復(fù)數(shù)s(k):

(3)

式中復(fù)系數(shù)a(u)叫做邊界的傅立葉描述子。通過對傅立葉描述子逆變換可以重構(gòu)邊

(4)

3.2 歸一化傅里葉描述子提取

對傅里葉描述子進(jìn)行歸一化操作后即可使描述子具有平移、旋轉(zhuǎn)、尺度不變性，即不受輪廓在圖像中的位置、角度及輪廓的縮放等影響，是一個(gè)魯棒性較好的圖像特征。對二值圖像提取歸一化傅里葉描述子。采用各階傅里葉描述子的模除以一階傅里葉描述子的模進(jìn)行歸一化。提取傅里葉描述子的前8階(D1～D8)，進(jìn)行歸一化處理，特征提取結(jié)果見表1。

表1 歸一化傅里葉描述子前8階特征提取的結(jié)果

3.3 BP神經(jīng)網(wǎng)絡(luò)識別

BP神經(jīng)網(wǎng)絡(luò)是一種信息前向傳播，誤差反向傳播的多層前饋型網(wǎng)絡(luò)，具有較好的非線性映射能力和泛化能力[12-14]，本研究選用BP神經(jīng)網(wǎng)絡(luò)識別油茶果。訓(xùn)練集由150幅油茶果圖像的歸一化傅里葉描述子組成，測試集由60幅油茶果圖像歸一化傅里葉描述子組成。網(wǎng)絡(luò)的輸入層為8，即為8階歸一化傅里葉描述子，隱含層個(gè)數(shù)為4，輸出層為1，學(xué)習(xí)速率0.3，動(dòng)量因子0.9，期望誤差設(shè)為0.001，最大迭代次數(shù)3 000，隱含層和輸出層的傳遞函數(shù)選擇tansig和purelin。取油茶果前8階傅里葉描述子，歸一化后作為BP神經(jīng)網(wǎng)絡(luò)的輸入量進(jìn)行訓(xùn)練。當(dāng)結(jié)果收斂且效果較好時(shí)，作為測試的網(wǎng)絡(luò)保存(圖3)。采用訓(xùn)練好的網(wǎng)絡(luò)對60幅二值化油茶果圖像進(jìn)行測試，正確識別51幅，9幅識別不成功，油茶果的識別率為85%,識別不成功的情況如表2所示。

表2 油茶果識別不成功的統(tǒng)計(jì)結(jié)果

圖3 收斂曲線

4 基于Hu不變矩的油茶果識別

4.1 Hu不變矩原理

Hu不變矩是一種基于區(qū)域的圖像幾何特征，具有旋轉(zhuǎn)、平移、尺度等特性的不變特征[15-17]。

圖像連續(xù)時(shí)，滿足黎曼積分的可積條件，此時(shí)設(shè)圖像的函數(shù)為f(x,y)，那么圖像的p+q階幾何矩(標(biāo)準(zhǔn)矩)定義:

mpq=?Rxpyqf(x,y)dxdy。p=0，1，2…，q=0，1，2…。

(5)

p+q階中心距定義為:

(6)

(7)

零階矩:

m00=?f(x,y)dxdy。p=0，q=0。

(8)

一階矩(p+q=1):

(9)

對于離散的數(shù)字圖像，采用求和號代替積分:

(10)

若

(11)

中心距定義為:

(12)

歸一化中心距定義為:

(13)

利用二階和三階歸一化中心矩構(gòu)造7個(gè)不變矩(M1～M7)[18-20]:

M1=η20+η02；

(14)

M2=(η20-η02)2+4η112；

(15)

M3=(η30-3η12)2+3(η21+η03)2；

(16)

M4=(η30+η12)2+3(η21+η03)2；

(17)

M5=(η20-3η12)(η30+η12)[(η30+η12)2-3(η21+η03)2]+3(η21-η03)(η21+η03)[3(η30+η12)2-(η21+η03)2]；

(18)

M6=(η20-η02)[(η30+η12)2-(η21+η03)2]+4η11(η30+η12)(η21+η03)；

(19)

M7=(3η12-η30)(η30+η12)[(η30+η12)2-3(η21+η03)2]+(3η21-η03)(η21-η03)[3(η30+η12)2-(η21+η03)2]。

(20)

4.2 Hu不變矩提取結(jié)果

對210幅二值化油茶果圖像提取7個(gè)Hu不變矩，提取的Hu不變矩部分結(jié)果如表3所示。

表3 7個(gè)Hu不變矩提取的結(jié)果

4.3 Hu不變矩識別結(jié)果

150幅油茶果圖像的Hu不變矩歸一化后作為BP神經(jīng)網(wǎng)絡(luò)的輸入，剩下60幅油茶果圖像的Hu不變矩用來驗(yàn)證。用有動(dòng)量因子的BP網(wǎng)絡(luò)識別，BP網(wǎng)絡(luò)結(jié)構(gòu)為7-4-1，隱含層和輸出層都采用logsig函數(shù)。最大迭代次數(shù)設(shè)置為1 000，學(xué)習(xí)率0.2，動(dòng)量因子0.8，收斂誤差為0.001，將規(guī)定期望設(shè)為0.9，輸出大于0.9的為油茶果，小于0.9的為背景。對60個(gè)樣本進(jìn)行測試，識別結(jié)果如圖4所示，從圖4中可以看出，經(jīng)過58次迭代網(wǎng)絡(luò)達(dá)到了收斂，誤差為0.000 91。輸出的結(jié)果均大于0.9，識別率為100%。

圖4 Hu不變矩識別結(jié)果

將表2中油茶果圖像進(jìn)行Hu不變矩識別，結(jié)果如表4所示。從表4中可以看出，用歸一化傅里葉描述子沒有識別出來的油茶果通過Hu不變矩特征能夠成功識別。用Hu不變矩特征識別油茶果成功率比歸一化傅里葉描述子提高了15%。

表4 Hu不變矩識別的結(jié)果

5 小結(jié)

本研究針對青色油茶果和背景色差不大，難以識別的情況，提出基于歸一化傅里葉描述子和Hu不變矩的油茶果識別方法。提取了油茶果圖像的歸一化傅里葉描述子和Hu不變矩作為BP神經(jīng)網(wǎng)絡(luò)的特征輸入向量進(jìn)行識別。結(jié)果顯示，基于歸一化傅里葉描述子特征的油茶果圖像識別率為85%，基于Hu不變矩的油茶果圖像識別率為100%。