一種基于HSVG-SURF特征的魚類圖像檢索算法

張美玲，吳俊峰，于 紅，孫建偉，羅 強(qiáng)

1(大連海洋大學(xué) 信息工程學(xué)院，遼寧 大連 116023)2(遼寧省海洋信息技術(shù)重點(diǎn)實(shí)驗(yàn)室，遼寧 大連 116023)

1 引 言

魚類圖像具有數(shù)量巨大、種類繁多、顏色豐富、紋理多變的特點(diǎn)，魚類的顏色和紋理信息是區(qū)分不同種魚類圖像的重要特征.采取有效的特征表征方式，能夠充分表征魚類的主要特征，是對(duì)魚類圖像進(jìn)行有效區(qū)分并提高魚類圖像檢索算法效果的關(guān)鍵所在，許多學(xué)者對(duì)此進(jìn)行了深入的研究.Chen[1]等人提取了圖像中的顏色特征，紋理特征和SIFT特征并對(duì)魚類圖像進(jìn)行特征匹配實(shí)現(xiàn)了對(duì)魚類圖像的檢索.這種方法兼顧了魚類圖像的顏色信息和紋理信息.但是這種多特征合并方式對(duì)表達(dá)多種特征的能力較弱，并不能將圖像中每個(gè)通道中的信息都表征出來(lái)，同時(shí)SIFT特征算法的復(fù)雜度較高，因而會(huì)對(duì)檢索算法的整體效率產(chǎn)生影響.孫建偉[2]等人基于HSV顏色量化和Garbor特征提出MFFIR算法提取魚類圖像的顏色和紋理特征對(duì)魚類圖像進(jìn)行檢索取得了較好的效果，將魚類圖像中三個(gè)通道下的特征信息進(jìn)行了有效表征，但是所采用的圖像多特征合并方式較為簡(jiǎn)單，對(duì)于魚類圖像的顏色特征和紋理特征的表征能力不能令人滿意，例如，圖像色差所產(chǎn)生的顏色與紋理相互影響的圖像特征，該算法不能很好表征，這導(dǎo)致該算法在大規(guī)模數(shù)據(jù)集中的魯棒性具有一定局限性.魏正曦[3]等人提出基于灰度分類的圖像搜索引擎，該搜索引擎實(shí)現(xiàn)了一個(gè)基于灰度值分類的圖像搜索，雖然速度上有一定的提高，但是單憑灰度這一特征進(jìn)行計(jì)算其圖像特征信息會(huì)有一定的丟失，不能夠有效進(jìn)行特征的提取.Bosch[9]等人提出了一種基于HSV三通道的SIFT特征提取算法，該算法對(duì)圖像中的像素對(duì)應(yīng)的三個(gè)通道都提取SIFT特征并組成128×3的特征描述子(標(biāo)準(zhǔn)的SIFT特征為128維特征向量)，然后利用提取到的SIFT特征[10]實(shí)現(xiàn)了對(duì)不同場(chǎng)景圖像的分類.相較于直接合并不同圖像特征組成多特征向量的方式，該算法能夠?qū)D像的紋理特征以顏色通道的方式進(jìn)行疊加進(jìn)而實(shí)現(xiàn)顏色特征和紋理特征的融合，因而能夠提高圖像特征表征能力.但是，SIFT算法本身的計(jì)算復(fù)雜度較高，在處理尺度較大的灰度圖像時(shí)已經(jīng)較為耗時(shí)，如果在三通道上分別提取SIFT特征則耗時(shí)將要增加三倍，其特征提取的計(jì)算成本較高.同時(shí)，將三通道提取后的SIFT特征表示為128×3的特征描述子，可能會(huì)在SIFT描述子中混入不必要的噪聲.

相較于SIFT特征描述子，SURF描述子的算法復(fù)雜度要較低，對(duì)圖像的表征能力較強(qiáng)，因而被廣泛的應(yīng)用于圖像檢索領(lǐng)域.本文采用SURF描述子以在不失精度的前提下提高特征提取算法的效率，并采用并行計(jì)算提取各通道下的特征降低算法的時(shí)間復(fù)雜度；其次，本文將在三通道分別進(jìn)行特征的提取和匹配，從而降低引入不必要噪聲的可能性.經(jīng)實(shí)驗(yàn)觀察發(fā)現(xiàn)，H通道的圖像對(duì)比度偏低，因此本文采用直方圖均衡化方法[12]對(duì)H通道圖像進(jìn)行處理，增強(qiáng)圖像的對(duì)比度使得H通道中的魚類輪廓和花紋更加明顯突出.

圖1 HSVG四通道效果圖Fig.1 HSVG effect map for four channels

特別的，本文引入灰度圖像作為第四通道，與HSV三通道共同構(gòu)成HSVG四通道模型，如圖1.在HSVG提取SURF特征然后將提取后的征點(diǎn)描述子按通道獨(dú)立保存.經(jīng)實(shí)驗(yàn)觀察發(fā)現(xiàn)，HSVG四通道提取的SURF特征點(diǎn)對(duì)魚類圖像的特征描述具有互補(bǔ)性.綜上所述本文提出了一種基于HSVG四通道的SURF特征提取算法，并在QUT_fish_data數(shù)據(jù)集上進(jìn)行了魚類圖像檢索實(shí)驗(yàn).實(shí)驗(yàn)結(jié)果表明，本文所提算法在這個(gè)數(shù)據(jù)集上具有良好的魯棒性和準(zhǔn)確度.

2 HSVG-SURF特征

2.1 HSVG四通道模型

HSV顏色模型符合人眼的視覺特性[18]，因此本文在提取SURF特征前先將圖像由RGB空間轉(zhuǎn)換為HSV空間表示[17]，特別的，H通道中圖像對(duì)比度偏低，往往不能很好地反映圖像的輪廓特征因而會(huì)影響SURF特征提取的效果，本文采用直方圖均衡化方法如式(1)單獨(dú)提高H通道的對(duì)比度，以此改善SURF特征提取算法在H通道中的效果.

(1)

其中，m是圖像的像素總數(shù)，mi是圖像的第i級(jí)像素個(gè)數(shù).

魚類圖像中存在許多種類的魚其顏色相近或者體表無(wú)明顯顏色特征，在這種情況下采用顏色信息來(lái)提取SURF特征不能夠有效表征魚類圖像的體表特征.本文引入灰度圖像作為第四通道提取SURF特征，采用RGB加權(quán)方式將彩圖轉(zhuǎn)換成灰度圖，如式(2)

Gray=0.299×R+0.587×G+0.114×B

(2)

其中，R，G，B為RGB空間下的三種顏色通道，權(quán)重為經(jīng)驗(yàn)值.

從公式中可以看出灰度圖是由RGB三通道加權(quán)得到.本文綜合考慮了光照和色差兩種因素提出了基于HSV和灰度的四通道模型，并在此基礎(chǔ)上提取四通道SURF特征，如式(3)所示.

ModelHSVG={H，S，V，Gray}

(3)

其中，H為色度通道，S為飽和度通道，V為明度通道，Gray為灰度通道.

2.2 HSVG-SURF特征提取

本文采用SURF特征提取算法[19]，將四通道特征分別保存在特征結(jié)構(gòu)體的四個(gè)成員變量中，避免在特征描述子中混入不必要的噪聲信息，并且采用多核CPU并行處理的方式對(duì)四通道下的SURF特征進(jìn)行計(jì)算，從而保證算法的時(shí)間復(fù)雜度.HSVG-SURF特征的提取步驟如下：

Step1. 將RGB轉(zhuǎn)換為HSVG四通道模型.

Step2. 構(gòu)造海森矩陣如公式(4)、公式(5)，得到4通道下的極值響應(yīng)值(6).

(4)

對(duì)海森矩陣進(jìn)行近似計(jì)算以加速濾波器的卷積計(jì)算速度，如公式(5)

det(Happror)=DxxDyy-(0.9·Dxy)2

(5)

DHSVG={DH，DS，DV，DG}

(6)

其中，DH為色度H通道卷積輸出圖像，其他同理.

Step3. 不斷增大濾波器的尺寸與圖像進(jìn)行卷積，構(gòu)造高斯金字塔.

Step4. 確定特征點(diǎn)主方向.

Step5. 構(gòu)造特征描述子.

在四通道模型下對(duì)每個(gè)通道中的特征點(diǎn)構(gòu)造特征描述子.以特征點(diǎn)為中心，沿主方向?qū)?0×20的圖像劃分為4×4個(gè)子區(qū)域.統(tǒng)計(jì)特征點(diǎn)在每個(gè)通道下每個(gè)子區(qū)域內(nèi)像素的水平方向和垂直方向的haar小波特征進(jìn)而得到該通道下的子區(qū)域特征值如公式(7)所示：

(7)

則特征點(diǎn)在單一通道下的SURF特征為

(8)

則HSVG模型下的SURF特征向量為

F={FH，F(xiàn)S，F(xiàn)V，F(xiàn)G}

(9)

其中，F(xiàn)H為色度H通道特征向量，F(xiàn)S為飽和度S通道特征向量，F(xiàn)V為明度V通道特征向量，F(xiàn)G為灰度通道特征向量.

圖2 HSVG四通道SURF特征點(diǎn)效果圖Fig.2 HSVG effect map of feature points for four channels

3 基于HSVG-SURF特征的圖像檢索過程

本文將特征按通道分別進(jìn)行特征匹配，然后將匹配后的特征得分進(jìn)行加權(quán)得到最終匹配得分以提高圖像檢索效率.即采用相關(guān)系數(shù)的度量方式匹配四通道SURF特征.

corr為圖像特征相關(guān)系數(shù)的計(jì)算公式，本文中采用皮爾遜相關(guān)系數(shù)作為四通道魚類SURF特征的特征計(jì)算方法，如公式(10)：

(10)

本文只對(duì)檢索圖片和圖庫(kù)圖片的相同通道下的SURF特征進(jìn)行特征匹配.其匹配公式如下：

SH=corr(FdH，F(xiàn)qH)

(11)

該公式計(jì)算H通道下檢索圖片和圖庫(kù)圖片的SURF特征的相關(guān)系數(shù)，其他通道同理.隨后計(jì)算檢索圖片和圖庫(kù)圖片的相關(guān)系數(shù)，其公式如下：

S=w1·SS+w2·SH+w3·SV+w4·SGray

(12)

特征匹配的基本步驟如下：

Step2. 對(duì)SURF特征點(diǎn)進(jìn)行點(diǎn)匹配，得出檢索圖的每個(gè)SURF特征點(diǎn)與單幅圖庫(kù)圖像中所有SURF特征點(diǎn)之間的最大相關(guān)度系數(shù)作為該SURF特征點(diǎn)與圖庫(kù)圖像特征點(diǎn)之間的最高匹配度；

Step3. 對(duì)檢索圖的所有SURF特征點(diǎn)與單幅圖庫(kù)圖像的SURF的最高匹配度進(jìn)行排序，把排名前三的匹配度進(jìn)行加權(quán)后作為兩幅圖之間該通道的相似度得分.

Step4. 按上述步驟對(duì)檢索圖和圖庫(kù)圖像按H，S，V，G通道對(duì)應(yīng)進(jìn)行特征匹配.

Step5. 對(duì)檢索圖和圖庫(kù)圖像四通道的特征匹配得分進(jìn)行加權(quán)得出最終的圖像特征匹配得分.

魚類圖像檢索算法主要包含特征提取以及特征匹配等步驟，本文針對(duì)自然場(chǎng)景下的魚類圖像檢索問題提出HSVG四通道顏色模型，然后通過并行提取四通道下的SURF魚類特征使得所提特征能夠融合顏色與紋理兩種不同類型的特征，提高不同魚類之間的區(qū)分度.然后對(duì)HSVG-SURF特征進(jìn)行特征匹配，最后對(duì)HSVG-SURF特征匹配結(jié)果進(jìn)行綜合加權(quán)后求得最終特征的相似度，根據(jù)相似度結(jié)果進(jìn)行排序得出檢索結(jié)果.具體的算法偽代碼如下：

Algorithm：Fish-Image-Retrieval

Input：query fish images

utput：retrieval-results

1. Image normalization preprocessing；

2. Color space conversion；

3. Histogram equalization for H channels；

4. rebuild image structure

5. Parallel Computation use 4 CPU to process 4 channels of image respectively

6. Feature matching between images

7. Merger these score from 4 channels to one；

8. Sort score and output the results.

4 實(shí)驗(yàn)結(jié)果與分析

4.1 材料與方法

本文在windows7系統(tǒng)下使用Matlab2012b進(jìn)行圖像檢索仿真實(shí)驗(yàn).實(shí)驗(yàn)環(huán)境的硬件配置為：intell(R) Xeon(R) CPU E5-250 v2@2.60GHz 32核處理器，32.00GB內(nèi)存.

本文采用的數(shù)據(jù)集為澳大利亞昆士蘭大學(xué)提供的QUT_fish_data魚類圖像數(shù)據(jù)集，該圖像庫(kù)包含4405張海洋魚類靜態(tài)圖像，每張圖像標(biāo)有對(duì)應(yīng)的種類標(biāo)簽.

評(píng)價(jià)方法：本文采用準(zhǔn)確率和召回率對(duì)所提算法的有效性進(jìn)行評(píng)價(jià)[20].其中準(zhǔn)確率反映的是圖像檢索的精度，召回率是圖像檢索算法對(duì)同類信息檢索查找全面程度的評(píng)價(jià)指標(biāo).此外 ，我們綜合考慮檢索算法的查準(zhǔn)和查全能力，采用P-R曲線評(píng)價(jià)圖像檢索算法：

(13)

(14)

其中TP是檢索到的圖像中包含有與檢索圖像相似的同類圖的數(shù)量，F(xiàn)P為檢索到的圖像中非同類圖像的數(shù)量，F(xiàn)N是圖庫(kù)中全部同類圖檢索到非同類圖的數(shù)量.

4.2 結(jié)果與分析

本文采用MFFIR和基于灰度圖的SURF檢索算法在QUT_fish_data數(shù)據(jù)集上進(jìn)行仿真實(shí)驗(yàn)，并采用P-R曲線對(duì)圖像檢索算法性能進(jìn)行評(píng)價(jià).在QUT_fish_data數(shù)據(jù)集上進(jìn)行測(cè)試，因?yàn)殡m然魚類庫(kù)的規(guī)模較大，但是由于該庫(kù)的魚類種類數(shù)目較多，每類同類魚的數(shù)目較少，其中約有60類同類圖數(shù)目相對(duì)較多，我們把這些作為測(cè)試的主要對(duì)象，測(cè)試集為數(shù)據(jù)集中隨機(jī)挑選的60幅不同種類的魚類圖像，檢索結(jié)果如圖所示.

圖3 QUT_fish_data數(shù)據(jù)集上三種方法的準(zhǔn)確率Fig.3 Accuracy of the three methods on the QUT_fish_data

圖4 QUT_fish_data數(shù)據(jù)集上三種方法的召回率Fig.4 Recall of the three methods on the QUT_fish_data

圖5 QUT_fish_data數(shù)據(jù)集上三種方法的P-R曲線Fig.5 P-R of the three methods on the QUT_fish_data

從圖3-圖5可以看出，本文算法在QUT_fish_data 數(shù)據(jù)集上取得了較好的檢索結(jié)果.

由PR曲線可以進(jìn)一步驗(yàn)證本文所提算法具有較強(qiáng)的魯棒性以及準(zhǔn)確度.

從實(shí)驗(yàn)結(jié)果圖3-圖5來(lái)看，在小數(shù)據(jù)集上，本文算法與基于灰度圖SURF算法的檢索性能差異不是特別明顯.但是，在召回率上優(yōu)于基于灰度圖SURF算法的檢索結(jié)果.此外本文所提算法在兩個(gè)數(shù)據(jù)集上要明顯優(yōu)于MFFIR[2]算法.

從圖中可以看出隨著數(shù)據(jù)的增大，三種算法的平均檢測(cè)率有所下降，但是本文所提算法仍然具有較高的準(zhǔn)確率和較強(qiáng)的魯棒性.

我們改變各通道權(quán)值對(duì)60幅檢索圖進(jìn)行測(cè)試得到以下結(jié)果：

從圖6-圖8的結(jié)果中可以看出改變權(quán)值會(huì)對(duì)檢索結(jié)果產(chǎn)

圖6 QUT_fish_data數(shù)據(jù)集上三種方法的準(zhǔn)確率Fig.6 Accuracy of the three methods on the QUT_fish_data

圖7 QUT_fish_data數(shù)據(jù)集上三種方法的召回率Fig.7 Recall of the three methods on the QUT_fish_data

圖8 QUT_fish_data數(shù)據(jù)集上三種方法的P-R曲線Fig.8 P-R of the three methods on the QUT_fish_data

生影響，但是相對(duì)于另外兩種算法本文所提算法在改變權(quán)值的情況下始終能夠保持較強(qiáng)的準(zhǔn)確率和魯棒性.

通過以上實(shí)驗(yàn)可以看出，本文所提算法在較大規(guī)模圖像集中具有較強(qiáng)魯棒性和準(zhǔn)確率，并且對(duì)復(fù)雜場(chǎng)景圖像具有一定的適應(yīng)能力，通過以上實(shí)驗(yàn)可以基本證明本文所提理論的客觀有效性.

5 總 結(jié)

傳統(tǒng)的SURF圖像特征提取算法只能提取圖像的紋理和輪廓特征而對(duì)圖像的顏色特征存在較弱的描述能力.而魚類圖像中要考慮到圖像的顏色特征和紋理特征，本文基于以上問題提出了一種基于HSVG四通道模型的SURF特征提取方法，并在QUT_fish_data數(shù)據(jù)集數(shù)據(jù)集上進(jìn)行仿真實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明本文所提算法具有較好的魯棒性和精確度.但是本文算法對(duì)于復(fù)雜背景魚類圖像的檢索性能還有待進(jìn)一步提升，針對(duì)這個(gè)問題，在下一步工作中，課題研究小組將會(huì)針對(duì)魚類圖像的特征問題采用深度學(xué)習(xí)和圖像背景分割等方法進(jìn)行研究.