基于特征融合的亞洲食物圖片分類

武若琪，徐 冰，曲志堅(jiān)

(山東理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，山東 淄博 255000)

0 引 言

自上世紀(jì)九十年代開(kāi)始，便出現(xiàn)了關(guān)于食物識(shí)別的研究成果[1]。基于SVM的多核學(xué)習(xí)，多特征融合等方法都曾被研究者應(yīng)用在食物識(shí)別領(lǐng)域[2-4]。但是，食物圖片大多來(lái)自于餐桌場(chǎng)景，圖片中的干擾信息嚴(yán)重影響了圖片分類效果，這導(dǎo)致很多分類模型不能有效應(yīng)用在實(shí)際場(chǎng)景中。此外，深度學(xué)習(xí)也是計(jì)算機(jī)視覺(jué)領(lǐng)域非常有效的技術(shù)方法[5,6]。許多研究者將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用在了食物圖片識(shí)別問(wèn)題上[7-9]。但深度學(xué)習(xí)方法往往缺乏對(duì)結(jié)果的解釋性，不利于從特征角度對(duì)亞洲食物特有結(jié)構(gòu)及特征提取方法進(jìn)行深入研究[10]。

從食物自身屬性來(lái)看，不管是歐洲飲食、美式飲食還是亞洲飲食，其構(gòu)造、形態(tài)以及紋理、顏色等特征大相徑庭[11]。不同于西式食物相對(duì)清晰的構(gòu)造與單調(diào)的烹飪方式，亞洲食物形態(tài)各異，結(jié)構(gòu)模糊，且不同烹飪方式下的菜肴外觀差別很大，因此亟需尋找適合亞洲食物的圖片分類方案。

本文提出一種針對(duì)亞洲食物圖片的分類模型SLGC (SURF-local and global color)。首先，利用GrabCut算法進(jìn)行圖片分割預(yù)處理，提取食物主體；之后，對(duì)特征詞袋模型(bag of features, BoF)做出改進(jìn)，分別在局部與全局兩個(gè)維度提取并量化圖片的顏色特征，將其與圖片的加速穩(wěn)健特征SURF(speed up robust features)進(jìn)行融合；最后，將融合后特征輸入到基于支持向量機(jī)的分類模型進(jìn)行訓(xùn)練和分類。

1 SLGC圖片分類模型

本文提出的SLGC模型包括圖片分割、圖片特征提取、局部及全局特征融合與訓(xùn)練分類，框架模型如圖1所示。

圖1 SLGC框架模型

為降低食物圖片背景對(duì)特征提取的影響，模型首先利用GrabCut算法對(duì)圖片進(jìn)行分割處理。GrabCut是一種交互式分割算法，基于被分割對(duì)象的指定邊界框，使用高斯混合模型(Gaussian mixture model, GMM)估計(jì)被分割對(duì)象和背景的顏色分布[12,13]。其分割的能量函數(shù)如式(1)所示

E(α,k,θ,z)=U(α,k,θ,z)+V(α,z)

(1)

式中：α為透明度系數(shù)，k為GMM分量數(shù)目，θ={πk,uk,Σk}為每個(gè)GMM分量對(duì)應(yīng)的比例、均值與協(xié)方差。根據(jù)α與像素z的匹配度可以衡量區(qū)域數(shù)據(jù)項(xiàng)U的優(yōu)劣，同時(shí)光滑項(xiàng)V在圖像邊界處取得最小值，由此可以得到能量函數(shù)E的最優(yōu)值，確定最佳分割方案。

使用GrabCut算法對(duì)食物圖片進(jìn)行分割的效果如圖2所示。圖2(a)列為原始圖片，包含如餐具、桌布以及其它食物等干擾信息。圖2(b)列展示了將食物主體標(biāo)注在原始圖片的效果。經(jīng)過(guò)圖片分割后的效果展示在圖2(c)列當(dāng)中，最后通過(guò)裁剪形成圖2(d)列的最終結(jié)果。

圖2 食物圖片分割效果

SLGC模型中使用SURF算法提取圖片的局部特征信息。SURF算法的核心是Hessian矩陣，利用Hessian矩陣計(jì)算圖片中每個(gè)像素點(diǎn)的局部行列式極值，就可以得到圖片的特征點(diǎn)，如式(2)所示

(2)

式中：Lxx(x,y,σ)為高斯二階微分與原始圖像在點(diǎn)(x,y)處的卷積。

同時(shí)，為了保證所提取特征點(diǎn)具有旋轉(zhuǎn)不變性，需要確定特征點(diǎn)的主方向。統(tǒng)計(jì)以特征點(diǎn)為中心，以6個(gè)尺度范圍為半徑的鄰域內(nèi)的Harry小波特征，并統(tǒng)計(jì)60°扇形窗口內(nèi)的小波響應(yīng)總和，進(jìn)而得到特征方向矢量(mw,θw)，如式(3)所示

(3)

式中：mw和θw分別代表特征方向矢量的大小和方向。以特征點(diǎn)為中心，沿主方向?qū)?0個(gè)尺度范圍長(zhǎng)度的方形區(qū)域劃分為16個(gè)子塊，分別統(tǒng)計(jì)∑dx,∑dy, ∑|dx|和∑|dy|，生成SURF特征描述子，其維度Ds為固定值64。

使用SURF提取食物圖片特征信息，相對(duì)于使用SIFT(scale-invariant feature transform)，能夠在保持恰當(dāng)特征點(diǎn)數(shù)量的基礎(chǔ)上，有效提升特征提取速度[14]，為之后食物圖片實(shí)時(shí)處理方面的工作做好鋪墊。

如圖3所示，使用SURF在食物圖片上提取特征點(diǎn)。其中，圖3(a)列為原始圖片，為了使特征點(diǎn)位置清晰，設(shè)置閾值為6000提取SURF特征點(diǎn)并標(biāo)注在圖3(b)列的圖片中。其中圓圈的圓心為特征點(diǎn)位置，不同半徑代表其不同的尺度信息。

圖3 SURF特征點(diǎn)提取

關(guān)于SLGC模型中的特征融合部分，其主要作用是在提取圖片的SURF特征之后，借助BoF模型將其與局部顏色特征融合，加強(qiáng)局部特征的表示能力。再將圖片全局顏色特征加入到圖片表示向量當(dāng)中，完成全局特征融合，進(jìn)一步提高特征提取效果。最后將經(jīng)過(guò)局部與全局特征融合后的圖片表示向量輸入到SVM中進(jìn)行訓(xùn)練和分類。下面將重點(diǎn)介紹特征融合的過(guò)程。

2 特征融合

本文提出的SLGC食物圖片分類模型的關(guān)鍵工作在特征融合部分。對(duì)BoF模型做出如下改進(jìn)，在“特征點(diǎn)信息量化”與“形成食物圖片最終表示向量”這兩個(gè)步驟中，分別將圖片的局部顏色特征與全局顏色特征融合到圖片的最終表示向量當(dāng)中，達(dá)到提升特征提取效果的目的。

2.1 BoF模型

BoF模型由Csurka提出并逐漸應(yīng)用于圖像處理領(lǐng)域[15]，其基本步驟如下。首先對(duì)訓(xùn)練圖像進(jìn)行區(qū)域選取，定位特征點(diǎn)，并分別用特征向量對(duì)此特征點(diǎn)進(jìn)行描述，如圖4所示。

圖4 特征詞典生成流程

之后使用K-means聚類算法對(duì)特征向量集進(jìn)行處理，得到特征詞典。使用不同的特征提取方式，每張圖片可定位的特征點(diǎn)數(shù)量也不盡相同。若數(shù)據(jù)集規(guī)模為m張圖片，每張圖片的特征點(diǎn)數(shù)量為αi,則本文選取的聚類數(shù)K的取值如式(4)所示

(4)

最后參照特征詞典，對(duì)原始圖片提取特征單詞，并統(tǒng)計(jì)每個(gè)單詞的出現(xiàn)頻率，得到原始圖片的表示向量，如圖5所示。

圖5 特征向量生成流程

2.2 局部特征融合

SURF特征點(diǎn)是圖片當(dāng)中相對(duì)獨(dú)特的點(diǎn)，能夠較好地反應(yīng)圖片的關(guān)鍵內(nèi)容，因此其鄰域內(nèi)像素的顏色信息也十分重要。提取SURF特征點(diǎn)位置鄰域內(nèi)的顏色信息，與SURF特征信息進(jìn)行拼接融合，能夠更加精準(zhǔn)而全面地表示圖片內(nèi)容。特征點(diǎn)及鄰域像素位置選取示例如圖6所示。

圖6 特征點(diǎn)及其鄰域像素

其中，P 點(diǎn)為某一SURF特征點(diǎn)，R表示鄰域半徑。假設(shè)R的最優(yōu)取值為2(R的實(shí)際最優(yōu)取值會(huì)通過(guò)后續(xù)實(shí)驗(yàn)來(lái)確定)，使用RBG顏色空間表示鄰域范圍內(nèi)選定像素的顏色信息，形成局部顏色特征向量。其向量維度計(jì)算公式如下

Dc=(2R2+2R+1)*3

(5)

式中：R表示鄰域半徑，Dc表示局部顏色特征維度。

獲得局部顏色特征之后，在特征點(diǎn)信息量化部分對(duì)BoF模型做出改進(jìn)，將局部顏色特征與其對(duì)應(yīng)的SURF描述子信息結(jié)合，完成局部特征融合。由于特征向量與顏色信息為不同評(píng)價(jià)指標(biāo)，為了消除指標(biāo)之間的量綱影響，須在融合之前分別對(duì)其進(jìn)行歸一化處理。局部特征融合的具體過(guò)程如圖7所示。

圖7 局部特征融合

其中，以左側(cè)代表“面包”的某一視覺(jué)單詞為例，獲取其SURF特征向量，并獲取以R為半徑鄰域內(nèi)的顏色信息，將二者拼接為局部特征向量，其維度計(jì)算公式如下

Dl=Ds+Dc

(6)

式中：Ds表示SURF特征向量維度，為固定數(shù)值64，Dc表示局部顏色特征維度，Dl表示特征拼接后的局部特征向量維度。將圖片中所有局部特征向量進(jìn)行聚類處理，生成特征詞典，完成局部特征融合過(guò)程。

圖8給出了本文使用的亞洲食物圖片數(shù)據(jù)集中“烏冬面”和“餡餅”的特征點(diǎn)及其鄰域像素提取示例。其中，圖8(a)列圖片分別給出了“烏冬面”和“餡餅”的SURF特征點(diǎn)位置，圖8(b)列為圖片對(duì)應(yīng)的顏色直方圖。由于兩張圖片存在大面積黃色區(qū)域，主體色調(diào)相似，因此可區(qū)分度較低。但是，通過(guò)分析特征點(diǎn)位置，發(fā)現(xiàn)其多數(shù)定位在食物的“點(diǎn)綴區(qū)域”，也就是上圖中的紅腸和下圖中蔥花的位置。與西方食物習(xí)慣對(duì)食物容器進(jìn)行點(diǎn)綴不同，結(jié)合味道與品相等多種原因，亞洲食物往往使用顏色鮮艷、味道清新的材料直接對(duì)菜品進(jìn)行點(diǎn)綴。由于點(diǎn)綴物的顏色與形態(tài)較為突出，因此其附近能夠較大概率出現(xiàn)特征點(diǎn)，同時(shí)其顏色特征也能夠較好反映食物種類信息。通過(guò)統(tǒng)計(jì)圖8中兩種食物特征點(diǎn)鄰域內(nèi)顏色信息，就能夠以紅色與綠色的差別區(qū)分兩類食物。

圖8 主色調(diào)相近食物及其顏色直方圖

2.3 全局特征融合

利用SURF提取食物圖片特征，首先需要對(duì)原始圖片進(jìn)行灰度化處理。經(jīng)過(guò)灰度化處理的圖片，不可避免地丟失了顏色特征，而顏色特征對(duì)于色彩豐富的食物圖片是十分重要的，蘊(yùn)含了大量關(guān)鍵信息。特別是圖片的全局顏色特征能夠表現(xiàn)圖片中分布最廣的顏色信息，能夠在食物圖片分類問(wèn)題中發(fā)揮較大作用。

本文使用HSV顏色空間對(duì)食物圖片的整體顏色特征進(jìn)行表示。HSV顏色空間是把H(色相)、S(飽和度)和V(亮度)當(dāng)作色值來(lái)定位顏色的空間。相對(duì)于RGB顏色空間，HSV空間能夠非常直觀地表達(dá)色彩的明暗、色調(diào)以及鮮艷程度，比較接近人類對(duì)于食物圖片的自然視覺(jué)感知。

為了避免全局顏色特征矢量維數(shù)過(guò)高，使用式(7)的對(duì)應(yīng)關(guān)系對(duì)HSV空間進(jìn)行量化

(7)

基于上述量化關(guān)系，將各顏色分量按照式(8)合成為72維顏色特征矢量，作為食物圖片整體顏色特征的表示向量

G=9H+3S+V

(8)

為了完成全局特征融合，在形成食物圖片最終表示向量部分對(duì)BoF模型做出改進(jìn)，具體過(guò)程如圖9所示。

圖9 全局特征融合

其中，表示向量為圖片的特征向量，是圖片的所有局部特征向量經(jīng)過(guò)聚類形成特征詞典，并完成統(tǒng)計(jì)后形成的特征向量。此時(shí)的特征向量包含了圖片的SURF特征與關(guān)鍵點(diǎn)鄰域顏色特征，在此基礎(chǔ)上將圖片的HSV全局顏色特征與其進(jìn)行拼接，形成圖片的最終表示向量。圖片最終表示向量維度計(jì)算公式如下

Dg=K+Dh

(9)

式中：K為依據(jù)式(4)計(jì)算的聚類數(shù)目，同時(shí)是圖片表示向量的維度，Dh為全局顏色向量維度，為固定值72，Dg為圖片經(jīng)過(guò)全局特征融合后的圖片最終表示向量維度。

圖10給出了不同食物的顏色直方圖對(duì)比。通過(guò)分析，可以看到全局顏色特征融合是合理有效的。

圖10 不同食物的顏色直方圖

其中，圖10(a)列為炒飯和蔬菜兩種食物，其主體色調(diào)差異較大，分別為米黃色和青綠色。通過(guò)顏色直方圖也可以看出兩種主體色調(diào)的分布差異明顯，能夠起到良好的區(qū)分作用。即全局特征融合能夠進(jìn)一步完善食物圖片特征向量對(duì)于圖片的表達(dá)能力，促進(jìn)分類準(zhǔn)確率的提高。

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證SLGC分類模型的有效性，對(duì)其關(guān)鍵步驟進(jìn)行兩個(gè)維度的驗(yàn)證。首先通過(guò)比較圖片分割前后的分類效果來(lái)研究其是否對(duì)分類準(zhǔn)確率做出貢獻(xiàn)。其次通過(guò)對(duì)比不同特征點(diǎn)鄰域取值下的分類準(zhǔn)確率與融合全局顏色特征前后的分類準(zhǔn)確率，分別研究局部特征融合與全局特征融合對(duì)于圖片分類準(zhǔn)確率的影響。

3.1 實(shí)驗(yàn)數(shù)據(jù)集與評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)中數(shù)據(jù)集選擇的是Caltech101與UEC FOOD 100食物圖片數(shù)據(jù)集。Caltech101是綜合圖片數(shù)據(jù)集，內(nèi)容豐富，不同種類圖片差異較大。UEC FOOD 100是日本電氣通信大學(xué)的Yoshiyuki Kawano創(chuàng)建的食物圖片數(shù)據(jù)集，其中大多數(shù)是日本流行食物，能夠比較全面地體現(xiàn)亞洲食物的整體結(jié)構(gòu)特點(diǎn)。數(shù)據(jù)集結(jié)構(gòu)見(jiàn)表1。

表1 數(shù)據(jù)集結(jié)構(gòu)

本文的食物圖片分類算法使用線性SVM分類器，選取徑向基核函數(shù)(radial basis function, RBF)并采用one-versus-rest策略進(jìn)行多分類處理。參數(shù)優(yōu)化采用Libsvm的grid.py工具。訓(xùn)練集與測(cè)試集不進(jìn)行手動(dòng)劃分，而是借助K折交叉驗(yàn)證(K-fold cross validation, K-CV) 對(duì)數(shù)據(jù)集進(jìn)行k次數(shù)據(jù)劃分與訓(xùn)練并得到k個(gè)分類模型。將每個(gè)模型分類準(zhǔn)確率pi的平均值作為此K-CV性能指標(biāo)pave。由此確定最優(yōu)參數(shù)C和gamma，之后使用最優(yōu)參數(shù)構(gòu)建圖片分類器，得出最佳分類準(zhǔn)確率P。計(jì)算過(guò)程如式(10)所示

pi=K-CV中所生成每個(gè)模型的分類準(zhǔn)確率
pave=∑pi/k
P=使用C和gamma為分類器參數(shù)的分類準(zhǔn)確率

(10)

實(shí)驗(yàn)環(huán)境為Windows10操作系統(tǒng)，Inter Core i5 CPU，內(nèi)存16 G，編程環(huán)境為PyCharm 2018.2.7，Python 2.7。對(duì)OpenCV 3.3相關(guān)代碼做修改后進(jìn)行SIFT與SURF的特征提取工作，并借助Libsvm進(jìn)行參數(shù)調(diào)優(yōu)與SVM訓(xùn)練工作。

3.2 圖片分割對(duì)分類效果的影響

針對(duì)食物圖片背景中存在桌布、餐具以及其它干擾信息的問(wèn)題，使用GrabCut算法對(duì)圖片進(jìn)行分割操作，提取食物主體。使用UEC FOOD 100作為實(shí)驗(yàn)數(shù)據(jù)集，針對(duì)不同規(guī)模的圖片數(shù)據(jù)分別進(jìn)行圖片分割前后的分類對(duì)比實(shí)驗(yàn)，此實(shí)驗(yàn)主要是評(píng)估與量化圖片分割操作對(duì)分類準(zhǔn)確率的影響。實(shí)驗(yàn)結(jié)果如圖11所示。

圖11 圖片分割前后的實(shí)驗(yàn)結(jié)果對(duì)比

其中橫坐標(biāo)表示不同數(shù)據(jù)集規(guī)模(圖片種類數(shù)目)，縱坐標(biāo)表示分類準(zhǔn)確率。通過(guò)在食物圖片分割前后的數(shù)據(jù)集上分別提取SURF與SIFT特征并進(jìn)行圖片分類實(shí)驗(yàn)可以觀察到，在同樣數(shù)據(jù)集規(guī)模下，進(jìn)行圖片分割操作可在SIFT特征基礎(chǔ)上獲得4%到6%的提升，在SURF特征基礎(chǔ)上獲得5%到8%的提升。實(shí)驗(yàn)說(shuō)明圖片分割能夠有效突出食物主體，避免了背景干擾信息對(duì)于后續(xù)處理的不利影響。

同時(shí)，依照食物主體對(duì)圖片進(jìn)行裁剪，有效降低了后續(xù)處理的資源用量。實(shí)驗(yàn)過(guò)程中，數(shù)據(jù)集規(guī)模對(duì)分類模型的執(zhí)行效率起到?jīng)Q定性影響，此外由式(6)可以得出，特征向量中SURF信息維度不變，特征向量的最終維度取決于鄰域半徑的取值，因此不同鄰域值也會(huì)影響到模型的執(zhí)行效率。如表2所示，在同樣數(shù)據(jù)規(guī)模與鄰域取值下，對(duì)食物圖片進(jìn)行圖片分割預(yù)處理。實(shí)驗(yàn)結(jié)果表明，使用圖片分割可以有效縮減45%左右的特征提取時(shí)間。

表2 使用圖片分割對(duì)于特征提取效率的影響

3.3 局部特征融合對(duì)分類效果的影響

實(shí)驗(yàn)?zāi)康氖窃u(píng)估特征點(diǎn)鄰域范圍對(duì)于局部特征提取效果的影響，因此忽略SURF特征信息，只提取圖片特征點(diǎn)附近不同鄰域范圍的局部顏色信息作為圖片的最終表示向量進(jìn)行實(shí)驗(yàn)。評(píng)估標(biāo)準(zhǔn)為最終圖片分類準(zhǔn)確率，實(shí)驗(yàn)結(jié)果如圖12所示。

圖12 局部顏色特征對(duì)于分類效果的影響

其中橫軸表示特征點(diǎn)鄰域半徑取值，縱軸表示圖片分類準(zhǔn)確率。實(shí)驗(yàn)分別在綜合圖片數(shù)據(jù)集Caltech101與食物圖片數(shù)據(jù)集UEC FOOD 100上進(jìn)行，其中Caltech101取前30類圖片進(jìn)行實(shí)驗(yàn)，UEC FOOD 100取前20類圖片進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)中提取圖片SURF特征點(diǎn)的不同鄰域半徑內(nèi)所有像素的顏色信息，并分別以RGB與HSV顏色空間進(jìn)行表示，作為圖片的最終表示向量，其向量維度可由式(5)計(jì)算得出。將最終表示向量量化后輸入SVM進(jìn)行分類。

分析圖12中的實(shí)驗(yàn)結(jié)果，可以看到隨著鄰域半徑R的不斷增長(zhǎng)，圖片分類準(zhǔn)確率也在穩(wěn)步提升，經(jīng)過(guò)多輪實(shí)驗(yàn)后確定在R取值為5時(shí)擁有最好的特征表示效果，且RGB空間對(duì)于局部顏色的表示效果普遍較好。

同時(shí)由實(shí)驗(yàn)數(shù)據(jù)可以觀察到，相對(duì)于綜合圖片數(shù)據(jù)集，食物圖片對(duì)于局部顏色特征的敏感性更高。這也是由于在食物圖片，特別是亞洲食物圖片當(dāng)中，特征點(diǎn)大多定位于較為突出的“點(diǎn)綴區(qū)域”，其鄰域顏色信息有較高提取價(jià)值。

3.4 全局特征融合對(duì)分類效果的影響

此實(shí)驗(yàn)?zāi)康氖窃u(píng)估全局顏色特征融合對(duì)于整體特征提取效果的影響，因此以單一特征提取方式(SIFT/SURF)為基準(zhǔn)，對(duì)比局部特征融合(SIFT/SURF+RGB)與局部全局特征融合(SIFT/SURF+RGB+HSV)的分類表現(xiàn)。評(píng)估標(biāo)準(zhǔn)為最終圖片分類準(zhǔn)確率，實(shí)驗(yàn)結(jié)果如圖13所示。

圖13 全局顏色特征對(duì)于分類效果的影響

其中橫坐標(biāo)表示不同數(shù)據(jù)集規(guī)模(圖片種類數(shù)目)，縱坐標(biāo)表示分類準(zhǔn)確率。分別在綜合圖片數(shù)據(jù)集Caltech101與食物圖片數(shù)據(jù)集UEC FOOD 100上進(jìn)行實(shí)驗(yàn)，選取的數(shù)據(jù)規(guī)模與上節(jié)一致。實(shí)驗(yàn)中將圖片的整體顏色信息以HSV顏色空間進(jìn)行表示，并與圖片的局部特征(SIFT/SURF+RGB)進(jìn)行拼接，其中鄰域半徑R取值為2。通過(guò)上述對(duì)比實(shí)驗(yàn)，可以看到全局顏色特征的加入對(duì)于綜合圖片分類準(zhǔn)確率的提升在5%左右，對(duì)于食物圖片分類的貢獻(xiàn)也在3%左右。即全局顏色特征融合，在局部特征融合的基礎(chǔ)上，進(jìn)一步提升了特征提取效果。而全局顏色特征對(duì)于食物圖片分類貢獻(xiàn)較少，是因?yàn)橄鄬?duì)于綜合圖片數(shù)據(jù)集，食物圖片類間顏色差異較小，且同色調(diào)食物種類較多。

3.5 模型性能與其它現(xiàn)有工作對(duì)比

在UEC FOOD 100中隨機(jī)選取20類圖片作為實(shí)驗(yàn)數(shù)據(jù)，依據(jù)式(4)計(jì)算聚類數(shù)值K為1368，鄰域半徑R取值為5，依據(jù)式(6)計(jì)算局部特征融合后每個(gè)視覺(jué)單詞的表示向量維度Dl為247，依據(jù)式(9)計(jì)算全局特征融合后每張圖片的最終表示向量維度Dg為1440。在上述實(shí)驗(yàn)條件下針對(duì)本文所提出SLGC模型的各組成部分分別進(jìn)行實(shí)驗(yàn)，目的是總結(jié)量化圖片分割、局部特征融合與全局特征融合對(duì)圖片分類準(zhǔn)確率的貢獻(xiàn)程度。

從表3中可以看到，使用SURF描述子相對(duì)于使用SIFT描述子，在其它條件均相同時(shí)，最終分類準(zhǔn)確率普遍提升4%左右。而在使用同一特征提取方法的基準(zhǔn)上，對(duì)食物圖片進(jìn)行圖片分割預(yù)處理可以使分類準(zhǔn)確率提升4%左右，經(jīng)過(guò)局部特征融合之后分類準(zhǔn)確率可以提升5%左右，而全局特征融合對(duì)于分類準(zhǔn)確率也有3%左右的貢獻(xiàn)。

表3 不同特征提取方法準(zhǔn)確率對(duì)比

之后，使用與上述實(shí)驗(yàn)相同的數(shù)據(jù)集與參數(shù)，將本文提出的分類模型與其它模型進(jìn)行對(duì)比實(shí)驗(yàn)。

如表4所示，基線方法Color Histogram與Bag of SIFT Features由于特征提取方式單一，不能根據(jù)食物圖片特點(diǎn)有針對(duì)性地提取特征，因此分類效果較差。OM在PFID數(shù)據(jù)集上表現(xiàn)出色，但是由于其獨(dú)特的特征組合結(jié)構(gòu)僅適用于食物層次結(jié)構(gòu)分明的PFID數(shù)據(jù)集，在針對(duì)亞洲食物數(shù)據(jù)集的分類任務(wù)上準(zhǔn)確率有所下降。

表4 與其它圖片分類模型準(zhǔn)確率對(duì)比

在UEC FOOD 100數(shù)據(jù)集上我們?nèi)〉昧伺cTexture+SIFT+MKL模型相近的性能，達(dá)到60%以上。同時(shí)，針對(duì)其未對(duì)原始圖片進(jìn)行預(yù)處理的問(wèn)題，使用GrabCut算法將食物主體進(jìn)行分割提取，進(jìn)一步提升了分類準(zhǔn)確率，達(dá)到64%左右。

4 結(jié)束語(yǔ)

為探索亞洲食物圖片的內(nèi)在特征，提高亞洲食物圖片分類準(zhǔn)確性，在對(duì)亞洲食物特有結(jié)構(gòu)與顏色特征的研究分析基礎(chǔ)上提出一種基于特征融合的亞洲食物圖片分類模型SLGC。構(gòu)建了融合SURF特征、局部顏色信息以及全局顏色信息的特征表示方法，全面高效地提取亞洲食物圖片特征。通過(guò)使用圖片分割算法分離無(wú)效干擾信息，突出食物主體，進(jìn)一步提升了圖片分類效果。實(shí)驗(yàn)結(jié)果表明，本文提出的基于特征融合的圖片分類方法，能夠有效提升圖片分類準(zhǔn)確率，相對(duì)于單一特征方法和針對(duì)其它圖片數(shù)據(jù)集的特征提取方案具有更好的效果。