一種基于多特征組合和SVM相關反饋的皮膚病圖像檢索算法

李珍 亢潔 劉兆邦 陸千琦 謝璟

摘要：針對特征復雜的皮膚病受損區域圖像難以用單個特征準確表達，且低層視覺特征與高層語義空間之間存在語義鴻溝，造成皮膚病受損區域圖像檢索困難的問題，提出了一種基于多特征組合和SVM相關反饋的皮膚病圖像檢索方法。首先對預處理之后的皮膚病受損區域的圖像進行多特征提取并進行組合，然后采用歐式距離相似度模型對皮膚病受損區域圖像初步檢索，最后引入了帶有衰減系數的SVM相關反饋算法，提高皮膚病受損區域圖像的檢索準確率。實驗結果表明，引入帶有衰減系數SVM相關反饋的方法可以檢索到更多的相關圖像，明顯提高了檢索的查準率。

關鍵詞： 皮膚病受損區域； 多特征組合； 圖像檢索； SVM相關反饋； 衰減系數

中圖分類號：TP391 文獻標識碼：A 文章編號：1009-3044（2019）05-0178-04

An Algorithm for Skin Disease Image Retrieval Based on Multi-feature Combination and SVM Relevance Feedback

LI Zhen1， KANG Jie1， LIU Zhao-Bang2* ， LU Qian-Qi3 ， XIE Jing3

（1.College of Electrical & Information Engineering， Shaanxi University of Science & Technology， Xi'an 710021， China； 2.Suzhou Institute Of Biomedical Engineering And Technology， Chinese Academy Of Sciences， Suzhou 215163，China；3.Wenzhou People's Hospital， Wenzhou 325099 ， China）

Abstract：Aiming at the problem that the image of damaged area with complex features can not be accurately expressed by a single feature， and there is a semantic gap between low-level visual features and high-level semantic space， which makes it difficult to retrieve the image of damaged area of skin diseases， a skin disease image retrieval method based on multi-feature combination and SVM relevance feedback is proposed. Firstly， the multi-feature extraction and combination of the images of the skin lesions after preprocessing are carried out. And then the Euclidean distance similarity model was used to search the images of the damaged areas of the skin disease. Finally， an SVM relevance feedback algorithm with attenuation coefficient is introduced to improve the retrieval accuracy of images in damaged areas of skin diseases. The experimental results show that the introduction of the SVM relevance feedback method can retrieve more related images ，it is concluded that which signi ficantly improves the precision of the search.

Key words：skin disease damaged area； multi-feature combination； image retrieval； SVM relevance feedback； attenuation coefficient

1 引 言

隨著生活水平的提高，皮膚的健康問題也越來越成為人們關注的話題，然而皮膚病逐漸成了高發常見病，如血管瘤、惡性黑毒瘤等皮膚疾病嚴重威脅人類的皮膚健康甚至生命[1-3]，如何將多種典型的皮膚病圖像運用圖像處理、計算機視覺等理論將用普通攝像機、相機，手機等移動設備采集的皮膚病圖像應用在圖像檢索中，使醫生或用戶快速有效地檢索到有價值的目標圖像，建立一個高效、準確的皮膚病圖像檢索系統成為一個迫切需要解決的問題[4-5]。

文獻[6]提取圖像的顏色和形狀特征對待查詢圖像進行初步圖像檢索，通過對檢索結果進行正例和負例標注獲得訓練樣本，并用 SVM 對獲得的累計的訓練樣本構造線性分類器，捕獲用戶的檢索意圖，但在反饋過程中缺少圖像本身的視覺特征信息；文獻[7]采用相關反饋算法對遙感圖像檢索時，將圖像的多特征相似性度量函數和 SVM 分類器函數進行線性加權，作為相關反饋中的相似性度量準則.然而圖像相似性度量函數中，圖像特征分量并沒有對應的權重值，這樣的遙感圖像相似性度量模型并不能充分表達豐富的圖像內容；文獻[8-12]提出基于語義的圖像檢索算法，通過建立一種低層視覺特征和高層語義特征的映射，如語義模型、相關反饋等，提高了圖像檢索的準確率，但基于語義的圖像檢索算法如果反饋次數多，圖像檢索的實時性較差。

針對傳統的圖像檢索模型存在內容描述不充分，且在計算相似度時缺乏語義信息，造成低層視覺特征與高層語義空間之間存在嚴重的語義鴻溝問題，本文根據皮膚病圖像的復雜多變的背景，采用基于內容的圖像檢索的方法來檢索與目標圖像相同或類似的皮膚病類型，對傳統的檢索模型加入了預處理過程、多特征組合和引入帶有衰減系數的SVM相關反饋過程，可以檢索到更多的相關圖像，提高檢索的查準率。

2 基于多特征組合的SVM相關反饋檢索模型

本文采用了多特征組合和SVM相關反饋的檢索方法，對所選取的皮膚病圖像進行相似性檢索并及時捕捉用戶的意圖，從而獲得符合用戶意圖的正確的皮損圖像。本文中的基于多特征組合的支持向量機相關反饋的皮膚病圖像檢索系統的算法流程圖如圖1所示。

本文主要的步驟如下：

Step1：對采集的皮損圖像進行預處理，首先對圖像大小、格式、命名統一后，再進行小波閾值去噪、直方圖均衡化，拉普拉斯變換（Laplace Transform）銳化后增強邊緣細節的等處理，增強圖像中的皮膚病圖像的受損（以下簡稱皮損）區域的相關特征信息。

Step2： 對經過預處理之后的皮損圖像庫進行顏色相關圖特征、LBP紋理特征、HU矩形狀特征提取，在經過特征歸一化后，進行權重賦予初值后進行多特征組合，獲取皮損圖像的綜合性特征信息。

Step3： 對查詢圖像執行Step1～Step2步驟后，采用歐式距離公式計算查詢圖像與皮損庫圖像的相似性大小，并按照相似性大小進行倒排索引，輸出最相似的Top-N張圖像作為該張查詢圖像的初步檢索結果。

Step4： 用戶對前Top-N張圖像進行標記，并進行引入衰減系數的SVM相關反饋，按照Step3中的計算出的每張圖像的權值大小進行降序排序，并輸出Top-N張檢索圖像。

Step5： 若用戶對檢索結果不滿意則繼續返回Step4，滿意則結束，最后輸出用戶令滿意的Top-N張圖像。

2.1 皮膚病圖像預處理

由于采集皮膚病的客觀條件復雜多變，為了提高皮損檢索的效率，將圖像庫與待查詢圖像進行相同的預處理后，進行后面的圖像檢索工作。

圖像預處理的目的是提高圖像質量，盡可能消除圖像的冗余信息，增強圖像中的相關特征信息。本文先對圖像庫中的圖像進行小波閾值去噪，并對去噪后的圖像進行直方圖均衡化，再進行拉普拉斯變換銳化后增強邊緣細節。

2.1.1 圖像小波閾值去噪

由于在采集、編碼或傳輸過程中，既遭受了信號噪聲，皮膚病圖像自身也包含噪聲，因此圖像去噪過程十分重要。對于圖像而言，噪聲多是高斯白噪聲，將含噪聲的圖像數學模式描述為式（1）所述形式：

[f（i，j）=G（i，j）+Z（i，j）] （1）

其中，[f（i，j）]是含噪聲圖像，[G（i，j）]是不含噪聲圖像，[Z（i，j）]是高斯白噪聲，[i]與[j]表示圖像像素位置，[Z（i，j）]服從正態分布[N（0，δ2）]。

本文利用小波閾值去噪，即選取合適的閾值對小波系數進行處理，把小波系數大于閾值的信號系數保留，使小波系數小于閾值的噪聲系數去除，達到去噪的目的。小波去噪的流程框圖如圖2所示，其中的閾值的選取和閾值的量化處理是小波閾值去噪的關鍵，合理選擇正確的閾值和量化才能夠有效地對信號進行去噪。

在對采集的圖像進行小波去噪之后，本文選取軟閾值去噪圖像進行處理，圖3中的（b）圖是軟閾值去噪去噪圖。然后將去噪后的圖像進行直方圖均衡化后將像素值調整在0-255范圍內，并采用變換后進行細節增強。進行直方圖均衡化和Laplace變換后的效果圖分別如圖3皮損預處理算法效果圖中的（c）圖與（d）圖所示。

3 多特征組合

由于皮損圖像的顏色、皮損的肌理、皮損的形狀的特征明顯，視覺上可以直接獲取到皮損的主要信息，因此本文主要在皮損的顏色、紋理、形狀特征上進行描述。單一特征并不能很好地對皮膚病圖像進行檢索，綜合特征更符合人的視覺要求，同時提取顏色、紋理、形狀，并融合這三類特征的相似性測度構建總體相似性測度，能夠提升整體檢索結果的查準率和查全率，較為全面地描述圖像，增強檢索結果的準確性和可靠性。

本文根據皮損圖像所包含的圖像內容信息，對皮損的顏色相關圖特征、局部二值模式（LBP）紋理特征以及Hu形狀特征進行特征提取。

3.1 顏色相關圖、LBP紋理特征、Hu形狀特征提取

本文采用顏色相關圖特征對皮損區域的顏色以及皮損區域其他區域的漸變信息進行描述，統計皮損區域的像素在一定距離內的顏色變化程度，其中用距離集合來描述顏色的變化程度，設距離集[d={d0，d1，d2，d3}]，顏色相關圖描述距離為[d]，則生成的直方圖Bin的大小根據式（2）計算：

[Bin（Ci，Cj）=x，y{I（x，y，Ci）-I（x，y，Cj）=d}] （2）

其中，[*]表示像素值為[Ci，Cj]的兩個像素的空間距離，然后統計像素個數。本文提取64維顏色相關圖特征。

由于皮膚表面的凹凸不平、甚至有些皮損明顯突起高于周圍區域，皮損的溝紋在視覺上形成紋理，本文采用Ojala定義的均值局部二值模式（uniform local binary patterns）提取59維的皮損紋理特征。

同樣的，皮損的形狀信息能夠對皮損的形狀進行描述，本文根據式（3）進行計算并提取7維Hu矩形狀特征：

[Φ1=（η2，0+η0，2）Φ2=（η2，0-η0，2）2+4η1，12Φ3=（η3，0-3η1，2）2+（3η1，2-η0，3）2Φ4=（η3，0+η1，2）2+（η2，1+η0，3）2Φ5=（η3，0-3η1，2）（η3，0+η1，2）[（η3，0+η1，2）2-（3η2，1+η3，0）2]+（3η2，1-η0，3）（η2，1+η0，3）[3（η3，0+η1，2）2-（η2，1+η0，3）2]Φ6=（η2，0-η0，2）[（η3，0+η1，2）2-（η2，1+η0，3）2]+4η11（η3，0+η1，2）（η2，1+η0，3）Φ7=（3η2，1-η0，3）（η1，2+η3，0）[（η3，0+η1，2）2-3（η1，2+η3，0）2]-（η3，0-3η1，2）（η2，1+η0，3）+[3（η3，0+η1，2）2-（η2，1+η0，3）2]] （3）

3.2 多特征組合

由于本文提取的顏色、紋理、形狀特征中各特征的維數不同，且描述不同的皮損特性，無法直接進行比較和分析，因此需要對這些特征進行特征歸一化，使得各特征處于同一數量級別進行綜合性衡量。在對提取出的各特征歸一化后，進行相似度測度層面的特征組合，首先要計算待查詢圖像與圖像特征庫的相似度距離，本文使用了歐式距離測度，根據式（4）計算，其中A為待查詢圖像特征向量，B為圖像特征庫在N維空間的特征向量。

[EMD（A，B）=i=1N（Ai-Bi）2] （4）

在計算出待查詢的皮損圖像與庫中的皮損圖像的歐式距離后，然后依據相似度測度的線性融合規律，數學公式描述如式（5），n是提取的特征數目：

[Sfusion=α1S1（F1）+α2S2（F2）+...αnSn（Fn）] （5）

[Sfusion]是融合后的相似度測度，[αi]是相似度測度分量[ Si]在融合后的相似測度[Sfusion]所占據的比重，由于不同種類圖像的相似度距離所占比例不同，因此賦予的每個特征的相似度距離相同的初始權重。

4 SVM相關反饋

為了縮小底層視覺信息與高層抽象描述存在的語義差異，本文采用SVM相關反饋算法對皮損樣本進行學習與檢索，算法的主要步驟為：

Step1：對多特征的相似度進行加權組合后，按照相似度大小進行檢索，檢索結果返回前Top-N張最相似皮損圖像記為[U]。

Step2：對初步皮損檢索結果進行相關皮損樣本數據集[I+1（I+1∈U）]和不相關皮損樣本數據集[I-1（I-1∈U）]標記，且其中[I+1?I-1=?]。

Step3： 皮損樣本集更新。更新歷次返回的累積相關皮損樣本集[I+=（I+?I+1）-I-1]，不相關皮損樣本集[I-=（I-?I-1）-I+1]。

Step4： 準備相關反饋學習的訓練樣本集[（xi，yi）]

[xi∈（I+?I-）]，[yi=1xi∈I+-1xi∈I-]，并利用SVM分類器對樣本集進行訓練 ，構建的分類器為式（6）：

[f（x）=iαiyiK（x，y）+b] （6）

Step5： 對待查詢皮損圖像[Q（xi）]，計算[w（Qi）=-f（xi）]，并引入衰減系數[β] 來進一步更新每一張圖像的權值，權值根據式（7）計算

[w（Qi）=（1-β）w（Qi）+f（xi）] （7）

其中[β]為衰減系數，[β∈[0，1]]

Step6： 按照Step5中的每張圖像的權值大小進行降序排序，并返回檢索圖像，若用戶對檢索結果不滿意則繼續返回Step3，滿意則結束。

4 仿真與分析

4.1 數據準備

本文采用的皮膚病的皮損數據集由溫州市人民醫院使用相機采集，經過多次的辨別、篩選之后，選擇10種類型皮膚病作為待檢索皮膚病類型，將每種病中的一種皮損形態的皮損圖像作為實驗數據，包括惡性黑性黑毒瘤，草莓狀血管瘤，黑棘皮病，白癜風等，每一類選取50張，共500張圖像作為皮損圖像數據庫，格式為bmp，大小為256*256。選擇每一類皮損圖像中較為典型的5張，共50張作為待查詢圖像庫。選擇查準率（precision）與查全率（recall）作為評價指標，如式（8）：

[precision=NrT] （8）

其中的[Nr]是返回檢索圖像中與待查詢圖像相關圖像的數目，[T]是檢索時返回的圖像總數，[R]是圖像庫中與待查詢圖像相關的圖像總數。

4.2 實驗結果

本文選擇的研究對象是皮損圖像庫的500幅圖像。采用綜合特征進行皮損圖像的檢索后，將返回的20張圖像作為初始檢索結果，并采用引入衰減系數的SVM相關反饋算法進行相關反饋。

（1）多特征提取實驗。為了分析多特征組合的優勢，本文提取表征皮損特點明顯的顏色、紋理以及形狀特征的單一特征，并分析了單一的各特征對檢索結果以及組合特征對檢索結果的影響，圖4是10種皮損圖像的平均查準率，由圖可知紅皮病、尋常性魚鱗病、惡性黑毒瘤皮損圖像紋理特征的平均查準率比顏色、形狀要高，離心環狀紅斑、銀屑病、草莓狀血管瘤等皮損圖像的組合特征的皮損檢索的查準率得到較大提高。

（2）SVM相關反饋實驗。實驗選取衰減系數參數為[β=0，0.25，0.5.0.75，1]，其中衰減系數[β∈[0，1]]，經過多次實驗，當衰減系數在[β∈[0，0.25]] 時10類皮損檢索均能夠均能夠穩定，選擇[β=0.2]較為合適。設定每次檢索后選定返回20張圖像作為檢索結果，圖5是10類皮膚病在引入相關反饋后，檢索系統的查準率與反饋次數的關系圖，由圖可知隨著反饋次數的增加，查準率快速提高，查準率在小范圍內變化，基本趨于穩定，其中惡性黑毒瘤由于該皮損圖像的特征明顯，初始檢索效果明顯且經過1次SVM相關反饋之后查準率基本穩定且趨近于1，而銀屑病由于皮損的形狀不規則，在多次檢索后查準率較低，但仍逐漸趨于穩定的狀態，側面說明了系統具有較好的穩定性。表格1是統計返回20張圖像檢索穩定時的查準率與反饋次數，可以明顯看出[β=0.2]時9種皮損圖像在反饋1-3次查準率趨于穩定。如圖6是本文暈痣類皮損圖像相關反饋2次后檢索結果界面。

5 結論

針對皮損圖像檢索存在的問題，本文提出了一種多特征組合和SVM相關反饋的皮膚病圖像檢索的方法。該方法對采集的皮損圖像進行小波去噪、直方圖均衡化、Laplace變換的預處理之后，提取其多特征組合成綜合特征，并采用歐式距離進行相似度計算后完成初步檢索過程，在一定程度上提高了初步檢索過程的查準率；以及引入帶有衰減系數[β]的SVM相關反饋的算法后，隨著反饋次數的增加，查準率也越來越高，減少SVM相關反饋次數最終趨于平衡，有效地提高皮膚病圖像檢索的準確度。但目前由于缺少皮損圖像的公開數據集，在皮損數據集上進行實驗效果研究還需要進一步研究，另外，如何將基于內容的皮損圖像檢索與包含皮損圖像癥狀描述的文本檢索有效結合起來以提高檢索效果，還需要進一步研究。這些將是未來皮損圖像研究的主要方向。

參考文獻：

[1] 蒲曉蓉，王之驄，宋帥領. 基于樸素貝葉斯分類器的皮膚病圖像顏色特征提取方法[P].四川：CN106557771A，2017-04-05.

[2] 王興旺， 楊慧蘭. 人工智能實現專業級皮膚癌診斷：未來醫學發展動向[J]. 實用皮膚病學雜志， 2017（3）：141-141.

[3] 于凡， 萬艷麗， 胡紅濮. 醫學圖像檢索技術發展現狀[J]. 中華醫學圖書情報雜志， 2017， 26（7）：31-35.

[4]孫銀輝. 色素性皮膚病圖像預處理與內容檢索研究[D]. 2016.

[5] 宋帥領. 色素性皮膚病圖像的特征提取與識別[D]. 2016.

[6] 白婧文， 趙志誠. 一種新的基于SVM相關反饋的圖像檢索算法[J]. 軟件導刊， 2010， 09（10）：49-51.

[7] 趙理君， 唐家奎， 于新菊，等. 綜合視覺特征度量與SVM的遙感圖像檢索方法[J]. 中國科學院大學學報， 2013， 30（3）：347-352.

[8] 顧曉東， 楊誠. 新的顏色相似度衡量方法在圖像檢索中的應用[J]. 儀器儀表學報， 2014， 35（10）：2286-2292.

[9] 閆允一， 姜帥， 郭寶龍. 結合穩定興趣點和Gabor小波的圖像檢索[J]. 西安電子科技大學學報（自然科學版）， 2014， 41（5）：118-123.

[10] 劉勝藍， 馮林， 孫木鑫，等. 分組排序多特征融合的圖像檢索方法[J]. 計算機研究與發展， 2017（5）.

[11] 孫樹亮， 林雪云. 基于記憶的SVM相關反饋算法[J]. 計算機科學， 2011， 38（10）：256-258.

[12] 朱紅斌. 綜合顏色和紋理及SVM相關反饋的圖像檢索[J]. 計算機工程與應用， 2009， 45（5）：183-185.

【通聯編輯：唐一東】