醫學圖像檢索技術發展現狀

，，

隨著大數據技術、數據挖掘技術及醫院信息化的發展，醫學圖像在醫院診療活動中發揮著更加重要的角色。同時，隨著醫學影像存儲與傳輸系統(Picture Archiving and Communication System，PACS)、醫學數字成像和通信(Digital Imaging and Communications in Medicine，DICOM)等標準的不斷發展和完善，醫學圖像數據呈現爆炸式的增長，醫院內部約80%的數據都來自于醫學影像數據。若將這些海量醫學圖像數據高效、合理地組織起來，能夠很好地輔助醫學工作者快速、準確地檢索到自己所要找的目標圖像，因此建立一個高效、準確的醫學圖像檢索系統成為迫切需要解決的問題和研究任務。

醫學圖像檢索技術是圖像檢索技術在醫學領域中的應用，伴隨著圖像檢索技術的發展，醫學圖像檢索技術先后經歷了3次變化，分別是基于文本的醫學圖像檢索(Text-Based Image Retrieval，TBIR)、基于內容的醫學圖像檢索(Content-Based Image Retrieval，CBIR)和基于語義的醫學圖像檢索(Semantic-Based Image Retrieval，SBIR)。其中，基于文本的醫學圖像檢索是通過關鍵字和文本對醫學圖像進行檢索，需要線下對所有圖像進行標注；基于內容的醫學圖像檢索是提取圖像本身所具有的視覺特征，包括顏色、形狀、紋理等，建立特征向量，并以此構建索引和匹配準則進行所需圖像的檢索；基于語義的醫學圖像檢索是通過分析醫學圖像的高層語義內容，建立起底層視覺特征和高層語義內容之間的映射關系，或用戶根據檢索結果進行反饋來逐步減小語義鴻溝[1]。

1 醫學圖像檢索關鍵技術

1.1 基于文本的醫學圖像檢索技術

TBIR系統開始于20世紀70年代，是借鑒文本檢索技術對圖像進行標注，標注方式包括人工手動標注或采用半自動或自動化方法標注，目前標注的信息大多基于DICOM結構中的信息[2]，包括患者的姓名、標識、性別、年齡等個人信息和疾病名稱、疾病表征、診斷情況、圖像獲取時間、就診醫院等醫學信息；然后用戶輸入關鍵詞或相應的文本描述，檢索系統在醫學圖像庫中查找出標注信息和關鍵字信息相匹配的圖像，并將結果呈現給用戶，用戶根據自己對檢索結果的滿意度調整檢索策略，如進一步修改關鍵詞或限制條件，來不斷提高檢索結果的準確性。

當對圖像進行標注后，基于文本的圖像檢索方法是快速、可靠的，但對于未標注的圖像數據庫仍然無法進行檢索；醫學圖像本身的內容信息如視覺特征無法體現，而且標注程序較為復雜、耗時較長，同時這些標注帶有主觀性，與檢索用戶對圖像的理解并不完全一致；基于文本的查詢還經常出現與結果無關的錯誤圖片，錯誤率高達16%[3]，準確性較低[4]。因此，為實現更加高效的圖像檢索，CBIR方法產生了，并成為當前醫學圖像檢索的研究熱點。

1.2 基于內容的醫學圖像檢索技術

CBIR是根據醫學圖像的視覺特征構建數據庫索引。目前一些商業化的基于內容的圖像檢索系統已開放，如QBIC[5],Photobook[6],Virage[7],VisualSEEK[8]和Netra[9]。Eakins將圖像特征分為3個層次：一級—圖像原始特征，如顏色、紋理、形狀和空間位置等元素；二級—派生屬性或邏輯特征，對圖像中所描述對象的身份進行某種程度的推理，典型的查詢例子如“查找大腦的圖像”；三級—抽象屬性，對物體或或場景描述的意義進行復雜推理，典型的查詢例子如“查找有結節腫塊的肺部圖像”。大多數基于內容的醫學圖像檢索系統能夠達到一級的檢索，二、三級檢索還處于不斷的探索研究中。基于內容的醫學圖像檢索技術主要包括以下幾點。

1.2.1 圖像特征的提取

顏色特征是圖像檢索中最常用的視覺特征，因為其在圖像底層特征中最具表現力，最容易被識別和提取。目前顏色特征提取的常用方法有直方圖法、顏色聚類法、顏色矩法、顏色相關圖、顏色集等[10]。但由于大多數醫學圖像都是灰度圖，因此顏色特征算法并不適用于醫學圖像。

紋理特征是反映圖像像素灰度級空間分布具有某種重復規律的視覺特征，包含6個分量：粗糙度、對比度、方向度、線像度、規整度和粗略度[1]，前三個特征對檢索更為重要，紋理特征可通過標準變換域工具進行分析，如傅里葉變換、小波、Gabor或Stockwell過濾器，紋理特征對醫學圖像檢索是很有用的，能夠反映出圖像的細節結構[4]。

形狀特征也是圖像的一種重要特征，同類物體的形狀總是類似的，因此形狀特征能夠反映更多的語義內容。醫學圖像的形狀特征一般只需提取出目標對象的局部區域，因此準確有效的圖像分割技術顯得尤為重要。

目前醫學圖像分割技術主要有閾值法、邊緣檢測、區域分割和混合法，為解決平移、旋轉和縮放不變的問題[10]，還需用到等高線、曲線、表面等知識。目前許多方法都使用形狀特征測量圖像之間的相似性，除了顏色、紋理、形狀等反映圖像整體特征外，空間關系也是圖像檢索的重要特征，它能夠和其他特征結合起來，更全面、立體地表現圖像特征。目前空間關系特征的提取方法有兩種：一是分割出圖像中所包含的對象區域，對這些區域建立索引；二是將圖像按某種策略劃分成若干子塊，然后對這些子塊提取特征建立索引[11]。

1.2.2 相似性度量

相似性度量是對兩幅圖像的內容信息進行相似度比較，比較內容即為圖像的各類特征，將提取的特征轉換為特征向量，用該特征向量表征相對應的圖像，通過距離度量法計算圖像間的相似度。目前常用的基于向量模型的算法有歐氏距離法、Minkowski距離、曼哈頓距離、直方圖交、馬氏距離等，其中，歐氏距離用于特征向量正交無關的圖像，馬氏距離用于具有統計特性或進行樣本的相關性分析，具體操作時應根據不同特征選擇合適的度量方法[12]。另一種相似度匹配方法是基于學習的匹配技術[10]，首先對一部分病例圖像進行訓練學習，然后對未知圖像進行分類，訓練方法有支持向量機、神經網絡等。如Wei Guohui等人提出了基于內核的半監督距離相似性度量法，通過內核函數將原始數據映射到一個特征空間，在此空間中進行半監督距離度量的訓練，其利用微分散射判別準則來表示語義相關性，正則化項表示視覺相似性，從而測量出查詢圖像和參考圖像的相似性[13]。模仿人的主觀相似度感受，探索符合人類感知行為的人機交互方法是接下來的研究重點。

1.2.3 特征融合技術

單一的圖像特征僅能從一個角度反映圖像的信息，無法覆蓋多特征矢量特征，因此有研究學者提出了多特征組合或融合的方法。多特征融合技術一般分為同步和異步兩種組合方法，同步組合檢索先對不同特征單獨進行相似性度量，然后加權得到綜合度量值；異步組合檢索是逐層進行，上一層的檢索結果作為下一層的輸入圖像，不斷縮小檢索范圍來提高檢索精確度[14]。特征融合過程中，用戶首先可根據各項特征對檢索效果影響程度的不同，對每項特征賦予不同的權值，從而提高系統的檢索性能。因此，如何量化不同特征對檢索效果的影響程度是特征融合過程中的關鍵問題，目前相關反饋技術的應用是解決此問題的一種有效方法。同時在研究特征融合算法過程中，因為不同特征間相似度不具有可比性，因此需要對不同特征進行歸一化處理。文獻[15]在研究基于不變距、小波紋理和高層語義特征等單一特征的基礎上，提出了基于底層-底層和底層-高層兩種級別的特征融合檢索方法，利用VC#和SQL Server2005實現了檢索結果，驗證了方法的有效性[15]。文獻[16]提出了基于全局特征和相關反饋的檢索算法，并以標準臨床數字式X射線圖像數據庫為例進行了實驗，結果表明，查準率能夠提高2-3倍[16]。文獻[17]提出了一種將DICOM文本信息和圖像紋理、形狀特征相結合的檢索方法，通過設定權值將這些特征相結合，結果表明聯合文本信息和底層特征能明顯提高檢索效能[17]。

1.2.4 相關反饋技術

在圖像檢索過程中，會出現“語義鴻溝”的現象，主要表現在兩方面，一是圖像的高層語義內容和底層特征之間存在“缺口”，二是圖像的視覺特征和用戶對視覺特征理解的不一致性[18]。數據相關反饋技術(Relevance Feedback,RF)被應用于CBIR中，就是為了解決“語義鴻溝”的問題。其原理是用戶根據第一輪檢索結果，對結果做出標記，區分出不滿意的檢索結果，并將這些標記信息反饋給系統，系統根據用戶的反饋對檢索策略做出調整，同時也是檢索系統學習的過程，然后系統再次進行檢索，如此反復，逐步逼近用戶的需求。目前相關反饋技術主要有相似度量公式優化、查詢點移動、特征空間變換、機器學習、概率統計分類法、聚類分析等[10,19 ]。相似度量公式優化就是進行權值調整，提高滿意度高的特征度量權值，降低滿意度低的特征度量權值，加快正例樣本聚攏；查詢點移動方法是基于圖像可向量化，將圖像特征抽象為查詢點，不斷移動查詢點，來逐步接近正例查詢點；特征空間變換是通過將非聚類的點移到另一個特征空間的點集，來達到降維的目的；機器學習法包括監督學習、主動學習、集成學習、長期學習等，通過樣本訓練得到檢索映射模型，再利用這些模型對未知圖像進行檢索[20-21 ]。

1.2.5 檢索效果評價

檢索效果的評價主要是對不同檢索方式的有效性和滿意度進行對比分析，對醫學圖像檢索系統的開發和改進有重要的指導意義。評價方法主要包括查準率和查全率、檢索效率、有效度、匹配百分數等，查全率是檢索出來的正例圖像數與系統中所有正例圖像數的比值，查準率是檢索出來的正例圖像數與所有結果數的比值；有效度是比較檢索系統和用戶對某個圖像的最終排序推斷檢索結果是否有效；匹配百分數反映某個目標正例圖像在所有目標正例圖像中的排列位次，體現檢索效果的優劣[1,17]。

2 基于語義的醫學圖像檢索技術

2.1 醫學圖像的語義特點

上文所描述到的顏色、紋理和形狀等特征都屬于圖像的底層特征，無法反映圖像概念層次上的內容，而圖像檢索的最終目的是符合用戶對圖像內在含義的理解，因此，如何挖掘醫學圖像的深層次的語義特征是當前研究的熱點和難點。醫學圖像具有很強的專業性，是特定語義的直觀表達；醫學圖像的語義具有多層次多關聯的特點，抽象化地描述了人體解剖結構和疾病信息，是醫學知識的一種表達方式。因此，可借助相關的醫學知識和計算機視覺特征領域技術，挖掘圖像視覺特征和高層語義之間、不同高層語義內容之間的映射關系，完成醫學圖像的語義提取，實現基于語義的醫學圖像檢索。

2.2 醫學圖像的語義特征提取

目前醫學圖像的語義特征提取的主要思路是構建高層語義到底層視覺特征的映射模型，同時在檢索過程中添加用戶反饋[1]。主要方法包括機器學習法、最近鄰分類法、支持向量機、貝葉斯網絡、決策樹等，文獻[22]以臨床醫師的分析和診斷內容為基礎，提取肺部CT影像表征的關鍵詞語義空間，構建醫學圖像語義層次模型，采用最近鄰分類方法進行映射，將圖像的底層視覺特征映射到高層語義空間[22]。文獻[23]通過支持向量機映射方法獲得乳腺X影像鈣化病灶的一部分中層特征語義，另一部分通過醫生判斷給出，然后通過貝葉斯網絡獲得高層病癥語義節點[23]。文獻[24]將查詢圖像和數據庫中的每個圖像間的語義和視覺相似性融合為它們的成對相似點，然后構造加權圖，其中節點代表圖像，邊緣測量它們的成對相似度；通過對加權圖使用最短路徑算法，獲取一個新的相似性度量，從而完成查詢圖像檢索。這種融合成對相似性能夠縮小語義鴻溝，利用該方法對肺疾病常見CT顯像的檢索進行了評價，結果表明有較好的檢索結果和檢索效率[24]。文獻[25]根據DICOM和醫學診斷知識，設定不同層次類別語義(如采集設備、部位或疾病種類)，建立人工類別語義訓練集，利用類別視覺特征語義標注分類器，實現圖像的自動類別語義標注[25]。

另一種語義特征提取方法是基于本體來構建醫學圖像語義檢索，本體是描述語義術語關系概念模型的明確的規范說明，通常是由領域專家所構建的機器可理解的一種知識體。文獻[26]利用模糊本體中隸屬度的概念, 對查詢語句和圖像關鍵詞向量空間模型進行模糊本體概念映射和概念相似度計算。實驗證明, 這一方法具有良好的性能[26]。文獻[27]提出了一種基于高層次語義標注的相似醫學數據庫圖像檢索方法，首先利用生物醫學本體語義術語自動標注圖像內容，該策略基于多尺度黎茲小波技術來描述圖像語義特征；然后對檢索出來的相似的數據庫圖像的語義術語間的相似性進行評估，提出了一種基于圖像和本體論的相異性措施去量化相似圖像間語義術語的相似性。這兩種策略的組合有助于縮小語義鴻溝，準確檢索數據庫中的相似圖像[27]。文獻[28]利用DICOM多樣豐富的醫學圖像信息，包括物理特征信息、高級語義、區域空間布局等內容，對圖像進行語義標注，得到相應的XML實例并組成組合概念實體集，構成醫學圖像本體庫進行查詢，但語義標注過程需要懂圖像語義含義的專家完成，比較費時費力[28]。因此，如何利用知識獲取技術代替專家手工進行自動標注，是一個值得研究的方向。

3 展望

3.1 加強對醫學圖像顏色特征提取方法的探索

由于大多數醫學圖像是灰度圖，不同的圖像內容灰度信息相似，區分度較低，目前一些顏色特征提取方法并不適用于醫學圖像，因此應尋求適合醫學圖像特點的顏色特征提取算法和內容表示方法，如根據病灶信息縮小范圍，結合空間布局分析等。

3.2 加強基于語義的醫學圖像檢索方法與技術的研究

目前對醫學圖像的底層特征已研究的較為成熟，如何挖掘出醫學圖像深層次的語義內容，更加全面地反映醫學圖像本身的信息，進一步解決“語義鴻溝”的問題，使檢索結果更接近于人的感知與理解，是下一步的研究重點。

如可利用數據挖掘技術、知識組織方法和機器學習方法對圖像語義信息進行解讀，從視覺特征的相關研究中借鑒一些方法或思路。

3.3 加強醫學圖像檢索系統的應用程度

目前大部分醫學圖像檢索系統都處于研究階段，應用到實際中的很少，因此應加強研究成果在實際中的應用，可嘗試與醫院的PACS、RIS等系統進行對接，探索相應的應用技術和應用價值。

3.4 建立醫學圖像檢索系統的性能評價標準

圖像檢索領域的評價標準目前主要還是借鑒本文檢索領域的檢全率和檢準率標準，但醫學圖像本身具有很強的專業性和特殊性，并不是精確匹配的，因此需根據自身特點建立一套更適合的性能評價標準。

3.5 借鑒其他領域經驗，破解技術難題

可從生物醫學工程、模式識別、仿生學等其他領域借鑒一些好的經驗，研究醫學圖像檢索不應僅局限于圖像檢索這個領域，應放開視野，進行變通和融合，幫助突破技術難題。