基于內容語義的醫學圖像檢索綜述

鄭愛彬

摘 要

隨著現代醫學影像技術的迅猛發展，醫學圖像數量呈現了爆炸性增長，高效的醫學圖像檢索研究顯得尤為迫切。本文就醫學圖像檢索研究的歷史進行了回顧，從最早的基于文本的圖像檢索，基于內容的圖像檢索，到基于內容語義的圖像檢索。在回顧歷史的同時，就圖像檢索涉及的主要問題進行了比較分析，最后給出了醫學圖像檢索研究的未來展望。

關鍵詞

圖像語義檢索;本體;語義推理

中圖分類號： TP391.3 ? ? ? ? ? ? ? ? ?文獻標識碼： A

DOI：10.19694/j.cnki.issn2095-2457.2020.04.37

隨著CT、MRI、PET、SPECT、超聲等成像技術的迅猛發展，醫學圖像作為一種信息豐富、表現直觀的視覺信息資源在現代醫療診斷中發揮著越來越重要的作用。醫學圖像歸檔與傳輸系統PACS作為現代數字診斷的重要基礎已被眾多醫療機構重視和使用。面對海量的醫學圖像資源，如何對它們有效的組織與管理，并快速準確地找到用戶需要的圖像數據已成為一個迫切需要解決的重要課題。

1 圖像檢索的歷史發展

圖像檢索最早以人工文本標注為基礎。此時的圖像檢索本質上是標注文本的關鍵詞匹配，依據文本匹配程度將相關圖像呈現給用戶。該方法簡單易實現，但缺點也顯而易見：首先，人工標注圖像，標注內容完全取決于標注者對圖像的理解，主觀性強。其次，隨著持續增加的圖像數量，人工標注圖像需要耗費大量的人力勞動。面對海量的圖像數據，這已越來越成為一個無法完成的任務。

20世紀90年代，研究者們開始尋求從圖像自身尋找線索來檢索圖像，提出基于內容的圖像檢索（Content Based Image Retrieval，CBIR）。不同于人工文本標注，基于內容的圖像檢索直接從圖像提取顏色、紋理、形狀等特征信息，在特征空間中匹配檢索需求，具有客觀，自動化程度高等優點。系統檢索時需要用戶提供匹配檢索需求的圖像樣例，系統從圖像樣例中提取檢索特征，在特征空間中進行近似匹配，按相關度由大到小排列，呈現給用戶。經過近二十年該領域的研究，人們發現如果圖像檢索僅僅依賴底層特征，獲得的檢索結果無法匹配抽象的高層語義，在很多情況下無法滿足用戶的需要，這極大地限制了檢索系統的應用。

為此，研究人員開始考慮基于高級語義的圖像檢索（Semantic Based Image Retrieval，SBIR） 問題。基于語義的圖像檢索是基于內容圖像檢索的進一步發展，也是未來圖像檢索的發展方向。在醫學影像檢索應用中，其要求結合從醫學視覺信息中提取的特征語義和領域知識，跨越圖像底層特征與高級語義之間存在的“語義鴻溝”，將醫學圖像檢索由特征空間拓展到更廣闊的高級語義表達空間。基于語義的醫學圖像檢索將有效提高醫務工作者的工作效率，對現代醫學輔助診斷與研究都具有重要的應用價值。

2 基于內容語義醫學圖像檢索的國內外研究現狀

圖像檢索的研究最早可以追溯到20世紀70年代，當時學者們嘗試利用成熟的文本檢索和分類技術進行圖像檢索。這種方法需要事先對圖像內容或主題進行人工標注，隨著圖像規模的迅猛增長，其缺陷日益明顯。20世紀80年代，人們開始考慮從圖像視覺信息中直接提取特征線索，在特征空間中考慮圖像檢索，其檢索過程擺脫了人工參與，檢索結果更為客觀。然而，在實際應用中，人們更傾向于用關鍵詞或文本描述解釋圖像，而這些語義文本描述很難直接從圖像底層特征中找到對應關系，這極大地限制了圖像檢索的性能。眾多實踐表明，基于特征的圖像檢索在很多情況下不能滿足用戶的真實檢索需求。

為此，基于語義的圖像檢索開始逐步為人們重視。21世紀初，出現了一些聯系高級語義與圖像特征的算法，其本質可看作是語義文本與圖像底層特征之間映射關系的確立。高級語義文本最終可由本體形式化描述，進而語義文本與底層特征的映射可歸結為語義本體與特征數據之間的關聯。語義本體主要由概念與屬性構成，建立本體與特征數據的映射本質上是建立概念及屬性詞匯與圖像特征的關聯。基于語義本體檢索圖像，可將圖像檢索建立在語義推理之上，使得面向高級語義的圖像檢索成為可能，極大地拓展了圖像檢索的應用。但語義詞匯與底層特征映射關系人為設定，增加了主觀性和工作量。

概念屬性詞匯與圖像特征的關聯可人工設定，但仍存在工作量大、主觀性強等問題。基于機器學習技術，自動獲得語義詞匯與圖像特征的映射是圖像檢索的重要研究方向。學習之前，需要人工標注部分圖像。結合被標注圖像和未標注圖像在特征空間及語義空間中訓練圖像特征和語義詞匯的關系函數。將學習得到的關系函數應用于圖像數據集，進而獲取語義本體與圖像的關聯。圖像的標注詞匯可以是一個或多個，基于多個圖像語義詞匯的多標簽語義學習目前受到較多的關注。多標簽語義學習在矢量空間中考慮監督或半監督學習問題，最終獲得單詞集合與特征數據的聯系，在粗粒度的圖像檢索應用中可獲得較好的效果。用機器學習技術標注圖像語義，進而以語義詞匯為橋梁，建立圖像特征與語義本體的映射，進而跨越圖像底層特征與高級語義之間的“語義鴻溝”，極大地提高了圖像檢索的能力。

圖像檢索的結果也是優化檢索性能的重要資源。有學者關注檢索結果的反饋，提出了利用相關反饋的改進圖像檢索性能的方法。相關反饋技術本質是模型參數的迭代優化，其過程是系統根據檢索需求，給出檢索結果。用戶根據檢索結果，設定結果與需求的相關度。系統根據相關度，結合機器學習技術，修正檢索結果，直至用戶滿意。

3 基于內容語義的醫學圖像檢索的未來展望

目前，醫學圖像檢索的研究大多在較粗粒度上建立圖像與語義詞匯的聯系。此時，語義詞匯被認為是孤立的，不利于高級圖像語義的檢索及推理。以語義本體為基礎，建立高級語義與圖像特征數據的聯系鏈是未來基于語義圖像檢索的主要發展方向。基于語義本體的醫學圖像檢索核心議題包括圖像語義詞匯的自動標注和語義本體構建等，前者側重于圖像特征數據與標注詞匯映射關系的獲取，后者則側重于語義詞匯概念屬性內在結構的建設。未來這些內容還有待進一步的發展。

由于醫學圖像具有專業性強、領域內容復雜等特點，結合領域知識，建立醫學圖像檢索語義本體是醫學圖像的現實要求。而在現有的研究中，領域知識的應用還不夠深入，相信隨著知識學習特別是知識圖譜的應用，未來這一方面還會有新的突破。

為了更好地描述檢索需求，需要設計良好的基于語義的查詢語言接口。目前，對于基于語義醫學圖像檢索查詢語言接口的研究鮮有提及，未來還有較大的探究空間。

總之，醫學圖像檢索的研究正從基于內容特征的檢索逐步過渡到基于語義的檢索。基于語義醫學圖像檢索的研究還處于初步階段，還沒有成熟的商業系統真正應用于醫學檔案管理和計算機輔助診斷臨床實踐。而醫學領域中這方面的應用需求是非常迫切的。基于內容語義醫學圖像檢索具有深厚的學術內涵與迫切的應用需求，相信隨著未來研究的不斷深入，基于語義的醫學圖像檢索將具有更為廣闊的發展前景，甚至可能導致醫學輔助診斷領域的革命。相信隨著相關工作的不斷推進，將會出現更為完善高效的醫學圖像檢索系統，為廣大醫療診斷人員和病人帶來便利。

參考文獻

[1]C Faloutsos， R Barber， M Flickner， et al. Efficient and effective querying by image content. Intell. Inf. Syst，1994，3（3-4）：231-262.

[2]A Gupta， R Jain， Visual information retrieval， Commun. ACM，1997，40（5）：7079.

[3]A Pentland， R W Picard， S Scaroff， Photobook：content-based manipulation for image databases[J].Int. J.Comput. Vision，1996，18（3）：233-254.

[4]J Eakins，M Graham， Content-based image retrieval[R].Technical Report， University of Northumbria at Newcastle，1999.

[5]Liu Ying，A survey of content-based image retrieval with high-level semantics，pattern recognition，2007，40（1）：262-282.

[6]D Androutsos， K N Plataniotis， A N Venetsanopoulos， Distance measures for color image retrieval[C].Proceedings of the International Conference on Image Processing，1998，2：770-774.

[7]Bannour， Hichem， Hudelot，et al， Towards Ontologies for Image Interpretation and Annotation[C].Proceedings of International Workshop on Content-Based Multimedia Indexing， 2011：211-216.

[8]P L Stanchev， D Green Jr.， B Dimitrov， High level color similarity retrieval， Int. J. Inf. Theories Appl，2003，10（3）：363-369.