基于內容的醫學圖像檢索方法綜述

崔少國，熊舒羽，劉 暢，陳默語

(重慶理工大學 計算機科學與工程學院， 重慶 400054)

基于內容的視覺信息檢索(CBVIR)或基于內容的圖像檢索(CBIR)一直是計算機視覺領域較熱門的研究方向之一。在醫療領域，用于診斷和治療的多模態數字圖像在不斷增加，其中包括核磁共振成像(MRI)、計算機斷層掃描(CT)、光子發射斷層成像(PET)、超聲波等。這些醫學圖像在幫助醫生診斷和病情分析中扮演著至關重要的角色。醫學圖像不同于自然圖像，一是因為醫學圖像的分辨率高；二是因為大多數是灰度圖像，其重要信息都集中在小區域，并且在醫學圖像領域，視覺相似的圖像之間語義內容相差很大，所以對于醫學圖像的處理方法不同于自然圖像。西門子2014年發布報告稱，醫療成像系統市場將從2014年的32.3億增長到2020年的49億[1]。因此，如何高效地管理和存儲這些海量的醫學圖像(醫學圖像檢索系統)成為當前的研究熱點之一。

近20 年來,人們主要研究基于內容的醫學圖像檢索方法(content-based medical image retrieval,CBMIR),這種方法不需要文本方式的標注。一般CBMIR系統利用算法(SIFT、LBP、HOG等)提取圖像的特征(顏色、形狀、紋理等)，并從大型特征庫中檢索圖像[5]。CBMIR系統通常有2個階段，第一個是離線階段，另一個是在線階段。在離線階段，從大量圖像集中提取特征并建立本地特征數據庫。離線階段通常比較耗時，取決于特征提取的方法和圖像的數量。在在線階段，用相同的特征提取方法提取查詢圖像的特征，并計算查詢圖像的特征和數據庫圖像的特征之間的相似性度量，然后將具有高度相似性的圖像作為檢索結果呈現給用戶。在這2個階段中，預處理和特征提取的過程和方法相同，因此圖像檢索方法的研究點主要集中在特征提取和特征匹配2個階段，然而CBMIR方法在圖像的高級語義與低層特征之間一直存在著語義鴻溝的問題。

隨著大數據時代的到來，深度學習在計算機視覺中取得了一系列成功的應用[2]，已有一些學者將機器學習算法應用到醫學圖像檢索中[3-5]。本文主要結合深度學習從特征表達和特征匹配兩方面，概述了深度學習方法在醫學圖像檢索領域方面的應用，講述了深度學習在醫學圖像檢索領域中的發展歷史，并預測了深度學習在醫學圖像檢索中的發展前景和挑戰。

1 特征提取方法

在醫學圖像檢索過程中，最重要的一步是視覺特征提取，即使用特征向量來表示每個數字圖像。良好的特征提取方法是在醫學圖像檢索中取得良好性能的先決條件。具體而言，特征表示被分為2類，即傳統特征和高級語義特征(通過學習所獲得的)。傳統特征可直接從圖像內容獲得，包括圖像的顏色、紋理、形狀等特征，而高級語義特征主要通過機器學習方法所獲得。近年來，出現了許多基于計算機視覺和機器學習的特征表示方法。本節回顧了醫學圖像中特征提取方法的最新進展。

1.1 傳統特征

傳統特征在參考文獻[8]中被歸類為原始特征，如顏色或形狀、邏輯特征和抽象特征。目前所有的手工特征都屬于原始特征。通常，傳統特征是專家根據圖像特征所設計的算法，然后利用算法從每個圖像中獲取模擬特定信息的特征[6]，例如，顏色、紋理、形狀特征。在大量使用深度學習之前，傳統特征提取方法在特征提取領域中發展了數10年。目前，大多數的醫學檢索系統仍然使用傳統特征方法，本小節主要回顧在醫學圖像檢索中，使用的比較典型的傳統特征提取方法。

用于圖像檢索的最廣泛的傳統特征是基于尺度不變特征變換特征(scale-invariant feature transform,SIFT)[7]。SIFT通過在高斯差分(difference-of-Gaussian,DoG)空間中找到局部極值來檢測比例不變的關鍵點。它用128維梯度方向圖來描述每個關鍵點。隨后，所有的SIFT描述符都使用詞袋(bag-of-words,BoW)進行建模/量化。每個圖像的特征向量通過計算圖像中生成的視覺詞的頻率來計算。SIFT是一種在醫學圖像檢索中取得成功的局部特征。除了SIFT描述符之外，許多局部描述符可以使用BoW來生成用于醫學圖像的局部特征，諸如SURF(speeded up robust features)[9]、LBP(local binary patterns)[10]等。與局部特征相比，全局特征也廣泛應用于醫學圖像檢索，全局特征可以直接表示整個圖像的全局信息。例如，GIST[11]是一個全局特征，是基于場景的低維表示，不需要任何形式的分割，通過感知維度(自然度、開放度、粗糙度、膨脹度、險峻度)來表示圖像中場景的主要空間結構[12]。GIST已經應用于許多醫學圖像檢索問題中[13-15]。其他全局特征如HOG(高斯直方圖)[16]、顏色直方圖[17]也常用于醫學圖像檢索[18-19]。

除去這些常見的特征提取方法之外，一些學者專門針對特定醫學圖像數據設計了特征表示方法。在組織病理學圖像分析中，形狀和紋理信息在細胞/細胞核的表達中起著重要的作用。Basavanhally等[20]設計了3個基于圖的特征來描述淋巴細胞。 Filipczuk等[21]采用25種特征來模擬細胞學圖像的特征，包括核的大小，以及圖像中核的分布。一般來說，這些特定的特征算法比一般的特征更具有區別性。在細胞和細胞核的檢測、檢索和分析方面取得了很好的效果[22]。這類特定特征還廣泛用于3D醫學圖像數據中，諸如3D腦腫瘤、神經元形態學。Cai等[23]為3D神經圖像檢索開發了基于PCM的體積紋理特征；Wan等[24]采用定量測量和幾何矩作為三維神經元形態數據的特征，并在檢索任務中都取得了不錯的成果。

為了得到更好的檢索性能，許多學者將多種傳統特征通過一定的算法進行特征融合，例如，宋等[25]采用HOG和LBP特征來檢索和識別肺部病變。與單一特征系統相比，結合多個特征可以獲得更好的性能[26]，在ImageCLEF醫學檢索任務中的許多小組都采用了這種方法。然而，融合特征方法對于大規模圖像檢索來說，計算量太大，并且對檢索效率也會產生不利影響。盡管已經討論了各種特征，但對于醫學圖像檢索問題，沒有適用于各種醫學圖像的通用特征。因為醫學圖像是由不同的成像技術生成的，組織/器官通常具有特定的顏色、紋理和形狀。即使是相同的組織/器官，特征也可能在多個維度和形式上有所不同[27]。因此，在給定類型的圖像數據中使用合適的特征是醫療檢索過程中的一個具有挑戰性的問題。

盡管傳統特征在醫學圖像檢索中取得了許多良好的效果，但在醫學數據規模比較大時仍然存在缺陷。首先，當數據集很大時，傳統特征通常不能很好地解決問題，因為可能存在異常值和未被標準化的情況;其次，使用傳統方法進行特征提取非常耗時且計算上耗費大，特別是當處理大量的圖像時;最后，許多傳統特征提取方法只針對特定的醫學圖像數據，不能擴展到其他領域。因此，大規模醫學圖像檢索需要更多自動化、高效和可擴展的特征表示方法。

1.2 語義學習特征

近年來，深度學習已經成為計算機視覺領域的熱點話題，在特征表示、圖像分類、檢索、檢測等相關領域取得了很好的成果。與傳統方法相比，深度學習只需要一套訓練數據，以自學方式發現特征，耗費時間低且高效[28-29]。各種深度神經網絡的設計是非線性的，也就是說，通過神經網絡的多層網絡結構(例如數十到數百)和大量的參數(例如數千至數百萬)來學習圖像特征。一般來說，深度學習的發展主要受益于可以優化參數的大型訓練數據集。因此，由于目前大規模的醫學圖像數據庫的出現，深度學習也可以用來解決醫學圖像的分析任務。具體而言，在醫學圖像的特征表示方法中，主要分為有監督和無監督的深度神經網絡。

LeCun等在文獻[30]中提出了一個有監督的深度神經網絡框架，即卷積神經網絡(CNN)。固定大小的輸入圖像與使用共享權重的多個卷積核相關聯。然后，池化層對輸入特征進行下采樣，并保留每個子區域中的特征信息。之后，將提取的特征加權并組合到全連接的層中，接著將這些特征送到分類器用于預測。最后，將輸出類與圖像標簽進行比較，在每次迭代中更新CNN參數(例如權重、偏差)。近年來，大規模視覺識別挑戰(ILSVRC)已經出現了非常深的神經網絡結構[31]，并且性能優異，一方面使用了比以前更深的卷積層，另一方面創造了更復雜的網絡結構，例如AlexNet、 GoogLeNet、 VGGNet和ResNet等。

有監督的深度神經網絡需要大量的標簽圖像來訓練每一層的參數。但是，在醫療領域，標簽圖像的數量是有限的。僅用小型標簽數據從頭開始訓練深度神經網絡容易導致過擬合[32]。因此，研究人員為適應深度神經網絡的醫學圖像分析，提出了幾種方法。例如，Bar等[33]使用預先訓練的CNN模型學習了胸部病理學檢測的特征，并且參數是從諸如ImageNet的非醫學數據集遷移過來的。在2016年ImageCLEFmed上，NovaSearch[34]僅使用醫療圖像數據從頭開始訓練CNN模型，采用了多種技術(如Dropout、數據擴充)來處理小數據集。Shin等[35]提出了CNN學習醫學圖像特征的3種主要技術：第一，采用遷移學習思想，用醫學圖像在自然圖像上預先訓練的CNN模型進行微調;第二，僅使用醫學圖像從頭開始訓練CNN模型，采取多種措施避免過度擬合;第三，使用預先訓練好的CNN模型提取特征，將這些特征用作補充信息與傳統特征相融合。

盡管有監督的深度神經網絡在特征表示中性能優異，但是需要大量的人力手動給訓練數據作標簽。然而，與自然圖像的標注不同，許多醫學圖像的標注只能由醫生或領域專家標注。很多情況下，這些標注存在不確定因素和主觀因素。為了克服有監督特征學習的局限性，于是出現了無監督深度神經網絡。Bengio等在文獻[36]中給出了典型的無監督神經網絡，即自動編碼器[37]。盡管單層自動編碼器對于學習特征來說太淺，但是當幾個自動編碼器堆疊在一起形成深度自動編碼器(SAE)時，其表達能力顯著提高。例如，文獻 [38-39]開發了一種無監督的特征選擇方法，使用卷積堆疊自動編碼器來識別圖像塊中的語義特征。該方法在腦部MR圖像上得到證實，說明無監督特征學習對于腦部MR配準是有效的。除了自動編碼器之外，受限玻爾茲曼機(restricted boltzmann machines，RBM)也可以構造無監督的深度神經網絡，例如，文獻[41]通過減少大腦圖像的維度，利用一個深度信念網絡，發現圖像組中相似的模式，從而進行多方面的學習。曹等[42]開發了一種基于深度玻爾茲曼機的醫學圖像檢索的多模態方法。實驗結果表明，基于深度玻耳茲曼機的多模態學習模型是下一代醫學圖像索引和檢索系統的一種有效的解決方案。

對于大規模的醫學圖像分析，語義學習特征具有明顯的趨勢，因為有越來越多的圖像可以用來訓練深度神經網絡。然而，深度學習在醫學圖像檢索中的使用并不常見。一個原因是，以前大多數的醫學圖像檢索任務只需要處理小規模的數據集，這種條件不滿足深度神經網絡的訓練。另一個原因是，對于一些特定的醫學圖像，傳統特征在數據集不太大的情況下可以獲得很好的性能(例如，組織病理學圖像的全局特征[20])。由于多種形式的醫學成像技術，以及快速變換的圖像采集設備，傳統特征在許多醫學圖像檢索場景中仍然有用。此外，與傳統特征提取方法相比，基于深度學習的方法能夠學習不同類型的特征。因此學習的特征在醫學圖像的特征表示中也起著關鍵性作用，特別是當數據集很大時。在ImageCLEF挑戰賽中[43]，許多小組不僅使用了傳統的特征提取方法，還使用了基于深度學習的特征提取方法。然后，融合這些特征以獲得更精確的檢索和分類結果。

2 特征索引和匹配

每個圖像通過特征提取之后，由特征向量表示。醫學圖像檢索問題就可以視為這些特征向量中的最近鄰搜索，即計算和排列出查詢圖像與數據庫中的所有圖像之間的距離。但是，在處理大規模圖像數據庫時，依次計算數百萬個高維特征向量的距離，不但計算量很大，還非常耗時。在本章節中，我們將概括大規模醫學檢索中的特征索引方法。

2.1 詞匯樹

詞匯樹最初由Nistér和Stewénius[44]提出。詞匯樹已經廣泛應用于大規模醫學圖像檢索。它們不僅提高了計算效率，而且與傳統的檢索方法相比更精確。例如，Jiang等[45-46]在基于詞匯樹的框架下，提出了一種自適應加權策略來處理乳房X線照片的圖像檢索。由于乳房X線照片中的高頻特征低于低頻特征，將乳房X線照片特定的節點頻率納入IDF方案，以降低高頻特征。自適應加權技術對于檢索這些特定的圖像(如：乳房投影腫塊)非常有效。Wang等[47]為手指靜脈圖像的認證和識別設計了一個區分性和生成性的詞匯樹。該方法既考慮到局部圖像塊的判別性，又考慮到其生成的空間布局。訓練過程與構建常規詞匯樹相同，而預測過程使用點集匹配方法來支持非參數圖像塊布局匹配。這種聯合辨識和生成模型可以在手指靜脈圖像中取得良好的效果，因為所采用的詞匯樹模型可以保證整個系統的效率。更重要的是，點集匹配策略考慮了局部圖像塊的幾何布局，比之前僅考慮局部關鍵點描述的詞匯樹方法更準確。

通過改變特征匹配策略，基于詞匯樹的方法在大型數據庫中實現了高效的檢索。由于這些方法直接采用局部特征描述符，因此可以應用于大多數醫學圖像，包括可以檢測和描述局部關鍵點的二維和三維圖像。但是，基于樹的詞匯方法也有一些限制。例如，僅僅使用局部特征不足以表示和區分一些特定的醫療圖像；對于一些肺部圖像，在檢索期間應該考慮全局形狀。另外，建立分層詞匯樹的訓練階段通常是耗時的，特別是在處理非常大的圖像數據庫時。在實際應用中，為了取得良好的效果，基于詞匯樹的方法在很大程度上依賴于參數調整，即調整每個聚類中心k的數量、分層樹L的總層次等。因此，需要為大規模醫學圖像檢索開發更高效、更準確的方法。

2.2 深度哈希

近年來，展開了大量的哈希算法在機器學習和計算機視覺領域的研究[48]。哈希算法不是從原始數據集中直接搜索最近的距離，而是先通過定義好的哈希函數將原始數據壓縮成短的二進制編碼。然后，通過計算二進制編碼的漢明距離,來表示數據之間的相似程度，因此這種方法的檢索效率更好。

2.2.1 哈希框架

假設數據庫中有n張醫學圖像，在特征表示后，這些圖像用d維特征向量表示，X={x1,x2,…,xn}?Rd×n。對于圖像xi?Rd×1，其特征空間可以用一組哈希函數H={h1,h2,…,hK}表示，并且每個哈希函數將xi編碼成一個二進制碼hK(xi)。因此，xi的K位編碼可以表示為：

yi=H(xi)={h1(xi),h2(xi),…,hK(xi)}

(1)

實際應用中，為了便于計算，上述哈希函數通常投影為矩陣w?Rd×K和截距向量b?RK×1：

yi=sgn(f(WTxi+b))

(2)

其中f(·)是預先指定的函數，可以是線性或非線性的。然后，數據庫中的所有圖像都由二進制編碼表示。查詢圖像xq也可以通過公式(2)映射成二進制編碼。隨后，查詢圖像與數據庫中每個圖像之間的相似性搜索轉換為相應二進制代碼的漢明距離排序，其速度非常快。哈希算法的關鍵是如何獲得好的哈希函數，它不僅能夠將原始的特征空間映射到二進制漢明空間內，而且能夠保持原始數據之間的相似性和多樣性。

2.2.2 哈希算法分類

計算哈希函數的方法大致可以分為2類，即數據獨立的和數據依賴的。數據獨立的方法是指能夠將給定的任意數據集壓縮成二進制代碼的廣義哈希函數。局部敏感哈希(LSH)是最流行的數據獨立的方法[49-51]。基于LSH的方法通過最大化相似項的概率來計算哈希函數，這可以將原來接近的數據點映射為高概率的相同位。然而，這種方法通常需要很長的二進制代碼和許多哈希函數來確保所需的檢索精度，大大增加了存儲成本和查詢時間。更重要的是，由于這些哈希函數是獨立于訓練數據集而設計的，因此很難確保任何給定數據集的檢索性能。

另一類是依賴數據的方法，其從給定的訓練數據集中學習哈希函數。一般來說，與數據無關的方法相比，數據相關的方法可以用較短的二進制碼實現更好的檢索精度。目前，許多基于學習的哈希方法已應用于大規模醫學圖像檢索，包括迭代量化(ITQ)、基于核的監督哈希(KSH)、Anchor Graph Hashing(AGH)、不對稱內積二值編碼(AIBC)等。因此，依賴于數據的哈希方法的分類可以從多個維度來定義。例如，根據訓練數據集是否有標簽，哈希方法可以分為有監督方法、無監督方法和半監督方法。監督方法采用先進的機器學習技術，如核學習、度量學習和深度學習，從標記的訓練數據中計算哈希函數。許多監督哈希方法已經取得了良好的性能，因為它們可以縮短二進制代碼和圖像標簽之間的語義鴻溝[52-54]。無監督方法探索訓練數據集的性質，如根據分布和流形結構來設計有效的哈希函數。具有代表性的方法包括譜哈希法、圖哈希法、偏向哈希法等。此外，半監督方法設計哈希函數同時使用標簽和非標簽數據。這些類型的方法可以通過利用有限的圖像標簽的語義相似性來提高二進制編碼性能，同時保證過擬合的穩健性。數據依賴方法也可以根據哈希函數的形式分為線性和非線性。線性哈希函數用簡單的投影來分離和映射原始特征空間。它們計算效率高，易于優化。然而，當圖像數據之間的差異細微且線性不可分時，線性哈希函數不適應這種情況。因此，非線性哈希就用來解決這種情況。這種方法通過學習基于核矩陣或流形結構的哈希函數，可以將內在結構嵌入到高維空間中，并將特征向量非線性映射為二進制編碼[55-57]。

2.3 二級檢索

通過相似度匹配后，可以有效地度量計算出排名靠前的醫學圖像。然而，這些檢索結果可能并不是人們想要的，由于使用不同的特征，檢索精度的變化較大。因此，對粗略結果的重新排序有望進一步提高檢索性能，從而進行更精確的檢索。二級檢索方法可以對初始檢索的圖像進行重新排序，將最相關的圖像移動到最前面或優化檢索結果。

近年來，在不同的圖像檢索應用中提出了多種方法用于二級檢索。在醫學圖像領域，二級檢索方法大致可以分為基于文本視覺、基于多特征和基于用戶反饋3個類別。下面我們簡要概述這3類方法：

1) 基于文本視覺：這種方法首先通過文本索引檢索相關醫學圖像，然后通過考慮視覺相似性對初始結果進行重新排序[58-60]。

2) 基于多特征：這種方法首先計算多種特征的檢索結果，然后通過對上述檢索到圖像進行融合并重新排序得到最終結果。文獻[61]在從多種特征中獲得一些排名靠前的相關圖像之后，采用基于圖的查詢融合方法，得到重新排列出的多個檢索結果。一般而言，這種重新排序方法可以顯著提高檢索性能，因為它們使用多個特征(如局部和整體特征)考慮圖像的相似性和區分性。

3) 基于用戶反饋：在接收到初始結果后，這種方法根據用戶的相關反饋對檢索到的圖像進行重新排序。相關性反饋可以指定哪個圖像是相關/不相關的。文獻[62]將視覺和文本特征組合起來用于初始索引。然后，檢索系統采用用戶提供的反饋來執行重新排序。這個重新排序的過程將系統精度從0.8提高到了0.89。

在大多數情況下，重排序方法只需要考慮排名靠前的初始檢索結果，例如，大多數真正相關的圖像包含在前K個結果中，而K遠小于整體圖像的數量數據庫。因此，對初始檢索結果重新排序是非常有效的，因為它只需要處理一部分圖像。更重要的是，通過考慮和比較使用多種信息源的相似性，可以改進檢索的精度。

3 結束語

在回顧了大規模醫學圖像檢索的上述方法之后，我們將在本節中展望未來發展趨勢。盡管采用了各種先進的大規模計算技術進行檢索，但仍然需要許多技術來提高檢索性能。首先，在特征方面，需要一種算法適合多模態、不同器官的語義特征表達，雖然有一部分學者試著用深度學習來解決這類問題，但是深度學習需要大量的訓練數據和標簽數據，所以這是一個很大的挑戰；而另一部分學者融合多種特征作為檢索依據，但是目前卻沒有一種特征融合方法適合所有的醫學圖像。其次，在特征匹配方面，特征匹配是影響圖像檢索效率的關鍵步驟，高效的特征匹配方法可以有效解決醫學圖像檢索的實時性問題。最后，實時更新，由于醫學圖像在不斷地產生，目前的檢索方案中并沒有提及實時更新圖像數據庫。所以一個好的醫學圖像檢索系統，在提高圖像檢索精度的同時，也能提高圖像檢索的效率，并且能夠隨時更新數據庫，把最新的、最好的檢索結果呈現給醫務工作者。因此，基于深度學習和大數據并行計算技術的醫學圖像特征高效表示和圖像檢索效率將成為醫學圖像檢索領域未來研究的主要趨勢。