基于深度學習的椎間孔狹窄自動多分級研究

洪雁飛，魏本征，劉川，韓忠義，李天陽

（1. 山東中醫藥大學 理工學院，山東 濟南 250355； 2. 山東中醫藥大學 計算醫學實驗室，山東 濟南 250355）

椎間孔狹窄癥(intervertebral foraminal stenosis,IFS)是指由于椎間孔狹窄壓迫脊髓神經根周圍神經系統引發的退行性疾病[1]。脊髓神經根作為感覺輸入的傳遞中樞，受壓迫后將會引起疼痛、肌肉無力，甚至身體殘疾，并且IFS會隨著人的自然衰老過程導致嚴重的脊柱側凸和脊椎滑脫，大約80%的老年人深受IFS引起的腰背疼痛折磨[2]。臨床數據表明，治療計劃隨著IFS等級的不同而變化，如對于1級狹窄，通常的物理治療和運動將是治療的第一選擇，而對于更嚴重的等級，患者可能需要接受手術治療或者減壓治療等[3]。因此，有效和精確的分級是椎間孔狹窄癥診斷和治療至關重要的一步。但是現有的臨床椎間孔狹窄分級主要存在3個方面的問題：1)醫生對IFS圖像的目視檢查和人工評分，耗時耗力且低效；2)由于IFS的病癥多樣性，臨床醫生常更多關注椎間盤突出、椎管狹窄和側隱窩狹窄的情況，而容易忽略椎間孔的狹窄情況，主觀性強；3)特殊的椎間孔解剖結構及復雜的致狹窄因素，易導致臨床難以全面準確判定，誤診、漏診率高。因此，為提高IFS診斷效率、減少醫生主觀影響以及降低誤診漏診率，設計自動化的臨床輔助診斷系統具有重要的應用價值[4]。

當前，計算機輔助診斷IFS方面的研究已取得了重要進展，按照感興趣區域的不同可分為兩種類型。第一種類型是基于椎間孔周圍結構的自動定位分割研究，主要有Alomari等[5]使用一種兩級模型在核磁共振圖像中捕獲像素級和對象級特征，以實現對椎間盤的局部異常檢測；Zhan等[6]采用基于CT和MR圖像的共同的脊柱幾何結構設計分析算法初始化椎骨的標記實現椎體定位；Wang等[7]采用回歸分割的方法分割出M3脊柱圖。第二種類型是直接基于椎間孔的自動分割或分級研究，主要有Ghosha等[8]通過對椎體中心線以及椎間孔主要邊界點的檢測實現分割；Huang等[9]采用Adaboost檢測算法和迭代歸一化分割算法對MRI椎體圖像進行檢測同時成定位和分割；Klinder等[10]采用將全局脊柱形狀在連續的局部椎體坐標系中表示，并將個體椎骨建模為三角曲面網絡的方法，實現了基于雙尺度的脊柱和椎間孔建模與分割；He等[11]采用超像素分割法在對椎間孔狹窄圖像定位和良惡性分類問題上精確度達到98.52%。

以上研究均取得不同程度的進展，但仍存在一些問題。此類基于部分形態學解剖結構的定位、分割或者比較簡單的二級分類的輔助診斷研究，忽略了全局信息，影響診斷精確度。而臨床上基于常規仰臥位MRI圖像的椎間孔狹窄診斷是由椎間孔形態、神經根周圍脂肪或神經根形態改變情況等多種因素決定的[3]，如2級狹窄雖然在神經根周圍4個方向(垂直和橫向)無形態學變化，但椎間盤空間狹窄、韌帶黃斑增厚、小關節病變和椎間盤突出等原因同樣會導致神經根受壓迫，易導致誤診[12]。因此，研究一種高效的算法提取圖像全局“病灶特征”并實現自動分級診斷，就成為輔助IFS診斷亟待解決的重要問題。

在圖像處理算法方面，深度學習模型能夠很好地提取圖像深層特征，且可通過改變模型的網絡拓撲結構，如適當增加網絡的深度和寬度，降低特征冗余度和提高特征相關性。自1995年Lo等[13]將卷積神經網絡用于醫學圖像分析起，深度學習模型已經迅速成為研究分析醫學圖像的重要方法[14]，且其在輔助腦、乳腺、肺等器官的臨床診斷方面已取得重要進展，但在輔助脊椎脊柱疾病診斷的研究基本處于空白。

針對IFS的自動分級問題，本文采用設計基于椎間孔狹窄自動分級的監督式深度卷積神經網絡(supervised deep convolutional neural network based on automatic classification of intervertebral foraminal stenosis，IFS-Net)，提取圖像紋理特征、顏色特征、形狀特征和空間關系特征，并將這些特征融合起來作為不同級別的疾病“癥狀”特征與IFS之間建立特殊的“病理”聯系。另外，由于深度學習算法需要海量的訓練數據，而IFS影像數據的數量有限，因此本文選用先進的遷移學習[15]和微調[16]方法，來克服和避免因IFS影像數據規模不足導致的過擬合等問題，提高算法對椎間孔狹窄圖像的識別率，滿足高標準的臨床要求。

1 IFS-Net算法

1.1 算法結構

本文設計的IFS-Net是一個端到端的模式識別模型，該模型可實現IFS的高精度自動分級，且具有網絡結構簡單、高效的特點。端到端的方法使得模型完成提取圖像潛在特征的同時，可以自動將loss值前反饋到每一層，經多次迭代調節模型參數，獲得最優解。

IFS-Net模型結構共包含8層網絡結構，分別是3個卷積層、3個池化層、1個全連接層和1個輸出層，其中的全連接層和輸出層是該模型的優勢模塊。因椎間孔圖像目標區域小而集中(如圖1所示，圖1為椎間孔結構及狹窄癥分級示意圖)，故本文采用全連接的方式將所有模型學到的“分布式特征”映射到樣本標記空間[17]，以達到最大化利用模型提取的特征信息，進而實現更有效的分類。IFS-Net模型框架如圖2所示，主要結構和功能包括：

圖 1 椎間孔結構及狹窄癥分級示意Fig. 1 Intervertebral foramen structure and stenosis classification diagram

圖 2 IFS-Net模型框架Fig. 2 IFS-Net model framework

1)輸入層：該層將整幅椎間孔圖像導入IFSNet結構，并產生第1個卷積層的輸入。

2)卷積層：負責特征的學習。該層通過卷積計算連接到輸入層或者上一層的局部區域的神經元的輸出來提取特征，每個神經元與前一層的區域連接為稀疏連接。其中輸入卷積的權重集為卷積核，也稱作濾波器。一個可學習的卷積核與前一層若干個Feature Maps作卷積，將所有元素累加后再加上一個偏置，傳給一個非線性激活函數，本文結構采用ReLU函數作為非線性激活函數。另外，為了減少計算復雜度，同一層中某些神經元之間的連接權重是共享的，即相同的。每層濾波器的大小依次遞減分別為7×7、5×5和3×3，步長設置為2；并由高斯分布初始化，標準差為0.01。3個卷積層分別包含32、64和128個Feature maps。卷積計算公式如(1)所示：

3)池化層：池化層的目的是通過減少相似特征點實現Feature maps的降維，除此之外還可以降低噪聲和擴大接受域[15]。池化層的輸出在保持標量不變的基礎上減少了參數的數量。本文模型的3個池化層分別采用Max-pooling和Mean-pooling的策略實現特征降維，步長為2。池化層擁有與其前端卷積層相等的Feature map個數，分別為32、64和128個。

4)全連接層：該層有512個神經單元，每個神經單元都與上一層進行全連接，最終得到512維特征向量。

5)輸出層：輸出層由歐式徑向基函數(euclidean radial basis function，E-RNF)單元組成。計算公式為

此外，本文模型學習率為0.000 1，最大迭代次數為25 000次，動量設置為0.9，選取隨機梯度下降(stochastic gradient descent，SGD)為優化函數。

1.2 算法訓練策略

1.2.1 參數初始化

在IFS-Net模型的參數權重初始化方面，本文采用自訓練和遷移學習相融合的參數初始化策略。自訓練方法是將網絡參數用隨機初始化的方式從頭開始訓練模型；遷移學習方法則是采用預先訓練的參數權重來初始化網絡，使得模型預先學到最基本特征(比如色彩、邊緣特征等)能夠有助于目標數據集分類，并提高算法分類性能。隨機初始化網絡參數是最常用的深度學習訓練方法，但考慮到采用深度學習對醫學圖像進行處理的一個局限是數據集大小不能得到最大滿足。因此，為提高分類精確度并解決深度學習算法在小樣本數據集上的過擬合問題，本研究借鑒參考文獻[18]的方法，將遷移學習應用于本文算法中。

本文在ImageNet數據集上對模型進行預訓練，之后再將獲得的網絡參數遷移到目標數據集上進行訓練，從而獲得穩定的網絡參數。該數據集包含120余幅自然圖像和1 000多種不同的類別。

1.2.2 Softmax分類器

模型采用Softmax分類器對模型提取的“分布式特征”進行概率量化，Softmax是邏輯回歸二分類器泛化到多分類的推廣。對于訓練集對應標簽為，本文設定。對于每個輸入都有對應的每個類的概率，即Softmax函數：

2 實驗及結果分析

2.1 數據集

為驗證和測試IFS-Net模型的性能，實驗選用國際通用的脊柱椎間孔圖像(intervertebral foraminal stenosis znxtxb-14-4-hongyanfeis, IFSI)數據集作為測試數據集。該數據集包含從110個臨床實驗對象的脊柱圖像中采集的406個椎間孔圖像。每一個脊柱圖像均使用矢狀T1加權MRI掃描，重復時間(repetition time, TR)為4 000 ms，回波時間(echo time, TE)為85 ms，磁場為1.5 t。平面分辨率為0.5 mm，厚度為1 mm或1.6 mm。在IFSI數據集中，每個IFS圖像Ground Truth由擁有7年工作經驗的專業醫生手工標注，分別是0級(正常)圖像108幅、1級(輕微)圖像100幅、2級(顯著)圖像105幅和3級(嚴重)圖像93幅。IFSI數據集分級標注遵循的是Wildermuth椎間孔狹窄分級診斷系統[19]。

2.2 評價標準

在醫學圖像數據集中評估機器學習算法的多分類性能，主要有基于患者水平和圖像水平的兩種評價方法。由于IFSI數據集是基于圖像層面的，因此本文從圖像層面評估算法的識別率。假設為圖像驗證集或測試集的圖像總數量，如果幅圖像被正確分類，那么圖像層面的準確率RR為

由于多分類問題中準確率不再是唯一的評價指標，因此本文引入F-score作為評價本文模型的另一個指標。與F-score密切相關的兩個值分別為精確度Pr和召回率Rc：

式中：TP為真陽性記錄數；FN為假陰性記錄數；FP為假陽性記錄數。

F-score作為調和精確度和召回率的一個綜合指標，計算公式如下：

發展性原則在資源庫的構建過程中也是必不可少的。時代在不斷地發展，各項事物也隨之在不斷革新，幼兒音樂教育也應該與時俱進，不斷地更新，保證資源庫的時代性、有效性。這就要求教師要不斷地、及時地完善、充實資源庫，遵循發展性原則，保障其蓬勃的生命力。

2.3 實驗設計

為保證實驗的嚴謹性，盡量避免特殊個例影響最終結果，本文采用交叉驗證的方式將IFSI數據集平均分成5份，每次實驗訓練集和測試集比例為4∶1，且確保用于構建訓練集的圖像不再用于測試。

本文算法采用Caffe模型編寫基本框架[20]。算法在Lenovo ThinkStation、Intel e3 CPU、NVIDIA Quadro K2200 GPU上訓練，平均訓練時間為4 min 21 s，單張測試時間平均為0.047 s。

2.4 對比實驗

為了驗證本文模型的有效性，本文采用傳統機器學習算法對IFSI數據集進行分類。傳統機器學習算法主要包含兩個步驟：特征提取和分類。特征提取部分本文選取5種最先進的紋理表示的全局算法，分別是：局部二值模式 (local binary patterns，LBP)[21]、局部相位量化 (local phase quantization，LPQ)[22]、灰度共生矩陣 (gray-level cooccurrence matrix，GLCM)[23]、方向梯度直方圖特征 (histogram of oriented gridien，HOG)、ORB (oriented FAST and rotated BRIEF)[24]。5種特征描述子的特征維度如表1所示。

表 1 特征描述子及其特征向量維度列表Table 1 Feature descriptor and feature vector dimension table

本文利用4種不同的分類器來評估上述特征集：k近鄰算法(k-NN)[25]、極限學習機 (extreme learning machine，ELM)[26]、支持向量機 (support vector machine，SVM)[27]以及隨機森林算法(random forest，RF)[28]。

2.5 實驗結果

2.5.1 IFS-Net與傳統機器學習算法性能對比結果

為驗證本文算法在IFSI數據集上的多分類性能，將其與具有代表性的4種傳統機器學習分類器算法(k-NN、ELM、SVM和RF)對比分析，實驗結果如表2所示。

在測試集準確度和F1兩個評價指標上，本文設計的IFS-Net算法模型的結果明顯優于傳統機器學習算法所取得的結果。由圖3傳統機器學習算法(特征描述子+分類器)分類準確率對比圖，可更直觀地看出，傳統機器學習方法中，選取的特征向量在分類性能上都表現出穩定接近的結果，4種傳統分類器對于每個特征描述子的識別率差距都在4%之內。值得一提的是，ORB雖然為關鍵點描述符且通常用于對象識別，但其在微觀圖像分類問題上獲得了比傳統紋理特征更優的結果。

表 2 不同方法的準確率和F1統計表Table 2 Accuracy of different methods and F1 statistics

圖 3 傳統機器學習算法(特征描述子+分類器)分類準確率對比Fig. 3 The classification accuracy of traditional machine learning algorithm (feature descriptor + classifier)

2.5.2 IFS-Net與其他深度學習算法性能對比結果

本文算法與其他典型深度學習算法在IFSI數據集上的分類性能對比實驗結果，如圖4所示。實驗中，IFS-Net取得了87.5%的分類精度結果，明顯優于其他深度學習算法。該圖還直觀地顯示出本文算法的驗證集和測試集幾乎具有相同的精確度，這表明IFS-Net模型具有較強的泛化和避免過擬合的能力。而由于數據集的限制，層數過深的卷積神經網絡在IFSI數據集上沒有表現出層級優勢，如GoogLe-Net模型出現的嚴重的過擬合現象，就是由于其過于復雜的結構造成的，這也是本文采用較為簡單網絡結構的一個原因。另外，采用遷移學習+微調訓練策略的分類精度高于自訓練2.5%。如圖5不同模型loss曲線擬合度對比所示，從IFS-Net和IFS-Net +TL兩個模型的train-loss和val-loss曲線圖可以看出，采用遷移學習方法能夠降低模型的過擬合程度。

圖 4 不同深度學習模型算法性能對比Fig. 4 Performance comparison of different depth learning model algorithms

圖 5 不同訓練策略 loss曲線擬合度對比Fig. 5 Different training strategy models loss curve fitting degree comparison chart

2.5.3 IFS圖像狹窄度識別分析結果

為進一步測試IFS-Net算法在狹窄程度識別分析中的性能，本研究在IFSI數據集上做了不同IFS圖像狹窄度識別分析測試實驗，實驗結果如表3所示。實驗結果表明，IFS-Net算法對IFSI數據集中的0級和3級的區分度最高，1級分類結果較差。分析其原因，主要是1級圖像中的椎間孔是在兩個相對方向(垂直或橫向)的脂肪閉塞引起的輕度口部狹窄，沒有顯示神經根的形態學變化[19]，因此容易被誤分為C0(正常類)。另外，雖然2級椎間孔也沒有表現出形態學上的變化，但其周圍結構的變化使得算法可以挖掘出潛在特征并對特征進行相關性建模實現精準分類，說明本文模型具有提取微小病變特征的能力，能夠將不同級別的疾病“癥狀”特征與IFS分級之間建立起特殊的“病理”聯系。

表 3 IFS-Net算法狹窄度分類結果混淆矩陣Table 3 A hybrid matrix of the classification results of IFS-Net algorithm

3 結束語

為提高計算機輔助椎間孔狹窄癥診斷準確率及工作效率，本文提出并設計出一種基于深度學習的椎間孔狹窄圖像自動多分級模型。并且在基于設計的IFS-Net模型基礎上，采用遷移學習有效提升了網絡分類性能。實驗結果表明，本文設計的模型不僅結構簡單，且分類性能高效，可為臨床輔助診斷及分級提供有效的技術支撐。本研究中遷移學習的特定引入方式以及數據聯合訓練的應用方法，對于醫學影像微觀數據集分析及多分類任務具有一定的參考價值。在后續的研究工作中，將針對椎間孔狹窄圖像多分級工作，融合特定的形態解剖學特征，研究設計性能更優的深度學習模型算法，進一步提高分類識別的性能，給臨床提供更有效的輔助診斷技術。