基于深度學習的智能骨齡分類器①

郭子昇, 王吉芳, 蘇 鵬

(北京信息科技大學 機電工程學院, 北京 100192)

骨骼年齡作為生物學年齡, 骨齡的預測在眾多領域具有重要意義. 在未成年生長發育診斷中, 骨齡預測是研究青少年女性初潮、兒童基因生長障礙的一種常用方法[1]; 在競技賽事中, 骨齡作為最權威的評價指標,常用來甄別運動員年齡以輔助選拔[2]; 在刑偵案件中,骨齡預測是法醫學年齡鑒定工作的主要方法[3]; 在考古領域中, 骨齡預測對種族、生活環境、面貌復原等的研究具有重要借鑒意義[4]; 目前國內醫學影像專業醫師缺口巨大, 醫學影像誤診漏診率偏高, 診斷速度有限,因此, 建立一個能夠智能化精準預測骨齡的分類器具有十分重要的意義.

傳統骨齡預測方式主要依賴于人工對手骨X 光片的解讀, 專家通過人為觀察非慣用手(常為左手)部位的X 光片得出個體骨齡, 由于已形成較為統一的標準,且非慣用手部的不同骨齡骨骼結構差別及生長規律差異較大, 便于觀察區分, 因此在骨齡預測領域上常對人體手骨進行分析. 目前骨齡的人工預測方法有計數法、圖譜法[5]和計分法[6]. 傳統計數法誤差大, 并易對人體產生損害; G-P (Greulich and Pyle)圖譜法規范且精度高, 但需要復雜的專業知識及人力儲備; TW (Tanner and Whitehouse)計分法具有明確的量化概念, 準確度高, 可重復性較強, 但缺點是需要掌握相關知識及進行繁瑣的操作, 人工預測的方法耗時普遍較長.

近年來自動化骨齡檢測也有較大發展. Seok 等人[7]于2016 年提出一種決策規劃評估方法, 在135 張未公布年齡的手骨X 射線圖像非公開數據集上評估得到骨齡均方差(mean square error, MSE)為0.19 歲; Spampinato等人[8]于2017 年提出的一種骨齡評估方法BoNet, 在0–18 歲涵蓋所有種族和性別的手骨X 射線圖像公共數據集上進行自動化骨齡評估, 得到骨齡MAE (平均絕對誤差)為0.8 歲.

上述G-P 方法或TW 方法中的參考值皆對手骨射線圖像進行分割提取并計算出圖像特征來評估骨齡,然而將臨床特征直接作為機器學習分析處理的對象大大限制了自動化骨齡預測的泛化能力. 傳統的機器學習與深度學習的區別在于, 前者通過已有知識把原始數據預處理成各種特征, 然后對特征進行分類, 此分類效果依賴于特征的選取, 不能很好地表征樣例本質, 導致訓練效果欠佳; 后者通過多層網絡結構進行表征學習(feature representation learning)和表征數據特征[9],其比傳統機器學習對數據特征的提取更準確.

此外, 在進行模型的訓練及預測中, 醫學骨骼圖像的單通道、小對比度、復雜紋理、細粒度圖像識別等特征有別于自然圖像特征; 骨齡數據集的不公開及規模小; 針對特定性別或種族的骨質差異等問題都會影響骨齡預測的泛化能力, 因此針對上述人工或自動化骨齡預測方法存在的種種問題, 本文提出一種基于深度學習的手骨X 射線骨齡分類器, 對骨齡預測精度提高的效果顯著.

1 基于深度學習的骨齡預測方法

深度卷積神經網絡對圖像識別性能更加優異, 近年來相繼出現了AlexNet、VGGNet、GoogleNet、ResNet、MobileNet 等深度網絡結構, 其中輕量級網絡MobileNet 系列更具代表性. 該系列網絡利用深度卷積構造, 可以平衡延遲和準確性之間的關系, 又引入了倒殘差結構, 可以適應不同尺寸的圖像并在低精度計算下具有更強的魯棒性, 該網絡結構與其他常用分類模型相比, 擁有更優秀的計算性能. MobileNetV3 為該系列最新網絡結構, 由Howard 等人[10]于2019 年提出,該網絡增添了互補搜索技術組合, 通過硬件架構搜索(NAS)與NetAdapt 相結合的方式, 開展了網絡設計和自動搜索算法在互補利用方面的研究以用來提高整體技術水平, 較前代相比擁有更強大的計算能力. 表1 列出了5 種較流行的深度學習網絡模型, 可以看出MobileNet系列網絡的準確率大都高于的其他網絡, Top-1 錯誤率大都低于其他網絡, 需求參數(parameters)和多層疊加(mult-adds) (除SqueezeNet)均小于其他網絡, 同時輕量級的神經網絡為可移動智能骨齡預測奠定基礎, 因此本文將MobileNetV3 作為基礎網絡用于構建骨齡分類器.

表1 較流行的深度學習網絡模型性能對比

1.1 旋轉不變LBP 紋理增強處理層

對骨齡的預測應用上, 基于深度學習的自動骨齡預測仍面臨很大的挑戰, 手骨X 光圖像與卷積神經網絡通常處理的自然圖像有著很大區別, 對手骨X 光片的紋理特征提取及增強有利于深度學習的網絡模型使用更少的特征數據來更集中的表征全圖特征, 剔除無效特征信息, 減少無關特征干擾, 從而提升訓練、測試的準確率. 旋轉不變LBP 紋理增強處理層的引入, 可以擺脫一些如平移不變性的假設在骨齡數據集中不再滿足等難點; 同時還可解決手骨X光圖像的辨識特征僅體現在局部的紋理差異、特征粒度較為細化, 導致模型獲取這些細粒度特征并分類的難度較大等難點[11].

LBP (local binary pattern, 局部二值模式)是用于提取全局圖像的局部紋理特征, 增強區域紋理特征以加深后期網絡注意力機制的訓練效果, 并縮減整個圖片像素的值, 使訓練、預測速度加快.

利用LBP 算子對手骨X 光片進行閾值處理, 以每3×3 網格的窗口中心像素為閾值, 把相鄰網格的像素值與其對比, 若中心像素值較大, 則標記為0, 反之為1,得到的8 位二進制數即窗口中心像素點的LBP 值, 此為該區域的紋理特征信息, 如圖1 所示.

圖1 手骨X 光片紋理特征信息的提取

對手骨X 光片紋理特征信息進行直方圖轉化:

其中, (xc,yc)表示中心像素,ic表示中心像素灰度值,ip表示P點像素灰度值,s表示符號函數,p表示鄰域P個采樣點中第p個采樣點.

通過上述變換, 將手骨X 光片圖像可轉換成具有相鄰點之間差值關系的集合, 但原始LBP 算子只涵蓋中心與相鄰共9 個網格的像素值區域, 如果將上述涵蓋區擴展到任意區域, 把正方形區域替換為半徑為R的圓形區域, 就能滿足在提取不同尺度紋理特征時擁有灰度不變性、旋轉不變性的優勢. 圓形LBP 算子如圖2 所示, 其區域半徑為R, 內含P個采樣點.

圖2 不同采樣數與半徑的LBP 算子

對比圖2, 可以看出當P=8,R=1 時, 圓形LBP 與原始LBP 一致, 在P=16,R=2 時, 圓形邊界上的點可能不是整數或正好落在某個像素格子內, 或位于交界處,因此使用雙線性插值法來計算該點的像素值. 圓形LBP 算子的計算公式如下:

其中,R表示采樣半徑,P表示第P個采樣點,p表示采樣數目,

經過LBP 與圓形LBP 算子處理可以得到圖片灰度不變性與多尺度紋理特征穩定性這些特點, 為了擺脫因圖像旋轉而得到的不同LBP 值影響紋理特征的讀取要求, 還需要加入旋轉不變性因子, 即不斷旋轉圓形鄰域得到一系列初始定義的LBP 值, 取其最小值作為該鄰域的LBP 值, 對LBP 的結果進行二進制編碼,并做循環位移, 取所有結果中最小的值, 公式如下:

依據上述方法, 本文對原始數據集RSNA 進行紋理特征的提取并分別進行LBP (LBP-RSNA_bone)增強、圓形LBP (circular-_LBP-RSNA_bone)增強、旋轉不變LBP (rotation_invariant_LBP-RSNA_bone)增強處理, 得到手骨X 光片紋理特征, 如圖3 所示. 可以看出對手骨X 光片進行紋理增強處理后的紋理特征清晰可見, 以此使用更少的數據量來更好的表征圖像的全局信息, 從而加快運算速度與更好的配合下文的深度學習注意力機制進行驗證.

圖3 手骨X 光片的LBP 處理

1.2 引入注意力機制的輕量級網絡模型設計

為了實現全智能化識別手骨X 光片的信息, 本文根據TW 計分法在1972 年正式定制TW2 標準, 引入一種自動框選感興趣區域的注意力機制, 該標準包含骨骺、骨骺端、骨干等20 個感興趣區域[6], 引入該注意力機制的改進網絡依據此標準, 根據其圖像的特征,進行自動搜索特定區域, 將資源分配傾向于更為關鍵的特征. 在不同維度對圖像及隱藏層中特征映射進行注意力聚焦, 首先對原始輸入圖像進行逐層的空間區域學習, 輸出若干個具有辨識能力的子區域, 再將子區域反饋進多個辨識卷積網絡中, 對子區域內的特征分配注意力取得更好的分類, 使區域選擇得到優化.

引入注意力機制的卷積神經網絡模型如圖4 所示,其主要包含空間網絡變壓器[12]和多個識別網絡.

圖4 注意力模型網絡架構圖

1)空間網絡變壓器, 其作為一種空間注意力機制輸出多個子區域, 其將特征映射作為輸入, 輸出更加具有辨識能力的特征映射. 空間網絡變壓器作用于輸入圖像, 在輸入圖像中學習到若干信息密集的子區域, 對于手骨X 光片, 該操作給輸入高分辨率圖像提供支持,在該類圖像中截取出適中分辨率子圖, 這相當于將原圖像在骨齡評定關鍵部位放大, 局部信息可以更加清晰地展現, 從而提取表達能力更強的特征, 為后續識別網絡的進一步處理提供基礎.

2)識別網絡, 其通過在特征映射后的隱藏層加入壓縮激活塊[13], 加入壓縮激活塊不改變網絡輸出的維度, 設網絡架構中有N個識別網絡, 每個網絡輸入一張手骨X 光片子圖像, 輸出一個D維向量, 將所有網絡的輸出連結成一個N×D維向量, 輸入到一個全連接層中, 之后由Softmax 層輸出最終骨齡值. 本實驗中依據TW2 計分法等對手骨骨齡預測建議的感興趣區域, 對N和D分別設置為9 和512. 識別網絡對特征映射在通道維度進行特征再校準, 從而將模型注意力集中于信息密集的通道上, 壓縮激活塊使用了全局平均匯聚層和兩層全連接層, 因此該結構中包含訓練參數較少,可以方便、高效的加入MobileNet 系列網絡架構中并引入較少的計算負擔, 以滿足輕量化的網絡架構并提升網絡的泛化效果.

1.3 骨齡預測分類器設計

基于MobileNetV3 Large 網絡結構, 設計具有可引入注意力機制和旋轉不變LBP 紋理增強處理層的模型RIL-MobileNetV3 Large, 在頂層引入紋理特征增強處理層, 即對原始數據集進行旋轉不變LBP 處理, 并于底層加入測試集輸入的X 光片旋轉不變LBP 處理層, 以便于驗證的統一, 在池化層后引入本文設計好的自動框選感興趣區域的注意力機制, 設計的骨齡預測分類器如圖5 所示.

圖5 RIL-MobileNetV3 Large 骨齡預測分類器

為了避免過擬合, 將訓練時間放大與縮小, 通過使平均絕對誤差(MAE) 最小化對分類器尋優, 利用optimizers. Adam 優化器對網絡進行訓練; 構建分類器模型, 分配給每個骨齡不同類別, 在數據集中, 骨齡是以月份表示的, 因此本文截取1–228 月骨齡的數據集,以12 個月為一歲, 共取19 類, 即0–18 歲, 故倒數第二層變成具有19 個輸出概率的Softmax 層, 該層輸出概率的向量, 其中每一類的概率都在范圍[0, 1]中取值,最后一層概率向量乘以不同骨齡的向量[1, 2, 3, …,19], 由此, 模型輸出骨齡的單個預測值.

1.4 評價指標

對于骨齡數值回歸預測結果, 本文采用MAE和accuracy (準確率)作為綜合評價指標, 其中當預測值與真實值完全吻合, 即MAE為0 時為完美模型,MAE越小, 說明預測精度越高, 計算公式如下:

其中,N表示樣本數,ytrue表示骨齡真實值,ypred表示骨齡預測值.

2 實驗驗證與結果分析

2.1 數據集

研究采用北美放射學會舉辦的骨齡挑戰賽公開數據集RSNA, 其包含12611 個訓練圖像, 1425 個驗證圖像和200 個測試圖像, 大多為1–228 月的骨齡X 光片數據集, 顯而易見測試集過小, 且開發階段驗證集、測試集標簽混亂, 為使其對骨齡預測的強針對性訓練與擴大測試集, 本實驗按照原始數據集csv 文件截取訓練集前1376 張圖片作為測試集, 其余圖片為訓練集;為了防止標簽混亂導致的訓練及測試精度降低, 以便于骨齡的預測標準化, 本文依據原始csv 文件骨齡編號按12 個月為一歲依次歸為19 類csv 文件, 分別對測試集、訓練集圖像按新編csv 文件歸為0–18 歲共計19 類, 并進行后續訓練預測實驗.

2.2 數據處理

為驗證本文對手骨X 光片的骨齡預測可以使用更少的數據量來最好的表征圖像特征, 以此加快運算速度與高效配合注意力機制, 對原始數據集進行紋理特征的提取并分別按順序進行LBP、圓形LBP、旋轉不變LBP 紋理增強處理, 得到包含清晰紋理信息的LRSNA、CL-RSNA、RIL-RSNA 數據集.

2.3 實驗平臺

本實驗搭建于x64 處理器的Windows 10 操作系統, 實驗仿真環境采用谷歌開發的TensorFlow 2.1.0 框架, 以Python 3.7 作為編程語言, PyCharm 2019.3.3 為編輯器, CPU 使用Intel(R)Core(TM)i7-9750H, GPU 使用Inter(R)UHD Graphics 630, 運行內存為8 GB, 所有程序通過以TensorFlow 為后端的開源框架Keras 及其Python 接口實現.

2.4 訓練策略

實驗采用改進模型RIL-MobileNetV3 Large 進行訓練, 在增強后的RIL-RSNA 數據集上分別進行了20、30、40、50、80 和120 輪訓練, 每次喂入分類器8 張圖片, 類別數為19, 初始學習率為0.0001 并逐步調優, 訓練圖像采用三通道, 并調整圖片的寬高皆為224. 設置縮放因子1/255 以增強模型泛化能力, 并配置optimizers.Adam 優化器, 結合fit_generator 訓練方式進行訓練以節約內存, 最后計算骨齡預測值和骨齡真實值Accuracy 作為模型輸出, 并結合在測試集上計算的MAE 值, 綜合判斷分類器性能.

2.5 結果分析

將新編好的原圖數據集RSNA、LBP 紋理增強處理數據集L-RSNA、圓形LBP 紋理增強處理數據集CL-RSNA、旋轉不變LBP 紋理增強處理數據集RILRSNA 分別在引入自動框選感興趣區域注意力機制的MobileNetV3 Large 網絡中訓練50 輪, 將訓練結果進行對比, 實驗結果如表2 所示.

由表2 可知, 用紋理增強處理后的數據集進行訓練, 較原數據集的預測誤差下降較多, 其中旋轉不變LBP 處理對骨齡預測誤差下降最大, 說明端對端逐層監督式學習方法受原始圖片背景中無關信息影響較大,經手骨紋理增強處理后, 可以用更少的數據量來更精確的表征圖像信息, 從而擴大訓練準確率, 并縮小平均絕對誤差MAE, 由此可知引入旋轉不變LBP 紋理增強層具有提高訓練準確率與縮小平均誤差的顯著作用.

表2 數據處理層對比實驗結果

在采用引入自動框選感興趣區域注意力機制和旋轉不變LBP 紋理增強層的RIL-MobileNetV3 Large 網絡進行骨齡預測過程中, 神經網絡權值變化基于損失梯度的調整, 而學習率控制神經網絡權值的變化速度,為取得最優學習率, 本文在不同學習率及多次訓練輪數下進行實驗, 所得結果如圖6 所示, 當進行40 輪訓練, 學習率設為0.0001 時, 梯度增幅變大, 收斂時間加快, 訓練集準確率為91.80%, 損失率為23.41%; 當學習率設為0.0005 時, 梯度增幅較小, 將會延長收斂時間,故分別進行40、80 輪訓練, 80 輪時訓練集準確率較高為94.04%, 此時損失率為16.74%;

圖6 骨齡評估模型多次訓練結果對比可視化

由圖7 可以看出, 當學習率設為0.00075 時, 梯度增幅繼續變小, 收斂時間繼續延長, 故進行120 輪訓練,訓練集準確率為93.32%, 損失率為20.46%, 此時的準確率低于學習率為0.0005 訓練80 輪時的準確率94.02%, 繼續取學習率0.0001 和0.00005 進行訓練時,準確率曲線走勢的收斂速度明顯加快, 在訓練80 輪時得到的訓練集曲線和測試集曲線基本粘合成一條, 此時的準確率為94.20%, 損失率為16.74%. 因此, 采用改進的RIL-MobileNetV3 Large 網絡在預測骨齡過程中, 學習率設為0.0001, 訓練次數設為80, 此時可快速得到極佳的預測效果, 且使用測試集在該網絡預測骨齡的MAE值為0.35 歲, 表明可以達到非常低的平均預測誤差.

圖7 骨齡評估模型最佳訓練結果可視化

2.6 預測精度對比

為驗證本文提出改進RIL-MobileNetV3 Large 網絡的檢測性能, 將其與基于深度學習的其他骨齡預測網絡在同一數據集上進行對比, 對比試驗結果如表3.

表3 骨齡分類器對比實驗結果

可以看出, 本文改進網絡的MAE值較其他網絡更低, accuracy 值較其他網絡更高, 由此可見, 在引入自動框選感興趣區域注意力機制和旋轉不變LBP 紋理增強處理層的骨齡分類器能提取不同骨齡更具區分性的特征, 對骨齡預測準確度更高, 具有非常好的魯棒性與泛化能力.

3 結論與展望

針對手骨X 光片數據集圖像的單通道、小對比度、復雜紋理、細粒度圖像識別等特征提取難, 導致影響骨齡預測準確度等問題, 提出了一種同時引入注意力機制和旋轉不變LBP 紋理增強處理層的改進模型, 作為骨齡預測分類器. 其基于輕量級神經網絡MobileNet系列融合處理紋理特征的旋轉不變LBP 算子處理層,通過處理層將手骨X 光片數據集的紋理特征進行提取并增強, 使更細致紋理特征的手骨信息作為網絡輸入端, 減少無關特征影響, 提高訓練的準確率; 同時又對卷積網絡引入一種注意力機制, 在不借助任何先驗信息的情況下, 把引入紋理增強處理層處理后的圖像作為網絡的輸入, 再通過引入注意力機制的輕量級神經網絡, 進行自動定位、學習提取處理后的手骨X 光片圖像中具有高識別能力的區域特征、深層特征并完成識別和分類. 最后通過在RSNA 數據集上進行訓練及預測, 結果表明該分類器較傳統方法具有更高的骨齡預測精度. 消除了在臨床環境中人工進行繁瑣的數據集查找需求, 智能化的骨齡分類器提高骨齡預測精確度并大大節省了時間, 對青少年生長發育、刑偵案件、體育賽事、考古等領域的骨齡評估具有重要協助意義,為建立標準化的可移動骨齡分類器, 推動實現便捷準確快速的智能化骨齡預測提供重要借鑒意義.