手骨X光片骨齡預測中圖像預處理的研究

蘇 葉,李 婧,徐寅林

(南京師范大學計算機與電子信息學院,江蘇 南京 210023)

骨齡(bone age)是骨骼年齡的簡稱,能夠反映被測試者的生長發育水平和成熟程度. 骨齡不僅可用以判斷個體的生物學年齡,還可用以預測兒童成年后的身高. 骨齡預測在臨床中常常被用于兒童內分泌和生長發育等相關疾病的診斷,在青少年體育賽事中常被用以確定運動員的實際年齡,以判定參賽資格. 骨齡作為預測生物學年齡最權威的評價指標,被廣泛應用于臨床醫學[1]、體育競技[2]和司法判案[3]等領域,因此,骨齡的準確檢測非常重要. 在傳統臨床領域,醫生通過觀察非慣用手(一般為左手)手腕部位的X光圖像得出個體的骨齡,其中觀察區域包括左手掌指骨、腕骨及橈尺骨下端的骨化中心的發育程度,手骨X光圖像及骨關節感興趣區(region of interest,ROI)如圖1所示.

圖1 手骨X光圖像及骨關節ROIFig.1 X-ray image and ROI of hand bone

傳統的骨齡識別方法中,常用的有GP圖譜法[4]、TW2計分法[5]、TW3計分法[6]等. 這些方法都有不同的量化指標和鑒定方法,雖然都可實現骨齡預測,但均存在識別所需時間較長、受醫生主觀因素影響較大和隨機性較大的問題. 如何解決這些問題,使得骨齡預測自動化,提高骨齡預測的準確率,已成為國內外研究人員一直以來的研究目標. 自20世紀80年代開始,研究人員開始在骨齡預測研究中嘗試使用計算機視覺等相關技術,這些方法可有效地解決所需時間長、隨機性大、可重復差等問題,從而實現自動化的骨齡輔助預測[7-13]. 但這些算法只是在作者自己采集的質量較高的圖片集上進行驗證,具有較大的局限性,或是實驗結果不夠理想. 近年來,也有研究人員在公開的數據集基礎上進行了骨齡預測的算法研究[14-15],這些方法雖相較于前者更具通用性,且正確率也有了一定的提高,但在其評價正確率指標時,剔除了數據集中質量差的圖像,因此并未從根本上解決較差質量圖像的處理問題.

由于骨齡的公開數據集較少,本文研究對象與文獻[14-15]相同,即2017年兒科骨齡挑戰賽RSNA的公開數據集. 該數據集包含 12 611 個訓練圖像,其中既有大量優質圖片,也包含了許多劣質的圖片. 常規圖像的預處理結果如圖2所示. 如圖2(a)所示,這是由于放射圖像在比例、方向、曝光等方面各不相同,通常還存在標尺、偽影、噪聲等問題,因而該數據集是考驗算法魯棒性的極佳對象. 數據集存在的這些問題,對骨齡預測結果的正確性影響較大,雖然通過常規的圖像預處理可使圖片質量得到部分改善,但反映骨齡變化的骨骼特征既有細微的邊沿形態特征,也有因鈣化層次不同的明暗特征,常規的圖像處理方法往往無法兼顧這些細節和區域的特性,因而不能達到理想的預處理效果. 如圖2(b)所示使用中值濾波法處理圖片,雖然去除了圖像上的標記,但手骨區域卻變得模糊. 如圖2(c)所示使用圖像增強算法,雖然手骨區域對比度增強,但標尺邊框部分也一并增強. 本文通過U-Net模型將手骨圖像經分割去除背景、掩模圖像二值化、局部灰度直方圖均衡等一系列預處理,使得圖像在相同的神經網絡骨齡預測模型中預測結果得到改善.

圖2 常規的圖像預處理結果Fig.2 Results of regular image

1 圖像預處理

本文使用的預處理系統如圖3所示,包括使用U-Net去除圖像背景等無用信息、進行掩模圖像二值化處理以及圖像局部灰度直方均衡化等步驟. 圖像分割處理時,首先將數據集圖像統一大小,接著使用分批-迭代的方式通過U-Net網絡得到所有圖像的掩模,最后將掩模與原圖融合得到所有分割后的圖像. 圖像增強時,進一步將去除背景后的圖像進行局部灰度直方圖均衡處理,最終使得所有圖像大小統一、去除背景、明暗分布相同.

圖3 圖像預處理流程圖Fig.3 Flowchart of image preprocessing

1.1 基于U-Net網絡的完整手骨分割

原始數據集圖像背景中包含標尺、偽影、噪聲等信息,為了消除這些多余信息的干擾,突出與骨齡有關的主體部分,本文使用U-Net分割圖像去除背景.

1.1.1 圖像對應掩模(Mask)的獲取

圖像對應掩模的獲取主要由以下3個步驟組成:

(1)由于U-Net網絡模型要求輸入的圖片大小統一,故第一步是將數據集中大小不一的圖片都統一為512×512.

(2)取數據集中100張手骨X光圖像,使用Labelme工具手動標注手部掩模,確保有足夠的標簽能夠訓練得到較好的U-Net模型,以便進一步把手骨部分從圖像中分割出來.

(3)使用(2)中手動標注完含有標簽的圖像作為U-Net網絡的訓練集,開展U-Net網絡的第一次訓練,并使用訓練出來的模型分割第一個測試集. 由于手動標注的掩模訓練集數量較少,且訓練集中沒有均衡的包含標尺、偽影、噪聲、曝光等情況的樣本,無法訓練出優異的模型,所以在測試時其分割效果參差不齊.

由于數據集容量較大,為了能夠得到完美的分割結果,本文采用分批-迭代的訓練方式,流程圖如圖4所示. 將數據集以200張為單位進行分組,第一次訓練后使用分割結果精準的圖像直接作為訓練集的擴充,其余的圖片考慮到由于是第一批手動標注的圖片中所含此類特征樣本較少而導致無法準確分割,所以進一步將這些圖片進行手動標注再作為訓練集的擴充進行第二次訓練,第二次訓練后只有少數圖像沒有得到完美的手部掩模. 考慮到訓練樣本過多可能會導致過擬合現象,在第三次訓練后,只將效果不好的圖片手動標注后擴充訓練集. 經過5次迭代訓練,最終得到訓練集樣本631張,訓練得到最佳模型的損失函數loss值穩定在99.89,并成功預測了剩余的圖片.

圖4 分批-迭代的U-Net訓練Fig.4 Batch-iterative U-Net training

1.1.2 圖像與對應掩模(Mask)的融合

得到圖像的所有掩模后,應當使掩模與原圖融合從而將手骨區域分割出來. 將圖像與上述步驟得到的掩模像素值融合,得到圖5所示結果. 有些圖像手骨區域分割效果較好,但背景部分仍有部分陰影沒有完全屏蔽. 分析原因發現U-Net網絡輸出的掩模并非是真正二值化圖像,因此需要對掩模做二值化處理. 二值化后的掩模與原圖融合后得到完美的分割效果,所有圖片都能完整地將手骨區域分割出來.

圖5 掩模二值化前后對比Fig.5 Comparison before and after mask binarization

1.2 手骨X光圖像局部直方圖均衡化

盡管通過U-Net分割等處理能夠完全濾除圖像的背景噪聲,但由于拍攝X光片時醫療條件、環境和設備等差異,導致拍攝的X光圖像存在過曝光或欠曝光的情況,這直接使得圖像存在明顯的明暗差異. 圖6所示為兩張明暗差異較大的圖像及其對應的灰度直方圖. 實驗計算表明,明暗差異較大的圖像會對模型的訓練及預測產生影響,所以需進一步對去除背景后的手部圖像進行局部直方圖均衡化的工作.

圖6 明暗差異較大的圖像手部亮度及其灰度直方圖差異Fig.6 The differences of brightness and grayscale histogram in the part of hand in pictures

直方圖均衡化是通過圖像直方圖來增加圖像的全局對比度,使有用數據可以在直方圖上更好地分布,從而在圖像中凸顯出有用像素,使對比度更加明顯. 直方圖均衡化對于明暗差異不明顯等對比度不高的圖像很有效果,尤其是可以使X光圖像中骨骼結構更加明顯.

在直方圖均衡化時,通常對直方圖先進行歸一化. 設灰度圖像的維數是M×N,像素總數為MN,則歸一化直方圖表示為:

p(rk)=nk/MN,k=0,1,…,L-1,

(1)

式中,p(rk)為灰度級rk在圖像中出現的概率,且所有分量之和為1;假設r為待處理圖像的灰度,取值范圍為[0,L-1],則r=0表示黑色,r=L-1表示白色. 直方圖均衡化的過程對應于一個變換T:

s=T(r), 0≤r≤L-1,

(2)

則原灰度級為rk的像素點在均衡化后的灰度級Sk為:

(3)

式中,MN為圖像像素總數;nk表示灰度為rk的像素個數;L是圖像可能的灰度級數量.

對手部使用部分直方圖均衡化操作前后的手骨X光圖像及其灰度直方圖如圖7所示. 可以看出,圖像前景的對比度被明顯增強,所需要的手骨感興趣區域中的有用信息能夠更直觀更清晰地展示.

圖7 局部直方圖均衡化前后對比(手部)Fig.7 Histogram equalization comparison(the part of hand)

2 基于深度學習的骨齡預測

為了考察上述X光片預處理結果對骨齡輔助預測的影響,本文采用端到端的深度學習神經網絡模型進行預測,本文的結構模型如圖8所示.

圖8 網絡結構模型Fig.8 Network structure model

考慮到骨骼的成熟程度因性別而異(男女骨骼發育程度差異最長可達2年),若忽略這種根本差異將損害網絡的性能,故本文中的結構模型將性別信息與圖像信息進行了級聯.

該模型將圖像與性別作為兩路單獨的輸入. 圖像信息通過Inception V3提取特征,性別的輸入為二進制性別信息(女性為0,男性為1). 圖像輸入特征提取后,取最后一個連接層的層鋪平,然后與通過32層全連接層的性別信息進行級聯,接入連接層. 隨后通過“relu”激活層將級聯后的連接層通過兩個1 000層密集連接的全連接層,將前面提取的特征聯合起來.

該設計思路考慮到每個輸入(像素和性別)的相對貢獻. 在該模型的串聯層,像素貢獻了100 384個輸入,而性別貢獻了32個. 選擇此比率,既不會使性別輸入對網絡產生過分偏見,又可以賦予其影響整體預測的能力. 額外的密集層為網絡提供了更多可學習的參數,可在訓練期間進行調整,以使其推斷出像素與性別信息之間的關系.

3 實驗與分析

3.1 預測模型訓練

本文圖像預處理基于PyCharm 2020.1.3實現,Linux操作系統上搭建神經網絡模型,具體的實驗環境如表1所示.

表1 具體實驗環境Table 1 Specific experimental environment

本文從RSNA數據集中所得的12 611個訓練圖像中選出200張包含各年齡段、性別分布均勻的圖片作為測試集. 訓練數據包含5 778名女性和6 833名男性的放射圖像,年齡從1個月到228個月不等,受試者多為5-15歲的兒童.

3.2 預處理結果對照分析

將實驗數據按85∶15的比例分為訓練集和驗證集,得到10 720個訓練圖像和1 892個驗證圖像. 將網絡模型分別在原圖數據集(ID-RD+)、原圖與掩模融合的數據集(ID-MF)及掩模融合去除背景后進行手部灰度直方均衡處理的數據集(ID-MF-HE)中訓練500個 Epoch. 將本文訓練的模型結果與文獻[14-15]進行對比(其中,文獻[14]邊增亞方法以BZY表示,文獻[15]林玨偉方法以LJW表示),實驗結果如表2所示,實驗結果以平均絕對誤差(MAE)作為評價指標,其公式為:

表2 對比實驗結果Table 2 Comparative experiment results

(4)

由實驗對比結果可知,使用U-Net去除背景后,預測誤差下降較多,說明深度學習方法受原始圖片背景中無關信息影響較大;經手部直方圖均衡處理后,誤差進一步下降,但下降幅度較小,可知圖像明暗程度對深度學習方法影響較小. 可知,有效的精細預處理對骨齡預測結果的精確度有一定的好處. 本文進一步在原圖模型及使用了預處理的模型中用100張圖片進行自動化的預測,預測時間對比如表3所示,可知預處理未過多增加預測時間.

表3 預測時間對比實驗結果Table 3 Comparative experiment results of prediction time

4 結論

本文針對RSNA提供的用于骨齡預測的手骨X光片數據集存在的標尺、偽影、噪聲等問題,提出一種基于精細的預處理和深度學習下的X光片骨齡輔助預測模型,使用了包括U-Net分割模型、圖像二值化、灰度直方均衡等方法對X光片進行預處理,并使用基于DenseNet和InceptionV3的端到端網絡對數據集進行訓練和測試. 實驗結果表明,本文提出的預處理能夠有效提升骨齡預測結果的準確性.