基于深度學(xué)習(xí)區(qū)域融合的骨齡評(píng)價(jià)研究

張世杰，李睿，占?jí)糗?，徐鑄

（1.四川大學(xué)視覺合成圖形圖像技術(shù)國(guó)防重點(diǎn)學(xué)科實(shí)驗(yàn)室，成都610065；2.四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065；3.四川大學(xué)華西基礎(chǔ)醫(yī)學(xué)與法醫(yī)學(xué)院，成都610041；4.四川川大智勝軟件股份有限公司，成都610045）

0 引言

骨齡是兒科放射學(xué)中常用于評(píng)估骨骼成熟度的一項(xiàng)重要指標(biāo)。它對(duì)于兒童內(nèi)分泌紊亂以及其他涉及骨骼發(fā)育異常的疾病的診斷和治療是必不可少。目前應(yīng)用的骨齡評(píng)估方法主要有G-P 圖譜法[1]和TW計(jì)分法[2]。G-P 圖法是一個(gè)含有不同實(shí)際年齡的正常手腕X 線片譜。醫(yī)生在評(píng)估骨齡時(shí)，需將患者的X 線照片與圖中的標(biāo)準(zhǔn)圖像進(jìn)行比較。手工確定骨齡具有較大的主觀性、缺乏量化。TW 計(jì)分法則是分別對(duì)左手多塊骨骼的發(fā)育程度進(jìn)行評(píng)估，每塊骨骼不同的發(fā)育程度對(duì)應(yīng)不同的評(píng)分，然后計(jì)算所有的骨骺得分得到骨成熟度的總得分，最后通過查表得到待測(cè)患者的骨齡。該方法具有較明確的量化概念，判定骨齡的結(jié)果較為精確。骨齡評(píng)估對(duì)放射科醫(yī)師來說枯燥乏味，耗時(shí)費(fèi)力，更重要的是不同專家間存在相當(dāng)大的組間差異，即使是同一名專家在不同的時(shí)間對(duì)同一批X 片進(jìn)行評(píng)價(jià)亦存在較大的組內(nèi)差異[3-5]。因此，為了解決上述問題，過去已經(jīng)提出了多個(gè)傳統(tǒng)的計(jì)算機(jī)輔助診斷的方法用于骨齡自動(dòng)化評(píng)估[6-8]。傳統(tǒng)的計(jì)算機(jī)輔助診斷工具依賴于骨齡評(píng)估的硬編碼算法特征。盡管這些技術(shù)在準(zhǔn)確評(píng)估骨齡中顯示出了希望，但它們也存在各種各樣的缺點(diǎn)：①人類容易理解的高階語(yǔ)義特征幾乎不可能清晰地轉(zhuǎn)化為嚴(yán)格的數(shù)學(xué)公式；②硬編碼特征偏向于集中在人眼看到的有用的特征上，但不一定適用于當(dāng)前骨齡自動(dòng)化評(píng)估任務(wù)；③特征提取是一個(gè)繁瑣且計(jì)算昂貴的過程。

深度學(xué)習(xí)是利用提取數(shù)據(jù)特征進(jìn)行分析，在圖像分類任務(wù)中的成功應(yīng)用[9]，已逐漸運(yùn)用于多種醫(yī)學(xué)成像領(lǐng)域中并取得了較好的效果，包括肺結(jié)節(jié)、間質(zhì)性肺病、乳腺癌、腦出血、腦腫瘤和脊柱轉(zhuǎn)移瘤的檢測(cè)[10-15]。目前，國(guó)外已將深度學(xué)習(xí)方法運(yùn)用于骨齡自動(dòng)化評(píng)估中，研究結(jié)果顯示，該技術(shù)進(jìn)行骨齡自動(dòng)化評(píng)估能夠達(dá)到人工水平[16-18]。2017 年Lee 等人[17]利用遷移學(xué)習(xí)方法最終結(jié)果誤差為±1 歲準(zhǔn)確率，男性為94.18%，女性為90.39%。國(guó)內(nèi)方面，2018 年胡等人[19]利用AlexNet[20]深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)維吾爾族13-20 歲青少年左手腕預(yù)測(cè)結(jié)果誤差為±1 歲的準(zhǔn)確率，男性為81.4%，女性為80.5%。2019 年占等人[21]利用改進(jìn)AlexNet 深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)9-20 歲青少年左手腕預(yù)測(cè)結(jié)果誤差為±1 歲的準(zhǔn)確率，男性為81.08%，女性為87.56%，MAE 準(zhǔn)確率男性為0.90 歲，女性為0.72 歲。

本文提出一種基于深度學(xué)習(xí)的區(qū)域融合青少年骨齡評(píng)價(jià)方法，根據(jù)骨齡識(shí)別TW 法先驗(yàn)知識(shí)和深度學(xué)習(xí)網(wǎng)絡(luò)熱力圖確定骨齡評(píng)價(jià)關(guān)注點(diǎn)，訓(xùn)練YOLOv3 網(wǎng)絡(luò)標(biāo)注識(shí)別并截取整只手和相關(guān)感興趣區(qū)域后經(jīng)過標(biāo)準(zhǔn)化后拼接融合，然后送入研究設(shè)計(jì)深度學(xué)習(xí)骨齡評(píng)價(jià)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到準(zhǔn)確高效的骨齡評(píng)價(jià)模型，同時(shí)具有較高的速度，如圖1 所示。

圖1 整體流程圖

1 方法介紹

本研究從數(shù)據(jù)處理和卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)兩個(gè)方面對(duì)骨齡評(píng)價(jià)進(jìn)行探究。通過對(duì)數(shù)據(jù)的拓展增強(qiáng)后運(yùn)用深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到感興趣區(qū)域，然后通過融合關(guān)鍵區(qū)域并設(shè)計(jì)網(wǎng)絡(luò)完成高速高效的骨齡評(píng)價(jià)目標(biāo)。

1.1 數(shù)據(jù)收集

四川大學(xué)華西第二醫(yī)院數(shù)據(jù)收集四川漢族青少年左手腕X 線片4864 例（男性2401 例，女性2463 例），男性按照年齡分為1-18 歲共18 個(gè)類別，女性分為1-16 歲共16 個(gè)類別，由于不滿一周歲和大于16 歲女性數(shù)據(jù)極少，暫未分類。樣本分布情況如表1 所示。

所有數(shù)據(jù)均選取身體健康發(fā)育狀況良好數(shù)據(jù)。該研究屬于橫向回顧性研究，符合有關(guān)的醫(yī)學(xué)倫理及法律條款規(guī)定[21]。

從上述各年齡段中隨機(jī)抽取男性、女性各400 例作為測(cè)試集，剩余數(shù)據(jù)按照比例6：1 分為訓(xùn)練集和驗(yàn)證集。

RSNA 2017 骨齡識(shí)別大賽公開數(shù)據(jù)訓(xùn)練集選用6823 例男性、5767 例女性共12590 例X 線片數(shù)據(jù)進(jìn)行訓(xùn)練，分布如表2 所示。

表1 數(shù)據(jù)分布信息

表2 RSAN 數(shù)據(jù)分布

RASA 數(shù)據(jù)測(cè)試集包括男性、女性分別100 例共200 例額外X 線片，不包括在訓(xùn)練集內(nèi)，無需再次進(jìn)行選取。

1.2 卷積神經(jīng)網(wǎng)絡(luò)及數(shù)據(jù)處理

首先采用經(jīng)典深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)AlexNet、VGG16[22]、ResNet[23]對(duì)四川大學(xué)華西第二醫(yī)院女性X 線片數(shù)據(jù)進(jìn)行訓(xùn)練，對(duì)比分析適用網(wǎng)絡(luò)。三種網(wǎng)絡(luò)對(duì)比結(jié)果如表3 所示。

表3 三種網(wǎng)絡(luò)準(zhǔn)確率對(duì)比

通過對(duì)比發(fā)現(xiàn)AlexNet 相對(duì)其他兩種網(wǎng)絡(luò)準(zhǔn)確率具有較大優(yōu)勢(shì)。接下來通過對(duì)左手X 線片進(jìn)行訓(xùn)練，繪制深度學(xué)習(xí)網(wǎng)絡(luò)骨齡評(píng)價(jià)關(guān)注區(qū)域權(quán)重?zé)崃D，如圖2 所示。

圖2 關(guān)鍵部位熱力圖

如上熱力圖所示，關(guān)節(jié)A、B、C、D、E、F、G、H 對(duì)深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)骨齡評(píng)價(jià)影響權(quán)重較大，根據(jù)熱力圖和TW 法骨齡評(píng)價(jià)方法確定所選取的感興趣區(qū)域。研究選取A、B、F 區(qū)域融合整只手作為訓(xùn)練集數(shù)據(jù)如圖1。①手工標(biāo)注所需關(guān)節(jié)，利用YOLOv3[24]深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，利用模型自動(dòng)檢測(cè)關(guān)節(jié)部位。②以所截關(guān)節(jié)中心為旋轉(zhuǎn)軸將整只手和所需關(guān)節(jié)旋轉(zhuǎn)至統(tǒng)一姿態(tài)（縱向），避免姿態(tài)不同造成深度學(xué)習(xí)網(wǎng)絡(luò)識(shí)別率下降。③將截取的整只手按照原比例縮放至分辨率510×340，邊緣部位像素值用0 補(bǔ)齊避免圖像變形，A、B、E 用相同方法縮放至170×170，最終融合為510×510 的圖片。

圖像融合后對(duì)X 線片數(shù)據(jù)進(jìn)行圖像增強(qiáng)，四川大學(xué)華西第二醫(yī)院X 線片圖像成像質(zhì)量較好，僅存在輕微對(duì)比度、亮度不完全一致及分布不均情況，僅將數(shù)量較少的訓(xùn)練集年齡段數(shù)據(jù)進(jìn)行拓展，拓展利用C++OpenCV[25]圖像處理庫(kù)改變?cè)紙D像的對(duì)比度和對(duì)比度進(jìn)行拓展。效果如圖3 所示。

圖3 數(shù)據(jù)拓展展示

RSNA 2017 數(shù)據(jù)集質(zhì)量較差，為了驗(yàn)證所設(shè)計(jì)網(wǎng)絡(luò)的魯棒性，僅采用對(duì)比度受限的自適應(yīng)直方圖均衡化（CLAHE）方法進(jìn)行數(shù)據(jù)增強(qiáng)。效果如圖4 所示（左列為原圖，右邊列為數(shù)據(jù)增強(qiáng)后的效果）。

圖4 RSNA數(shù)據(jù)增強(qiáng)展示

通過訓(xùn)練融合后圖片同樣利用AlexNet 網(wǎng)絡(luò)進(jìn)行訓(xùn)練并查看準(zhǔn)確率，具體結(jié)果如表4 所示。

表4 融合方案前后準(zhǔn)確率對(duì)比

對(duì)比發(fā)現(xiàn)融合后在其他因素完全相同的情況下±1歲誤差準(zhǔn)確率和MAE 均得到了提升，說明了融合方案的可行性。測(cè)試結(jié)果顯示AlexNet 性能無法滿足要求，根據(jù)與其他經(jīng)典分類神經(jīng)網(wǎng)絡(luò)骨齡評(píng)價(jià)結(jié)果對(duì)比（見表3），通過咨詢骨齡評(píng)價(jià)專業(yè)醫(yī)師描述骨齡評(píng)價(jià)特點(diǎn)分析，骨齡評(píng)價(jià)需要較大的感受野且無需深層次卷積層提取深度特征信息，結(jié)合根據(jù)深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征特點(diǎn)，設(shè)計(jì)可以完成高準(zhǔn)確率和高速骨齡識(shí)別的網(wǎng)絡(luò)。深度網(wǎng)絡(luò)采用Caffe[26]架構(gòu)，包括三個(gè)卷積層(con1-con3)和三個(gè)全連接層(fc1-fc3)，每個(gè)卷積層由ReLU 激活函數(shù)進(jìn)行激活，然后經(jīng)過pool 層。前兩個(gè)全連接層通過ReLU 函數(shù)激活后添加系數(shù)為0.5 的dropout 層防止過擬合的產(chǎn)生。具體細(xì)節(jié)如圖5所示。

圖5 網(wǎng)絡(luò)結(jié)構(gòu)圖

（1）經(jīng)過預(yù)處理得到的510×510 隨機(jī)裁剪為454×454 像素（防止數(shù)據(jù)集太小造成過擬合）融合圖像作為輸入層。

（2）conv1 卷積核為11×11，步長(zhǎng)為4，輸出為10 通道，激活函數(shù)為ReLU，池化層為最大池化，池化核大小為3×3，步長(zhǎng)為2。

（3）conv2 卷積核為5×5，步長(zhǎng)為2，輸出為256 通道，激活函數(shù)為ReLU，池化層為最大池化，池化核大小為3×3，步長(zhǎng)為2。

（4）conv3 卷積核為3×3，步長(zhǎng)為1，輸出為256 通道，激活函數(shù)為ReLU，池化層為最大池化，池化核大小為3×3，步長(zhǎng)為2。

（5）fc1 為全連接層，使用512 個(gè)神經(jīng)元對(duì)特征圖進(jìn)行全連接，激活函數(shù)為ReLU，然后利用dropout 隨機(jī)丟到一些節(jié)點(diǎn)信息。

（6）fc2 為全連接層，使用512 個(gè)神經(jīng)元對(duì)特征圖進(jìn)行全連接，激活函數(shù)為ReLU，然后利用dropout 隨機(jī)丟到一些節(jié)點(diǎn)信息。

（7）fc3 為全連接層，使用神經(jīng)元個(gè)數(shù)與分類數(shù)相同(女性為16、男性為18）。

網(wǎng)絡(luò)分類應(yīng)用Softmax 函數(shù)產(chǎn)生預(yù)測(cè)。網(wǎng)絡(luò)初始學(xué)習(xí)率設(shè)置為0.001 避免較大的初始學(xué)習(xí)率使訓(xùn)練過程梯度爆炸[27]訓(xùn)練失敗，每迭代10000 學(xué)些變?yōu)樵瓉淼氖种唬琤atch_size 設(shè)置為16。

2 結(jié)果

結(jié)果分別計(jì)算模型預(yù)測(cè)值和實(shí)際年齡值誤差為1歲的準(zhǔn)確率和平均絕對(duì)誤差（MAE）作為模型性能評(píng)價(jià)指標(biāo)。以下測(cè)試結(jié)果均基于反復(fù)訓(xùn)練后最佳效果。

四川大學(xué)華西第二醫(yī)院數(shù)據(jù)，男性在訓(xùn)練迭代19000 次取得最佳效果，女性在訓(xùn)練迭代14000 次后取得最佳效果，具體結(jié)果如表5 所示。從表7 可以看出研究提出的方案在綜合準(zhǔn)確率方面均優(yōu)于對(duì)比的兩種方案，同時(shí)測(cè)試用時(shí)也最小。訓(xùn)練測(cè)試主機(jī)配置如下：R5-2600 CPU 3.4GHz；內(nèi)存32G；NVIDIA 1660Ti 6G GPU。

表5 四川大學(xué)華西第二醫(yī)院數(shù)不同性別訓(xùn)練結(jié)果

RSNA 數(shù)據(jù)集測(cè)試結(jié)果顯示男性在訓(xùn)練迭代19800 次取得最佳效果，女性在訓(xùn)練迭代13000 次取得最佳效果，具體結(jié)果如表6 所示。

表6 RSNA 數(shù)據(jù)集不同性別訓(xùn)練結(jié)果

3 與其他方案對(duì)比

利用RSNA 女性數(shù)據(jù)與胡婷鴻等和占?jí)糗姷忍岢龅墓驱g評(píng)價(jià)方案進(jìn)行對(duì)比，結(jié)果如表7 所示。

表7 與其他方案對(duì)比

4 其他融合方案研究

從表4 可以看出研究提出的圖像融合方案對(duì)骨齡評(píng)價(jià)準(zhǔn)確率得到了有效提升，繼續(xù)探究其他部位的融合方案對(duì)準(zhǔn)確率的影響，選取上圖4 中關(guān)節(jié)A、B、E；關(guān)節(jié)B、D、F 兩種方案融合后的效果，利用RSNA 女性數(shù)據(jù)進(jìn)行訓(xùn)練測(cè)試，準(zhǔn)確率如表8 所示。

表8 三種融合方案對(duì)比

從表8 結(jié)果可以看出在網(wǎng)絡(luò)確定的情況下前文提出的融合區(qū)域A、B、F 處關(guān)節(jié)方案取得最佳效果。

5 結(jié)語(yǔ)

本研究利用四川漢族青少年X 線片進(jìn)行研究，提出一種將關(guān)鍵區(qū)域拼接融合至整個(gè)手掌部位的數(shù)據(jù)處理方法，同時(shí)設(shè)計(jì)深度學(xué)習(xí)網(wǎng)絡(luò)與胡婷鴻、占?jí)糗姷热朔椒ㄏ啾仍诠驱g評(píng)價(jià)速度和準(zhǔn)確率方面均具有很大優(yōu)勢(shì)，取得±1 歲準(zhǔn)確率男性、女性均超過94%，MAE 小于0.6 年（川大學(xué)華西第二醫(yī)院數(shù)據(jù)）。在RSNA 公開數(shù)據(jù)集同樣取得較好結(jié)果，表現(xiàn)出較強(qiáng)的魯棒性。

從四川大學(xué)華西第二醫(yī)院數(shù)據(jù)結(jié)果來看，女性準(zhǔn)確率較好，分析由于女性類別較少且女性訓(xùn)練數(shù)據(jù)較男性多有關(guān)，以后通過增加男性數(shù)據(jù)準(zhǔn)確率理應(yīng)得到提升。RSNA 數(shù)據(jù)僅僅運(yùn)用了對(duì)比度受限的自適應(yīng)直方圖均衡化（CLAHE）方法，處理之后圖片質(zhì)量仍然較差后期通過對(duì)RSNA 數(shù)據(jù)集進(jìn)行增強(qiáng)理應(yīng)取得更好的效果。