基于深度學(xué)習(xí)的蝶鞍自動(dòng)分割研究

馮琦 劉曙 顏颋 馮紅超

摘? 要： 研究蝶鞍的形態(tài)變化及生長(zhǎng)規(guī)律對(duì)于口腔醫(yī)生獲取額外診斷信息具有重要意義。本文開(kāi)發(fā)并評(píng)估了一個(gè)基于深度學(xué)習(xí)的蝶鞍自動(dòng)分割模型。實(shí)驗(yàn)將包含400張頭顱側(cè)位片的數(shù)據(jù)集隨機(jī)劃分成兩個(gè)子集，其中360張圖像作為訓(xùn)練集來(lái)訓(xùn)練蝶鞍的自動(dòng)分割網(wǎng)絡(luò)U-net，40張圖像作為測(cè)試集來(lái)測(cè)試模型的分割性能。Dice系數(shù)用于評(píng)估模型的分割性能，訓(xùn)練好的蝶鞍自動(dòng)分割網(wǎng)絡(luò)的Dice系數(shù)為0.9074。所提方法能夠快速準(zhǔn)確地在頭顱側(cè)位片上自動(dòng)分割出蝶鞍區(qū)域。

關(guān)鍵詞： 蝶鞍； 頭顱側(cè)位片； 深度學(xué)習(xí)； 圖像分割； U-net

中圖分類號(hào)：TP399? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? 文章編號(hào)：1006-8228（2023）06-134-05

Sella turcica automatic segmentation based on deep learning

Feng Qi1， Liu Shu2， Yan Ting2， Feng Hongchao1，2

（1. College of Medicine， Guizhou University， Guiyang， Guizhou 550025， China; 2. Guiyang Hospital of Stomatology）

Abstract： It is significance to study the morphological changes and growth rules of sella turcica for stomatologist to obtain additional diagnostic information. This paper aims to develop and evaluate a deep learning-based model for automatic segmentation of sella turcica. The experimental dataset containing 400 cephalometric radiographs is randomly divided into two subsets， in which 360 images are used as training dataset to train sella turcica automatic segmentation network， and 40 images are used as test dataset to test the segmentation performance of the model. Dice coefficient is used to evaluate the segmentation performance of the model， and the Dice coefficient of the trained sella turcica automatic segmentation network is 0.9074. The proposed method can quickly and accurately segment the sella turcica on cephalometric radiographs.

Key words： sella turcica; cephalometric radiographs; deep learning; image segmentation; U-net

0 引言

蝶鞍是垂體窩和鞍背的合稱，位于顱中窩正中部、蝶骨體上部，形似馬鞍狀。蝶鞍的前緣為鞍結(jié)節(jié)，后緣為鞍背，其骨組織包圍形成垂體窩，容納腦垂體。位于蝶鞍中心的蝶鞍點(diǎn)，是頭影測(cè)量學(xué)中常用的標(biāo)記點(diǎn)之一[1]。在胚胎發(fā)育過(guò)程中，神經(jīng)嵴細(xì)胞由蝶鞍區(qū)向鼻部、額部和上頜等區(qū)域遷移，共同參與了蝶鞍、垂體前葉和牙齒的形成和發(fā)育[2]。蝶鞍在幫助臨床醫(yī)生預(yù)測(cè)患者的生長(zhǎng)發(fā)育、評(píng)估顱面形態(tài)特征以及發(fā)現(xiàn)垂體異常或病理改變上有重要提示作用，研究蝶鞍的形態(tài)變化及生長(zhǎng)規(guī)律具有重要意義[3]。

目前對(duì)蝶鞍形態(tài)的分析主要依賴于人工，而人工測(cè)量分析耗時(shí)費(fèi)力且受主觀因素影響較大。隨著計(jì)算機(jī)視覺(jué)的快速發(fā)展，深度學(xué)習(xí)被廣泛應(yīng)用于醫(yī)學(xué)圖像處理領(lǐng)域。Shakya等人于2022年提出一個(gè)使用卷積神經(jīng)網(wǎng)絡(luò)在頭顱側(cè)位片上自動(dòng)分割蝶鞍的新方法[4]。Ahn Y等人于2020 年開(kāi)發(fā)并驗(yàn)證了一種肝脾自動(dòng)分割與體積測(cè)量的深度學(xué)習(xí)算法[5]。Park等人于2020年提出基于U-net實(shí)現(xiàn)血管壁的自動(dòng)分割[6]。這些研究基于深度學(xué)習(xí)算法實(shí)現(xiàn)了目標(biāo)區(qū)域的自動(dòng)分割，并在此基礎(chǔ)上完成了對(duì)目標(biāo)區(qū)域的形態(tài)分析。本文開(kāi)發(fā)并評(píng)估一個(gè)能夠在頭顱側(cè)位片上自動(dòng)分割出蝶鞍的深度學(xué)習(xí)模型，為進(jìn)一步實(shí)現(xiàn)蝶鞍形態(tài)的自動(dòng)測(cè)量提供可能，幫助口腔醫(yī)生評(píng)估蝶鞍區(qū)域的形態(tài)變化。

1 材料與方法

1.1 數(shù)據(jù)集的構(gòu)建和標(biāo)注

1.1.1 數(shù)據(jù)集的構(gòu)建

本研究使用的圖像為2015 ISBI挑戰(zhàn)賽公共數(shù)據(jù)集中的回顧性影像數(shù)據(jù)。該數(shù)據(jù)集中共包含400張X射線頭顱側(cè)位片，圖像的分辨率為1935*2400，圖像的原始格式為bmp，實(shí)驗(yàn)中將其轉(zhuǎn)換為jpg格式的圖像。這400張圖像被隨機(jī)劃分成兩部分：360張圖像作為訓(xùn)練集來(lái)訓(xùn)練自動(dòng)分割網(wǎng)絡(luò)，實(shí)現(xiàn)蝶鞍的自動(dòng)分割，40張圖像作為測(cè)試集。蝶鞍在X線頭顱側(cè)位片上，呈現(xiàn)為致密白線所分界的圓弧形的窩狀結(jié)構(gòu)，可以容易地在圖像上觀察到[7]，如圖1所示。

1.1.2 數(shù)據(jù)的標(biāo)注

由主要研究人員使用標(biāo)注工具Labelme（version 5.0.1）對(duì)蝶鞍進(jìn)行手動(dòng)分割，生成相應(yīng)的分割掩膜。蝶鞍在頭顱側(cè)位片中顯示為一條致密白線所分界的圓弧形窩狀結(jié)構(gòu)，沿著這條白線分割出蝶鞍區(qū)域。具體的標(biāo)注規(guī)則為：以鞍結(jié)節(jié)頂點(diǎn)（TS）為起點(diǎn)，鞍背頂點(diǎn)（DS）為終點(diǎn)，沿著骨白線勾畫蝶鞍輪廓，然后連接DS點(diǎn)和TS點(diǎn)，所形成的閉合區(qū)域即為蝶鞍分割的ground-truth。如圖2所示，標(biāo)注完成之后每張圖像會(huì)生成一張對(duì)應(yīng)的掩膜圖像。所有圖像的標(biāo)注由同一名觀察人員來(lái)完成，并請(qǐng)一名經(jīng)驗(yàn)豐富的正畸科醫(yī)生對(duì)標(biāo)注結(jié)果進(jìn)行復(fù)核，對(duì)存在爭(zhēng)議的圖像進(jìn)行討論并重新標(biāo)注，確保ground-truth的可靠性。

1.2 蝶鞍自動(dòng)分割模型的建立

1.2.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)環(huán)境配置如表1所示。

1.2.2 數(shù)據(jù)預(yù)處理

在訓(xùn)練蝶鞍的自動(dòng)分割網(wǎng)絡(luò)之前，先要對(duì)所有的圖像做預(yù)處理，主要包括三個(gè)預(yù)處理操作。①ROI提取，目的是剔除圖像中的無(wú)關(guān)背景。由于原始圖像分辨率為1935*2400，而待分割目標(biāo)蝶鞍在原始圖像中只占一小塊區(qū)域，若將原始圖像整個(gè)輸入到分割網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，會(huì)極大的浪費(fèi)計(jì)算機(jī)的顯存資源，且不利于蝶鞍的特征提取。目前醫(yī)學(xué)圖像ROI粗提取方法主要有基于先驗(yàn)知識(shí)[8]、模板匹配和基于目標(biāo)檢測(cè)的邊框回歸等。在Song等人的研究中運(yùn)用模板匹配的方法完成ROI的自動(dòng)提取，將一副測(cè)試圖像與所有訓(xùn)練圖像配準(zhǔn)需要大約20分鐘[9]，比較耗時(shí)。而基于目標(biāo)檢測(cè)的邊框回歸需要增加大量的模型參數(shù)[10]。考慮到數(shù)據(jù)集中圖像的尺寸相同，同時(shí)，雖然不同人的蝶鞍形態(tài)不同，但蝶鞍在不同頭顱側(cè)位片上的位置變化范圍不大。因此，我們考慮基于先驗(yàn)知識(shí)，通過(guò)設(shè)定坐標(biāo)參數(shù)并調(diào)用OpenCV中的函數(shù)，完成ROI提取。坐標(biāo)參數(shù)為image[y1：y2，x1：x2]，其中，（x1，y1）為ROI的左上角坐標(biāo)，（x2，y2）為ROI的右下角坐標(biāo)。就本實(shí)驗(yàn)而言，我們隨機(jī)觀察10張圖像的蝶鞍位置，將坐標(biāo)參數(shù)設(shè)置為[800：1200，600：1000]。然后調(diào)用OpenCV中的相關(guān)函數(shù)，基于坐標(biāo)參數(shù)遍歷并剪裁數(shù)據(jù)集中的所有圖像，即可快速準(zhǔn)確的完成ROI的提取。②直方圖均衡化，目的是增強(qiáng)圖像的對(duì)比度。通過(guò)直方圖均衡化處理，可以使蝶鞍的形態(tài)結(jié)構(gòu)在圖像中更加清晰。③中值濾波，目的是去除圖像中孤立的噪聲點(diǎn)。中值濾波既能去除一些孤立的噪聲點(diǎn)，又能保持圖像的細(xì)節(jié)。經(jīng)過(guò)預(yù)處理操作后，所有圖像變?yōu)?00*400大小的單通道圖像。圖像的預(yù)處理過(guò)程如圖3所示。

1.2.3 訓(xùn)練U-net實(shí)現(xiàn)蝶鞍的自動(dòng)分割

U-net是一個(gè)基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分割網(wǎng)絡(luò)，常用于醫(yī)學(xué)圖像的分割[11]。U-net的網(wǎng)絡(luò)結(jié)構(gòu)主要由卷積層、最大池化層、反卷積層、跳躍連接以及非線性激活函數(shù)Relu組成。本研究將訓(xùn)練數(shù)據(jù)集中的360張預(yù)處理之后的圖像及其對(duì)應(yīng)的掩膜圖像輸入到U-net中進(jìn)行訓(xùn)練，訓(xùn)練好的自動(dòng)分割網(wǎng)絡(luò)模型能夠自動(dòng)分割出測(cè)試圖像中的蝶鞍。在本研究中，U-net網(wǎng)絡(luò)模型的超參數(shù)設(shè)置如表2所示。

Dice系數(shù)是一種集合相似度度量函數(shù)，常用于驗(yàn)證圖像分割模型的分割精度。本研究使用Dice系數(shù)來(lái)評(píng)估蝶鞍自動(dòng)分割網(wǎng)絡(luò)模型的分割性能，Dice系數(shù)的定義如下：

[Dice=2A∩BA+B]

其中，A表示ground-truth的集合，B表示利用模型預(yù)測(cè)的分割結(jié)果[12]。待模型訓(xùn)練完成之后，保存分割表現(xiàn)最好的模型作為最佳模型，運(yùn)用最佳模型自動(dòng)分割測(cè)試集中所有圖像的蝶鞍區(qū)域，分割結(jié)果保存為二值圖像。蝶鞍的自動(dòng)分割過(guò)程如圖4所示。

1.2.4 分割結(jié)果的后處理

部分自動(dòng)分割結(jié)果中可能存在一些小的噪聲斑點(diǎn)，因此需要做進(jìn)一步處理，去除自動(dòng)分割結(jié)果中的噪聲斑點(diǎn)。后處理操作首先使用OpenCV庫(kù)中的“findCountours”函數(shù)，來(lái)檢測(cè)二值分割結(jié)果中所有獨(dú)立對(duì)象的邊界，然后僅保留內(nèi)部具有最大數(shù)量像素的單個(gè)邊界，即可實(shí)現(xiàn)噪聲斑點(diǎn)的去除。完成后處理操作后，所有二值圖像中惟一的白色聯(lián)通區(qū)域即為對(duì)應(yīng)的蝶鞍分割結(jié)果。圖5所示為圖像執(zhí)行后處理操作的一個(gè)示例，其中5a為測(cè)試集中的一張待分割圖像，5b為基于自動(dòng)分割網(wǎng)絡(luò)的分割結(jié)果，圓圈中的白色斑點(diǎn)為自動(dòng)分割結(jié)果中的噪聲點(diǎn)，5c為執(zhí)行后處理操作后的分割結(jié)果。可以看出，后處理操作可以有效的去除分割結(jié)果中的噪聲點(diǎn)。

2 實(shí)驗(yàn)結(jié)果

在本研究中，使用訓(xùn)練數(shù)據(jù)集中的360張圖像對(duì)U-net進(jìn)行訓(xùn)練，直到loss收斂、Dice系數(shù)沒(méi)有更多改善時(shí)訓(xùn)練停止。U-net模型訓(xùn)練過(guò)程中的loss變化曲線和Dice系數(shù)變化曲線如圖6所示。從圖6中可以看出，經(jīng)過(guò)1-6個(gè)epoch，loss快速收斂，Dice系數(shù)已經(jīng)接近0.9。隨著epoch的增加，Dice系數(shù)略有改善。

經(jīng)過(guò)50個(gè)epoch的訓(xùn)練，分割網(wǎng)絡(luò)的Dice系數(shù)達(dá)到0.9074，使用表現(xiàn)最好的模型分割測(cè)試數(shù)據(jù)集中的圖像，可以在半秒內(nèi)完成蝶鞍的自動(dòng)分割。圖7展示了測(cè)試數(shù)據(jù)集中多個(gè)圖像的蝶鞍分割結(jié)果。

3 結(jié)束語(yǔ)

蝶鞍對(duì)臨床醫(yī)生預(yù)測(cè)患者顱面發(fā)育、評(píng)估顱面形態(tài)特征、發(fā)現(xiàn)腦垂體異常或病理改變具有重要的提示作用。我們初步提出并評(píng)估了一個(gè)基于深度學(xué)習(xí)實(shí)現(xiàn)蝶鞍的自動(dòng)分割新方法，能夠快速、準(zhǔn)確的在頭顱側(cè)位片上分割出蝶鞍區(qū)域，為蝶鞍形態(tài)的自動(dòng)分析測(cè)量提供了可能。目前關(guān)于蝶鞍自動(dòng)分割的研究較少，Shakya等人于2022年提出了一種使用卷積神經(jīng)網(wǎng)絡(luò)在頭顱側(cè)位片上自動(dòng)分割蝶鞍的新技術(shù)，他們的研究比較了VGG19、ResNet34、InceptionV3和ResNext50實(shí)現(xiàn)蝶鞍自動(dòng)分割的分割性能，得到的Dice系數(shù)分別為0.7794，0.7487，0.4714，0.4363[4]，與該研究相比，我們達(dá)到的Dice系數(shù)為0.9074，自動(dòng)分割精度有明顯提升。對(duì)比兩項(xiàng)研究，我們的方法主要在圖像的預(yù)處理上做了一些改進(jìn)，通過(guò)ROI提取、直方圖均衡化和中值濾波提高圖像質(zhì)量，使分割網(wǎng)絡(luò)能夠更容易完成對(duì)圖像的特征提取。此外，我們的研究增加了后處理操作去除分割結(jié)果中的斑點(diǎn)噪聲，進(jìn)一步提高了自動(dòng)分割結(jié)果的準(zhǔn)確率。

雖然我們的方法有效地實(shí)現(xiàn)了蝶鞍的自動(dòng)分割，但是研究中仍有幾點(diǎn)有待完善。第一，實(shí)驗(yàn)使用的圖像數(shù)量較少。對(duì)于深度學(xué)習(xí)算法，訓(xùn)練樣本量的增加理論上可以提高模型的分割性能。第二，使用的分割模型較為單一。如果能夠?qū)λ惴ㄟM(jìn)行一些改進(jìn)，如在模型架構(gòu)中加入注意力機(jī)制或殘差結(jié)構(gòu)等，可能會(huì)獲得更好的分割性能。第三，因?yàn)榈靶螒B(tài)的研究大多是在二維圖像上進(jìn)行的，所以本研究以二維圖像為研究對(duì)象。但隨著CBCT技術(shù)的臨床應(yīng)用，一些研究者開(kāi)始關(guān)注三維圖像上的蝶鞍形態(tài)[13]。因此，后續(xù)工作中我們可以嘗試實(shí)現(xiàn)三維圖像上的蝶鞍分割。我們主要有兩點(diǎn)設(shè)想。①通過(guò)增加樣本量、改進(jìn)算法進(jìn)一步優(yōu)化蝶鞍的自動(dòng)分割性能。②在蝶鞍的自動(dòng)分割結(jié)果上，利用蝶鞍輪廓上的特征點(diǎn)和OpenCV中的相關(guān)技術(shù)，進(jìn)一步實(shí)現(xiàn)蝶鞍形態(tài)的自動(dòng)測(cè)量，為蝶鞍的形態(tài)研究提供一套完整的自動(dòng)測(cè)量分析工具。

參考文獻(xiàn)（References）：

[1] MUHAMMED F K， ABDULLAH A O， LIU Y. A

morphometric study of the sella turcica： race， age， and gender effect [J]. Folia Morphol （Warsz）， 2020，79（2）：318-26

[2] KJAER I. Sella turcica morphology and the pituitary gland-

a new contribution to craniofacial diagnostics based on histology and neuroradiology [J]. Eur J Orthod，2015，37（1）：28-36

[3] ANDREDAKI M， KOUMANTANOU A， DOROTHEOU D，

et al. A cephalometric morphometric study of the sella turcica[J]. Eur J Orthod，2007，29（5）：449-56

[4] SHAKYA K S， LADDI A， JAISWAL M. Automated

methods for sella turcica segmentation on cephalometric radiographic data using deep learning （CNN） techniques [J]. Oral Radiol，2022

[5] AHN Y， YOON J S， LEE S S， et al. Deep Learning

Algorithm for Automated Segmentation and Volume Measurement of the Liver and Spleen Using Portal Venous Phase Computed Tomography Images [J]. Korean J Radiol，2020，21（8）：987-97

[6] PARK J H， LEE S J. Ultrasound Deep Learning for Wall

Segmentation and Near-Wall Blood Flow Measurement[J]. IEEE Trans Ultrason Ferroelectr Freq Control，2020，67（10）：2022-32

[7] 鄭博文，邊慧慧，劉奕，等.蝶鞍的類型和鞍橋的發(fā)生率[J].

口腔醫(yī)學(xué)，2016，36（8）：756-60

[8] 方宏文.基于多先驗(yàn)知識(shí)的乳腺病灶顯著性檢測(cè)算法研究[D].

碩士，廣東工業(yè)大學(xué)，2021

[9] SONG Y， QIAO X， IWAMOTO Y， et al. Automatic

Cephalometric Landmark Detection on X-ray Images Using a Deep-Learning Method[J]. Applied Sciences，2020，10（7）

[10] WANG G， LI W， OURSELIN S， et al. Automatic Brain

Tumor Segmentation Using Cascaded Anisotropic Convolutional Neural Networks[M].Brainlesion： Glioma， Multiple Sclerosis，Stroke and Traumatic Brain Injuries，2018：178-90

[11] YIN X X， SUN L， FU Y， et al. U-Net-Based Medical

Image Segmentation[J]. J Healthc Eng，2022：4189781

[12] SHAMIR R R， DUCHIN Y， KIM J， et al. Continuous Dice

Coefficient： a Method for Evaluating Probabilistic Segmentations[J]. bioRxiv，2018：306977

[13] AKAY G， EREN I， KARADAG O， et al. Three-

dimensional assessment of the sella turcica： comparison between cleft lip and palate patients and skeletal malocclusion classes[J]. Surg Radiol Anat，2020，42（9）：977-83