基于Transformer的脊柱CT圖像分割

毛孝鑫，宋燁，郝泳濤

摘要：脊柱側彎是青少年群體常見的一種脊柱疾病，老年群體中因脊柱骨質疏松引起的脊柱骨折也尤為普遍。CT成像技術作為脊柱外科的主要檢查手段之一，廣泛用于臨床以及研究目的的篩查，診斷和圖像引導治療。研究以脊柱CT圖像為研究對象，將目前在NLP領域表現優異的Transformer模型與經典的U-Net圖像分割網絡相結合，運用到CT圖像的分割處理工作當中;同時在模型訓練過程中基于脊柱自身的結構特點，采用由粗到精的訓練方法，首先對脊柱的各個椎骨進行定位模型訓練，然后在定位結果的基礎上再訓練分割模型。最終模型的分割結果與真實值之間的Dice相似系數達到了94.37%以上，實驗結果表明了該方法的有效性以及臨床應用的可行性。

關鍵詞：CT圖像;U-Net;圖像分割;Transformer;自注意力

中圖分類號：TP399? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）20-0124-03

Spine CT Image Segmentation Based on Transformer

MAO Xiao-xin1， SONG Ye2， HAO Yong-tao1

（1.CAD Research Center of Tongji University， Shanghai 201804， China; 2.Xiaoyi Technology co.， LTD.， Shanghai 201203， China）

Abstract：Scoliosis is a common spinal disease in adolescents， and spinal fractures caused by osteoporosis of the spine are particularly common in the elderly. As one of the main detection methods of spinal surgery， CT imaging technology is widely used in clinical and research purposes for screening， diagnosis， and image-guided treatment. This research takes CT images of the spine as the research object and combines the Transformer model， which is currently excellent in the field of NLP， with the classic U-Net image segmentation network， and applies it to the segmentation of CT images. And based on the structural characteristics of the spine itself， the training method from coarse to fine is adopted in the model training process. First， a model is trained for performing vertebra localization， and then the segmentation model is trained based on the vertebra localization results. Finally， the Dice similarity coefficient between the segmentation result and the true value reached more than 94.37%. The experimental results show the effectiveness of the method and the feasibility of a clinical application.

Key words： CT image; U-net; image segmentation; transformer; self-attention

脊柱作為人體中最為重要的中軸骨骼，是肌肉骨骼系統的重要組成部分。然而脊柱疼痛在全世界有著很高的發病率，同時由于脊柱結構及其功能的復雜性，臨床上對于脊柱疼痛的診斷與評估仍然是一個挑戰[1]。脊柱疾病的種類以及病因有很多，比如由于外傷導致的脊柱骨折，脫位，因感染引起的脊柱炎，脊柱腫瘤，還有因先天因素引起的脊柱側彎以及因代謝和免疫因素導致的骨質疏松癥等。

為了獲得準確的病灶信息，醫生往往會在患者的CT圖像上做一些關鍵區域標注或者分割的工作，這些標注與分割的結果無論是在后續的三維建模還是術前規劃中都發揮著重要作用。隨著人工智能以及深度學習的發展，許多成果與技術也開始逐漸滲透到醫學圖像處理領域當中。2014年，Long等人提出了全卷積神經網絡FCN[2]，將以往卷積神經網絡中全連接層替換成卷積層，這一重大改進使得網絡可以從完整尺寸的圖像進行逐像素預測，而不是逐塊預測，并且還可以僅在一個前向傳播中對整個圖像進行預測，處理效率更加高效。FCN的提出在圖像分割領域具有里程碑意義，后來越來越多的網絡都是基于FCN進行改進的。Christ等人提出了一種使用級聯的全卷積神經網絡（CFCN）和密集3D條件隨機場（CRF）自動分割腹部CT圖像中的肝臟病變的方法[3]。Korez等人提出了3D FCN模型[4]，從MRI圖像中對脊柱進行分割，同時使用形變模型算法對結果進行了優化。

U-Net是目前最著名的醫學圖像分割模型之一，由Ronneberger等人提出[5]，模型建立在FCN的結構基礎上，通過跳躍連接的方式擴大了網絡解碼器的容量，使得圖像分割精度更高。2018年Oktay等人通過引入注意力機制，提出了Attention U-Net模型[6]，該模型隱式地學習抑制輸入圖像中不相關的區域，同時突出顯示對特定任務有用的顯著特征，實驗結果表明該模型在保證計算效率的同時，也提高了U-Net在不同數據集和訓練規模上的預測性能。