一種基于DensePoint的牙頜模型語義分割方法

馬 天,翟潔晨,楊逸舟,楊嘉怡,劉 佳

(1.西安科技大學 計算機科學與技術學院， 西安 710054；2.西安科技大學 理學院， 西安 710054)

0 引言

隨著時代的發展和進步，人們對于牙齒正畸的需求越來越大，牙齒正畸系統不僅被用于牙科疾病的治療，更多的情況是為了美觀進行牙齒整形。傳統的牙齒矯正技術過程復雜且耗時較長。隨著虛擬現實技術的普及，智能化的虛擬牙齒矯正系統應用越來越廣泛，該系統可針對患者的牙齒數據呈現出預期的矯正效果，并以此為目標制作出不同時期佩戴的正畸牙套。由于正畸過程的自動化和智能化，虛擬牙齒矯正系統已成為目前主要的椅旁工具。

近年來，計算機輔助設計被廣泛應用于口腔正畸領域，標準的牙齒正畸系統由三維建模、牙頜模型分割、碰撞檢測和軟組織變形四部分組成。其中，牙頜模型分割是計算機輔助牙齒正畸系統中一個關鍵環節。在進行牙齒正畸治療之前，正畸系統需要依據患者的牙頜模型，對患者的單顆牙齒進行提取，以此進行不同階段正畸方案的牙齒規劃。同時，正畸方案的準確性容易受到分割精度的限制，因此，牙頜模型分割是口腔正畸研究中的核心，對牙齒正畸治療具有重要意義。

為了實現正畸過程的智能化，虛擬正畸系統需要一種自動準確的牙頜模型分割方法。然而，傳統的分割方法手工干預程度高，交互操作復雜，遠遠達不到智能化的要求。近些年來，深度學習的快速發展使得牙頜模型分割方法的自動化和準確化成為可能。此外，相較于其他三維深度學習算法，面向點云的深度學習算法數據量小、復雜度低，且無需數據格式的重復轉換，已成為目前主流的三維深度學習算法。因此，點云深度學習算法有能力實現自動、準確且高效的牙頜模型分割，對虛擬牙齒矯正非常關鍵。

基于深度學習的點云模型分割方法主要分為三類，分別是基于體素的方法、基于多視圖的方法和基于原始點云的方法。基于體素的方法[1]是指將三維點云體素化之后，將規則的體素作為神經網絡框架的輸入，對三維模型的體素表達進行特征提取，進而實現點云的分割。然而，高分辨率的體素網格會占用大量內存空間，此類方法不適用于大規模場景。基于多視圖的方法[2]是指將三維模型的點云表達通過投影轉換為多個視點下的二維圖像，然后對這些轉換后的二維圖像使用神經網絡進行特征提取，以實現點云分割。這類方法受投影操作和視點數量限制，容易丟失部分關鍵的三維空間幾何信息。基于原始點云的方法是指直接將原始點云作為輸入，保留三維點云的各種特性，直接面向無結構不規則的點云數據，使用深度學習的網絡架構實現點云分割。例如PointNet系列的深度學習算法，自從Charles等[3]提出PointNet網絡模型，加快了基于原始點云的深度學習算法的發展速度，PointNet是首個直接對無結構的點云數據進行特征提取以分割點云模型的神經網絡。然而，由于PointNet僅提取了點云模型的單點特征和全局特征，沒有考慮相鄰點云間的屬性關系和局部信息，在處理點云時可能會丟失部分細節信息。據此，Charles等[4]對PointNet進行改進，提出PointNet++，通過球空間查詢算法提取點云的局部特征信息，并結合多尺度分組并聯多個層級的特征，以充分挖掘稀疏點云的局部結構，具有較好的點云分割效果。此外，Li等[5]提出一種點云卷積網絡PointCNN，使用X-Conv算子實現各點間相關特征的重新加權和排列，然后將變換后的特征作為卷積神經網絡的輸入進行處理，提高了卷積神經網絡在無結構數據上的學習能力。Liu等[6]提出一種學習密集上下文表示的點云深度學習架構DensePoint，該網絡將所有連續層的輸出作為預測層的輸入，網絡中每一層均能捕獲一定程度的上下文，能夠有機地提取多級形狀語義信息，該網絡在分割及分類上具有較好的魯棒性。

針對三維牙頜模型上的分割任務，目前已經出現了很多不同種類的方法，然而，由于需要正畸的牙齒本身具有復雜和多樣的問題，使自動準確的牙頜模型分割方法研究面臨著一定的困難和挑戰。這些問題可分為兩點，第一，許多患者的牙齒畸形復雜，例如牙齒擁擠、缺失和錯位問題嚴重。因此，相鄰的牙齒通常不規則且難以分割。第二，牙齒和牙齦間邊界的形狀變化不明顯，這為基于幾何特征的分割方法帶來了困難。針對這些問題和困難，可將牙頜模型分割方法分為傳統的基于手工幾何特征的方法和基于深度學習的方法。

傳統的牙頜模型分割方法通過基于手工標注的幾何特征來分割牙頜模型，這些方法可以分為基于面曲率、曲面等高線和諧波場3種類型，它們手工干預程度高，且無法魯棒地表示復雜的牙齒形狀外觀。具體地，基于面曲率的方法[7]對牙齒表面和外觀的變化非常敏感；基于表面等高線的方法[8]需要用戶多次平移旋轉三維模型，并慎重選擇特定地標，整個過程手工干預程度高，且非常耗時；基于諧波場的方法[9]對流形的輸入模型不具有魯棒性。

近年來，隨著深度學習和人工智能的不斷發展，研究人員開始更加關注一些基于深度學習的牙齒分割方法，一些研究人員使用二維圖像、網格和點云上的神經網絡，以實現牙頜模型上的單顆牙齒提取。具體地， Xu等[10]使用二維卷積神經網絡對每個網格面預定義的手工特征圖像進行分類，并使用模糊聚類算法優化分割邊界。該方法提高了復雜牙頜模型的分割精度，然而，將三維牙頜模型轉換為二維特征圖像的過程中會丟失許多細節信息。田素坤等[11]提出一種基于多級層次三維卷積神經網絡的牙頜模型自動分割和識別方法，該方法結合了三維卷積神經網絡和稀疏體素八叉樹以完成牙頜模型分割任務。此外， Lian等[12]和Sun等[13]結合一系列圖形約束學習模塊，分層次提取多尺度上下文特征，進而自動地在原始牙齒表面上作標記。這些基于卷積神經網絡的方法和基于網格的圖神經網絡的方法盡管具有良好的性能，但是它們提出的假設條件非常嚴苛，要求牙頜模型由一整套完整的自然牙齒構成，該假設條件很難滿足。據此， Zanjani等[14]提出Mask-MCNet網絡框架，該框架將牙齒模型變換為點云數據，使用基于空間錨點的區域提案網絡進行牙頜模型檢測和分割。然而，由于產生提案的模塊會進行分辨率推導，這將占用大量內存空間，因此該方法具有效率低且存在分割偽影的問題。Cui等[15]提出TSegNet網絡，用以高效準確地進行三維牙頜模型分割。該方法的核心是一個兩階段的神經網絡，通過牙齒質心投票方法檢測出所有的牙齒，然后使用置信度感知的級聯分割模塊從三維牙頜模型上分割出每個單獨的牙齒。張雅玲等[16]提出一種基于圖卷積網絡的牙頜模型分割網絡，使用實例分割網絡得到單顆牙齒的相對位置，并結合相對位置信息通過細粒度分割網絡實現精準牙頜模型分割，該網絡在標準牙頜模型和有缺失的牙頜模型上具有較好的分割結果，但無法精確分割存在牙體重疊的牙齒模型。

總之，這些方法的預處理步驟復雜，在畸形牙頜模型上存在不同程度的誤分割，且很少直接使用到點云分割領域的深度學習算法。因此，本文基于在點云分割的深度學習算法中表現出優異性能的DensePoint來構建牙頜模型語義分割網絡。首先對牙齒點云數據進行采樣和標注處理，并通過數據增強技術實現數據集擴增，以提高神經網絡的泛化能力。然后提出一種端對端的牙頜模型語義分割方法，結合U-Net[17]對基于DensePoint的點云語義分割網絡進行設計。同時分析網絡下采樣過程中的局部空間參數優化原則，據此設計參數優化算法，以實現網絡局部空間參數的適應性優化。

1 數據預處理

原始數據集包含350口牙頜的點云模型，每口模型由大約30萬個三維空間點組成。由于硬件條件的限制，直接使用全部數據作為神經網絡的輸入會導致內存溢出，并且龐大的數據量將減慢網絡的訓練速度。因此，需要在合理范圍內降采樣處理點云模型，使得數據量減少的同時又能保留模型的基本特征。為了確保降采樣后的點云模型空間分布盡可能地均勻，使用最遠點采樣算法對點云牙頜模型進行采樣處理，采樣后的每口牙頜模型減少為1萬個三維空間點。 通過CloudCompare軟件對所有牙頜模型進行標注，對牙頜模型的每個牙體以及牙齦區域的三維空間點賦予標簽進行區分，將完成標注的點云模型存儲為.txt文件格式。標注處理的標簽從0～8分別為牙齦、右中切牙、側切牙、尖牙、第一前磨牙、第二前磨牙、第一磨牙、第二磨牙、左中切牙。

為了提高泛化能力，使用數據增強技術對牙齒數據進行擴增，采用以下3種技術的隨機組合對所有牙齒數據進行增廣：

1) 隨機平移，對模型隨機進行X、Y、Z方向的小范圍平移，平移范圍設置為-10～10；

2) 隨機旋轉，對模型隨機進行X、Y、Z方向的角度旋轉，旋轉角度設置為-180～180；

3) 隨機縮放，對模型隨機進行X、Y、Z方向的小比例縮放，縮放比例設置為0.80～1.20。

每口牙頜模型隨機擴增為5例，350口牙頜模型最終擴增到1 750口牙頜模型，對數據集按照5∶1∶1的比例劃分為訓練集、驗證集和測試集，得到訓練集1 250例樣本，驗證集和測試集各250例樣本。

2 提出分割方法

2.1 分割網絡結構設計

基于DensePoint和U-Net來構建牙頜模型分割網絡，U-Net[17]是使用全卷積網絡進行語義分割的神經網絡，有編碼器和解碼器兩部分，編碼器由逐層的下采樣層組成，解碼器對應逐層的上采樣，是一種端到端的對稱分割網絡。該網絡在解碼器路徑對最深層特征進行逐層上采樣，同時跳層連接編碼器路徑對應的淺層特征，能夠融合點云的全局特征和局部細節信息，以得到更加精細的分割結果。

網絡結構設計如圖1所示，其中輸入數據10 000*3為牙齒點云模型的3維空間坐標，輸出數據10 000*k為分割后牙齒點云模型的標簽向量。

圖1 牙齒分割網絡結構

下面介紹網絡各部分的具體實現：

1) 基于局部信息獲取的編碼路徑：編碼器共有4個下采樣層，下采樣操作即為點云局部信息獲取過程[4]，如圖2所示，圖中N1為采樣前點云數量，N2為采樣后點云數量，d為坐標維度，C1和C2分別為對應點云的特征維度。整個過程包括中心點選取，局部點云劃分和局部特征提取3個部分，每次選取的中心點數即為采樣點數。為了使用DensePoint架構聚合多個層級上的語義信息，在下采樣層之后加入密集的連接模塊DensePoint學習對應層級特征的上下文表示，達到更加有效的形狀識別。DensePoint[6]提出將前面所有層的輸出都作為當前層的輸入，同時將當前層的輸出作為后續層的輸入，整個過程沒有下采樣處理，得到的是多個層次上的語義信息，DensePoint的處理表達式為：

圖2 點云局部信息獲取

Pl=Hl([P0,P1,…,Pl-1])

(1)

式中，Pl-1是第l-1層的輸出特征，Hl是第l層執行的特征變換，[]為特征聯合，此時Pl能夠學習到多級表示，便于聚合多層次的語義信息。

此外，為了提高網絡計算效率，減少內存消耗，僅在第二個下采樣層至第四個下采樣層之后加入DensePoint密集連接模塊。如圖3所示，圖中N為點云數量，C與m均代表特征維度。每個DensePoint包含三層，能夠聚合4個層級的上下文信息。

圖3 DensePoint密集連接模塊

2) 基于特征傳播的解碼路徑：解碼器包含4個上采樣層，通過特征傳播[4]完成逐層的上采樣，即使用基于K近鄰的反向權重插值實現上采樣過程的反向插值，如圖4所示，通過估計點附近一些點的特征值來計算該點的特征值，計算公式為：

圖4 上采樣過程

(2)

權重wi(x)的計算公式為：

(3)

上采樣過程中默認使用p=2，k=3，上采樣的同時使用跳層連接將對應的深層特征與編碼器路徑的淺層特征進行聯結，直至恢復輸入點云數據規模，其中前2個上采樣層聯結的是對應DensePoint的輸出特征。

3) 最后通過2個全連接層輸出網絡結果，并使用softmax函數預測輸出每個點的語義標簽。網絡的輸出結果為10 000個點對應的語義標簽向量。

2.2 局部空間參數優化

分割網絡對點云局部空間的劃分依賴于最遠點采樣算法和球空間查詢算法，劃分局部點云的基本思想是先由最遠點采樣算法選擇指定數量的點作為中心點，然后由球空間查詢算法搜索以中心點為球心，指定球半徑內的一定數量的點集，以此得到每個中心點對應的局部球空間內的點云數據。因此，需要根據牙齒數據集的基本情況確定符合算法要求的中心點數、球域半徑和球域內點云數量上限值，使得劃分的局部球域中能包含適當數量的點。既要防止球域內僅有一個中心點，網絡學習不到有效的局部特征，又要避免球空間中的局部點數過多，提取不到一些更加細節的信息。依據此原則設計的參數優化算法流程如圖5所示，其中npoint表示中心點數，radii表示球域半徑，nsamples表示球域內點云數量上限值。

如圖5所示，由于分割網絡包含4個下采樣層，輸入網絡的原始點云為10 000個點，4個下采樣層的采樣點數分別為5 000、1 250、312、78。使用最遠點采樣算法得到每一層對應的采樣點云信息，球空間查詢算法得到每個中心點對應的局部空間點云。將每一層的采樣點云及其對應的所有局部空間點云分別輸出保存到2個文本文檔中，使用MeshLab軟件讀取文本文檔進行點云可視化。若所有局部空間點的分布比采樣點的分布密集，且局部空間點的數量適中，可將對應的radii和nsamples作為對應下采樣層的局部參數。否則，增加球空間半徑和球域內點云數量上限值，直至得到合適的局部點云分布。

圖5 參數優化流程框圖

3 實驗分析

3.1 實驗環境

實驗環境配置為Ubuntu操作系統、Intel(R) Xeon(R) Platinum 8255C處理器、GeForce RTX 3090 T7圖像處理顯卡，整個實驗采用Python 語言實現并使用了PyTorch深度學習框架。

3.2 評價指標

為了評估分割方法的有效性，采用Dice相似系數、靈敏度和陽性預測值3種評估方式綜合驗證牙頜模型分割結果的準確性。

Dice相似系數是一種集合相似度度量指標，通常用于計算真實值和預測值的相似程度，計算方法為：

(4)

式中，A和B分別指預測結果和Ground Truth。

靈敏度表示在所有正例中被分對的比例，能夠衡量網絡模型對正例的識別能力，計算方法為：

(5)

式中，TP是指被分為正樣本，實際也是正樣本的情況；FN是指被分為負樣本，實際卻為正樣本的情況。

陽性預測值表示分為正例中被分對為正例的比例，是針對預測結果的評價指標，計算方法為：

(6)

式中，FP是指被分為正樣本，實際卻為負樣本的情況。

3.3 對比實驗

選取3個具有代表性的點云語義分割深度學習算法PointNet、PointNet++和PointCNN進行對比，計算測試集上的Dice相似系數、靈敏度和陽性預測值來評價網絡模型的準確性，對比結果如表1所示。同時，將分割好的點云標簽轉化為不同的顏色，使用MeshLab軟件進行點云結果可視化。可視化效果如圖6所示。

表1 分割結果準確率

圖6 可視化分割結果

通過表1在測試集上的分割結果準確率對比可得，本文的方法在3個評價指標上均明顯優于PointNet、PointNet++以及PointCNN，分割準確率90%左右。與PointNet相比，本文的分割準確率提升了大約5%，PointNet在分割時使用的全局池化操作使得處理結果丟失了許多細節信息，本文通過跳層連接融合局部細節信息，分割結果更加精細。與 PointNet++相比，本文的分割效果提升了大約2%，PointNet++在分割時使用的多尺度分組并聯的是一個層次上不同尺度的特征，本文使用DensePoint密集連接模塊聯結多個層級上的上下文信息，在形狀識別上更加有效。與PointCNN相比，本文的分割效果提升了約4%，PointCNN通過逐點卷積提取點云局部信息，本文不僅在下采樣時提取了點云局部特征，而且通過DensePoint模塊獲取了充分的上下文表示。實驗結果表明本文方法的分割準確率更高。

此外，考慮到分割網絡模型的性能問題，將各分割方法的參數量和計算量(FLOPs)進行對比。如表2所示，在相同的實驗環境下，本文方法的參數量和計算量分別為0.95 M和 3.19 GMac。對比可得，本文方法的參數量約是PointNet和PointNet++的1/3，PointCNN的1/10。同時，較PointNet和PointNet++分別降低了約3倍和2倍的計算量，較PointCNN降低了約6倍的計算量。這是因為本文網絡雖然包含多個DensePoint模塊，網絡具有更多的層級，然而，不僅DensePoint是小特征維度變換的模塊[6]，而且本文網絡結構的其他層均為小的特征維度變換，這降低了整個網絡的復雜度，因此，本文方法具有較好的性能，能夠在正畸過程中高效分割牙頜模型。

表2 分割方法參數量與計算量

通過圖6可以看出，與Ground Truth相比，PointNet在相鄰的牙齒邊界上分割結果不夠精細，尤其是在第二磨牙上的表現更為粗略，PointNet++在中切牙和側切牙上存在明顯的誤分割，PointCNN在側切牙和第二前磨牙上具有一些錯亂分割點,且隨著畸形程度的增加，這些問題的表現愈發嚴重。對比之下，本文方法的誤分割情況較少，分割結果較其他算法更加精細，且能夠較好分割畸形問題嚴重的牙齒，是4種方法中最接近Ground Truth的。

3.4 消融實驗

3.4.1DensePoint密集連接模塊的有效性

為了驗證分割網絡中DensePoint密集連接模塊的有效性，通過對網絡中是否加入DensePoint模塊進行消融實驗，以分析DensePoint模塊對網絡模型的影響，實驗結果如表3所示。

表3 分割網絡中有無DensePoint模塊的分割結果準確率 %

通過表3可以看出，加入DensePoint模塊后網絡模型的準確率得到顯著提升，與無DensePoint模塊的分割網絡相比，本文的分割網絡準確率提升了約7%，由此可以看出DensePoint模塊對分割結果影響較大。這表明無DensePoint模塊的網絡無法獲取到充分的上下文信息，難以得到精確的牙齒分割結果，同時說明了DensePoint模塊在分割網絡中具有重要的作用。

3.4.2局部參數優化算法的有效性

為了驗證局部參數優化算法對網絡分割結果的作用，通過對是否優化網絡局部參數進行消融實驗，以分析優化局部參數對網絡模型的影響，實驗結果如表4所示。

表4 分割網絡局部參數優化前后的分割結果準確率 %

通過表4可以看出，對局部參數進行優化后的分割網絡準確率更高。相較于未優化局部參數的分割網絡，本文方法的分割準確率提升了約2%。這表明優化后的局部參數更加適合本文的牙頜模型數據集，網絡提取到的局部點云空間是更加有效的。并驗證了局部參數優化算法是網絡準確率進一步提升的關鍵。

4 結論

1) 提出一種自動化的牙頜模型語義分割方法，通過基于DensePoint設計的牙頜模型語義分割網絡對點云牙頜模型進行分割，并對網絡的局部空間參數進行優化，以達到更加精細有效的牙頜模型分割。

2) 選擇點云分割領域中3個具有代表性的深度學習算法進行對比實驗，結果表明該方法的分割準確率更高，分割結果更加精細，且在相鄰的牙體邊界和畸形的牙頜數據上具有較好的魯棒性。

3) 主要研究口腔中標準數量牙體的分割，但在虛擬正畸過程中可能遇到牙體數量多于14顆的牙頜模型，后續還需研究多牙情況的牙頜模型分割問題。