耳道全自動三維重建技術研究

梁毅途 徐 立， 徐 剛

（1.天鍵醫(yī)療科技（廣東）有限公司，廣東 中山 528400；2.中山市武漢大學技術轉移中心，廣東 中山 528400）

目前，我國工業(yè)體系已逐漸完善，類別齊全，系統(tǒng)完備。與此同時，隨著計算機技術快速進步，三維數(shù)字化技術也快速發(fā)展，但是在工業(yè)制造、醫(yī)療和文物保護等領域中，該技術還存在很多問題，例如在工業(yè)生產(chǎn)制造過程中，零部件品種繁多，結構復雜，這些復雜、不規(guī)則形體的三維重建需要耗費巨大的時間和人力，但是效率很低，因此有必要研究制定一套快速、全自動化三維建模方案。在這些場景中，復雜、不規(guī)則形體三維重建的關鍵技術是精細、完整地獲取三維準結構數(shù)據(jù)。本文以人耳為例探討了復雜結構的三維建模問題。人耳形態(tài)各異且耳道無法直接觀察，因此，對耳朵這種不規(guī)則形體的建模來說，精準構建耳朵三維模型具有重要的理論意義和實際價值。

1 方案總體設計

1.1 總體方案

針對人耳的三維模型重建問題，本文提出軟硬件結合的不規(guī)則形體全自動三維掃描重建方案。本文設計了一套硬件系統(tǒng)，包括空間位置傳感器、計算機、機械臂、掃描儀、控制器、顯示器、電源和底座，通過獲取人耳三維點云數(shù)據(jù)，進行快速、全自動的耳道建模。在軟件部分，通過獲取各掃描路徑的點云數(shù)據(jù)，進行一系列配準處理，例如噪聲濾波、點云簡化和點云三維重構等，重構耳朵的數(shù)據(jù)模型。在此基礎上，通過耳道數(shù)據(jù)庫和特征庫，對采集的耳道數(shù)據(jù)進行匹配算法，找到最佳的耳道模型，完成耳廓三維重建。

1.2 硬件系統(tǒng)構成以及選型

本研究基于硬件系統(tǒng)三維掃描人耳，獲得數(shù)據(jù)，快速、全自動采集三維點云數(shù)據(jù)。掃描儀獲取的線輪廓二維數(shù)據(jù)經(jīng)過六自由度機械臂處理后拓展成空間的三維數(shù)據(jù)。硬件系統(tǒng)由空間位置傳感器、計算機、機械臂、掃描儀、控制器、顯示器、電源和基座組成。“掃描儀+機械臂+空間位置傳感器”構成數(shù)據(jù)采集的核心；“計算機”控制機械臂運動，采集并處理掃描儀的數(shù)據(jù)；“基座+固定裝置”保證當處于不同機械臂姿態(tài)時，硬件系統(tǒng)掃描的平穩(wěn)性和可靠性。硬件系統(tǒng)各部分如圖1所示。

圖1 硬件系統(tǒng)各部分示意圖

1.2.1 六自由度機械臂

本研究使用的機械臂是國產(chǎn)六自由度機械臂安諾5（AR5）。機械臂由機器人本體、控制箱和示教器3個部分組成，如圖2所示。調(diào)整控制機械臂姿態(tài)，一方面利用控制箱的網(wǎng)線與計算機建立連接，計算機發(fā)送控制指令給控制箱，控制箱執(zhí)行指令來控制機械臂；另一方面可以使用示教盒編程直接控制機器人本體。

圖2 六自由度機械臂

本研究選取的線激光輪廓掃描儀是深視智能線激光掃描儀SR6260。掃描儀傳感頭由激光發(fā)射LED單元、傳感頭激光發(fā)射窗口、傳感頭感光窗口和高柔性連接線等組成，并搭配控制器SR7001和供電直流電源采集被測物體輪廓信息。

1.2.2 空間位置傳感器

當多姿態(tài)掃描人耳時，要求人耳空間位置不變，此時得到的掃描數(shù)據(jù)是真實有效的。因此，當掃描時，為保證人耳空間位置相對不變，須在硬件平臺中采用1套固定裝置。為判別人耳固定狀態(tài)下掃描效果的優(yōu)劣，采用空間位置傳感器來記錄人頭的晃動量，判斷單次人耳掃描姿態(tài)，剔除不穩(wěn)定掃描結果，并修正穩(wěn)定掃描結果。

1.2.3 其他硬件模塊

為實現(xiàn)空間位置傳感器、機械臂和掃描儀與計算機、供電設備和控制設備之間的相對固定配合，采用艾頓（iOptron）重型立柱三腳架作為基座，用于支撐和固定各硬件模塊。在掃描過程中，當掃描真人人耳時，為了減少人體晃動造成人耳偏移的情況，降低因晃動帶來的誤差，使用側立板、小平板和左右支撐板等零部件固定人體頭部，這些零部件可縮進頭盔，組成1套人體頭部固定裝置。

2 系統(tǒng)軟件設計

本文的軟件系統(tǒng)主要包括點云數(shù)據(jù)采集模組、空間位置傳感器定位模組和點云數(shù)據(jù)處理模組3個模組。采集模組通過硬件平臺和線激光輪廓掃描儀獲取二維激光輪廓信息，結合機械臂參數(shù)計算得到三維耳廓數(shù)據(jù)。定位模組利用空間位置傳感器實時追蹤頭部固定模塊的靶標，通過數(shù)字圖像處理進行靶標跟蹤。處理模組則通過點云配準、點云提取、點云去噪、點云精簡、第二道建模和三維建模來處理不同姿態(tài)下的三維點云數(shù)據(jù)[1]，系統(tǒng)軟件流程如圖3所示。

圖3 系統(tǒng)軟件流程

在掃描前需要設定掃描參數(shù)，可以選擇左耳掃描、右耳掃描和雙耳掃描3種掃描姿態(tài)，搭載空間位置傳感器，實時記錄在掃描過程中的晃動量，同時顯示相機的幀率、分辨率等信息。處理模組解算二維線輪部掃描儀的三維數(shù)據(jù)并得到耳朵數(shù)據(jù)處理軟件所需的二進制文件。在解算完成后，根據(jù)空間位置傳感器記錄的晃動信息得到各掃描姿態(tài)的掃描穩(wěn)定性，如果某姿態(tài)的掃描穩(wěn)定性很差（穩(wěn)定性很好：σ＜0.05 mm；穩(wěn)定性很差：σ＞0.10 mm），則該次掃描數(shù)據(jù)不可信，須重新掃描。

為了高效、全自動獲取三維耳廓信息，需要設定掃描儀的姿態(tài)和運行速度，并采用多方向、多角度的掃描策略以完成三維數(shù)據(jù)覆蓋。設掃描速度為15 mm/s，決定相鄰輪廓線間距，并與二維激光線輪廓掃描儀的X軸分辨率相適應。當實際運行時，要保證掃描儀平穩(wěn)且盡量縮短運動時間。選擇盡可能少但是覆蓋范圍廣的掃描方向，為獲取雙耳模型，左、右耳分別設計7個掃描方向。以單耳（左耳）掃描姿態(tài)為例，具體掃描方向說明見表1。

表1 掃描方向說明

在得到粗篩的耳朵模型后，下一步需要從中選擇1個三維耳朵模型作為掃描的人耳耳道數(shù)據(jù)的補充，這里用的是迭代最近點算法——ICP配準的精確配準方法。

采用本方案掃描得到的耳朵點云集設為P={p1，p2，...pm}，由初篩得到的耳朵模型點云集設為Q={q1，q2，...qm}，其中m、n為點云集中點的數(shù)量。精配準須尋找1組R、T，使P中的每個點經(jīng)過變換后與Q中的最近點的誤差之和最小，即最小化該目標函數(shù)，如公式（1）所示。

式中：f（R，T）為點云集合經(jīng)過旋轉和平移之后的最小平方和；N為點云集合中點的數(shù)量；qi為數(shù)據(jù)點的旋轉角；T為平移向量；R為最優(yōu)旋轉角；Rpi為原始點云的質(zhì)心旋轉角。

設最大迭代次數(shù)為kmax，單次迭代的均方誤差閾值為ξ，2次迭代的均方誤差之間的差值上限為ε。此時相似度最高，與耳朵建模效果最佳。

3 耳朵三維建模

在不同方向上得到耳道數(shù)據(jù)后，融合數(shù)據(jù)，就可以得到包括耳道信息的三維數(shù)據(jù)，進行數(shù)據(jù)建模。本文采用目前點云重建效果比較好的泊松曲面重建算法，流程如圖4所示。

圖4 泊松曲面重建算法流程

點云數(shù)據(jù)通過泊松曲面算法進行曲面重構，設內(nèi)部指示函數(shù)的梯度為1，設外部指示函數(shù)的梯度為0，從而替代輸入的源點云數(shù)據(jù)，完成曲面模型構建[1]。

3.1 八叉樹分割點云

重建泊松曲面的第一步是對融合后的點云構建空間三維關系。節(jié)點函數(shù)F0為記錄點云數(shù)據(jù)的八叉樹的每個節(jié)點，如公式（2）所示。

式中：b為八叉樹節(jié)點的中心；q為目標點云；w為節(jié)點寬度；F為基函數(shù)。F0滿足以下2個條件。1）對F0線性求和可以準確表達向量場V。2）F0代表的泊松方程應當有解。

3.2 計算向量場

描述F0與向量場V的對應關系，設D為八叉樹深度，如公式（3）所示。

式中：F（q）為八叉樹分割點云節(jié)點函數(shù)。

3.3 解算泊松方程

將曲面重建轉化為求解高維泊松方程，如公式（4）所示。

式中：c為八叉樹節(jié)點中心；B（x）為點云在x方向的均方差（距離系數(shù)）函數(shù)；B（y）為點云在y方向的均方差（距離系數(shù)）函數(shù)；B（z）為點云在z方向的均方差（距離系數(shù)）函數(shù)；F（x，y，z）為三維節(jié)點函數(shù)。*n為n個一樣的函數(shù)連續(xù)卷積操作；B（s）為均方差（距離系數(shù)）函數(shù)，x、y、z分別為該軸方向矩陣上的點云數(shù)據(jù)，如公式（5）所示。

將當前臨近的8個節(jié)點以線性插值的方式分配，N（t）為當前節(jié)點p的8個臨近節(jié)點，根據(jù)指示函數(shù)中表面梯度函數(shù)向量場進行模型的表面估計，如公式（6）所示。

式中：（q）為表面梯度函數(shù)向量場模型的表面；λ為節(jié)點函數(shù)的權重；t為點云數(shù)據(jù)某點的K領域；FO（q）為點云的旋轉曲度；為該節(jié)點頂點的法向量。于是問題轉為求解最小函數(shù)x，如公式（7）所示。

式中：為向量場V的微分算子。

利用在函數(shù)所在空間的拉普拉斯算子投影與F0組成的向量|?|，向維向量v逼近，求解函數(shù)x，如公式（8）所示。

矩陣L的特點是兼具稀疏與對稱性，求解該矩陣可以利用多重網(wǎng)格法。

3.4 求取等值面

求取等值面是整個泊松重建的最后一步，目的是重建模型表面，為了獲取點云的待建曲面，先選定一個針對求取等值面的最優(yōu)閾值，完成三角面片拼接，重建表面模型[2]。

掃描前，可以選擇左耳掃描、右耳掃描和雙耳掃描3種掃描方式，掃描儀在運動過程中計算晃動量，實時顯示相機的分辨率信息。進入數(shù)據(jù)處理階段后，會融合計算各方向的數(shù)據(jù)，得到耳朵數(shù)據(jù)處理軟件需要的二進制文件。對耳朵數(shù)據(jù)進行提取、去噪和簡化等預處理，得到三維模型[2]，如圖5所示。

圖5 耳朵三維模型

4 模型匹配與建模

模型匹配分為粗匹配和精匹配。通過計算特征點構成的特征矩陣間的漢明距離，粗匹配得到一系列粗篩的耳朵模型，但是具體應當選擇哪一個作為最終掃描人耳的耳道數(shù)據(jù)補充是未定的。精匹配是在粗匹配劃定的粗篩模型中進行ICP配準，得到相似度最高的10個耳朵模型，用相似度最高的耳朵模型來擬合掃描點云的耳道數(shù)據(jù)，如圖6所示。

圖6 模型擬合

利用本研究硬件系統(tǒng)和耳朵數(shù)據(jù)獲取軟件得到外耳廓三維點云數(shù)據(jù)。通過建立耳朵數(shù)據(jù)庫以及耳模匹配，補充外耳廓點云數(shù)據(jù)，得到完整的右耳泊松重建改進參數(shù)，重建效果如圖7所示。

圖7 右耳泊松重建改進參數(shù)重建效果

5 結論

復雜形體能夠利用全自動耳道三維重建技術進行三維建模，該技術究價值很高，應用前景廣闊。本研究通過硬件系統(tǒng)和軟件系統(tǒng)的配合，得到了人耳的精確三維模型。研究結果表明，該技術在精確度和自動化程度上都表現(xiàn)出較高水平，實用價值高。未來研究可以利用優(yōu)化算法提高重建精度，擴大應用領域，為醫(yī)療、制造等領域提供更強大的技術支持。該技術在定制助聽器和診斷耳朵疾病等醫(yī)療領域的應用，以及結合現(xiàn)有三維打印技術，為患者提供個性化治療方案等方面也具有巨大的潛力。

本研究結合硬件系統(tǒng)和軟件系統(tǒng)，構建了全自動耳道三維重建技術。研究結果表明，該技術在精確度和自動化程度上都表現(xiàn)出較高水平。未來研究可以從以下4個方面進行優(yōu)化。1）算法優(yōu)化。進一步優(yōu)化現(xiàn)有算法，提高重建精度和速度，為人耳和其他復雜形體的三維建模提供更強大的技術支持。2）應用領域擴大。將該技術應用于更多領域，例如醫(yī)療、制造和藝術等，為相關行業(yè)提供高效的三維建模解決方案。3）個性化治療方案。結合現(xiàn)有三維打印技術，為患者提供個性化治療方案，例如定制助聽器和診斷耳朵疾病等。4）疾病診斷與預防。大量分析耳道三維模型的數(shù)據(jù)有助于發(fā)現(xiàn)耳道形狀與疾病之間的關聯(lián)，為疾病診斷和預防提供新思路。