基于光度立體法的中醫舌體三維表面重建

蔡軼珩 張琳琳 盛 楠 張新峰 王立娜

?

基于光度立體法的中醫舌體三維表面重建

蔡軼珩*張琳琳 盛 楠 張新峰 王立娜

(北京工業大學電控學院 北京 100124)

在中醫舌診客觀化研究進程中，以2維舌圖像為基礎進行分析所獲得的舌體特征信息有限，制約了舌診的客觀化發展。在將光度立體法用于靜態舌模型表面3維重建的可行性研究基礎之上，為了對真實舌體表面進行3維重建，該文設計一種舌體3維動態信息采集系統，用于舌像采集；然后采用光度立體法依次求出舌體表面的法向量、紋理反射率和深度信息，并基于DirectX進行3維顯示；最后針對舌體表面高光區域對重建結果的影響，采用高光剔除算法剔除高光。經高光剔除后的重建結果和原來相比，在重建精度和魯棒性等方面都有更好的表現。經實驗證實，該重建方法的平均相對誤差約為7.24%，重建結果可形象地表達舌體的表面形態和齒痕等細節信息，可輔助中醫進行診斷。

圖像處理；光度立體法；3維重建；高光；表面法向；舌診客觀化

1 引言

舌診是中醫望診的重要內容之一，在中醫理論體系及臨床診療實踐中占有舉足輕重的地位。傳統的中醫舌診主要是醫生通過肉眼觀察對患者的舌形、舌態、舌色及苔色、苔質進行分析判斷[1]，這種判斷往往依賴于醫生的個人經驗，缺乏客觀的數據評判，制約了舌診的繼承和發展。近幾十年來舌診的客觀化研究受到普遍重視，目前這些研究都集中在以2維舌圖像為基礎進行分析，所獲得的舌體形態和細節特征信息有限[2]，不能表達觀察真實舌體時所感知的3維信息。舌體的3維信息不僅可以形象地表達舌體的形態輪廓，也可以再現舌體表面齒痕、裂紋等細節特征。相對于2維舌圖像來說，一方面可以為醫生提供更加豐富全面的信息，另一方面也為醫生診斷提供客觀量化的依據。因此，獲取舌體的3維信息并重建出具有真實感的舌體表面對推動舌診的客觀化發展具有重要意義。

目前，物體3維表面重建方法分為兩大類[3]：一類是利用傳統的接觸式方法實現表面重建，如深度掃描儀、激光器等。該方法儀器造價高且不便攜帶，難以滿足實際應用的要求。另一類方法是非接觸式測量方法，研究熱點在于運動恢復法、立體視覺法[4]、光度立體法。其中，光度立體法在恢復物體3維表面形狀的精度和易實現性等方面都有較好的表現[5]。

光度立體法最早由美國的Woodham[6]提出，即利用不同光照方向下從同一視角拍攝的多幅圖像(至少3幅)求解物體的表面方向。光度立體法是在假設物體表面符合Lambertian散射模型的情況下展開的，也就是完全漫反射的情況[7]。在過去的研究中，文獻[8]設計了一套靜態信息采集系統，采用光度立體法對靜態舌模型表面進行3維重建，結果表明該方法可以較好地重建出舌模型的表面形態和細節信息，初步驗證了將光度立體法用于對舌體3維表面重建的可行性。由于光度立體法要求保持攝像機和被拍攝物體的位置固定不變，只改變光照方向來完成拍攝，然而真實舌體在伸出時無法保證其靜止不動。

為了實現對真實舌體表面的3維重建，本文首先設計了一種基于光度立體法的舌體3維動態信息采集系統來完成舌圖像的采集工作。然后采用光度立體法依次求解舌體表面的法向量，紋理反射率和深度信息實現3維重建。針對對真實舌體進行重建的過程中舌體表面出現的高光區域對重建結果的影響，采用一種高光剔除算法。實驗證明該方法可較好地重建出舌體的表面形態和細節信息，可輔助醫生進行診斷。

2 舌體3維動態信息采集系統設計

針對真實舌體的特點，我們首先設計了一種基于光度立體法的舌體3維動態信息采集系統。該系統的目的是達到光源的循環點亮和攝像機拍攝的同步性，以實現在不同光照條件下舌圖像的采集。

2.1 系統組成及實現

系統主要由高速攝像機、圖像采集卡、光源以及時序控制電路等組成，系統內部構造的原理圖及實物圖分別如圖1(a)和圖1(b)所示。

球形箱體置于升降臺上，箱體上有兩個開孔，左側為攝像孔，右側為舌體伸入孔。在兩個孔的外側均有一個遮光罩以阻擋外界光線的進入[9]。攝像機的鏡頭與舌體的中心處于同一高度，兩者的水平距離約為30 cm。

高速攝像機和圖像采集卡配合使用，通過攝像機配帶的軟件可對幀頻、曝光時間、觸發方式、圖像大小等進行設置。高速攝像機有內外兩種觸發方式，為了使光源的點亮和攝像機的同步拍攝易于控制，本文選擇外觸發的方式完成拍攝。觸發信號由時序控制電路提供。該攝像機幀頻可以達到500 fps。由于曝光時間和幀頻成反比關系，所以當幀頻過高時，曝光時間很短，會導致所拍攝的圖像亮度不能滿足要求。舌體伸出時的抖動頻率約為3~5次/s，根據奈奎斯特采樣定理，最終選擇幀頻為40 fps[10]，可以完整地捕捉到舌體的動態信息。

TTLA和TTLB(圖2)是由時序控制電路產生的兩組在相位上有延時的脈沖信號，TTLA的下降沿用于控制光源的循環點亮，隨后，TTLB的下降沿觸發攝像機快門，以確保每一個方向的光源點亮時，攝像機拍攝一幀圖像，達到同步拍攝的目的。

2.2 光源分布設計

選用正白光LED作為系統的光源。根據光度立體法的基本理論，要想恢復物體的3維形狀，至少需要在3個不同方向的光源照射下的圖像。研究表明，當光源個數增加時，獲得的物體表面信息更加充分，但在計算復雜度上會有所犧牲[11]。在文獻[8]中對靜態舌模型進行重建的靜態信息采集系統中，采用8個光源均勻分布在一個豎直圓環上以獲得圖像序列。本文采用此光源系統進行采集得到一組舌圖像序列，如圖3所示。

圖1 舌體3維動態信息采集系統

圖2 觸發信號時序關系

圖3 8光源下采集的舌圖像序列

圖3中出現不同程度的高光區域，這是由于真實舌體表面存在唾液，使局部區域發生鏡面反射的結果。由于光度立體法是通過分析圖像亮度與光照的變化關系來獲得物體表面方向[12]，圖像在亮度上的突變直接導致建模結果的不準確，通常解決的辦法有兩種：一種是使用復雜的表面反射模型(如Torrance-Sparrow模型)[13]，這種方法可以獲得更好的建模但計算量較大。由于實際拍攝的圖像中除了一小部分的高光區域外，其它區域都可以大致建模為Lambertian散射模型。所以本文采用一種高光剔除算法來完成建模。這種方法只要保證對物體表面上的任意一點，在多個不同光源方向下拍攝的圖像序列中至少可以找到3個非高光的亮度值[14]，即可繼續使用散射模型求解。

為了確定物體表面上的某一點有幾個非高光亮度值是可用的，將8幅圖像由RGB顏色空間轉換到YCbCr顏色空間，對亮度分量Y采用閾值的方法進行高光區域檢測。將各幅圖像中高光的位置在同一坐標系中顯示，即可直觀地觀察到高光的分布情況，如圖4。圖中大片的紫色區域代表物體上的點在8個光源照射下拍攝的圖像中高光互不重疊的區域，即在此區域只有一個亮度值為高光，其余7個亮度值都可用于計算。白色區域和藍色區域分別代表在此點處有2個和3個高光點重疊，即分別有6個和5個非高光亮度值可參與計算。如上文所述，至少3個可用的亮度值即可完成某一點的表面法向求解。因此，在確保重建精度的前提下，本文在原8光源分布的基礎上，選用最少數量的光源完成重建，以減少算法復雜度。

圖4 8光源下的舌圖像高光位置分布

如果4幅圖像中的高光區域互不重疊，那么對物體表面任意一點都可以找到3個非高光亮度值完成計算。選取4個光源均勻分布在舌體的周圍，調整光源的位置和朝向，以獲得在此光源照射下的4幅高光區域互不重疊的舌圖像序列，如圖5所示。

圖5 4光源下采集的舌圖像序列

將每幅圖像中的高光從左至右分別用不同的顏色標記，高光區域檢測結果如圖6所示。此時對物體上任意一點都可找到最少數量的3個滿足條件的非高光點完成計算，高光影響被成功剔除。對多個形態不同的舌體在此光源分布下采集圖像，也都得到高光區域互不重疊的4幅圖像，由此可論證該系統具有一定的適用性。

圖6 4 光源下的舌圖像高光位置分布

因此，本文選用4個光源分布在舌體周圍，每兩個光源之間的間隔為，舌體表面中心距離每個光源約為22 cm[15]。在這種分布下可以達到在最小計算復雜度的前提下剔除高光的目的。

3 基于光度立體法的舌體3維表面重建

對舌體3維動態信息采集系統得到的舌圖像序列，進行真實舌體3維表面重建的具體算法流程如圖7所示。

圖7 真實舌體重建算法流程

首先，遍歷舌圖像中所有像素點，采用閾值法依次判斷是否為高光點；對舌體表面的非高光區域，直接求解其表面法向量和紋理反射率；對高光區域，進行高光剔除，采用在其他光源下拍攝圖像中的非高光點完成表面法向量和紋理反射率的求解；最后，求解深度信息完成建模。

3.1法向量和紋理反射率

對于彩色圖像，每一個像素點的亮度均由R, G, B 3個值來表示，這里以R通道為例進行求解。假設待重建物體表面符合理想的Lambertian散射模型，此時，圖像中像素點的亮度方程數學表達為

要利用散射模型求解表面法向量，首先要計算光源方向。光源方向的計算方法采用在不同光源方向下拍攝一組高光黑球圖像，每一個高光黑球圖像與所拍攝的舌體表面圖像是配對的，即拍攝角度與光線角度一致。通過查找每一個高光黑球圖像中高光點的位置，獲取光照方向，作為舌體表面的光源方向[8]。

單位法向量為

經計算4個光源的方向向量為

此時選取4個亮度值中的任意3個和與其配對的光源向量進行求解。由于為單位向量，因此式(2)左邊向量的模就是紋理反射率的值，左邊向量的方向就是表面法向量的方向。

3.1.2對高光像素點的求解方法 當檢測到圖像中的像素點為高光點時，由于4 幅圖像中高光區域不重疊，因此使用除高光點以外的其他3 幅圖像中的非高光像素點完成計算。假設高光點在第1 幅圖像上，此時令：

繼續利用式(2)求解法向量和紋理反射率。

除了整體性比較，還有一些論文著眼于創作個案的對比分析，如楊春紅、鄭友奇《素雅婉約的女性之歌——曼斯菲爾德的〈幸福〉與凌叔華的〈花之寺〉之比較》、熊文艷《女性價值的追尋與幻滅——曼斯菲爾德的〈第一次舞會〉與凌叔華的〈茶會以后〉之比較》等。另外，還有少數論文研究凌叔華與曼斯菲爾德的女性意識等，如，楊梅《試析凌叔華與曼斯菲爾德文本中的女性意識》等。

依次對圖像中的所有像素點進行以上判斷，綜合高光區域和非高光區域的求解結果，即可得到剔除高光影響后的舌體表面的法向量和紋理反射率。

最后，對R, G, B 3個通道，分別計算每一個像素點的單位法向量：

將其構成舌體表面的法向量圖。

3.2 深度信息

深度信息可直觀地表達3維物體的形狀，獲得舌體表面的法向量之后，采用基于切平面理論的代數法對深度信息進行求解[16]。由切平面理論，法向與切平面方向兩個主軸垂直，所以對每個像素點的深度都可以列兩個約束方程。

物體表面的切向可以用深度值來表示，即

物體表面每一點的法向和切向垂直，則

同理可得

4 實驗結果

4.1 3維重建結果分析

本文選取具備醫生對舌體初步診斷結果的10位受試者進行實驗。這10位受試者舌體特征各不相同，以論證該重建系統的可行性及通用性。每位受試者在實驗之前先進行多次伸舌訓練，使受試者盡量張口，舌尖向下，舌體放松，舌面盡量展平[18]，最終完成舌圖像的采集，采集的圖像均為99×66像素。選取其中具有典型特征的兩位受試者A和B的舌圖像采集結果進行展示，如圖8所示，圖8(a)為受試者A的舌像，表面整體較平滑，邊緣區域有明顯齒痕，圖8(b)為受試者B的舌像，表面有局部凹陷。

圖8 受試者A和B的舌像采集結果

上述兩位受試者A和B舌體3維重建結果的正面及側面圖如圖9(a)和圖9(b)所示。

圖9 受試者A和B的舌體3維重建結果

舌體的3維重建結果表明，該方法可以重建出舌體的整體形態和表面齒痕、凹陷等信息。受試者A的舌體，邊緣存在齒痕，齒痕即舌體出現牙齒痕跡，主要表現為在舌體邊緣的凹陷。截取經過齒痕區域的3行水平方向的像素點的深度數據(分別為=43,45,47)進行分析，將3組數據在3維坐標系中顯示，結果如圖10。可見隨著像素的減少，當經過舌體表面齒痕區域時，所選3行深度數據的走向有明顯的急劇下降的趨勢，即舌體表面的齒痕特征被準確地重建出來。

圖10 受試者A舌體齒痕截面的深度走向圖

受試者B的舌體表面存在明顯凹陷，截取其經過凹陷區域的3行水平方向的像素點的深度數據(分別為=20,23,25)進行分析，將3組數據在3維坐標系中顯示，結果如圖11。

圖11 受試者B舌體凹陷截面的深度走向圖

可見隨著像素的增加，當經過舌體表面凹陷區域時，所選3行深度數據的走向有明顯的下降的趨勢，即舌體表面的凹陷特征被準確地重建出來。齒痕舌多由氣虛、脾虛或陽虛所致，選取50位受試者，這些受試者經中醫診斷有20位為齒痕舌，在沒有先驗條件的情況下再讓醫生觀察舌體的3維重建結果進行診斷，實驗表明，通過觀察舌體3維重建結果，可以達到92%的齒痕舌識別率。因此，重建出的3維舌體對于臨床辨證論治有很大的指導意義。

4.2經高光剔除和未經高光剔除的舌體重建結果對比

以受試者A為例對采集的4幅舌圖像分別進行未剔除高光和剔除高光的3維表面重建。法向量圖結果如圖12所示。

舌體表面的法向量圖顯示了舌體的形態屬性和整體輪廓，圖中舌尖較淺的地方表示其法向量是接近垂直向外的。圖12(a)表明舌尖部位由于受到高光的影響，法向量出現偏差，圖12(b)表明經高光剔除后的法向量得到明顯修正。

受試者A舌體未剔除高光和剔除高光的3維重建結果如圖13所示。

圖12 舌體表面法向量圖

圖13 舌體表面3維顯示圖

對高光區域較明顯的舌尖部位，未經高光剔除的重建結果在該區域凸現出來，不是實際的平滑現象，如圖13(a)中虛線標注的區域。而經過高光剔除算法，當計算到高光區域時，會自動檢測出異常并將此區域出現高光的圖像進行剔除，所以舌尖部位變得平滑，如圖13(b)中虛線標注的區域，建模出來的效果更加逼真。

4.3 誤差分析

本實驗通過對已知半徑的標準的Lambertian半球體表面進行3維重建來評價算法性能。采集的圖像寬度與高度均為50像素，球體半徑為8 cm。選取重建結果在圖像寬度方向為25像素處的截面信息進行誤差分析。

圖14中所示實線代表標準半球截面的真實高度，虛線代表本實驗算法重建出的半球截面高度。由這兩組數據可以得到重建的平均相對誤差約為7.24%。對于舌體，其伸出時舌根部與舌尖部的垂直距離約為5 cm，所以該方法用于重建舌體的平均誤差約為3.6 mm。而舌體表面凹陷、齒痕等尺寸約為5~10 mm。由此可見該方法可以較好地重建出物體的表面形狀和齒痕等細節信息。

圖14 半球真實高度與重建結果對比圖

5 結束語

舌診是中醫望診的重要內容之一，基于2維圖像的舌診研究具有一定的局限性。因此，重建出具有真實感的3維舌體表面對推動舌診的客觀化發展具有重要意義。本文設計了一種舌體動態信息采集系統，基于光度立體法實現了對舌體表面的3維重建。針對舌體表面高光區域對重建結果的影響，本文采用一種高光剔除算法。實驗表明，經高光剔除之后，在重建精度和魯棒性方面都有更好的表現。

通過對標準半球進行重建得出重建算法的平均相對誤差約為7.24%。重建結果可形象地表達舌體的表面形態和齒痕等細節信息。但在邊界區域的重建上誤差較大。因此，如何減少邊界的誤差，實現更精確的表面重建是今后研究的重點。

[1] 陳雪姣, 王玉臣, 王德才. 中醫舌診客觀化研究的發展概況[J]. 江西中醫藥, 2012, 43(1): 72-75.

Chen Xue-jiao, Wang Yu-chen, and Wang De-cai. The overview of the development of traditional Chinese medicine tongue diagnosis[J]., 2012, 43(1): 72-75.

[2] 葉長明, 蔣建國, 詹曙. 基于三維人臉成像系統的復數域人臉識別方法[J]. 電子測量與儀器學報, 2011, 25(5): 420-426.

Ye Chang-ming, Jiang Jian-guo, and Zhan Shu. Face recognition in complex domain based on 3D facial imaging system[J]., 2011, 25(5): 420-426.

[3] 王昕, 郭寶鋒, 尚朝軒.基于二維ISAR圖像序列的雷達目標三維重建方法[J]. 電子與信息學報, 2013, 35(10): 2475-2480.

Wang Xin, Guo Bao-feng, and Shang Chao-xuan. 3D reconstruction of target geometry based on 2D data of inverse synthetic aperture radar images[J].&,2013, 35(10): 2475-2480.

[4] 李自力, 朱光喜, 朱耀庭. 一種基于會聚雙目立體視覺的用戶化身模型[J]. 電子與信息學報, 2003, 25(6): 763-770.

Li Zi-li, Zhu Guang-xi, and Zhu Yao-ting. A user avatar model based-on convergent binocular stereo vision[J].&, 2003, 25(6): 763-770.

[5] 陳宇峰, 譚文靜, 王海濤. 光度立體三維重建算法[J]. 計算機輔助設計與圖形學學報, 2005, 17(11): 2408-2414.

Chen Yu-feng, Tan Wen-jing, and Wang Hai-tao. Photometric stereo 3D reconstruction and application[J].-&, 2005, 17(11): 2408-2414.

[6] Woodham R J. Photometric method for determining surface orientation from multiple images[J]., 1980, 19(1): 191139.

[7] Coleman E Jr and Jain R. Obtaining 3-dimensional shape of textured and specular surfaces using four-source photometry [J]., 1982, 18(4): 309-328.

[8] LüH, Cai Y, and Guo S. 3D reconstruction of tongue surface based on photometric stereo[C]. 2007 IEEE 11th International Conference on Signal Processing (ICSP),Barcelona, Spain, 2012, 3: 1668-1671.

[9] 朱穆朗瑪, 燕海霞, 錢鵬.基于圖像信息采集的中醫舌診儀器硬件設計研究進展[J].世界科學技術—中醫藥現代化, 2014, 16(2): 433-437.

Zhu Mulangma, Yan Hai-xia, and Qian Peng.Study progress on designs of acquisition instrument with image capturing in tongue inspection[J].—, 2014, 16(2): 433-437.

[10] Park J I, Lee M H, Grossberg M D,.. Multispectral imaging using multiplexed illumination[C]. 2007 IEEE 11th International Conference on Computer Vision, Rio De Janeiro, Brazil, 2007: 1-8.

[11] 徐慶相. 基于光度立體視覺的表面精細特征三維重建技術研究[D]. [碩士論文], 華中科技大學, 2011.

Xu Qing-xiang. Research on 3D reconstruction of detailed features based on photometri stereo[D]. [Master dissertation], Huazhong University of Science & Technology, 2011.

[12] 張彥. 基于光度立體視覺的三維重建的研究[D]. [碩士論文], 吉林大學, 2013.

Zhang Yan. The research of three-dimensional reconstruction based on photometric stereo[D].[Master dissertation], Jilin University, 2013.

[13] Georghiades A S. Incorporating the torrance and sparrow model of reflectance in uncalibrated photometric stereo[C]. Ninth IEEE International Conference on Computer Vision (ICCV 2003), Nice, France, 2003: 816-823.

[14] Barsky S and Petrou M. The 4-source photometric stereo technique for three-dimensional surfaces in the presence of highlights and shadows[J]., 2003, 25(10): 1239-1252.

[15] 張珊珊, 呂東輝, 孫九愛.近光源光度立體三維重建誤差分析[J]. 計算機技術與發展, 2015(1): 168-172.

Zhang Shan-shan, Lü Dong-hui, and Sun Jiu-ai.Reconstruction error analysis on photometric stereo with nearby light sources[J]., 2015(1): 168-172.

[16] 張屹凌. 基于光度立體算法的圖像建模系統的設計及實現[D]. [碩士論文], 浙江大學, 2006.

Zhang Yi-ling. Design and implementation of image-based modeling system based on photometric stereo[D].[Master dissertation], Zhejiang University, 2006.

[17] 桂思怡, 林國順. 基于DirectX的立體裝箱三維可視化輔助模塊技術[J]. 計算機與現代化, 2014(2): 15-19.

Gui Si-yi and Lin Guo-shun. DirectX-based techniques of stereo loading system’s 3D visualized auxiliary module[J]., 2014(2): 15-19.

[18] 許家佗, 張志楓, 任宏福, 等. 基于圖像處理的舌形胖瘦分析方法[C]. 第二次全國中西醫結合診斷學術研討會論文集. 2008: 43-47.

Xu Jia-tuo, Zhang Zhi-feng, Ren Hong-fu,.. Analysis of fat/thin tongue based on image processing method[C]. The Second National Integrated Traditional Chinese and Western Medicine Diagnosis of Academic Symposium, Lijiang, 2008: 43-47.

3D Reconstruction of Tongue Surface Based on Photometric Stereo Method

Cai Yi-heng Zhang Lin-lin Sheng Nan Zhang Xin-feng Wang Li-na

(,,100124,)

In the process of the objective research in traditional Chinese medicine tongue diagnosis, the tongue information obtained from the analysis of 2D tongue image is limited. It restricts the development of tongue diagnosis. Based on the feasibility of photometric stereo method to reconstruct the static tongue mode, forreconstructing the 3D surface of the real tongue, a dynamic information collection system is designed for image information acquisition. Then the normal vectors, texture reflectance and depth values are obtained with photometric stereo method, and the 3D surface of tongue is displayed based on DirectX. Finally, a highlight excluding algorithm is used to reduce the effects of the highlight areas on the reconstruction results. After the highlight excluding, it performs better in the reconstruction accuracy and robustness aspects. Experimental results indicate that the average relative error of this algorithm is of 7.24%. The results can express the tongue surface morphology and details such as tooth marks visually.

Image processing; Photometric stereo method; 3D reconstruction; Highlight; Surface normal; Tongue characterization

TP391; R445

A

1009-5896(2015)11-2564-07

10.11999/JEIT150124

2015-01-22；改回日期：2015-07-15；

2015-08-25

蔡軼珩 caiyiheng@bjut.edu.cn

國家自然科學基金(61201360)

The National Natural Science Foundation of China (61201360)

蔡軼珩： 女，1974 年生，博士，副教授，主要研究方向為圖像處理、顏色視覺、中醫診斷信息化.

張琳琳： 女，1990 年生，碩士生，研究方向為圖像處理.

盛 楠： 女，1991 年生，碩士生，研究方向為圖像處理.

張新峰： 男，1974 年生，博士，副教授，主要研究方向為模式識別、機器學習、中醫信息處理.

王立娜： 女，1988 年生，碩士生，研究方向為圖像處理、顏色視覺.