基于力反饋設備的文檢虛擬觸摸鑒定方法

汪 軍，周鳴爭，強 俊

WANG Jun,ZHOU Mingzheng,QIANG Jun

安徽工程大學 計算機與信息學院，安徽 蕪湖 241000

School of Computer&Information Science,Anhui Polytechnic University,Wuhu,Anhui 241000,China

1 引言

在司法鑒定領域，文件檢驗（簡稱文檢）鑒定包括筆跡、印章、著墨時序、后期涂改、偽造票據、證件等文件檢材的鑒定。傳統的方法是通過放大鏡、顯微鏡在多波段光源的照射下直接對檢材進行并列、拼接、重疊、測量比對[1]。目前比較先進的儀器是專用的文檢儀，將檢材置入多波段光源的照射下，并配合多波段光源用相同波段波長的截止濾光片濾除干擾光，使攝像機接收比較單一波長的檢材圖像。攝像機的視頻信號經過視頻采集卡采集到計算機中形成不同波長照射的物證文檢圖像。在計算機中采用數字圖像處理技術對采集的物證文檢圖像進行軟件的對接、重影、測量比對鑒別，找出檢材的細節區別進行鑒定。這種鑒定方式雖然通過不同波段的光源實現了對物證細節的觀察，但本質上仍然是在一個二維圖像上完成，而沒有考慮檢材的高度信息。這種忽略檢材高度信息特征的鑒別對某些文件檢驗如著墨時序、凹版印刷票據等的真偽檢驗很難完成[2]。

隨著三維虛擬現實技術的發展，認為如果能夠獲取檢材的高度信息，則可將其在三維虛擬現實場景中再現，通過力反饋觸摸交互設備進行三維觸摸鑒定。這種觸摸鑒定不僅能夠從視覺上，而且可以從觸覺上多方位比對文檢物證特征，提高文檢的可靠性。本文采用陰影恢復形狀法（SFS）[3-4]獲取檢材圖像每個像素的相對高度信息，與圖像的二維坐標構成三維數據，在虛擬現實場景中三維重構[5-6]、貼圖渲染，并用力反饋交互設備在重構的三維檢材模型上觸摸（碰撞檢測），將碰撞檢測的觸摸力輸出到力反饋設備[7-8]，再現文檢圖像的觸摸特征。實驗表明，虛擬三維重構技術將文檢等物證圖像由二維擴展到三維比對分析鑒別，并且采用的力反饋交互設備觸摸比對可以給鑒定人員直觀的觸摸感受，使文檢鑒別由單純的視覺變為視覺、觸覺一體的鑒別，提高了鑒別的可靠性。

2 虛擬重建三維文檢圖像

2.1 簡化SFS條件獲取文檢物證圖像相對高度信息

由單幅圖像灰度明暗變化恢復三維形狀（Shape-From-Shading，SFS）是計算機視覺中物體表面形狀三維測量、重構的關鍵技術之一。SFS是在一定的約束條件下從平滑變化的灰度圖像恢復出表面各點的相對高度信息或法向信息，即根據物體表面反射模型建立物體表面三維形狀與采集的圖像灰度之間關系的反射圖方程，并根據某先驗知識建立對物體表面形狀參數的約束條件，對這些關系的求解可得到物體表面三維形狀。從圖像成像過程可知，空間物體表面法向量的變化引起圖像灰度變化，SFS可以看作圖像成像過程的逆過程。SFS求解方法一般是假設光源為無限遠處的點光源，物體的表面反射為Lambertian[9]表面反射，并基于正交投影求得一個近似的非線性反射圖方程，從而建立一個物體表面方向和圖像亮度之間的函數關系，再通過各種數值方法求解該方程，最后得到方程的解，求出表面各點的對應的高度值。

設二維灰度圖像的灰度矩陣為I(x,y)，文檢物證圖像表面方程為Z=z(x,y)，點(x,y,z)處的法向量為(p,q,-1)，p=?z/?x ，q=?z/?y ，光源方向為 S=(ps，qs， -1)，其中，σ是光源的傾角，τ是光源的仰角。

根據Lambertian表面的特性和反射方程，可得：

式（1）中 R(p，q)是Lambertian曲面的反射圖。

SFS算法可以大致分為四類，最小值方法、演化和偏微分方程方法、局部方法和線性化方法。最小值方法是將物體表面的特性反射方程和光滑表面模型均表示為能量函數的形式，再將它們聯合表示為一個泛函極小值問題或最優化控制問題，最后求出SFS問題的解。演化和偏微分方程方法本質是從圖像中一組已經確定高度的點開始，以此為參照高度，逐步遞推演化求出整個表面的解。局部方法則是基于對曲面形狀的局部假設，進而推出曲面形狀信息，是將反射模型與假設的物體表面局部形狀相結合來構成關于物體局部形狀參數的線性偏微方程組，再利用已知邊界條件來求得該方程組的唯一解，從而確定物體的局部三維表面形狀，該方法只能恢復曲面的方向信息，而無法得到曲面的高度值。線性化方法認為在反射函數中，低階項占主要部分，將反射函數進行Taylor展開后，舍去非線性項的結果仍與原反射函數非常接近，從而將原SFS非線性問題轉化為一個線性問題并進行求解。這種線性化方法雖然沒有明確提出一種表面模型，但線性化反射函數Taylor展開時，對變量高階項的舍棄已暗示了物體表面形狀是緩慢變化模型。從算法的實現難易程度和處理速度方面考慮，線性化方法中Tsai-Shah[10]算法具有容易實現，能快速收斂等特點，適合應用于三維虛擬現實，下面詳細說明Tsai-Shah的原理。

Tsai和Shah用有限差分（finite different）方法離散逼近p和q，之后用 Z(x，y)線性化反射圖。用式（2）、式（3）逼近p，q。

則式（1）反射方程可表示為：

給定圖像灰度 I和對應點(x，y)，將方程（4）進行Taylor展開，可得：

Z(x，y)=Zn(x，y)第 n次迭代的高度可以用式（6）計算：

其中：

假定對于圖像中所有的點，初始值為Z0(x，y)=0，根據式（6）即可估計出所有像素點的高度值。

根據三維觸摸鑒定方法的思想，首先必須要獲取檢材的高度信息才能建立文檢物證的三維模型。由文檢儀的檢材圖像采集過程可知，文檢物證圖像像素點灰度主要由檢材的三維形狀、表面材質的反射特性、相對于光源和攝像機的位置等所決定[11]。在文檢的一次檢驗過程中，需要檢驗的兩種或多種檢材與光源和攝像機的位置基本相同，文件物證圖像像素點的灰度值的區別主要體現在檢材的三維形狀和其表面反射特性上，因此采用SFS方法雖然不能準確獲得絕對的檢材的高度，但在本文提出的文檢鑒定方法只需要相對高度就可以比較準確地反映待檢驗的檢材之間的區別。這里將SFS方法用于文檢圖像的三維觸摸比對時，待比對的兩幅圖像在同一光照和攝像機系統下，無需考慮光源方向與觀測方向，則式（6）簡化為：

2.2 三角網格重建檢材模型

文檢物證圖像的虛擬三維重構是將2.1節的SFS方法的式（8）獲取檢材圖像的相對高度信息與圖像的坐標一起構成的三維數據在計算機中虛擬現實中重建，最終實現在計算機上模擬出真實的檢材或場景。

在三維數據重建可視化研究領域中，構建穩定的三角網格方法是最常用的，而在三角網格中Delaunay三角所具有最大最小角和空外接圓的特性，保證了Delaunay三角網格是唯一最優的網格，使得三角網格的構建更加合理與準確，從而具有很好的應用價值。其構建算法主要有三種方法：分治算法、內插算法和生長算法[12]。

本文的三維重建數據是由SFS方法獲得的，該組三維數據是在一組有序的二維坐標(x，y)上，增加一維相對高度信息構成 p(x，y，z)，并且x，y數據是等距離采樣的，它蘊含了其對應的空間點映射到XY面的鄰接關系，因此采用三角形生長算法可快速生成相應的三角網格。以相鄰4點構成的鄰域為一個基本單位，在這個基本單位中，選擇 p0(x，y，z0)為處理的點，找到離它距離最近的相鄰點 p1(x，y+1，z1)將其連接，讓 P0P1這條線成為一條初始的基線，然后根據Delaunay三角化的條件，在這條基線右側的離散點中尋找第3個點P3，形成一個Delaunay三角形；再以生成的三角形的斜邊P3P1作為基線生成一個Delaunay三角形，一個基本單元生成兩個三角網格，如圖1所示。

圖1 一個基本單元生成的兩個三角網格

按照二維圖像坐標逐行處理的順序，選擇每一個點，每個點都具有一個包含自身的4點組成的基本單位，每個基本單位構成2個三角網格，一幅分辨率為m×n的圖像三維重建的結果則將是由2×(m-1)×(n-1)個三角網格面構成的一個三維模型。

3 檢材三維虛擬空間觸摸檢測

檢材在虛擬現實場景中三維重建形成三維網格面，要能夠對文件檢材的表面“觸摸”到，除了有三維輸入和力反饋輸出硬件設備外，必須在虛擬現實系統中建立一個虛擬手指代理現實中的手指觸摸。三維力反饋設備在現實空間中的位置坐標要與虛擬場景中的虛擬手指的位置坐標相互匹配，實現力反饋設備的移動與虛擬手指的移動相一致，觸摸過程中虛擬手指與三維檢材進行碰撞檢測產生的反饋力輸出到設備，使操作者能通過力反饋手柄這種輸入輸出設備觸摸文檢圖像的高度信息，實現觸覺鑒定。碰撞檢測算法是交互性的虛擬現實中檢測虛擬場景中對象之間相對位置隨時間發生變化的情況。目前廣泛應用于虛擬現實系統的碰撞檢測是層次包圍盒檢測算法和空間分割檢測算法[13]。

本文將器械手柄在虛擬場景的代理虛擬手指理想化為一個球體，采用球體包圍盒模型，手指對象的中心為三維輸入位置，球的半徑為中心到手指外表面各點距離的最大值如圖2（a）所示。判斷手指與檢材的碰撞轉化為包圍球是否與檢材的每個三角面相交。由于圖像生成的網格面模型中三角網格數據量大，不可能全部檢測，這里采用空間分割檢測算法的思想，假設球體包圍盒直徑為D，映射到XY面的4個相鄰點為一個正方形基本單元，邊長為d，則需要進行碰撞檢測區域只有(D/r+1)×(D/r+1)個基本單元，可以大大減少檢測的三角面的數目。特例，若假設球體直徑為像素間的距離，則根據球中心坐標在XY面的映射，只需要檢測球與4個基本單位9個點生成的8個三角面的碰撞即可，圖2（b）所示為球與6個面碰撞。

圖2（a） 虛擬手指的球包圍盒

圖2（b） 包圍球與6個三角網格

檢測球與三角面的碰撞只需要求出球心與三角面的最近距離，若最近距離小于等于半徑則與該三角面碰撞。球心P(px，py，pz)與三角面的最近距離的求解用P點正交投影到三角面的某一邊的Voronoic特征域中獲取最近點Q。設Q的坐標為Q(qx，qy，qz)，虛擬手指球包圍盒半徑為r，則虛擬手指與三角面發生碰撞后將產生反饋力，反饋力的計算用式（9）表示的胡可定律計算：

方向由Q指向球心P，所有碰撞點的矢量合力反饋到設備手柄，操作者獲得力反饋的觸覺。

4 實驗

根據上述思想，在一臺HPZ800（E5606×2，內存8 GB，顯卡 NVIDIA Quadro4000，顯存2 GB GDDR5）上實現文檢圖像的三維觸摸鑒定方法，力反饋設備為Navint公司的三維輸入力反饋手柄Falcon，如圖3所示；軟件為基于觸覺形象化和交互式實時模擬的免費C++庫Chai3D作為虛擬現實開發包[14]，在VC開發平臺實現本文的三維觸摸鑒定的仿真驗證系統。為了驗證該算法的有效性，以文檢系統中難以解決的著墨時序和凹版印刷兩種進行鑒別實驗，效果如圖4～6所示。

圖3 力反饋觸摸實驗環境

圖4（a） 在三維場景觸摸左邊“九”的“丿”

圖4（b） 觸摸左邊“九”的“丿”的力反饋曲線

圖5（a） 在三維場景觸摸右邊“九”的“丿”

圖5（b） 觸摸右邊“九”的“丿”的力反饋曲線

圖6（a） 某商標的凹版印刷

圖6（b） “手指”水平觸摸商標的力反饋曲線

如圖4（a）和圖5（a）是同一光照和攝像機系統下的圖像的“九”字的兩幅文檢圖像，由于力反饋手柄的觸摸感覺與力反饋設備的力反饋的精度以及與操作者的主觀感覺有很大關系，為了能較為明確地展現實驗結果，以觸摸的時間為橫坐標，以觸摸產生的反饋力為縱坐標，三維空間中反饋力為X，Y，Z三個方向，這里分別用紅綠藍三色曲線表示這方向的力，實驗判斷“九”的“丿”和“乙”哪一筆畫先寫。根據書寫的先后分析，如果先寫“丿”，再寫“乙”，則“丿”的著墨將會被“乙”劃斷，高度將有較大起伏；如果先寫“乙”，則“丿”的著墨是完整順滑的。因此實驗是分別順著“九”的“丿”書寫移動觸摸感知，并將反饋力實時繪制曲線，如圖4（b）和圖5（b）所示。從觸摸力反饋曲線可以反映出左右兩幅圖像的“九”字的筆畫著墨順序是不同的，圖4（b）表明左邊“丿”先寫，后寫的“乙”將“丿”的著墨劃斷，反饋力形成了有兩個尖峰；圖5（b）表明右邊“乙”先寫，后寫的“丿”的著墨順滑，反饋力無較大起伏，和實際情況分析吻合。

另外，為了更能說明問題，又實驗了凹版印刷商標，驗證是否能夠反映凹版印刷的凹凸性，從圖6（b）所示的沿著水平方向Y觸摸產生觸摸力反饋數據曲線可以看出，力反饋數據的起伏跳躍與印刷的凸起一一對應，可以用力反饋手柄直觀地感覺到其凹凸性，從而易于判斷商標的真偽。

5 結束語

本文采用SFS的方法從光源和攝像機位置參數基本相同條件下的不同檢材圖像數據中獲得三維數據；分析了獲取的三維數據在XY面投影的特點，并運用Delaunay三角形的方法在三維虛擬現實場景中三維重構；在檢材三維模型的虛擬場景中建立“虛擬手指”代理力反饋交互設備，實現了檢材和“虛擬手指”之間基于手指球包圍盒模型和空間分割檢測相結合的觸摸碰撞檢測的觸摸鑒定。

在虛擬場景中以力反饋交互設備實現對司法鑒定領域的文檢圖像的觸摸鑒定，變傳統的圖像平面鑒定為三維鑒定，同時力反饋觸摸給鑒定人員直觀的觸摸感受，使文檢鑒定由單純的二維視覺鑒別轉變為三維視覺、觸覺一體的鑒定，提高了鑒別的可靠性。

本文的文檢觸摸鑒定可以有效地提高鑒定的正確性，但也存在一定的不足，存在的主要問題主要體現在兩個方面：其一，SFS方法求取的高度信息并非真正的高度信息，雖然本文是在同一光照和CCD的采集條件下，檢材之間的高度信息具有相對可比性，有明顯的比對鑒定效果，但仍然存在一定的誤差，需要借助高精度的三維測量設備獲取真正意義上的檢材高度信息；其二，在進行碰撞檢測的時候將力反饋設備在虛擬現實系統中的“虛擬手指”模型理想化為一個剛性球，文檢檢材也是剛性模型，碰撞檢測為剛性檢測，比較生硬，手感不佳，而實際的手指應該是柔體，能夠變形，關于柔體變形觸摸的研究是本文進一步研究的方向。

[1]楊旭，施少培，徐徹，等.VSC文檢儀在文件鑒定中的應用研究[J].中國司法鑒定，2007，7（6）：16-21.

[2]連園園，梁魯寧，黃建同，等.拉曼光譜陣列面掃描判斷藍色簽字筆與印泥的時序研究[J].光散射學報，2012，24（1）：75-85.

[3]Lkeuchi K，Horn B K P.Numerical shape from shading and occluding boundaries[J].Artificial Intelligence，1981，17（3）：141-184.

[4]須明，趙榮椿.SFS方法及其與立體視覺方法的集成方案綜述[J].計算機工程與應用，2006，42（8）：1-6.

[5]蔡澤民，閆敬文.人臉識別：從二維到三維[J].計算機工程與應用，2011，47（11）：155-159.

[6]鄒常青，劉健莊.基于優化算法的從線畫圖精確重構三維物體[J].計算機輔助設計與圖形學學報，2012，24（12）：1585-1591.

[7]Beyer L，De Troyer J，Mancini J，et al.Impact of laparoscopy simulator training on the technical skills of future surgeons in the operating room：a prospective study[J].The American Journal of Surgery，2011，202（3）：265-272.

[8]Loukas C，Nikiteas N，Kanakis M，et al.Deconstructing laparoscopic competence in a virtual reality simulation environment[J].Surgery，2011，149（6）：750-760.

[9]Horn B K P.Height and gradient from shading[J].International Journal of Computer Vision，1990，5：37-75.

[10]Tsai P S，Shah M.Shape form shading using linear approximations[J].Image and Vision Computing，1994，12（8）：487-498.

[11]Zheng Q，Chellappa R.Estimation of illuminant direction and shape from shading[J].IEEE Trans on Pattern Analysis and Machine Intelligence，1991，13（7）：680-702.

[12]余杰，呂品，鄭昌文.Delaunay四面體軟組織建模方法[J].中國圖象圖形學報，2010，15（8）：1158-1165.

[13]趙偉，譚睿璞，李勇.復雜虛擬環境下的實時碰撞檢測算法[J].系統仿真學報，2010，22（1）：125-129.

[14]Miles H C，Pop S R，Watt S J，et al.A review of virtual environments for training in ball sports[J].Computers&Graphics，2012，36（6）：714-726.