手寫(xiě)筆跡的表面法向量提取與鑒別系統(tǒng)

王執(zhí)競(jìng)，尹 凡，陳慶虎

(武漢大學(xué)電子信息學(xué)院，湖北 武漢 430072)

1 引言

筆跡鑒別技術(shù)是指利用手寫(xiě)的文字信息來(lái)判斷書(shū)寫(xiě)者身份信息的一種技術(shù)。隨著經(jīng)濟(jì)社會(huì)的不斷發(fā)展，一些不法分子試圖通過(guò)描摹筆跡等不法手段來(lái)獲得不法收益，文物與紙質(zhì)文件的表面特征是判別真假的重要依據(jù)。人的書(shū)寫(xiě)習(xí)慣具有穩(wěn)定性與特殊性，筆跡各部分凹陷程度與筆畫(huà)的斷連部分都能很好地反映一個(gè)人的寫(xiě)字習(xí)慣。筆跡鑒別按研究對(duì)象劃分可分為兩大類：文本無(wú)關(guān)方法和文本相關(guān)方法。文本無(wú)關(guān)方法可以不受書(shū)寫(xiě)筆跡內(nèi)容的限制進(jìn)行鑒別，但鑒別準(zhǔn)確率不高，并需要大量的訓(xùn)練樣本。文本相關(guān)方法則需要兩份筆跡樣本的文字內(nèi)容相同，例如簽名鑒別。

目前，國(guó)內(nèi)外很多學(xué)者在筆跡鑒別方向進(jìn)行了探討，文獻(xiàn)[1]通過(guò)提取筆跡樣本的Gabor或小波特征對(duì)中文筆跡進(jìn)行鑒別。文獻(xiàn)[3]提出基于改進(jìn)的網(wǎng)絡(luò)微結(jié)構(gòu)特征進(jìn)行文本無(wú)關(guān)的筆跡鑒別。文獻(xiàn)[4]提出以筆跡圖像中的紋理特征和筆畫(huà)形狀為基礎(chǔ)建立概率密度函數(shù)進(jìn)行文本無(wú)關(guān)的筆跡鑒別。文獻(xiàn)[5]通過(guò)兩因子方差分析分離特征距離中字符因子的方法得到脫機(jī)中文筆跡鑒別分類器。文獻(xiàn)[6]通過(guò)采用網(wǎng)格窗口提取筆畫(huà)走勢(shì)和寬度變化等偽動(dòng)態(tài)特征計(jì)算距離得到筆跡相似度。

以上方法均是基于筆跡二維圖像的筆畫(huà)形狀特征獲取信息進(jìn)行筆跡鑒別的方法，而打印筆跡以及臨摹筆跡的筆畫(huà)形狀特征和真實(shí)筆跡極其相似甚至一模一樣，篡改筆跡通過(guò)添加筆畫(huà)實(shí)現(xiàn)文字內(nèi)容的替換，篡改后的筆跡與被篡改者書(shū)寫(xiě)的相同內(nèi)容的筆跡筆畫(huà)特征十分相似，因此以上方法不適用于上述情況下的筆跡鑒別。同一書(shū)寫(xiě)人相同內(nèi)容的手寫(xiě)筆跡之間的形狀可能會(huì)有細(xì)小差異，但書(shū)寫(xiě)時(shí)的用力習(xí)慣具有穩(wěn)定性，筆跡各部分的凹痕深度相對(duì)穩(wěn)定，而基于筆跡深度信息進(jìn)行筆跡鑒別的研究較少，目前常用的一些筆跡深度信息顯現(xiàn)方法[1]包括：側(cè)光法、紅外法、靜電壓痕顯現(xiàn)法等方法，但是這些方法均存在或多或少的問(wèn)題。側(cè)光法通過(guò)側(cè)光光源的照射形成陰影，凸顯簽名筆跡壓痕的深度變化，但由于漢字構(gòu)成的復(fù)雜性，單側(cè)光無(wú)法觀察到漢字字體完整的信息，漢字整體信息不足。此外，鑒定人員需要不斷變換相機(jī)方位來(lái)人工采集信息，效率很低。紅外法采用紅外相機(jī)拍攝的方法，結(jié)合側(cè)光光源和紅外濾光鏡凸顯筆跡并顯現(xiàn)筆跡的深度信息，但是對(duì)于紅色筆跡仍然存在墨色干擾的問(wèn)題，且設(shè)備昂貴。靜電壓痕顯現(xiàn)法通過(guò)實(shí)驗(yàn)把紙張背面的凹痕來(lái)顯現(xiàn)出來(lái)，以此反映字體表面的深度信息。但靜電壓痕顯現(xiàn)法流程復(fù)雜，對(duì)樣本的平整度有一定要求，過(guò)程中可能樣本可能會(huì)發(fā)生損壞，而且相關(guān)專業(yè)設(shè)備采購(gòu)維護(hù)成本較高。本研究從還原筆跡三維信息方向即表面法向量來(lái)放大筆跡凹痕深度信息，提取表面法向量梯度變化劇烈的筆跡點(diǎn)，在筆畫(huà)的對(duì)應(yīng)位置分析書(shū)寫(xiě)人的用力習(xí)慣，簡(jiǎn)單易行，對(duì)樣本無(wú)損傷。實(shí)驗(yàn)表明，基于本研究開(kāi)發(fā)的筆跡三維信息提取系統(tǒng)簡(jiǎn)單、高效、成本低，且使用方便，能極大減輕鑒定人員的勞動(dòng)強(qiáng)度。在篡改筆跡、臨摹筆跡與打印筆跡的鑒別實(shí)驗(yàn)中能為鑒定人員提供準(zhǔn)確判斷依據(jù)。

2 基于光度立體視覺(jué)的表面三維重建

光度立體視覺(jué)技術(shù)是一種求解三維法向量的技術(shù)。在光源可控的環(huán)境下，拍攝同樣亮度的光源從不同方向?qū)ν晃恢玫奈矬w進(jìn)行照射的物體圖像，由圖像亮度計(jì)算物體表面法向，再由表面法向量恢復(fù)物體表面三維信息[8]。

首先假設(shè)一種理想的反射模型——朗伯體光照模型，具體假設(shè)條件如下：

①光源為無(wú)限遠(yuǎn)處的點(diǎn)光源，或者均勻照明的平行光。

②成像幾何關(guān)系為正交投影。

③物體表面為理想散射表面，即從所有觀察方向看它都是同樣亮的，并且完全反射所有入射光。

給出圖像上像素點(diǎn)(x，y)處的光照模型的一般形式：

(1)

其中，I表示圖像上(x，y)處像素點(diǎn)的亮度值，ρi表示圖像中第i種材質(zhì)的表面反射率，fi為光照方程，它與物體的表面法向量N，光源方向L，攝像機(jī)的視角V有關(guān)。

設(shè)圖像某一像素點(diǎn)的亮度值為I0，其表面的單位法向量為N0，光源方向的單位向量為L(zhǎng)0，在理想的漫反射模型下，有：

I0=ρN0L0

(2)

其中ρ表示物體的表面反射率。

將N寫(xiě)成向量形式：N=(Nx，Ny，Nz)T，這樣I0=ρN0L0是關(guān)于N的各分量的線性方程，則確定圖像上一點(diǎn)的法向量N至少需要3個(gè)方程即三幅圖像。

(3)

由于一般物體的表面反射率ρ具有不確定性，即便是同一材料的物體，為了排除顏色差異對(duì)表面反射率造成的影響，將上述方程組寫(xiě)成矩陣形式：I=ρLN，設(shè)=ρN

=L-1I

(4)

則所需求解的表面單位法向量即為

(5)

另外，因?yàn)镹是一個(gè)單位向量，所以可以通過(guò)求出ρ

(6)

綜上所述，以三幅圖像為例，利用光度立體視覺(jué)技術(shù)求解單位法向量的一般步驟為：

2)把圖像亮度值歸一化，歸一化亮度值是該像素點(diǎn)的亮度值與圖像上最大值之比。即

(7)

其中，(i=1，2…M，j=1，2…N)。

圖1 實(shí)驗(yàn)流程圖

3 系統(tǒng)設(shè)計(jì)

由于實(shí)際照射情況并不完全等同于上節(jié)表示的三個(gè)假設(shè)條件，同時(shí)也由于相機(jī)傳感器存在噪聲，為了得到可靠的解，在系統(tǒng)設(shè)計(jì)中，增加了光源的個(gè)數(shù)，于是式(3)變成了超定方程，并存在最小二乘解

=(LTL)-1LTI

(8)

為了得到不同方向光照下的物體圖像，設(shè)計(jì)一款半球狀裝置，半球頂放置相機(jī)對(duì)正下方的筆跡進(jìn)行拍照，相同型號(hào)光源分散在半球裝置表面的不同方位和高度，調(diào)整光源角度對(duì)準(zhǔn)球心處的筆跡。綜合考慮解的穩(wěn)定性和計(jì)算速度，采用了32個(gè)光源，均勻分布在半球上，即方位角以45度為間隔形成八個(gè)方向，每個(gè)方向以15度為間隔形成四個(gè)高度，對(duì)于光源向量l，有

li=(cos(mod(i，8)×45°)，sin(mod(i，8)

(9)

其中i=0，1，…31。

圖2 系統(tǒng)結(jié)構(gòu)示意圖

系統(tǒng)通電工作后，由控制軟件通過(guò)信號(hào)線給電路板發(fā)送指令，每個(gè)方向上的光源依次閃亮后，同時(shí)驅(qū)動(dòng)相機(jī)對(duì)受到不同光照的樣本進(jìn)行拍照采集。圖2為系統(tǒng)結(jié)構(gòu)示意圖，圖3為儀器核心器件圖。系統(tǒng)硬件中，沒(méi)有機(jī)械運(yùn)動(dòng)部件。圖像采集和樣本表面法向量解算由軟件自動(dòng)完成，無(wú)須操作人員介入。解算時(shí)間主要取決于圖像的分辨率，對(duì)于1280×1024分別率圖像，普通臺(tái)式計(jì)算機(jī)在兩分鐘以內(nèi)可以完成樣本圖像的采集與表面法向量輸出。通過(guò)分析筆跡表面法向量的灰度映射圖上劇烈過(guò)渡的區(qū)域，鑒定人員可以判斷書(shū)寫(xiě)工具在書(shū)寫(xiě)材料上的輕重緩急運(yùn)動(dòng)，為判定提供依據(jù)。

圖3 系統(tǒng)核心器件部件

4 實(shí)驗(yàn)結(jié)果以及分析

4.1 手寫(xiě)筆跡的三維重建與比對(duì)

圖4a是手寫(xiě)筆跡“已”字添加一筆行成的漢字“巳”字，圖4b是“巳”字的法向量灰度圖。

從筆跡原圖中可以看出1處和2處筆跡點(diǎn)跟周圍筆畫(huà)相比相對(duì)“臃腫”，但無(wú)法判斷是因?yàn)槟绯霎a(chǎn)生的現(xiàn)象還是后期添加筆畫(huà)等原因?qū)е碌模瑥膱D4b中可以看出，筆畫(huà)凹痕較深的幾處筆跡點(diǎn)包括2處筆跡點(diǎn)都是筆畫(huà)的起筆折筆和收筆處，只有1處對(duì)應(yīng)位置的筆跡點(diǎn)是位于筆畫(huà)中間，書(shū)寫(xiě)筆跡發(fā)力具有漸變性，而1處筆跡點(diǎn)則表現(xiàn)為突變性，不符合書(shū)寫(xiě)筆跡的習(xí)慣，不考慮書(shū)寫(xiě)者故意停頓的情況，這是不合理的，因此可以判斷原漢字為“已”，導(dǎo)致1處現(xiàn)象產(chǎn)生的原因?yàn)椤耙选弊种胸Q彎鉤的起筆用力。由于圖4a中紙張背景的條形紋是幾乎是沒(méi)有深度信息的，所以對(duì)應(yīng)重建圖中過(guò)濾掉了紙張背景的絕大部分條形紋。該方法在重建三維筆跡的過(guò)程中能有效排除背景中無(wú)深度干擾物的影響，還原筆跡的深淺信息。

圖5a是樣本筆跡1，圖6a是樣本筆跡1打印件，圖7a是對(duì)樣本筆跡1的臨摹筆跡，對(duì)三者分別進(jìn)行三維重建，結(jié)果如圖5b-圖7b。

對(duì)比圖5a、圖6a和圖7a，三者筆劃特征相似，無(wú)法看出明顯差異，尤其是圖5a和圖6a，筆畫(huà)形狀幾乎完全相同，而重建筆跡的三維效果對(duì)比明顯，對(duì)比樣本1和樣本2，樣本1字跡整體是凹陷進(jìn)紙面的，手寫(xiě)筆與紙面接觸過(guò)程中形成凹痕，說(shuō)明樣本1是手寫(xiě)筆跡。而樣本2的筆跡整體是凸出的，這是打印機(jī)噴墨形成的現(xiàn)象，說(shuō)明樣本2是印刷筆跡。對(duì)比樣本1和樣本3，樣本1筆畫(huà)流暢，樣本3筆畫(huà)中間出現(xiàn)多次停頓、分叉等現(xiàn)象，不符合一般筆跡的書(shū)寫(xiě)特點(diǎn)，說(shuō)明樣本3是在非正常條件下手寫(xiě)形成的筆跡。

4.2 筆跡凹痕變化特征提取與對(duì)比

筆跡的法向量變化特征可以形象地反映出書(shū)寫(xiě)人在書(shū)寫(xiě)筆跡過(guò)程中的筆壓變化，對(duì)筆跡鑒別具有重大價(jià)值。為了更好地表征筆跡的深度信息，對(duì)紙張背景進(jìn)行過(guò)濾，只保留筆跡信息，選取筆跡凹痕梯度上升較快的前5%個(gè)筆跡點(diǎn)和梯度下降較快的前5%個(gè)筆跡點(diǎn)作為特征點(diǎn)，特征點(diǎn)周圍處書(shū)寫(xiě)時(shí)用力較深。分別對(duì)筆跡1，2，3進(jìn)行特征提取，如圖5c-圖7c，對(duì)比發(fā)現(xiàn)，樣本1中折筆前與筆畫(huà)相交處特征點(diǎn)分布較多，樣本2特征點(diǎn)分布較為均勻，在收筆處特征點(diǎn)較多，樣本3在折筆前后和收筆處特征點(diǎn)較多，樣本2和樣本3的用力特征均和樣本1相差較遠(yuǎn)。

5 小結(jié)

表面法向量能表征樣本表面曲度變化，它能幫助鑒定人員理解諸如書(shū)寫(xiě)筆跡一類痕跡的三維特征。本研究以光度立體視覺(jué)算法為基礎(chǔ)，開(kāi)發(fā)了一款高效低成本的，提取樣本表面法向量信息的系統(tǒng)。基于表面法向量的灰度映射圖，通過(guò)分析筆跡點(diǎn)之間的相對(duì)變化信息，較全面地反映出書(shū)寫(xiě)人的用力特征。實(shí)驗(yàn)表明，本文所提及方法較好地反映出了筆跡的法向量特征，在判別打印筆跡、臨摹筆跡與篡改筆跡方面效果顯著。除文書(shū)鑒定外，此系統(tǒng)將可擴(kuò)展應(yīng)用到材質(zhì)、痕跡、文物鑒定等領(lǐng)域。