基于影像識別技術的電子簽名認證研究?

畢 翔 唐存琛

（武漢大學 武漢 430072）

1 引言

隨著信息技術和數字化產業的發展，越來越多的交流信息和文檔發布渠道已經由原來的紙質化轉變為電子化，如電子郵件、電子檔案、電子文件等，電子渠道的文本傳輸已經成為主流傳輸方式，由此產生的集合——電子商務和電子政務的發展更是突破了快速、便捷等諸多優點。但脫離了紙質媒介交易或審核的程序，也造成了難以確認對方身份、交易發生抵賴、冒名，信息被篡改、內容被竊取等現象的發生。這就對電子商務和電子政務平臺交易的安全性提出了新的要求，也呼喚電子身份識別這一技術的呈現。由此，電子簽名技術便應運而生。

所謂電子簽名是指數據電文中以電子形式所含、所附用于識別簽名人身份并表明簽名人認可其中內容的數據。數據電文是指以電子、光學、磁或者類似手段生成、發送、接收或者儲存的信息。簡單地說電子簽名就是通過密碼技術對信息處理中的電子文檔以電子的形式構成的簽名。它包括電子簽字、印章、生物特征身份認證、密碼或密碼代號、個人識別碼等可以提供身份識別和認證的，同時能夠代表電子簽名人身份、具有法律效應的一種信息標識。

2 電子簽名及識別的現狀綜述

2004年8月28日，《中華人民共和國電子簽名法》經全國人民代表大會常務委員會審議審批通過。這部法律制定的初衷是使電子簽名與手寫簽名、印章（包括電子公章及私章）具有同等法律效力，它適用于我國的電子商務及電子政務范圍。隨之而來產生的電商、微商，PC網上銀行、手機銀行等以CA證書、身份識別、電子簽閱為內容的電子簽名迅速充實著國民的生活。以電子形式存在，依附在電子文件上并運用電子認證技術，辨別電子文件簽署者身份及表示簽署者同意電子文件內容的信息數據大量在網絡中得到最為廣泛的發展和應用。

2.1 電子簽名與識別的主要內容

電子簽名與識別技術目前可以分為手寫簽名識別、生物特征簽名識別（包括指紋、掌紋、聲紋、面部、步態、虹膜等）和密碼與CA證書簽名識別三類。其中手寫簽名識別應用最簡便、密碼與CA證書簽名識別應用最為廣泛、生物特征簽名識別安全性較高。

電子簽名目前多采用算法加密技術，在得到準確的身份認證后，按照發送者的指令完成相關工作內容，反之則拒絕。算法的內容應有兩部分：簽名算法和識別算法。簽名算法是秘密的過程，僅有電子簽名人能夠知曉；識別算法是公開的，用于接受者進行驗證。目前一般采用公開密鑰技術PKI（Public Key Infrastrucino）來實現。過程如圖1。

圖1 電子簽名制作與識別技術流程

2.2 簽名與識別存在的問題

電子簽名作為一種身份認證與識別的關鍵技術，在我們的生活中得到了衍生與發展。在傳統的衣、食、住、行、用各個環節都以全新的方式體現著電子簽名的應用，如手機銀行的驗證、人臉識別的考勤、購物網站與微信、APP平臺的在線支付、電子文件的簽發閱辦等……這種全新的方式為個人和商業提供了機會，但也產生了一定的問題。

2.2.1 真實性與有效性的問題

在現實生活中，人們使用的最多的驗證方式一般為密碼校驗，如智能手機的圖形鎖、支付軟件的和手機銀行的密碼、APP軟件與郵箱的登錄密碼等，或是使用特殊硬件產品配合數字密碼的方式，如網上銀行U盾、口令牌與銀行登記密碼等身份驗證方式。在生活中這些電子簽名的身份驗證方式都存在著缺陷，如發生民事糾紛后無法判定簽名的真實性和有效性；數字密碼方便記憶，但是也容易破解；依托網絡傳輸的證書驗證經常會因為系統或服務器原因產生停滯等。法學界學者多認為，電子證據的真實性可以通過電子簽名的方式進行確保，很大程度忽視了電子簽名本身作為證據時真實性認定應當從何角度出發的問題。電子簽名的技術驗證是伴隨電子簽名制作的誕生而產生的，目前國內外已經有了較多成熟的算法和方案。一般而言都是先對電子簽名的圖像內容進行分析，并從圖像中提供相關有價值的信息再進行算法處理。但這些算法并不能保證技術驗證的有效性。

2.2.2 網絡安全及隱私保護問題

要使電子簽名完全代替傳統的身份識別功能，就需要在網絡發布者和接受者之間建立相對安全的信息通道，保持傳輸穩定，同時能夠判斷傳輸過程中是否遭受攻擊，信息是否有被篡改的情況發生等。隱私的保護就像生活中寄信時，需要將信件密封在信封中才能安心的寄出道理是一樣的。目前的電子簽名很大程度上隱私的問題并未完全解決。例如，公鑰在驗證密鑰成功后，公鑰與密鑰相似或相同的內容會完整的呈現在信息接受方的面前，信息接收方可以根據這個電子簽名識別成功的內容了解到密鑰的信息，造成密鑰隱私內容的泄露。

3 基于影像識別技術的電子簽名系統架構與實現

影像識別技術是指利用動態影像對電子簽名制作的過程和原始樣本進行記錄，通過設計的方案，鎖定影像關鍵幀為固定維度的靜態信息，提取并使用相關的信息內容作為電子簽名的密鑰；在發布者向接受者傳遞信息的同時，先進行發布者信息的密鑰識別，通過后可形成電子簽名公鑰，公鑰隨信息原文和摘要信息一并發送給接受者，接受者接受時需要進行公鑰和密鑰的識別信息比對，得出成功與否的結論。為了使系統架構更加簡明，實驗中選取了電子簽名中應用最為簡便的OA辦公系統中電子文件簽名作為實驗內容。

3.1 影像簽名與識別技術的設計與實現

影響簽名主要是對簽名人的筆觸、簽名樣本和人像等進行采集。在認證時，書寫認證的簽名、人像采集，認證系統提取特征并與樣本庫中的內容相比對，判斷此簽名的真偽，進而完成此次登錄的身份認證。在后續的信息傳遞過程中，用戶需再次簽名和人像采集，并將本次采集內容連同信息原文和摘要信息發送給接受用戶，接受用戶將自動申請簽名識別和人臉識別，判斷真偽性。此次判定只顯示判定結果，不顯示簽名本身。

本文提出的基于影像簽名與識別技術的步驟如下（圖2）。

圖2 影像簽名與識別技術方案設計

1）簽字人的相關數據獲取：以往的簽名認證一般通過紙質簽名掃描后上傳圖像或通過手寫板采集簽名數據，僅是采集到數據即可。本文提出的簽名認證過程需要通過使用攝像設備和手寫板同時采集書寫筆跡、人像特征和用筆產生的壓力、簽名的坐標位置等提取信息。

2）預處理：獲取設備得到的數據在系統中使用濾波、去噪等預處理的方法，對簽名的位置、大小、方向、持續時間等進行歸一化處理，同時對人臉特征進行提取分析。

3）初始定位：將視頻信息分解為關鍵幀圖片，在落筆的第一幀畫面上，進行位置定位，這一過程需要視頻提取與手寫板坐標提取同步完成。

4）筆跡跟蹤：對筆跡的位置進行目標定位和跟蹤，形成跟蹤路徑，得到位置坐標。影像技術多使用Mocha目標跟蹤的算法，可以對一些小目標進行精確的定位和跟蹤。

5）特征提取：對上述的特征和視頻中的人臉進行特征識別和信息分類。

6）特征匹配：用提取的特征來對認證簽名和注冊簽名進行匹配。

7）信息發送：將需要簽發的文件內容審定后再次簽名，獲取數據；信息原文與摘要信息、簽名信息（以公鑰形式）一并發送給接受方。

8）二次特征提取：接受方對收到的公鑰等信息進行檢測識別。根據上述方式再次循環進行。若成功則可以查看信息原文，但不顯示公鑰及密鑰的任何內容信息。

所有的測試數據完成信息分類后，需要對整個系統進行性能評估。較為常用的性能評估標準是錯誤拒識率（false rejection rate，FRR）和錯誤接受率（false acceptance rate，FAR），其計算公式如下：其中X表示所有被認證系統拒絕的真實簽名數，Y表示所有的真實簽名數；a表示所有被認證系統接收的偽造簽名數，b表示所有的偽造簽名數。

在上述的設計方案中，偽造樣本大致分為3種：

1）隨機偽造。偽造者不知道簽名用戶的任何信息，采用隨意的方式偽造簽名，容易區分。

2）簡單偽造，也稱為“熟人作案”。即偽造者知道用戶的基本信息，熟悉程度一般，通過書寫內容基本一致的信息進行偽造，涉及行為體現，區分難度一般。

3）技巧偽造，主要是“親近作案”，偽造者對用戶的數據信息較為熟悉和了解，以惡意方式偽造。刻意偽造，區分難度較大。

但因本方案中設計了筆跡簽名和人臉識別的雙重驗證形式，無論那種偽造的行為都必須滿足上述兩個條件的偽造信息，因此偽造成功的難度較大。

3.2 方案涉及的問題分析

基于影像識別技術的簽名認證識別與之前的電子簽名的認證方法有一些區別，因此也存在著更多需要解決的問題。

1）影像數據采集的問題。較為可取的影像數據采集一般應在色彩簡單的環境的中完成，用戶的理想采集過程應是短暫、無干擾、空間信息背景為純色環境且膚色與背景應無重合的狀態，即背景色彩應為白色較為合適。

2）影像首幀及關鍵幀定位的問題。在進行影像目標跟蹤的過程中，需要影像畫面的落筆首幀與手寫板的實際落筆首幀相結合，進行數據點匹配，同步計算書寫時間，從而更好地完成后續的跟蹤定位。

3）特征提取的問題。如何準確選擇簽名過程中的某些筆跡特征，與簽名過程中的面部識別特征相結合。

3.3 影像數據的采集與關鍵幀的定位

在簽名過程中，獲取的視頻與手寫板的初始定位相對接、關鍵幀的定位與手寫過程的觸壓、形成的筆跡粗細等都有較大關系。

3.3.1 影像數據的采集

在簽名的背景選擇上，本文選擇背景為白色墻體的位置進行數據采集，這樣比較容易在視頻中準確定位人臉特征和書寫特征，而且較為符合生活中的商務辦公場景。文中的認證系統使用智能手機進行攝像，采用在筆記本電腦觸摸板進行書寫的方式，使用的筆為電容觸控筆，在攝像設備前讓用戶根據自己的思維，隨意書寫3個漢字的詞語。圖3為影像數據采集的書寫場景。

圖3 影像數據采集的書寫場景

3.3.2 關鍵幀定位

關鍵幀定位是進行影像特征提取前必須完成的工作內容。之前的相關研究中大多未涉及到影像技術關鍵幀的定位問題，將影像技術關鍵幀與手寫板的觸壓融合更是鳳毛麟角。因環境不同、書寫人員不同，每次落筆的起始位置可能存在偏差，因此影像技術的首幀定位應當以手寫板落筆的瞬間定位為標準，這就需要在后期數據預處理的過程中在影像畫面與手寫板觸控之間建立通道。隨后再由手寫板的壓力、手勢移動等之間的相互關系建立對應的關鍵幀。除此之外，還應考慮由于書寫過程中光線陰影、書寫者膚色等因素造成的相對復雜的關鍵幀定位干擾問題。

1）色彩辨識

根據RGB色彩空間模型，選擇的觸控筆一般應與觸控板有較大的色彩差異，對筆跡出現的觸控板區域進行初步定位，將候選區域框定在觸控板內部，這一問題就變得相對簡單，大大降低了解決問題的難度。人臉的檢測是在圖像中選取與樣本存儲的人體皮膚色彩一致，面部特征像符合的像素，在人臉識別技術支持下自動定位人臉位置，跟蹤檢測。

2）首幀的定位

確定色彩辨識與筆尖運動的軌跡之后，將開始進行首幀的定位。首幀畫面的定位需要影像視頻與手寫板觸壓相互融合，需要建立兩者之間的互聯通道。由于影像畫面最終需要進入計算機進行信息處理，筆跡觸控也是通過計算機方式完成的書寫，則可以利用計算機為媒介，將手機通過WIFI與計算機相連，實時傳輸影像畫面，計算機同步觸控板信息進行分析處理，完成觸控板第一次落筆與影像畫面首幀的定位。

3）關鍵幀的定位

關鍵幀的定位是對書寫過程中筆跡變化起到決定作用的內容。無論是漢字的書寫還是英文字母的書寫，書寫水平都是判斷一個人書寫特征的重要因素。一般是從筆劃、運筆、結構、布局四個方面進行衡量的。由于書寫功底尤其是簽名的書寫功底并非一朝一夕可以成形，需要經歷一個書寫訓練的過程，書寫人也不可能在短時間內迅速改變自己的書寫風格，因此依據書寫特征抽取關鍵幀是較為合適的。本文中根據筆跡書寫過程中最為重要的三個因素：轉折、頓筆、力度，抽取關鍵幀數據，進行特征分析和處理。圖4是三位不同的書寫者書寫的“武漢”二字，三幅書寫的轉折、頓筆、力度均各不相同：圖4（a）的“武”與“漢”之間互不相聯，線條的粗細不一，“武”字的直線與曲線有較為明顯的區別且輕重緩急一目了然；圖4（b）書寫者力度較大，因此線條較粗，但兩字連接綿延不斷，幾乎沒有直線構成，因此表現夸張；圖4（c）書寫的“武漢”二字為繁體書寫風格，力度較輕，基本都是以斜線構成。就圖4中的三個文字做關鍵幀提取分析，圖4（a）可以由幾處連筆的過程造成的力度缺失進行定位；圖4（b）可由頓筆時造成的書寫時間延時和最大力度點進行定位；圖4（c）可以由形成的線條曲直度進行定位。

圖4 三位不同的書寫者書寫的“武漢”二字

3.4 特征的提取與匹配

基于影像識別技術的電子簽名認證的特征提取與匹配分為兩個部分，一是對人臉識別的特征與匹配，目前該項技術在國內已較為成熟，算法也較為精確。據統計，截止2017年9月，普通面部識別技術精確度可達99%，雙胞胎識別精確度可達98.75%以上。

3.4.1 預處理

通過關鍵幀的定位獲取了筆跡簽名的特征圖像之后，需要對筆跡的關鍵拐點和關鍵幀的時間序列進行預處理。預處理的步驟主要有三個方面，一是插值，考慮到手機的像素及分辨率過低的問題，對運動筆跡的畫面進行插值；二是縮放，將簽名的畫面關鍵幀縮放到與簽名同等尺寸，形成簽名的立體面；三是對畫面關鍵幀中觸控板的陰影等環境干擾項的消除。

另外，經過預處理后的簽名的靜態圖像作為特征依據，為了使所有的簽名數據盡可能的都統一角度，考慮利用坐標信息，完成對最終簽名數據的角度旋轉，以方便后期識別時適應不同角度的簽名識別。如圖5旋轉前后差異對比。

圖5 旋轉前后差異對比

3.4.2 特征提取與匹配過程

本文提出的基于影像識別技術的電子簽名身份認證，是使用圖形圖像與壓力觸感對簽名的筆跡進行特征提取和匹配的。在注冊階段，用戶提供自己書寫的簽名樣本生成圖像，結合影像關鍵幀技術和觸控板或手寫板的壓力觸控技術獲得用戶的注冊樣本，然后經過對關鍵幀產生的時間節點與帶有的書寫特征的壓力觸控數據進行算法分析，生成密鑰樣本，將其保存，在認證時，經過同樣的步驟獲得認證樣本的信息，將認證樣本與注冊樣本的密鑰進行匹配，最后以兩個筆跡觸壓點輕重的相似度在影像關鍵幀識別的時間序列及書寫者的面部特征匹配比對確定簽名是否出自同一人之手。在傳遞信息給接受方時，亦重復上述步驟，實現接受方對信息真實性的判定。

4 結語

本文對于影像識別技術的電子簽名認證的方案進行了研究設計。影像識別技術不同于單純的人臉識別技術和筆跡鑒定技術，它是通過對初始簽名過程的完整影像記錄，從中提取出簽名者的面部特征形成人臉識別，同時提取簽名視頻中的關鍵幀，進行筆劃與筆鋒的分析，再通過手寫板對簽字過程中的筆尖觸感、壓力等內容的分析后，綜合特征得出電子簽名密鑰，獲取唯一身份認證的依據。這是一種特殊的簽名認證方式。通過實驗表明，設計的簽名方案具有較好的魯棒性；本文使用的書寫規律信息描述方法能夠較快且精準的對影像關鍵幀進行捕捉、跟蹤和身份認證；提出的觸感與壓感的運動筆跡識別匹配能夠獲得身份認證結果。同時，因加入了人臉識別功能，在法律認定中也具有一定的參考依據。

但本文中尚有以下問題未得到解決或仍需改善：

1）對書寫中攝像頭自動聚焦和跟焦的過程尚有待研究，因簽名時動作過快造成的拍攝中跑焦現象時有發生。

2）未解決一部分書寫過程中抬筆落筆較頻繁人群的影像識別問題，會造成因抬筆落筆現象產生的影像關鍵幀重新抽取分析。

隨著移動“互聯網+”、物聯網等信息技術產業的不斷提升，電子簽名技術的應用場景還將進一步擴大和深入。下一步，它將為制造業、地產、金融、能源、稅務、政務等眾多領域的提供諸如勞動合同電子化、商品消費簽名化等基礎服務，第三方電子簽名服務也將在“互聯網+”時代迎來新的發展和成長空間。