基于特征分塊的赤足足跡人身識別算法

金益鋒, 趙曉蕊, 崔均健, 陳偉卿, 王國棟, 蔣雪梅*

(1.公安部鑒定中心, 北京 100038; 2.中國人民公安大學偵查學院, 北京 100038;3.大連恒銳科技股份有限公司, 大連 116085)

在案件的偵查過程中,現場遺留足跡為案件的偵查方向提供了有效的線索。赤足足跡承載著人體豐富的生理特征和行為特征,自身具有較強的特定性和穩定性[1],且又因其非刻意、無感知、普遍性等遺留特點,在刑偵領域有著巨大的應用潛力。足跡來源于對象整體的行為,可以反映對象的身份特點以及行為習慣。但足跡易受對象心理狀態、身體狀況、環境等因素的影響,同一人的足跡會發生一定的變形,從而導致足跡識別的難度加大。足跡分析已經在刑事偵查領域與病理學領域得到了廣泛的關注,通過對現場足跡的梳理,可更好重建犯罪現場,加快案件偵破速度。國內外學者對足跡分析開展了多方面的技術研究。

傳統的赤足足跡人身識別大多數是基于足跡結構、動力形態等特征。Khokher等[2]根據足跡輪廓提取足長等特征,分析了赤足特征與人身的強相關性。Kennedy等[3]等利用腳趾到腳跟的長度、腳跟的中心等38個特征量來對足跡進行表示。Wang等[4]將幾何形狀光譜特征(geometrical shape spectrum representation,GSSR)與圖像壓力徑向梯度特征(pressure radial gradient map, PRGM)進行融合,并采用區域置信度的方法來計算足跡之間的相似度。高毅等[5]采用三維形貌重構系統采集足跡,提取足跡的區域關系特征和形狀長度特征,利用支持向量機進行特征的比對,實現立體足跡身份識別。

深度學習是機器學習領域一個新的研究方向,隨著深度學習技術的不斷成熟,在數據挖掘、自然語言處理、圖像識別等領域都取得了突破性的成果。在數據量充足的情況下,與經典的特征提取方法相比,利用深度學習提取特征不僅簡單易行,且獲得的特征更穩定、區分度更高。隨著深度學習技術的不斷發展,卷積神經網絡能夠提取圖像深層次的特征。VGG[6]、AlexNet[7]、ResNet[8]等網絡的提出,讓深度學習在生物識別的各個領域得到了廣泛的應用。朱雅喬等[9]針對高分辨率圖像下目標所占面積小,檢測效果較低、實時性較差的問題,提出了一種基于LDCF-ResNet50的深度學習模型檢測方法,有效提升了行人檢測的準確率。金益鋒等[10]將深度學習用于跨清晰度的鞋面檢索當中,通過加入網絡分支、特定損失函數、隨機變換等手段,實現了從足跡圖像到視頻中鎖定犯罪嫌疑人的應用。在赤足足跡識別領域,深度學習也獲得了越來越多關注。鮑文霞等[11]對力觸覺足跡采用VGG19卷積神經網絡進行特征提取,并采用空間聚合加權注意力機制進行足跡識別。王喬等[12]將傳統的足型與足跡形態特征與卷積神經網絡獲取的圖像卷積特征進行結合,并通過支持向量機來達到人身識別的目的。金益鋒等[13]以ResNet50作為基礎網絡并結合水平金字塔匹配(horizontal pyramid matching, HPM)技術提取赤足足跡的多尺度特征進行赤足足跡的人身識別。高毅等[14]以立體赤足足跡作為研究對象,獲取三維足跡觸覺步態特征信息,運用反向傳播(back propagation,BP)神經網絡,實現步態特征人身識別。朱明等[15]提出了一種基于深度度量學習的赤足跡圖像檢索算法,該算法采用了動態難樣本三元組,可有效提升檢索性能。

現將深度學習技術應用于赤足足跡識別,采用ResNet50作為基礎網絡,對特征層進行分塊處理,期望獲得高穩定性、高區分度的特征用于赤足人身識別,從而實現提高赤足足跡人身識別算法準確率的目的。

1 足跡數據獲取及預處理

1.1 數據采集

本次實驗數據來源于大連恒銳成趟采集儀,采集到的足跡圖像如圖1所示。從圖1可以看出,成趟足跡采集儀可以獲取到自然行走過程中的多枚赤足足跡,足跡清晰、分布均勻。

圖1 赤足成趟足跡圖像Fig.1 The barefoot footprint image from a trip device

1.2 數據預處理

對赤足成趟足跡進行預處理,獲得處理后的圖像如圖2所示。

圖2 預處理后的赤足足跡圖像Fig.2 The barefoot footprint image after preprocessing

(1)找到赤足足跡的位置并將圖像裁剪出來。

(2)將處于拼接縫處的足跡進行剔除。

(3)方向歸一化,對赤足腳尖朝下的圖片做上下翻轉處理,使其腳尖朝上。

(4)尺寸歸一化,以足跡中心為基準,裁剪出399×886像素大小的圖像。

(5)圖像反色。

2 算法解析

深度殘差網絡(deep residual network,ResNet)的提出在卷積神經網絡圖像史上有著深遠的意義。在深度學習中,網絡的深度對模型的性能至關重要,隨著網絡層數的增加,網絡可以獲取到更復雜的特征。但問題也隨之而來,深層的網絡容易出現退化問題,即隨著網絡的加深,網絡的準確率甚至會出現下降的情況。ResNet通過殘差學習來解決退化問題,它將殘差學習加入到傳統的卷積神經網絡中,從而可以實現深層網絡的訓練。ResNet優秀的性能使其在圖像檢測、圖像分割等領域獲得了廣泛的應用,ResNet50相對簡潔的結構使其經常被作為基礎網絡使用。在赤足足跡人身識別中,同樣采用ResNet50作為基礎網絡,考慮到足跡的長寬比問題,將輸入圖像大小設置為576×224×3,對應的網絡層級結構及特征圖大小如表1所示。

表1 ResNet50網絡結構

對ResNet50提取的特征利用CAM進行可視化(圖3),發現不同的赤足足跡圖特征的關注點存在一定的差異,但一般都會集中在腳趾、前腳掌、腳跟等區域。基于此,嘗試分別獲取足跡不同部位的特征,從而使得特征包含的信息量更加豐富且更具可識別性,再將局部特征拼接起來組成足跡的整體特征用來進行人身識別。

圖3 特征可視化圖Fig.3 A visualization of the feature

2.1 基于圖像分塊的赤足足跡人身識別算法

基于圖像分塊的赤足人身識別算法(簡稱“圖像分塊”)是指對足跡圖像本身進行分塊,對分塊圖像進行訓練。具體操作如下,將赤足足跡縮放到576×224,然后將其切分為有重合區域的上、中、下三塊,每塊圖像尺寸為224×224,將此3小塊圖像同時輸入到ResNet50網絡中(網絡參數共享)進行訓練。網絡的整體框架如圖4所示。

H為圖像高度;W為圖像寬度圖4 圖像分塊網絡整體框架Fig.4 The structure of image block network

圖像分塊網絡采用的網絡層結構與表1結構基本一致,區別在于輸入圖像大小不同,Conv5_x層輸入的特征T大小變為了7×7×2 048維,經過平均池化獲得的列特征G大小為2 048維,再經過3個全連接層(fully-connected,FC),最終獲得類別的概率分布。

2.2 基于特征分塊的赤足足跡人身識別算法

基于特征分塊的赤足人身識別算法(簡稱特征分塊)是指對基礎網絡獲得的特征進行分塊處理,對分塊特征通過具有相同結構(參數不共享)的分類器分別獲得對應的類別概率分布。網絡的整體框架如圖5所示。

圖5 特征分塊網絡整體框架Fig.5 The structure of feature partitioning network

特征分塊網絡采用的網絡層結構與表1結構相似,基礎網絡部分完全一致,對Conv5_x層獲得的大小為18×7×2 048維的特征T采用自適應平均池化層獲得3×1×2 048維的特征,為了實現特征分塊,將特征按行取出獲得3個大小為2 048維的列向量G,將3個列向量分別送入三個分類器中獲得類別的概率分布。分類器包含兩個FC層,首先將2 048維的列向量G通過第一個FC層降為256維,再通過第二個FC層獲得分類概率分布。為了加速網絡的收斂速度在第一個FC層之后增加了批歸一化(batch normalization,BN)處理,為了提高網絡的泛化能力,抑制過擬合現象,增加了dropout操作。

2.3 數據增強

數據增強是指通過增加訓練數據的樣本數和多樣性,提高模型的魯棒性,從而達到提高模型性能的目的。本文中采用的數據增強方式有:

(1)左右隨機翻轉。

(2)0°～5°隨機角度旋轉。

(3)0.125倍的隨機平移。

(4)0.9～1.1倍的隨機縮放。

(5)圖像灰度歸一化。

2.4 損失函數

交叉熵(cross entropy, CE)可以衡量同一個隨機變量中兩個不同概率分布的差異程度,在深度學習中經常通過交叉熵來表示真實概率分布與預測概率分布之間的差異。交叉熵的值越小,模型預測效果越好。CE loss的計算公式為

(1)

式(1)中:M為指類別數量;N為指樣本數量;yic為符號函數,如果樣本i的真實類別為c則取1,否則取0;pic為指觀測樣本i屬于類別c的預測概率。

三元組損失函數(triplet loss)[16]是為了使得同類別標簽的特征在空間位置上盡量靠近,不同類別標簽的特征在特征空間上盡量遠離,為了避免特征的樣本聚合到特別小的空間,要求不同類別之間的距離比相同類別之間的距離大于一個設定的閾值。Triplet loss的公式為

Ltriplet=max[d(a,p)-d(a,n)+margin,0]

(2)

式(2)中:d(a,p)為具有相同類別標簽的樣本a與樣本p之間距離;d(a,n)為具有不同類別標簽的樣本a與樣本n之間的距離;margin為設定的距離閾值。

本文中分別采用CE loss和triplet loss作為損失函數對特征進行度量學習。

3 實驗

3.1 實驗環境

實驗網絡模型均在pytorch中搭建,模型訓練所用計算機帶有2塊GTX 2080Ti顯卡,使用SGD優化器進行訓練,初始學習率設置為0.01,損失函數為CE loss和triplet loss。在第90次迭代和第150次迭代時分別將學習率降為之前的1/10,最終學習率固定在0.000 1,每次迭代的批處理大小為32。

3.2 評價指標

實驗結果采用識別準確率作為足跡識別的評價指標,識別準確率是指正確分類足跡樣本所占總樣本的比例。

3.3 數據集

從成趟數據庫中,隨機選取了2 000人作為訓練庫,3 000人作為測試庫,訓練庫與測試庫無類別重合。將同一人的左右腳作為兩個不同的類別進行處理,即訓練庫2 000人,共4 000類,測試庫3 000人,共6 000類。訓練庫每類足跡圖像5～9幅不等,共32 157幅。從3 000人的測試庫中,隨機抽取500人,每人左右腳各1幅,共1 000幅構成待查詢圖像集query,從剩余的測試庫圖像中,每人隨機抽取左右腳各2幅,共6 000幅構成參考圖像集gallery。

3.4 實驗結果及分析

為了驗證圖像分塊和特征分塊對于赤足足跡人身識別算法的影響,進行了多組實驗,實驗結果如表2所示。 ResNet算法、圖像分塊算法、特征分塊算法采用CE loss,取平均池化層之后的特征,圖像分塊算法和特征分塊算法的整體特征是由三個特征列向量歸一化后進行拼接獲得的,特征比對采用余弦相似度。

表2 不同基礎網絡下的對比實驗結果Table 2 Comparative experiment results of different basic networks

從表2可以看出,在3個不同的ResNet基礎網絡上,圖像分塊算法與ResNet算法相比,性能稍有提高,特征分塊算法性能明顯優于ResNet算法和圖像分塊算法,特征分塊對赤足足跡人身識別是有效的。隨著基礎網絡層數的加深,對應算法的性能也會有所提升,但提升幅度會逐漸降低。在ResNet50基礎網絡上,特征分塊的赤足足跡人身識別準確率達到了98.20%。

為了驗證不同損失函數下,特征分塊依舊是有效的,本文增加了一組對比實驗,即加入triplet loss,實驗結果如表3所示。從結果可以看出,ResNet算法和特征分塊算法,采用triplet loss均帶來了性能的小幅提升。

表3 不同損失函數下的對比實驗結果Table 3 Comparative experiment results of different loss functions

目前赤足人身識別算法主要分為兩個方向,基于傳統特征的方法和基于深度學習的方法。為了驗證本文算法的有效性,分別選取了基于赤足足跡形狀特征(GSSR)與圖像壓力徑向梯度特征(PRGM)進行融合的算法與基于ResNet50網絡的多尺度特征下的赤足足跡圖像人身識別算法與本文提出的特征分塊算法識別結果進行對比,結果如表4所示。從對比結果可見,本文提出的算法在赤足人身識別性能上優于其它兩種算法,進一步證明了特征分塊在赤足人身識別上的有效性。

表4 不同算法下的對比實驗結果Table 4 Comparative experiment results of different algorithms

4 總結和展望

將深度學習應用于赤足人身識別中,以多種ResNet模型作為基礎網絡,在特征層面進行了分塊處理,將分塊特征歸一化拼接后用來進行人身識別。實驗表明,在多種ResNet模型、不同損失函數下,特征分塊均能帶來性能的提升。隨著ResNet網絡深度的增加,算法性能也會隨之提升,但模型大小也會相應增加。

足跡是案發現場常見的證據之一,利用赤足人身識別技術可以對現場赤足足跡進行梳理,從而更好重建犯罪現場,為案件偵查提供線索和方向,加快案件偵破速度。赤足人身識別技術可用于案件串并,將采集到的現場赤足足跡與嫌疑人庫中的赤足足跡進行對比,查找與該足跡對應的嫌疑人,提高案件偵破效率。基于赤足足跡的人身識別方法,可以豐富人身生物識別信息,滿足多模態人身識別的技術需要,可應用于安防、安檢等場景。赤足人身識別還可為完善基于穿鞋足跡人身識別技術的研究提供支撐,進一步完善其理論的科學性和解釋性,更大地發揮足跡在偵查和訴訟中的價值。

未來可在更多的方面對算法性能進行提升,如采用更優化的網絡結構、增加不同的損失函數、加入注意力機制等。赤足足跡的殘缺以及形變依舊是將赤足足跡識別技術推廣到應用層面所面臨的難題。