基于改進(jìn)LeNet-5的落足階段步態(tài)特征自動分類方法研究

羅鑫，郭威，唐云祁

（中國人民公安大學(xué)偵查學(xué)院，北京100038）

0 引言

在人們行走運(yùn)動過程中通常會留下足跡，足跡在犯罪現(xiàn)場有很高的發(fā)現(xiàn)率、提取率，能穩(wěn)定且全面地反映出遺留人的行走姿態(tài)、體態(tài)特征等個(gè)人信息，這為分析案件性質(zhì)、確定偵查方向提供了重要基礎(chǔ)。立體足跡步態(tài)特征經(jīng)過國內(nèi)外學(xué)者多年的研究，已形成較為成熟的理論基礎(chǔ)，為公安工作做出巨大貢獻(xiàn)。然而，如今的公安工作繁重、基層警力匱乏，面對巨大的工作量及數(shù)據(jù)量[1]，傳統(tǒng)的足跡檢驗(yàn)技術(shù)已無法滿足，卷積神經(jīng)網(wǎng)絡(luò)等機(jī)器學(xué)習(xí)不斷發(fā)展，已成功應(yīng)用于眾多領(lǐng)域，將足跡檢驗(yàn)與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合成為當(dāng)今足跡檢驗(yàn)的發(fā)展趨勢。卷積神經(jīng)網(wǎng)絡(luò)通過卷積操作提取圖像特征，實(shí)現(xiàn)了圖像識別與分類的目的，并具有自學(xué)習(xí)和自適應(yīng)的能力，在圖像識別和分類領(lǐng)域取得很大成功[2]。卷積神經(jīng)網(wǎng)絡(luò)在公安工作領(lǐng)域常用來進(jìn)行人臉自動識別[3]，將卷積神經(jīng)網(wǎng)絡(luò)運(yùn)用在立體足跡落足階段步態(tài)特征的自動分類，通過對用于手寫數(shù)字識別的經(jīng)典網(wǎng)絡(luò)模型LeNet-5進(jìn)行改進(jìn)，實(shí)現(xiàn)落足階段步態(tài)特征分類的準(zhǔn)確性和自動性。

1 立體足跡步態(tài)特征理論

步態(tài)特征存在于單個(gè)立體足跡中，是人們在行走運(yùn)動過程中，赤足或鞋等造痕體作用于地面等承痕體，形成的能夠反映個(gè)人行走動作特征或體態(tài)特征的足跡特征[4]。步態(tài)特征分為：①主體特征，主體特征是指在正常的行走運(yùn)動中每一次足底與地面接觸必然要出現(xiàn)的特征；②伴生特征，伴生特征是指在足底與地面的接觸過程中伴隨著一定的主、客觀條件而出現(xiàn)的特征，它不是必然出現(xiàn)的特征，當(dāng)其他形成條件具備時(shí)就出現(xiàn)，形成條件不具備時(shí)就不出現(xiàn)。本文的研究對象為落足階段的步態(tài)特征。

落足特征是指在行走運(yùn)動的落足階段，擺動足向前下方踩踏地面，并緩沖人體向前運(yùn)動的慣性，在這一階段所形成的足跡步法特征反映[5]。落足特征的主體特征為踏痕，伴生特征有擦痕、磕痕和推痕。踏痕人們行走在泥土、沙土等可塑性地面上必然會留下的痕跡，是擺動足的足跟部位撞擊地面而形成的痕跡，此時(shí)擺動足的跟區(qū)以一定的速度和角度作用于地面，經(jīng)過短暫的與地面的相對運(yùn)動過程后完成能量的釋放，形成痕跡，如圖1（a）所示。踏痕位于足跡中跟區(qū)的后緣附近，由于不同的人行走習(xí)慣不同，踏痕有的在足跡中跟區(qū)后緣附近偏外的部位，有的在足跡中跟區(qū)的正后方，也有少數(shù)的出現(xiàn)在足跡中跟區(qū)的偏內(nèi)側(cè)。擦痕位于足跡跟后緣的后面，是由于落足較低在足跟或鞋跟與地面接觸后，仍繼續(xù)向前運(yùn)動而在承痕體上形成的痕跡，如圖1（b）所示。根據(jù)落足部位擦痕分為偏內(nèi)擦、正擦、偏外擦。磕痕位于足跡跟后緣的后面，由于落足時(shí)臀肌和大腿后側(cè)肌群用力，使足跟或鞋跟后邊緣向后下方作用于承痕體而形成痕跡，如圖1（c）所示?？暮鄣姆从呈窃谧阚E后緣有明顯的堆土或噴土現(xiàn)象。根據(jù)落腳的部位不同，磕痕分為偏內(nèi)磕、正磕、偏外磕。推痕位于足跡后跟的內(nèi)側(cè)，是由于落足時(shí)足跟落地后向內(nèi)前方推擠在地面上留下的痕跡，如圖1（d）所示。在立體足跡的后跟內(nèi)側(cè)有推土痕跡，正常人行走不會出現(xiàn)推痕，所以推痕是反映個(gè)人特點(diǎn)的較穩(wěn)定的特征。

圖1 落足階段步態(tài)特征

2 基于改進(jìn)LeNet-5的落足階段步態(tài)特征自動分類

LeNet-5模型是為識別手寫體數(shù)字而設(shè)計(jì)的[6]，其輸入圖像為歸一化到大小為32×32的圖像，C1、C3為卷積層，卷積核大小均為5×5，移動步長均為1；S2、S4為池化層，均采用最大池化（maxpool），池化窗口大小均為2×2，滑動窗口步長均為2；F6層是全連接層；最后一層是輸出層。LeNet-5最初的用途是識別手寫數(shù)字[7]，其特征較簡單，而落足階段的步態(tài)特征相比于手寫體數(shù)字特征更復(fù)雜，因此適當(dāng)增加網(wǎng)絡(luò)層數(shù)，加入更多功能的網(wǎng)絡(luò)結(jié)構(gòu)，有利于進(jìn)一步提高識別的準(zhǔn)確率。LeNet-5網(wǎng)絡(luò)中只有兩個(gè)卷積層、兩個(gè)池化層、兩個(gè)全連接層并在倒數(shù)第二個(gè)全連接層后連有一個(gè)Re?LU激活函數(shù)，因此本實(shí)驗(yàn)在對LeNet-5的改進(jìn)時(shí)增加了一個(gè)卷積層、一個(gè)池化層、一個(gè)全連接層以及激活函數(shù)層、歸一化層和Dropout層。

改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)包括三個(gè)卷積層、三個(gè)池化層和三個(gè)全連接層，并在每一個(gè)卷積層后連有激活函數(shù)層和歸一化層，在前兩個(gè)全連接層后連有激活函數(shù)層和Dropout層。卷積層的卷積核大小均為3×3、步長均為1；池化層均采用最大池化操作，池化窗口大小均為2×2、步長均為2；Dropout率均為0.5。在激活函數(shù)層方面，實(shí)驗(yàn)分別探究了ReLU激活函數(shù)和PReLU激活函數(shù)對自動分類的性能。ReLU函數(shù)其實(shí)是分段線性函數(shù)，所有的負(fù)值都變?yōu)?，正值不變，這種操作被稱為單側(cè)抑制。因?yàn)橛辛藛蝹?cè)抑制，才使得神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元也具有了稀疏激活性[8]。稀疏激活性使神經(jīng)網(wǎng)絡(luò)能更好的提取具有區(qū)分性的特征，而忽視不具有區(qū)分性的特征，提高網(wǎng)絡(luò)模型提取特征的性能[9]。PReLU為參數(shù)化線性修正函數(shù)，其可以自適應(yīng)地從數(shù)據(jù)中學(xué)習(xí)參數(shù)，能夠在幾乎不增加計(jì)算量的情況下提高識別的準(zhǔn)確率[10]。在歸一化層方面，本實(shí)驗(yàn)分別探究了局部響應(yīng)歸一化（LRN）和批量歸一化（BN）對自動分類的性能。局部響應(yīng)歸一化借鑒神經(jīng)生物學(xué)上“側(cè)抑制（lateral inhibitio）”概念，即被激活的神經(jīng)元抑制相鄰的神經(jīng)元[11]?；诖耍琇RN實(shí)現(xiàn)了局部抑制，尤其在使用ReLU的時(shí)候，這種“側(cè)抑制”很有效。批量歸一化（BN）的實(shí)質(zhì)屬于預(yù)處理操作，即在卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，對其上一層的特征輸出做歸一化處理，之后作為下一層的輸入。其優(yōu)點(diǎn)在于可以有效的防止參數(shù)過擬合現(xiàn)象，加快神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度[12]。在Caffe環(huán)境中，BN層常與Scale層一起使用[13]，原因在于對歸一化后的特征值進(jìn)行比例縮放和位移則是由Scale層完成的，故在網(wǎng)絡(luò)結(jié)構(gòu)中的排列順序通常為卷積層-BN層-Scale層-激活函數(shù)層。故本實(shí)驗(yàn)基于LeNet-5共設(shè)計(jì)了4種改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)，分別命名為Bttz1、Bttz2、Bttz3和Bttz4，其結(jié)構(gòu)如圖2所示。

3 實(shí)驗(yàn)及其結(jié)果分析

3.1 數(shù)據(jù)采集及數(shù)據(jù)庫建立

在立體足跡的采集上，本實(shí)驗(yàn)使用的相機(jī)為Nikon D7200單鏡頭反光照相機(jī)，光照條件為室內(nèi)燈光。首先請測試者穿著制式皮鞋在平整沙地上自然走過，在沙地上留下立體足跡。放置比例尺，使用單反相機(jī)，對留下的每一枚足跡進(jìn)行拍照提取。然后使用工具平整沙地，再讓其他測試者在沙地上走過。將收集到的足跡照片去除模糊、變形等低質(zhì)量照片后，觀察足跡的落足特征，按照踏痕、磕痕、擦痕、推痕分為四類，每類2000張，共8000張足跡照片。

圖2 Bttz1、Bttz2、Bttz3、Bttz4網(wǎng)絡(luò)結(jié)構(gòu)圖

為防止足跡其他部位對卷積神經(jīng)網(wǎng)絡(luò)自動分類的影響，本實(shí)驗(yàn)將每張足跡照片足跟部分落足階段步態(tài)特征裁剪下來作為實(shí)驗(yàn)的數(shù)據(jù)集。利用Photoshop軟件選取長300像素、寬為240像素的長方形選框，裁剪每一張足跡照片足跟處的痕跡部分。如圖8所示，為四類立體足跡落足階段步態(tài)特征照片。實(shí)驗(yàn)數(shù)據(jù)共8000張裁剪后的立體足跡落足階段步態(tài)特征照片，其中訓(xùn)練集6500張，測試集1500張。

圖3 裁剪后的落足階段步態(tài)特征照片

3.2 實(shí)驗(yàn)壞境及參數(shù)設(shè)定

本實(shí)驗(yàn)中使用的處理器為Intel Core i7-7700HQ四核處理器，操作系統(tǒng)為64位的Win10系統(tǒng)，顯卡為NVIDIA GTX1050Ti 4G GDDR5獨(dú)立顯卡?；贑affe框架，并使用CUDA進(jìn)行加速。實(shí)驗(yàn)的參數(shù)設(shè)定如表1所示。

表1 參數(shù)設(shè)定

3.3 實(shí)驗(yàn)結(jié)果及分析

本文模型的構(gòu)造基于LeNet-5網(wǎng)絡(luò)，訓(xùn)練集迭代500次測試一次準(zhǔn)確率，最大迭代次數(shù)為10000次，即訓(xùn)練集測試20次準(zhǔn)確率。測試集設(shè)置為測試50次。訓(xùn)練結(jié)果如圖4所示，基于LeNet-5的落足階段步態(tài)特征自動分類在迭代1500次時(shí)收斂，其訓(xùn)練集準(zhǔn)確率為92%，損失函數(shù)為0.21；測試集準(zhǔn)確率為92%，損失函數(shù)為0.14。

圖4 LeNet-5訓(xùn)練準(zhǔn)確率和損失函數(shù)曲線圖

如圖5所示，基于Bttz1的落足階段步態(tài)特征自動分類在迭代1500次時(shí)收斂，其訓(xùn)練集準(zhǔn)確率為96%，損失函數(shù)為0.10。測試集準(zhǔn)確率為96%，損失函數(shù)為0.16。

圖5 Bttz1訓(xùn)練準(zhǔn)確率和損失函數(shù)曲線圖

如圖6所示，基于Bttz2的落足階段步態(tài)特征自動分類在迭代1000次時(shí)收斂，其訓(xùn)練集準(zhǔn)確率為97%，損失函數(shù)為0.12。測試集準(zhǔn)確率為98%，損失函數(shù)為0.06。

圖6 Bttz2訓(xùn)練準(zhǔn)確率和損失函數(shù)曲線圖

如圖7所示，基于Bttz3的落足階段步態(tài)特征自動分類在迭代500次時(shí)收斂，其訓(xùn)練集準(zhǔn)確率為94%，損失函數(shù)為0.23。測試集準(zhǔn)確率為94%，損失函數(shù)為0.26。

圖7 Bttz3訓(xùn)練準(zhǔn)確率和損失函數(shù)曲線圖

如圖8所示，基于Bttz4的落足階段步態(tài)特征自動分類在迭代1000次時(shí)收斂，其訓(xùn)練集準(zhǔn)確率為96%，損失函數(shù)為0.14。測試集準(zhǔn)確率為96%，損失函數(shù)為0.16。

圖8 Bttz4訓(xùn)練準(zhǔn)確率和損失函數(shù)曲線圖

實(shí)驗(yàn)在LeNet-5經(jīng)典網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上進(jìn)行改進(jìn)，加入了一層卷積層、一層池化一層全連接層以及激活函數(shù)層、歸一化層和Dropout層，其中激活函數(shù)層包括ReLU和PReLU、歸一化層包括局部響應(yīng)歸一化（LRN）和批量歸一化層（BN），共提出了四種網(wǎng)絡(luò)結(jié)構(gòu)，分別命名為Bttz1、Bttz2、Bttz3和Bttz4。表2羅列了LeNet-5和Bttz1、Bttz2、Bttz3、Bttz4對于立體足跡落足階段步態(tài)特征自動分類的結(jié)果。

表2 實(shí)驗(yàn)結(jié)果匯總表

從表2可以得出，相比于LeNet-5，四種對于LeNet-5改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)用于立體足跡落足階段步態(tài)特征自動分類都可以獲得較高的準(zhǔn)確率，其中加入了PReLU激活函數(shù)層和局部響應(yīng)歸一化層（LRN）的Bttz2網(wǎng)絡(luò)的訓(xùn)練準(zhǔn)確率可以達(dá)到97%，測試的準(zhǔn)確率可以達(dá)到98%，較大地提高了網(wǎng)絡(luò)的精度。同時(shí)，通過比較四種網(wǎng)絡(luò)的實(shí)驗(yàn)結(jié)果可以得出，在選擇激活函數(shù)上，PReLU比ReLU更有利于提高落足階段步態(tài)特征自動分類的準(zhǔn)確率；在選擇歸一化層上，局部響應(yīng)歸一化（LRN）比批量歸一化（BN）更有利于提高落足階段步態(tài)特征自動分類的準(zhǔn)確率。

表3 各網(wǎng)絡(luò)收斂時(shí)的迭代次數(shù)匯總表

表3 匯總了LeNet-5和四種改進(jìn)網(wǎng)絡(luò)在收斂時(shí)的迭代次數(shù)，相比于LeNet-5，Bttz2、Bttz3、Bttz4都加快了收斂速度，且Bttz3在迭代500次時(shí)就能夠收斂，極大地提高了收斂速度，由此可得，ReLU激活函數(shù)層和批量歸一化層（BN）能夠有效地提高網(wǎng)絡(luò)的收斂速度。

4 結(jié)語

建立立體足跡落足階段步態(tài)特征數(shù)據(jù)集，在LeNet-5經(jīng)典網(wǎng)絡(luò)模型的基礎(chǔ)上進(jìn)行改進(jìn)，增加一個(gè)卷積層、一個(gè)池化層和一個(gè)全連接層，并加入激活函數(shù)層、歸一化層和Dropout層，共設(shè)計(jì)了四種網(wǎng)絡(luò)結(jié)構(gòu)，分別命名為Bttz1、Bttz2、Bttz3和Bttz4。實(shí)驗(yàn)結(jié)果表明：①四種網(wǎng)絡(luò)都可以提高落足階段步態(tài)特征自動分類訓(xùn)練和測試的準(zhǔn)確率，其中Bttz2的準(zhǔn)確率最高，訓(xùn)練集準(zhǔn)確率達(dá)到97%，測試集準(zhǔn)確率達(dá)到98%；②Bttz2、Bttz3和Bttz4三種網(wǎng)絡(luò)結(jié)構(gòu)能有效地加快網(wǎng)絡(luò)的收斂速度，其中Bttz3的收斂速度最快，在迭代500次時(shí)就能收斂。同時(shí)，本實(shí)驗(yàn)還探究了激活函數(shù)（ReLU和PReLU）、歸一化（局部響應(yīng)歸一化和批量歸一化）對立體足跡落足階段步態(tài)特征的影響，實(shí)驗(yàn)結(jié)果表明，PRe?LU比ReLU更有利于提高分類的效果，局部響應(yīng)歸一化（LRN）比批量歸一化（BN）更有利于提高網(wǎng)絡(luò)的收斂速度。

卷積神經(jīng)網(wǎng)絡(luò)具有快速性、自動性的特點(diǎn)，將其運(yùn)用到公安工作中，可以有效地緩解公安人員工作壓力。目前，在人臉識別領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)已有很大的發(fā)展，隨著計(jì)算機(jī)硬件功能的不斷強(qiáng)大，網(wǎng)絡(luò)結(jié)構(gòu)的不斷加深以及算法的不斷更新?lián)Q代，卷積神經(jīng)網(wǎng)絡(luò)技術(shù)會慢慢滲透到公安工作的各方面，在公安領(lǐng)域發(fā)揮越來越大的作用。