立體足跡鞋底花紋削弱及步態(tài)增強(qiáng)方法比較

夏維忠 李京釗 王彪

（1.撫順市公安局東洲分局刑偵大隊(duì) 遼寧省撫順市 471000 2.蕪湖繁昌縣公安局 安徽省蕪湖市 241200）

（3.中國刑事警察學(xué)院 遼寧省沈陽市 110035）

1 立體足跡及步態(tài)特征

立體足跡是指作為造痕客體的赤足或穿鞋足跡在人的作用下，與具有可塑性的承痕客體如泥土、雪地、沙土等客體接觸時(shí)，承痕客體表面發(fā)生塑性形變所形成的具有三維空間、凹凸結(jié)構(gòu)形象的痕跡。

步態(tài)特征是指人在行走過程中造痕客體與承痕客體相互作用力的情況，是一個(gè)人在行走過程中運(yùn)動(dòng)特征的一種反映，分為主體痕跡和伴生痕跡兩種。按照個(gè)人行走動(dòng)作與造痕客體與承痕客體接觸的過程也可以將步態(tài)特征分為三類：落足特征、垂直支撐特征和起足特征，就形成痕跡而言，對(duì)應(yīng)踏痕、壓痕和蹬痕等。

不同的鞋底花紋對(duì)于立體足跡步態(tài)特征有著不同的影響。鞋底花紋越大，花紋越復(fù)雜，花紋線條越粗大，步態(tài)特征的清晰度越低，可識(shí)別度越差。

2 SLIC超像素分割簡介

超像素這個(gè)概念是指具有相似紋理、顏色、亮度等特征的相鄰像素構(gòu)成的有一定視覺意義的不規(guī)則像素塊。其原理是根據(jù)像素之間所具有特征的相似性將其分組分類,使用較少數(shù)量的超像素來替換大量的像素來顯示出圖片特征,在一定程度上降低了圖像處理后的復(fù)雜程度，所以一般將其作為分割算法的預(yù)處理步驟。此技術(shù)被廣泛的使用于圖像分割、物體跟蹤、智能識(shí)別等計(jì)算機(jī)視覺應(yīng)用，也可以應(yīng)用于處理分析立體足跡承痕客體表面的緊實(shí)程度。

SLIC（simple linear iterative clustering），也就是簡單的線性迭代聚類。這是一種簡潔明了、操作方便的算法，它將彩色圖像轉(zhuǎn)化為CIELAB 顏色空間和XY 坐標(biāo)下的5 維特征向量，之后對(duì)5 維特征向量構(gòu)造距離度量標(biāo)準(zhǔn)，對(duì)圖像像素進(jìn)行局部聚類。相比于其他算法，它能夠生成更加緊湊、更加均勻的超像素，并且在處理時(shí)間，圖像形狀輪廓保持、超像素形狀方面有著較大的優(yōu)勢(shì)，能夠保持立體足跡整體形狀輪廓，能較好地完成期望的分割效果。

SLIC 優(yōu)勢(shì)主要如下：

（1）其生成的超像素排列緊湊有序，鄰域特征比較容易表達(dá)，因此可以較為容易的改造為基于超像素的方法。

（2）它不僅可以應(yīng)用于分割彩色圖上，也可以用來分割灰度圖片，適用于像立體足跡圖像。

（3）這種算法所需要設(shè)置的參數(shù)較少，在一般情況下僅僅只要設(shè)置一個(gè)預(yù)分割的超像素的數(shù)量。

（4）與其他超像素分割方法相比較，這種算法在處理時(shí)間、所生成超像素的緊密程度、物體形狀保持方面都很優(yōu)秀。

3 Mask R-CNN算法原理

Mask R-CNN 特征提取采用ResNet-FPN 的架構(gòu)，另外多加了一個(gè)Mask 預(yù)測(cè)分支。Mask R-CNN 綜合了許多優(yōu)秀的研究成果，其中主要包括三部分：Faster RCNN、ResNet-FPN、ResNet-FPN+Fast RCNN。

圖1：FPN 結(jié)構(gòu)圖

圖2：ResNNet-FPN 網(wǎng)絡(luò)結(jié)構(gòu)示意圖

3.1 Faster RCNN

Faster RCNN 是兩階段的目標(biāo)檢測(cè)算法，包括階段一的Region proposal 以及階段二的bounding box 回歸和分類。

Faster RCNN 使用CNN 提取圖像特征，然后使用region proposal network（RPN）提取出ROI，之后使用ROI pooling 將這些ROI 全部變成固定尺寸，再進(jìn)行Bounding box 回歸和分類預(yù)測(cè)。

3.2 ResNet-FPN

圖3：小花紋鞋印原始圖片

圖4：SLIC 超像素分割算法處理后效果圖

圖5：大花紋鞋印原始圖片

圖6：SLIC 超像素分割算法處理后效果圖

圖7：小花紋鞋印原始圖片

圖8：Mask R-CNN 算法處理后效果圖

圖9：大花紋鞋印原始圖片

圖10：Mask R-CNN 算法處理后效果圖

多尺度檢測(cè)在目標(biāo)檢測(cè)中變得越來越重要，尤其是對(duì)于像立體足跡步態(tài)特征以及承痕客體表面緊實(shí)程度這樣子的小目標(biāo)?，F(xiàn)在主流的目標(biāo)檢測(cè)方法很多都用到了多尺度的方法。Feature Pyramid Network (FPN)則是一種精心設(shè)計(jì)的多尺度檢測(cè)方法。

FPN 結(jié)構(gòu)中包括自下而上，自上而下和橫向連接三個(gè)部分，如圖1 所示。這種結(jié)構(gòu)可以將各個(gè)層級(jí)的特征進(jìn)行融合，使其同時(shí)具有強(qiáng)語義信息和強(qiáng)空間信息。

FPN 實(shí)際上是一種通用架構(gòu)，可以結(jié)合各種骨架網(wǎng)絡(luò)使用。Mask RCNN 中使用了ResNNet-FPN 網(wǎng)絡(luò)結(jié)構(gòu)。如圖2 所示。ResNet-FPN 包括3 個(gè)部分，自下而上連接，自上而下連接和橫向連接。

3.3 ResNet-FPN+Fast RCNN

將ResNet-FPN 和Fast RCNN 進(jìn)行結(jié)合，就是Faster RCNN了，但與最初的Faster RCNN 不同的是，F(xiàn)PN 產(chǎn)生了特征金字塔 [P2,P3,P4,P5,P6]，而并非只是一個(gè)feature map。金字塔經(jīng)過RPN之后會(huì)產(chǎn)生很多region proposal。這些region proposal 是分別由P2,P3,P4,P5,P6 經(jīng)過RPN 產(chǎn)生的，但用于輸入到Fast RCNN 中的是[P2,P3,P4,P5]，也就是說要在[P2,P3,P4,P5]中根據(jù)region proposal切出ROI 進(jìn)行后續(xù)的分類和回歸預(yù)測(cè)。之后選擇最合適的尺度的feature map 來切ROI。大尺度的ROI 要從低分辨率的feature map上切，有利于檢測(cè)大目標(biāo)，小尺度的ROI 要從高分辨率的feature map 上切，有利于檢測(cè)小目標(biāo)。

將ResNet-FPN+Fast RCNN+mask， 則得到了最終的Mask RCNN。Mask RCNN 的構(gòu)建很簡單，只是在ROI pooling 之后添加卷積層，進(jìn)行mask 預(yù)測(cè)的任務(wù)。

4 實(shí)驗(yàn)與數(shù)據(jù)處理

4.1 實(shí)驗(yàn)儀器及對(duì)象

立體足跡采集實(shí)驗(yàn)沙地、立體足跡圖片分析處理軟件、不同類型鞋底花紋鞋子、照相機(jī)、標(biāo)準(zhǔn)L 型比例尺、光源。

不同大小鞋底花紋鞋子所形成的的立體足跡，實(shí)驗(yàn)者年齡在21 歲到23 歲之間，身高175cm-185cm，體重70KG-80KG，無生理缺陷。

4.2 實(shí)驗(yàn)樣本處理

實(shí)驗(yàn)者穿著不同花紋鞋子無負(fù)重在立體足跡承痕臺(tái)上依次正常行走所留下的足跡，拍照固定，從腳尖向腳跟方向打光，打光角度與地面夾角為35 度，所采集的均為左腳所留立體足跡。

三種主體痕跡中，落足階段的踏痕和起足階段的蹬痕跡由于同時(shí)受到垂直向下與水平方向力的作用，所以經(jīng)常會(huì)顯示出與周圍痕跡不同形態(tài)，通常表現(xiàn)為痕跡處承痕客體表面麻沙，不光滑，反光能力差，土壤顆粒松散，沙土的緊實(shí)程度與周圍不同。而垂直支撐階段的壓痕由于受到足底的各個(gè)骨突面受力垂直向下的力擠壓承痕客體，土壤顆粒受力更大從而更加細(xì)小，所以與壓痕周圍痕跡周圍相比承痕客體通常表現(xiàn)出更加緊實(shí)的形態(tài)。因此可以通過計(jì)算機(jī)分析承痕客體表面緊實(shí)程度，區(qū)分圖像的光滑面與麻沙面，并以密度不同的黑點(diǎn)數(shù)表示出緊實(shí)程度的不同，從而輔助判斷立體足跡步態(tài)特征，消除鞋底花紋對(duì)于步態(tài)特征的影響。

SLIC 超像素分割算法步驟：

（1）假設(shè)一副圖像大小為M*N,首先把它從RGB 空間轉(zhuǎn)換為LAB 空間，因?yàn)長AB 顏色空間呈現(xiàn)的顏色更全面。

（2）定義參數(shù)K，即超像素?cái)?shù)量生成的數(shù)量，將之前M*N 大小的圖像(像素?cái)?shù)目即為M*N)分隔為K 個(gè)超像素塊，每個(gè)超像素塊之中包含[（M*N）/K]個(gè)像素。

（3）假設(shè)每個(gè)超像素區(qū)域的長與寬都均勻分布的話，那么每個(gè)超像素塊的長和寬均可定義為S，S=sqrt(M*N/K)。

（4）遍歷操作，保存每個(gè)像素塊中心點(diǎn)的坐標(biāo)(x,y)及其lab的值。

（5）每個(gè)像素塊的中心點(diǎn)默認(rèn)是用(S/2,S/2)進(jìn)行獲取的，所以可能位于噪音點(diǎn)或者像素邊緣（所謂像素邊緣，就是像素突變處，比如從綠色過渡到紅色的分界線），因此要借助差分方式進(jìn)行梯度計(jì)算，來調(diào)整中心點(diǎn)的位置。

（6）完成上一步后進(jìn)行像素點(diǎn)的聚類,通過聚類的方式迭代計(jì)算新的聚類中心。

遍歷每個(gè)超像素塊中心點(diǎn)周邊的2S*2S 區(qū)域內(nèi)的像素點(diǎn)，計(jì)算該區(qū)域內(nèi)每個(gè)像素點(diǎn)與之像距離最近的超像素塊中心點(diǎn)，將其劃分到那個(gè)超像素塊中；完成一次迭代后，再次計(jì)算每個(gè)超像素塊的中心點(diǎn)坐標(biāo)，并重復(fù)此操作，分析多次試驗(yàn)得出的處理效果后選擇迭代10 次效果最佳。SLIC 超像素分割算法處理效果圖如圖3-圖6所示。

Mask R-CNN 算法處理效果如圖7-圖10 所示。

5 實(shí)驗(yàn)結(jié)論

（1）通過分析SLIC 超像素分割算法處理后的圖片，可以發(fā)現(xiàn)立體足跡鞋底花紋越大，對(duì)于處理后圖像的影響越大，處理效果越差，步態(tài)特征反映的不明顯；鞋底花紋越小，處理后的圖像效果越好，步態(tài)特征反映得更加明顯；立體足跡圖像中陰影部分越多，處理效果越差。立體足跡整體的輪廓保持度較高，提高了圖片的對(duì)比度，使得步態(tài)特征反映的更明顯，但是沒能去除鞋底花紋的影響，只能輔助判斷步態(tài)特征。

（2）通過分析Mask R-CNN 算法處理后的圖片，可以發(fā)現(xiàn)不論鞋底花紋大小，處理后的圖像效果都較差，圖像整體較為模糊，步態(tài)特征反映不明顯。且在鞋底花紋較大的情況下，打光所造成的陰影對(duì)于圖像處理的影響程度高，處理后的圖像效果差，步態(tài)特征難以清晰呈現(xiàn)甚至無法識(shí)別，無法消除鞋底花紋對(duì)于立體足跡的影響。

（3）通過比較兩種算法處理后所得圖片，SLIC 超像素分割算法在整體上要優(yōu)于Mask R-CNN 算法，但是仍然存在許多不足與缺陷，仍然需要進(jìn)一步提高處理效果。