基于改進YOLO的虹膜快速定位檢測算法

周奧， 楊崗*， 閆磊， 張東興

(1.西南交通大學機械工程學院， 成都 610031； 2.中車青島四方機車車輛股份有限公司技術中心， 青島 266111)

隨著生物識別技術發展日益成熟，該技術在門禁、考勤和支付系統等方面得到了廣泛的應用。目前常見的生物識別技術有指紋識別、人臉識別以及虹膜識別等。雖然每種生物特征識別都會存在一定優勢和劣勢，但是虹膜信息具有唯一性、防偽性、穩定性強以及非接觸式采集識別等特點，相比其他生物識別具有明顯的優勢[1-2]。虹膜識別系統最核心的兩個部分就是虹膜定位和識別。虹膜定位的好壞會影響到后續特征提取的質量和識別的準確率，因此能夠快速精確從人眼圖像中定位出虹膜內、外圓圈至關重要。

林珊珊等[3]利用了虹膜的形狀類似于圓環狀的特性，采用圓形檢測匹配器法來實現對虹膜圖像的分割，該算法抗噪性差，容易產生局部極值。鄒德旋等[4]提出了一種將邊緣檢測與Hough變換相結合的虹膜定位算法，將灰度圖進行二值邊緣化處理，然后通過Hough變換進行邊緣點參數投票得到內外圓邊界參數，最終分割出虹膜區域，該算法對于一些遮擋、不完整或者光線差的圖像，定位效果差。王蘊紅等[5]通過最小二乘擬合法定位虹膜內外邊界。Severo 等[6]將虹膜定位問題轉化為找到包含虹膜區域的最小矩形框的回歸問題，提出了方向梯度直方圖(histogram of oriented gradient，HOG)和支持向量機(support vector machine，SVM)組合成的檢測器方法，該算法計算量大、復雜度高。近些年，卷積神經網絡在目標檢測領域取得了不錯的成就，不少研究者將其應用至虹膜定位任務中。丁哲舟等[7]提出了一種改進的YOLOv3虹膜定位算法。滕童等[8]為快速淘汰干擾信息以準確定位虹膜區域，提出了基于卷積神經網絡的區域和關鍵點回歸多任務虹膜快速定位方法。楊亞男等[9]提出了一種改進的YOLOv4虹膜定位檢測算法。

針對實時采集的圖像環境差、傳統的虹膜定位算法存在的抗噪性差、效率低等問題，現將輕量級網絡MobileNetv3與目前流行的YOLOv3目標檢測網絡結合[10]，提出一種改進的YOLOv3模型的虹膜快速定位方法。以期不僅滿足結構輕量化，而且能夠對虹膜進行快速精準定位，適用于虹膜實時定位的場景。

1 算法基礎

1.1 YOLOv3網絡

YOLOv3[11]是由Joseph Redmon在2018年提出的一種實時性和準確性都比較好的檢測算法。YOLOv3的主干網絡采用的是Darknet53網絡，該網絡借鑒了殘差網絡的思想，由多個1×1和3×3的卷積以及殘差邊構成，每個卷積部分采用了特定的DarknetConv2D結構，該結構由卷積操作(Conv)、批量歸一化(BN)和LeakyReLU激活函數3個部分組成，如圖1所示。

圖1 結構塊Fig.1 Structure block

為了讓網絡能夠高效檢測大小目標，YOLOv3采用了特征金字塔(feature pyramid networks，FPN)[12]將主干網絡后面3個殘差結構輸出的不同尺度特征進行加強融合，通過結合高層豐富的語義特征與低層高分辨率位置信息特征來融合提取更好的特征。最后將3個不同尺度的加強特征傳入YOLO Head獲得預測結果。YOLO Head采用了一個3×3卷積核來進行特征整合和一個1×1卷積核調整輸出結果的通道數。YOLO網絡輸出結構如圖2所示。

圖2 YOLO輸出結構Fig.2 YOLO output structure

YOLOv3模型輸出結果有3個分支，分別用h1×w1、h2×w2和h3×w3來檢測大、中、小3個不同尺度的目標。其中3個分支的輸出將輸入圖片分成h×w個網格，YOLOv3模型預先為每個網格單元設定好3個先驗框，每個網格單元負責檢測其內部邊框，網格單元具體信息包括4個邊框調整參數(tx,ty,tw,th)、1個目標置信度參數和N個類別信息。模型最終目標檢測的預測框位置信息需要經過式(1)轉換得到[13]。

(1)

式(1)中：(cx,cy)為先驗框的中心坐標，即網格單元左上角坐標；tx、ty為實際邊框相對于先驗框中心坐標的偏移量；tw、th為實際邊框相對于先驗框寬高縮放比例；pw、ph分別為先驗框寬和高；(bx,by)為預測框中心坐標；bw、bh分別為預測框寬和高；σ為Sigmoid激活函數。

1.2 MobileNetv3

MobileNetv3[14]是谷歌團隊提出的高性能輕量化網絡，其核心采用深度可分離卷積來降低模型計算復雜度，同時能夠保證較高的精度。MobileNetv3主要有4個特征。

(1)引入了深度可分離卷積代替了傳統的卷積結構，降低模型的計算量。

(2)提出了倒殘差線性瓶頸結構(the inverted residual with linear bottleneck)來增強網絡的特征表達能力。

(3)在bottleneck結構中進入了SE注意力機制，讓網絡自動學習獲取每個特征通道的重要程度，提升有用的特征并抑制不重要的特征，使網絡自動構建特征通道之間的相互依賴關系，來提高特征表示的質量。

(4)使用了一種新的激活函數h-swish[15]來有效改進網絡精度，提高模型性能。

(2)

傳統的卷積運算是將輸入特征圖像與相同通道的卷積核進行相乘求和得到單層的特征圖像，然后把多個卷積核運算結果疊加得到一個多層特征圖。深度可分離卷積與傳統卷積運算不同，采用了深度卷積(depthwise convolution)和逐點卷積(pointwise convolution)這個過程來實現相同功能[16]。深度卷積利用每個卷積核依次對特征圖的一個通道進行平面卷積，輸出的特征圖像通道數量與輸入特征圖相同。深度卷積的表達式為

(3)

式(3)中：DW為輸出特征結果；K為卷積核；W、H分別為卷積核寬、高度；n為第n個特征通道；w、h為第n個卷積核上權重值的坐標；i、j為在特征圖第n通道上特征值的坐標；y為輸入特征。

因為深度卷積只是對各個通道進行操作，并沒有考慮到通道間的相關性，所以通過逐點卷積來完成通道信息的融合。逐點卷積采用的是1×1大小的卷積核來進行立體卷積操作，操作過程和普通卷積沒什么區別。深度可分離卷積的工作過程如圖3所示。

M為輸入特征通道數量；N為卷積核數量；K為卷積核大小圖3 深度可分離卷積Fig.3 Depthwise separable convolution

2 改進的YOLO模型

2.1 優化先驗框(錨點框)參數

YOLOv3模型中的固定先驗框尺寸是在COCO數據集上聚類得到的，如果直接使用到本研究的虹膜數據集上并不匹配，導致模型的檢測精度較差。為了提高模型訓練速度和檢測精度，針對已標注的虹膜數據集采用K-means++算法聚類獲得能夠表征虹膜數據集總體特征的先驗框尺寸。聚類算法中采用了邊框交并比來代替歐式距離，聚類的目標函數為

(4)

式(4)中：k為簇的個數；n為樣本總數；nk為第k個聚類的樣本數；B、C分別為真實框和聚類中心框；IIoU為真實框與聚類框的交并比。

通過在CASIA-IrisV4虹膜數據集上試驗可以得出，當聚類中心k為6時，平均邊框交并比為0.93，效果達到的最優。最終在虹膜數據集上聚類的6個先驗框尺寸分別為219×201、210×169、200×150、107×109、82×84、61×62。聚類出的尺寸都接近于一個方形框，且包含兩個尺度尺寸，非常符合虹膜數據集中內、外圓特性。數據集中存在一些虹膜外圓被眼簾遮擋的情況，因此聚類結果中大尺度先驗框寬比高略大符合真實情況。

2.2 虹膜定位模型設計

考慮到網絡模型層數太淺會導致因學習能力不夠提取不到有效特征，而網絡模型層數太深會增加計算量并容易造成過擬合問題。利用深度可分離卷積的高性能、輕量級特點，將模型主干特征網絡利用Mobilev3 bneck疊加構成，然后在主干網絡后面連接YOLOv3的YOLO層。其中每個bneck網絡模塊引入了深度可分離卷積、逆殘差結構和基于Squeeze and Excitation結構的SENet輕量級注意力機制模型，如圖4所示。

c為特征通道數；scale表示兩個特征圖相乘圖4 MobileNetV3的bneck結構Fig.4 The bneck structure of MobileNetV3

由于虹膜采集設備嚴格要求采集者的采集距離，采集的眼周虹膜圖像中虹膜內外圓都處于一個清晰可見并基本處于固定的位置，所以圖像數據集中虹膜區域占比變化不會太大。相比從不同距離、角度等條件下采集的普通數據集中檢測目標，采用多尺度檢測算法到虹膜圖像數據集定位虹膜區域不僅增加了模型訓練時間、復雜度而且浪費了模型網絡的計算資源。針對虹膜圖像組成單一且圖像中虹膜內、外圓尺寸變化不大，本文虹膜定位采用雙尺度檢測來改進YOLOv3模型中多尺度檢測，從而減少模型參數和計算時間，提高模型檢測速度和效果。針對虹膜圖像自身特點設計了一種網絡結構如圖5所示。

圖5 改進的模型結構Fig.5 Improved model structure

改進后主干特征提取網絡采用1個普通的卷積層和11個Mobliev3 bneck塊構成，具體結構如表1所示。其中選取第8個bneck和最后一個bneck層輸出的兩個不同尺度特征圖輸入YOLOv3的YOLO層進行多尺度融合來完成檢測定位。YOLO層采用上采樣和拼接的方式融合高層豐富的語義特征與低層高分辨率位置信息特征獲得表達能力更強的特征來完成檢測。改進的模型中輸入一張416×416的圖片，經過一些列bneck塊處理后，主干網絡輸出26×26×48和13×13×96兩個尺度特征圖。小尺度特征輸入的YOLO層進行五次卷積操作，處理后的結果一部分再利用兩次卷積操作得到預測結果，另一部分進行上采樣處理得到28×28×24與26×26×48特征層進行級聯操作得到融合特征26×26×72，然后再進行7次卷積操作得到預測結果。整個網絡有兩個分支，輸出大小分別為13×13×21和26×26×21。每個分支輸出的通道數都是3×(5+2)=21，其中每個單元格上有3個先驗框，每個先驗框包括4個邊框調整參數、1個邊框內定位虹膜的置信度參數和2個表征定位虹膜內、外圓類別參數。

表1 改進后的特征提取網絡結構Table 1 Improved feature extraction network structure

2.3 損失函數的設計

整個網絡損失函數由位置預測損失、置信度損失和類別損失3個部分構成。由于本模型設計用于虹膜檢測定位，所以就損失函數而言主要考慮了位置預測損失和置信度損失。在計算邊界框位置損失時，YOlOv3采用的是坐標均方差(mean squared error，MSE)損失來進行度量的，但是Ln范數會對物體尺度變化比較敏感，不具備尺度不變性特點。IoU是衡量預測框和真實框距離的重要指標，它具有尺度不變性、非負性、三角不等性等特征，但是它并不能表征兩個框沒有重疊時的遠近程度，存在真實框與預測框不相交時訓練梯度為0的情況，導致網絡無法收斂。所以引入了一種廣義交并比(generalized intersection over union，GIoU)來設計邊界框位置回歸損失函數。其計算公式如下。

(5)

(6)

式中：A為預測框的面積；B為真實框的面積；C為兩框最小閉合區域面積。

GIoU能夠作為距離度量指標，對尺度變化具有魯棒性，并且能夠保證兩框不重疊時可以得到一個非0的值，解決了梯度為0的問題。將YOlOv3坐標損失函數替換成使用GIoU作為度量的邊框損失函數，計算公式為

β((x2-x1)2+(y2-y1)2)]

(7)

在設計置信度損失上不僅要考慮存在目標物體的單元格的置信度損失而且還要考慮不存在目標物體的置信度損失。圖像中不包含待測物體的單元格占大多數，特別是對于虹膜圖像中類別單一的情況。這會導致沒有物體計算的部分的損失占比更大，相應的負責檢測目標物體的單元格損失貢獻減小，導致整個網絡更加傾向于預測單元格不含有物體。因此需要設置權值來減少無檢測目標置信損失貢獻值。置信度損失函數采用了交叉熵來進行設計的，計算公式為

(8)

(9)

3 實驗結果及分析

3.1 數據集

模型訓練和驗證中所使用的數據集是中科院自動化所采集的CASIA-Iris V4虹膜圖庫。CASIA-IrisV4包含來自1 800多個真實受試者和1 000個虛擬受試者的總共54 601張虹膜圖像。選擇CASIA-Iris-Interval和CASIA-Iris-Thousand兩個虹膜圖像紋理特征清晰的子集作為數據集，并按照7∶3的比例來劃分訓練集和測試集，細節描述如表2所示。

表2 數據集構成Table 2 Data sets

傳統虹膜定位過程中會分為外圓和內圓定位兩個步驟，而采用的神經網絡檢測算法利用端對端的學習方式，實現了虹膜內外圓同時定位。算法模型通過虹膜原圖和對應內外圓邊框位置信息來進行訓練。公開的虹膜數據集都是采集的眼周圖像，并沒有對虹膜區域有精確的標注描述，使用了labelImg標注工具對虹膜數據集進行了標注，如圖6所示。虹膜位置信息通過內、外圓外接矩形的左上、右下兩個點坐標位置來描述。

圖6 labelImg虹膜信息標注Fig.6 Information label of labelImg iris

3.2 訓練策略與評價指標

模型訓練策略如表3所示。訓練過程采用的是小批量梯度下降的方法來優化網絡更新權重，樣本批大小設置為8。模型初始學習率設置為0.001，采用指數型衰退型學習率，每訓練完一個周期更新學習率為原來的0.92，整個模型共訓練100個迭代周期。

表3 模型訓練參數Table 3 Model training parameters

為了更好地衡量本文算法模性能，采用目標檢測算法的評價指標[17-18]有檢測定位的精確率(precision，P)、召回率(recall，R)、平均精度均值(mAP)、檢測速度(frames per second，FPS)、以及準確率和召回率綜合評價指標(F1)。為了進一步體現預測框與真實框的接近程度，采用IoU指標來衡量模型檢測效果。

(10)

3.3 結果分析

網絡模型在CASIA-Iris-Interval和CASIA-Iris-Thousand數據集訓練后，在不同數據集的測試集部分的定位效果如表4所示。CASIA-Iris-Interval中模型對虹膜內、外圓定位準確率高達94.98%和97.66%，召回率分別為97.79%和99.79%。CASIA-Iris-Thousand中模型對虹膜內、外圓定位準確率高達93.04%和92.39%，召回率分別為99.43%和98.30%。從表4中數據明顯可以看出數據集大小能夠提升模型性能，使用的Interva相比Thousand數據集更大些，模型在Interval測試集上整體平均定位準確率(Pavg)比Thousand測試集上高出3.6%，平均精度均值(mAP)也相應提高了1.13%。

表4 不同數據集的定位效果Table 4 Positioning effect of different data sets

為了更好地對模型進行評估，對實驗結果進行可視化，如圖7所示。在目標檢測算法中可以根據準確率和召回率來繪制P-R曲線來評判模型檢測性能。其中圖7(a)、圖7(b)繪制模型在Interval測試集上的虹膜內、外圓P-R曲線，圖7(c)、圖7(d)繪制模型在Thousand測試集上的虹膜內、外圓P-R曲線。明顯可以看出圖7(a)相對圖7(c)、圖7(b)相對圖7(d)中P-R曲線更靠近右上方，也即是AP結果更高，說明增加數據量后模型對虹膜內外圓定位效果有所提升，定位虹膜內圓平均精度(AP)提升了0.51%，定位虹膜外圓AP提升了1.73%。

圖7 P-R 曲線Fig.7 P-R curve

隨機選取了測試集中的3組特殊虹膜圖像來觀察網絡模型的檢測定位性能，檢測結果見圖8。第1組是眼睛處于正常睜開狀態，第2組是帶有眼鏡的狀態，第3組是眼睛處于半睜開狀態，眼簾遮擋住了虹膜上、下部分?？梢园l現，該模型定位和分類能力很強并且具有一定的魯棒性，能夠克服眼鏡反射、眨眼等情況帶來的干擾，將虹膜內、外圓準確地定位出來。

針對虹膜內外圓特有的幾何特征，將模型輸出的預測矩形框進行了改進，將矩形框中心作為圓心，由于虹膜左右兩側不會被遮擋，所以將邊框左右兩側距離作為圓直徑輸出圓形預測框。從輸出結果可以看到，對于半睜開狀態虹膜受到遮擋，導致外圓并沒完整暴露，模型采用圓形預測框會造成外圓定位出現偏差。但是對于正常睜眼狀態，圓形預測框能夠實現更精確的定位效果。

3.4 算法對比

為了進一步評價改進算法模型的檢測定位效果，將本文模型與YOLOv3模型在Interval數據集上進行了驗證比較，如表5所示。

表5 檢測結果比對Table 5 Comparison of test results

本文模型采用了深度可分離卷積結構來輕量化網絡、減少模型參數量并加快模型計算速度。從表5中可以看到YOLOv3模型參數大小為235.07×106，檢測速率為35.7幀/s，本文模型參數減小到4.13×106，檢測速率可達49.4幀/s。相比之下，本模型更加符合實時應用需求，單幀檢測速率較少了0.008 s。本模型相比YOLOv3模型定位準確率提高了1.7%，mAP提高了1.15%。本文模型定位結果的平均IoU為0.83，比YOLOv3模型高出0.02，說明本文模型對虹膜定位效果更精確。通過比對模型參數量、檢測定位準確率和檢測速率，可以看出改進后的模型既滿足了模型輕量化設計，又達到了快速精準定位的效果。

4 結論

基于MobileNet輕量化網絡模型，在特征提取網絡中引入Mobilev3 bneck塊，提出了一種改進YOLOv3算法的虹膜快速定位方法。根據虹膜數據集特點，對先驗框進行了重新聚類和優化，并使用GIoU和兩框中心距離來改進的邊框位置損失函數，使模型快速收斂。實驗結果表明，改進后的模型參數大小為4.13×106，定位準確率為96.32%，單幀檢測速率為0.02 s，相比YOLOv3模型參數大量減少，定位準確率提高了1.7%，單幀檢測速率較少了0.008 s。本文模型既滿足輕量級要求，同時能保證對虹膜快速精準定位，夠達到實時定位的效果。為后續虹膜定位、識別及虹膜輔助診斷應用等相關研究奠定基礎，具有相應的推廣價值。