基于改進YOLOv3的瞳孔屈光度檢測方法

李岳毅，丁紅昌,2，張 雷，趙長福，張士博，王艾嘉

基于改進YOLOv3的瞳孔屈光度檢測方法

李岳毅1，丁紅昌1,2，張 雷3,4，趙長福1，張士博1，王艾嘉1

（1. 長春理工大學 機電工程學院，吉林 長春 130022；2. 長春理工大學 重慶研究院，重慶 401135；3. 鄭州輕工業大學 電氣信息工程學院，河南 鄭州 450002；4. 中國煙草總公司 鄭州煙草研究院，河南 鄭州 450001）

針對瞳孔區域屈光度識別準確率低、檢測效率低等問題，本文提出一種基于改進YOLOv3深度神經網絡的瞳孔圖像檢測算法。首先構建用于提取瞳孔主特征的二分類檢測網絡YOLOv3-base，強化對瞳孔特征的學習能力。然后通過遷移學習，將訓練模型參數遷移至YOLOv3-DPDC（Deep Pupil Diopter Classify），降低樣本數據分布不均衡造成的模型訓練困難以及檢測性能差的難題，最后采用Fine-tuning調參快速訓練YOLOv3多分類網絡，實現了對瞳孔屈光度快速檢測。通過采集的1200張紅外瞳孔圖像進行實驗測試，結果表明本文算法屈光度檢測準確率達91.6%，檢測速度可達45fps，優于使用Faster R-CNN進行屈光度檢測的方法。

瞳孔屈光度檢測；深度學習；YOLOv3網絡；多尺度特征；機器視覺

0 引言

隨著移動互聯網、5G技術不斷發展，手機、平板等電子產品在日常生活中普及，視力衰退已成為廣大青少年面臨的常見問題，我國青少年近視呈現高發、低齡化趨勢，嚴重影響兒童身心健康。因此，研究瞳孔屈光度檢測方法對眼睛近視及早治療與保護具有重要意義。

目前，瞳孔屈光度的測量方法分為主觀和客觀兩大類，在臨床實踐中普遍采用主觀方法，依賴醫生通過被測者在瞳孔計或者瞳孔對照表上的測試結果，獲得屈光度數值。然而該方法對患者配合度要求高，檢測流程長，且存在主觀較強、效率低等問題。另一類方法主要以數字攝像為主，其基本思想是根據紅外瞳孔圖像中光亮區域的大小作為屈光度測量標準。

薛烽等[1]基于采集到的紅外圖像，提出利用曲波變換和最小二乘法測量瞳孔屈光度，有效解決了圖像光亮區域的漸暈現象。但受圖像采集設備、拍攝角度、光照條件和環境變化等因素影響，所采集的圖像具有不同的質量，決定了圖像處理的難易程度不同。胡志軒采用連續的Otsu算法[2]分割圖像，雖然硬件上有所改進，但該方法占用內存多且耗時長，對硬件處理設備的要求較高。

近年來，深度學習技術在圖像分類、目標檢測、圖像語義分割等領域取得了突破性進展。在醫學圖像領域，研究基于深度學習的目標檢測方法是突破制約瞳孔檢測的必然趨勢。目前基于深度學習目標檢測方法[3-7]主要包括Faster R-CNN、YOLO（You only look once）。文獻[8]提出一種利用形態學對采集到的瞳孔圖像進行清晰化處理，先利用Faster R-CNN算法對瞳孔圖像進行識別，最后利用閾值分割，根據采集到的數據得出屈光度的數值。Faster R-CNN網絡采用Two-stage架構，相比于One-stage架構的YOLOv3目標檢測模型漏檢率低，該方法分兩步得出瞳孔屈光度數值，識別效率低，難以進行快速檢測。

綜上所述，為了提高算法在瞳孔屈光度檢測方面的適用性和準確性，本文在YOLOv3算法的基礎上進行改進，提出兩階段訓練框架，根據瞳孔屈光度數值將數據集分成3類，采用滑動窗口算法擴充瞳孔數據集，并用遷移學習訓練網絡來解決訓練效率低、數據集小易擬合等問題。最后利用真實紅外瞳孔圖像進行實驗測試，以驗證本文算法準確性與實時性。

1 YOLOv3目標檢測原理

2018年Redmon等在YOLOv2模型基礎上，融合特征金字塔、殘差結構、多尺度預測模塊，設計了一種新的YOLOv3網絡目標檢測算法，在保持檢測速度同時提升了目標檢測的準確率[9]。其基本步驟為，首先輸入圖像被劃分成×網格，當檢測對象處于某一網格時，負責對該對象進行預測，同時產生個邊界框（bounding box），以及給出邊界框的預測信息(,,,)和置信度（confidence）。其中邊界框中包含目標的概率r以及邊界框的準確度IOU共同決定置信度的大小，計算公式為：

式中：代表檢測的類別數。

綜上所述，瞳孔屈光度等級識別本質上屬于一類目標檢測問題。整體模型框架如圖1所示，本文提出的瞳孔圖像檢測模型在第一階段以YOLOv3網絡模型為基礎，保持其網絡結構不變，采用遷移學習的方法，對瞳孔目標和背景進行分離訓練，增強對瞳孔特征學習的能力。第二階段以YOLOv3-base網絡模型為基礎，保持其特征提取網絡模塊參數不變，重新構建FPN網絡，將原有的3個檢測尺度提升為4個，充分利用淺層高分辨率和深層高語義信息，提高對3個不同屈光度等級的瞳孔定位識別能力。

2 基于YOLOv3的紅外瞳孔識別算法

針對瞳孔屈光度快速識別難題，本文提出一種基于改進YOLOv3網絡的瞳孔圖像檢測算法，主要包括主特征學習和模型遷移兩個階段。①建立YOLOv3-base網絡提取瞳孔特征；②采用遷移學習方法，構建YOLOv3-DPDC多分類網絡。

2.1 構建YOLOv3-base網絡

首先，考慮數據集中3種不同屈光度等級的瞳孔數量分布不均勻以及相似性的問題，設計出基于YOLOv3的二分類檢測網絡，如圖1所示。將數據集中的瞳孔圖像都歸為一類“Eye”，然后利用YOLOv3-base網絡對瞳孔目標和背景進行訓練，該方法能夠避免瞳孔圖像數據量的缺乏以及3種等級數據集不均衡問題（數據集中的1等級的瞳孔數量有120個，而3等級的瞳孔數量有780個）所產生的訓練問題，可以加強模型對瞳孔圖像的識別能力。

為了提升模型的檢測精度以及減少訓練時間，第一階段采用遷移學習[10]的方法，訓練過程如圖2所示。采用一個在ImageNet上已經使用VOC2007訓練完畢的YOLOv3模型作為預訓練模型。

圖1 本文提出的瞳孔識別算法示意圖

在遷移訓練時，第一步先凍結前個殘差塊，利用DarkNet-53網絡對圖像特征進行提取，使用大學習率對后面的參數進行訓練；第二步將前面的殘差塊解凍投入訓練，對參數進行微調變換學習率。訓練結束后，提前將訓練得到的權重文件進行替換，然后對瞳孔目標進行檢測。由于第一階段采用的是二分類模型，識別結果只有瞳孔和背景兩個相互獨立的類別，所以最后采用Soft-max函數[11-12]，通過輸出張量輸出紅外瞳孔圖像和背景。

2.2 構建YOLOv3-DPDC網絡

首先，在YOLOv3-base的基礎上構建YOLOv3- DPDC網絡框架，第二階段包括YOLOv3特征提取網絡和多分類檢測網絡，由于在第一階段訓練出來的模型對瞳孔已有較好的提取能力，為了更好地識別三類瞳孔細粒度圖像以及充分利用淺層高分辨率和深層高語義信息，第二階段的多分類檢測網絡在原有的基礎上增加一個尺度特征為104×104的特征層，將低階特征和高階特征有機地融合起來，通過Logistic多標簽分類器對3個等級的屈光度圖像進行分類優化，形成完整的YOLOv3-DPDC模型。

整體的網絡模型如圖3所示，首先對圖像進行歸一化，將416×416大小的瞳孔圖像作為輸入。然后利用Darknet-53網絡進行瞳孔特征提取，交替使用3×3和1×1的卷積以及上采樣操作，最終得到13×13、26×26、52×52、104×104四個檢測尺度。

本文模型構建了4個檢測尺度，在沒有明顯增加網絡深度的前提下，增強了網絡結構的表征能力，通過多尺度特征分析解碼，可以更好地適應對紅外瞳孔圖像分類識別能力，從而提高模型識別的準確率。

圖2 第一階段遷移學習處理過程

圖3 本文所提算法的網絡模型與參數說明

2.3 損失函數分析

損失函數一般作為評估最終模型真實值與預測值誤差的大小，最終會影響模型的收斂效果。為了提升模型的檢測精度，減少候選框與真實框之間的誤差以及類別間的誤差，本文算法中損失函數由邊界框損失、置信度損失和分類損失3部分組成。計算公式為：

3 基于人工擴增的數據集處理

基于深度學習的圖像識別算法，往往需要大量帶類別標簽的瞳孔圖像作為訓練集。針對該問題，在采集1200張瞳孔圖像基礎上，本文提出一種基于滑動窗口算法擴充瞳孔數據。

首先，采集到的瞳孔圖像歸一化為1024×1024分辨率，接著將原圖像用32×32像素的網格進行劃分，然后用×固定大小的窗口在瞳孔圖像上進行移動，窗口每移動到一個位置，就將其覆蓋下的瞳孔圖像當作一個ROI感興趣區域。其中，×＝416像素，移動窗口的右上角坐標＝(imgR, imgR)，左下角坐標為＝(imgL, imgL)計算公式如式(4)所示：

式中：和的取值范圍為(0,1,2,3,…(dstImL－416)/32)和(0,1,2,3,…(dstImH－416)/32)，dstImL和dstImH分別為被窗口滑動的瞳孔圖像的寬和高，本文dstImL＝dstImH＝1024像素，最終整個數據集擴充的步驟如圖4所示。

將采集的1200張紅外瞳孔圖像劃分成A和B集合，然后將1000圖像放入集合A作為訓練集，用于模型訓練，剩余200張圖像放入集合B作測試集。集合A中的圖像按屈光度的不同分成3類，屈光度范圍0°～150°為1，150°～350°為2，350°～600°為3。對A集合中的瞳孔圖像采用人工擴增數據集的方式進行擴增，擴增完之后手動挑選出一定數量且符合檢測條件的圖像放入集合C中，并且按照一定的比例劃分為訓練集和驗證集，劃分結果如表1所示。

圖4 瞳孔圖像數據集人工擴增示意圖

表1 瞳孔數據集C的劃分

4 實驗與結果分析

4.1 實驗說明

本文實驗采用真實的紅外瞳孔圖像。實驗軟硬件配置為：AMD Ryzen 7 4800H，NVIDIA GeForce RTX 2060 GPU，Pytorch版本為1.2，CUDA 版本10.0，CUDNN 版本7.4.1.5，內存為16GB，Python 3.6。

4.2 訓練過程與分析

借鑒原始YOLOv3模型的網絡參數，根據本文瞳孔圖像進行調參后，第一階段模型訓練參數如表2所示。

表2 實驗參數設置

采用修改后的參數進行訓練，一共進行了9000次迭代訓練，Loss變化曲線如圖5所示。

圖5 Loss值變化示意圖

由圖5可知，前2500次迭代損失函數曲線快速衰減，在8000次迭代以后，損失函數曲線走勢基本穩定到最低位置，其中每迭代100次就輸出一個模型，總共得到90個模型。

4.3 分析與討論

為驗證模型的檢測精度和穩定性，本文采用Precision（精確率）和Recall（召回率）兩個評價指標衡量瞳孔檢測的效果。Precision和Recall定義為：

準確率表示某一類別預測目標中預測正確占總正確樣本的比例，召回率表示預測目標正確占總預測樣本的比例。TP為真正例；FP為假正例；FN為假負例。

為了證明本文YOLOv3識別算法有效性，實驗選取3種經典模型進行對比測試，包括Faster R-CNN[13]、SSD（Single Shot MultiBox Detector）[14]以及RetinaNet。進行對比試驗的模型都采用了同樣的數據集進行訓練。從測試集中抽取1、2、3三類樣本各20張用于測試。采用Precision（精確率）和Recall（召回率）作為模型的參考標準，為了進一步對目標檢測算法進行評估，還引入1-score指標，定義為：

1-score是對精確率和召回率的調和平均，可以更準確地反映模型的好壞。實驗結果如表3所示。

由表3結果可知，本文YOLOv3算法的1-score的結果要高于SSD、RetinaNet和Faster R-CNN，在瞳孔圖像檢測時間方面，由于本文提出的改進YOLOv3網絡結構加深，速度要略慢于SSD。但是要快于Faster R-CNN。在表4數據中，Accuracy是用傳統的曲波變換識別出瞳孔的正確率。

表3 不同算法數據對比

表4 傳統算法數據統計

本文提出的模型在識別出瞳孔目標的同時還識別出了屈光度的數值范圍，相對于文獻[8]先識別出瞳孔再進行瞳孔屈光度數據識別而言，可以更快速地完成瞳孔屈光度識別任務，優于其他對比實驗。

為了進一步說明本文提出的改進算法的識別效果，根據這3類樣本進行實驗，生成的混淆矩陣如表5所示，其中第一行代表真實值，第一列代表預測值。由表4可知，各類算法精確率按順序分別為95%，85%和95%，混淆矩陣中1和3種類的識別率要高于2的識別率，分析原因一是由于屈光度數值過大或者過小的瞳孔圖像特征較為明顯，容易被識別，二是因為2與3個體之間差異很小，特征較為接近，最終導致錯誤分類。

表5 本文算法得出的分類混淆矩陣

此外，為更直觀顯示本文算法瞳孔檢測效果，圖7展示了本文模型在隨機挑選的數據集上的檢測結果，包含3類不同屈光度等級的瞳孔圖像。由檢測結果可知，本文提出的算法很好地識別出3類紅外瞳孔圖像，并且對于弱特征樣本1也有較好的識別效果。

圖6 本文方法在部分圖像上的檢測結果

5 結論

針對瞳孔屈光度識別準確率低、檢測效率低的難題，本文提出一種基于改進YOLOv3瞳孔屈光度檢測算法，所提算法使用兩個階段強化學習，增加了基層卷積層對特征的提取能力，提升了網絡檢測的準確率，利用遷移學習的思想，在任務中有效解決了數據樣本不平衡與匱乏的問題，在對比實驗中取得了較好的檢測結果。最終實驗結果表明本文方法能實現屈光度高效率檢測，對于三類屈光度的瞳孔圖像預測準確率為91.6%。在下一步工作中，重點研究小樣本學習方式繼續提高算法檢測準確性。

[1] 薛烽, 李湘寧. 一種基于圖像處理的屈光度測量方法[J]. 光電工程, 2009, 36(8): 62-66, 74.

XUE Feng, LI Xiangning. A method of diopter measurement based on image processing[J]., 2009, 36(8): 62-66, 74.

[2] 胡志軒. 基于紅外圖像的眼視力屈光度檢測系統[D]. 武漢: 華中師范大學, 2018.

HU Zhixuan. An Eye Vision Diopter Detection System Based On Infrared Image[D]. Wuhan: Center China Normal University，2018.

[3] 謝娟英, 侯琦, 史穎歡, 等. 蝴蝶種類自動識別研究[J]. 計算機研究與發展, 2018, 55(8): 1609-1618.

XIE Juanying, HOU Qi, SHI Yinghuan, et al. Research on automatic recognition of butterfly species[J]., 2018, 55(8): 1609-1618.

[4] Redmon J, Divvala S, Girshick R, et al. You only look once:unified real-time object detection[C]//, 2016: 779-788.

[5] Kaur P, Khehra B S, Pharwaha A. Deep transfer learning based multi way feature pyramid network for object detection in images[J]., 2021, 2021: 1-13.

[6] Noh H, Hong S, Han B. Learning deconvolution network for semantic segmentation[C]//, 2015: 5119-5127.

[7] 劉智, 黃江濤, 馮欣. 構建多尺度深度卷積神經網絡行為識別模型[J]. 光學精密工程, 2017, 25(3): 799-805.

LIU Zhi, HUANG Jiangtao, FENG Xin. Building a multi-scale deep convolutional neural network behavior recognition model[J]., 2017, 25(3): 799-805.

[8] 王娟, 劉嘉潤, 李瑞瑞. 基于深度學習的紅外相機視力檢測算法[J]. 電子測量與儀器學報, 2019, 33(11): 36-43.

WANG Juan, LIU Jiarun, LI Ruirui. Infrared camera vision detection algorithm based on deep learning[J]., 2019, 33(11): 36-43.

[9] LIU Y P, JI X X, PEI S T, et al. Research on automatic location and recognition of insulators in substation based on YOLOv3[J]., 2020, 5(1): 62-68.

[10] Murugan A, Nair S, Kumar K. Detection of skin cancer using SVM, random forest and KNN classifiers[J]., 2019, 43(8): 683-686.

[11] ZHU S G, DU J P, REN N, et al. Hierarchical-Based object detection with improved locality sparse coding[J]., 2016, 25(2): 290-295.

[12] 溫江濤, 王濤, 孫潔娣, 等. 基于深度遷移學習的復雜環境下油氣管道周界入侵事件識別[J]. 儀器儀表學報, 2019, 40(8): 12-19.

WEN Jiangtao, WANG Tao, SUN Jiedi, et al. Intrusion event identification of oil and gas pipeline perimeter in complex environment based on deep migration learning[J]., 2019, 40(8): 12-19.

[13] REN S, HE K, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]., 2017, 39(6): 1137-1149.

[14] LIU W, Anguelov D, Erhan D, et al. SSD: single shot multibox detector[C]//, 2016: 21-37.

Pupil Diopter Detection Approach Based on Improved YOLOv3

LI Yueyi1，DING Hongchang1,2，ZHANG Lei3,4，ZHAO Changfu1，ZHANG Shibo1，WANG Aijia1

(1.,,130022,;2.,,401135,;3.,,450002,;4.,450001, China)

To address the problems of low diopter recognition accuracy and low detection efficiency in the pupil area, this paper proposes a pupil image detection algorithm based on an improved YOLOv3 deep neural network. First, a two-class detection network YOLOv3 base for extracting the main features of the pupil is constructed to strengthen the learning ability of the pupil characteristics. Subsequently, through migration learning, the training model parameters are migrated to YOLOv3-DPDC to reduce the difficulty of model training and poor detection performance caused by the uneven distribution of sample data. Finally, fine-tuning is used to quickly train the YOLOv3 multi-classification network to achieve accurate pupil diopter detection. An experimental test was performed using the 1200 collected infrared pupil images. The results show that the average accuracy of diopter detection using this algorithm is as high as 91.6%, and the detection speed can reach 45fps; these values are significantly better than those obtained using Faster R-CNN for diopter detection.

pupil diopter detection, deep learning, YOLOv3, multi-scale features, machine vision

TP391

A

1001-8891(2022)07-0702-07

2021-08-27；

2021-11-29.

李岳毅（1994-），男，碩士研究生，主要從事圖像處理、目標檢測和計算機視覺方面的研究。E-mail:lyy642668743@163.com。

丁紅昌（1980-），男，博士，副教授，博士生導師，吉林省第七批拔尖創新人才。主要從事在線檢測、模式識別和機器視覺方面的研究。E-mail: custjdgc@163.com。

吉林省科技發展計劃重點研發項目（20200401117GX）；河南省科技攻關計劃（212102210155）。