基于ADEU-Net分割網絡的瞳孔精確分割方法

張賀童，姚 康，裴融浩，丁上上，付威威

1.中國科學技術大學 生物醫學工程學院（蘇州），生命科學與醫學部，江蘇 蘇州215000

2.中國科學院 蘇州生物醫學工程技術研究所，江蘇 蘇州215000

在計算機視覺研究領域，通過提取人眼特征開展人眼相關技術研究一直是該領域的主要研究方向之一。瞳孔的檢測分割作為人眼檢測中一個重要的中間環節，在眨眼檢測、疲勞檢測、人機交互等領域有著重要的應用前景。余龍華等[1]提出一種自動定位瞳孔的方法。該方法利用人眼在人臉的位置分布設置人眼的搜索區域，通過AdaBoost（the adaptive boosting algorithm）算法搜索先前設置好的區域，可以得到人眼所在粗略位置，利用圖像二值化和Canny算法提取圖像輪廓，通過對提取的輪廓進行橢圓擬合得到人的眼球中心坐標，即瞳孔的位置。這種方法依賴于圖像的質量和人眼的姿態，在光照不均衡情況下，圖像質量較差，且對于瞳孔形變和瞳孔不完全露出等情況，無法實現精確分割。郝明剛等[2]提出一種利用單目攝像頭快速定位人眼的方法，通過改進的AdaBoost方法構造級聯強分類器定位人臉，根據人眼眨眼前后眼部區域灰度變化顯著的特點檢測人眼區域，采用邊緣提取、局部Hough變換檢測圓心的方法定位瞳孔中心。該算法對于非圓形瞳孔或瞳孔被遮擋等情況無法實現瞳孔定位，且Hough變換得出的瞳孔區域精確度較低。Morimoto等[3]提出了使用兩個與攝像機幀速率同步的近紅外時間光源。這兩個光源分別產生明亮和暗瞳孔圖像，用于瞳孔分割；該方法對攝像頭采集圖像的環境依賴較大且設備要求較高，采用圖像差值的方式，對人眼運動過程中的檢測識別率較低，不具有較高的魯棒性。黃何等[4]直接用網絡攝像頭采集影像，結合了Haar人眼檢測和基于梯度的瞳孔中心檢測算法完成瞳孔定位，且在原梯度檢測算法上提出了改進方法，從K條徑向輻射方向尋找虹膜邊緣以及其關鍵梯度，并進一步調整K條徑向直線的分布范圍。這種方法難以確定K值，對不同的圖像需要設定不同K值才能達到準確檢測的效果，導致泛化能力較差，并且這種方法對于瞳孔不完全露出的情況檢測成功率不高。

Zhu等[5]提出了一種利用卷積神經網絡（convolutional neural networks，CNN）結合瞳孔不同特征的瞳孔分割算法，考慮瞳孔的三個特征進行瞳孔分割。實驗結果表明，該算法的性能優于目前的傳統圖像處理方法，但該算法是圖像處理的結果進行運算得出最優中心，無法做到端到端的深度學習，分割結果受前期圖像處理的質量和瞳孔特征選擇的影響較大。Bastos等[6]提出了一種新的瞳孔分割方法，該方法基于拉推法和BSOM神經網絡，對瞳孔分割效果進行了改進；但是該方法對于瞳孔遮擋等情況下，分割失敗率較高，且兩種策略結合后導致運算速度慢，無法滿足實時性要求。Ronneberger等[7]提出了一種神經網絡和訓練策略，它通過訓練圖像樣本達到語義分割的效果。他們證明，這種網絡可以從極少數的圖像中實現端到端的訓練，并成為在電子顯微鏡中對神經元結構的分割的最佳方法。Sevastopolsky等[8]提出了一種基于深度學習的視盤自動分割的通用方法，通過對U-Net的網絡結構進行改進，加深了網絡的深度，從而提取出更高的抽象特征。由于瞳孔和上下眼瞼之間的距離十分相近，因此單純地加深U-Net網絡可能會導致邊界分割不清，并不適合瞳孔的語義分割。

研究表明，當下研究熱點正在逐步從傳統圖像處理算法向深度學習轉移，但仍未出現成熟的端到端學習的瞳孔語義分割算法，盡管現有的瞳孔分割方法取得了卓有成效的研究成果，但是對瞳孔分割高精度、高魯棒性以及高泛化能力的需求仍迫切需要解決。

充分考慮人眼結構的復雜度、瞳孔運動速度、瞳孔遮擋等因素，本文提出一種高效的深度語義分割網絡，即基于注意力的深度膨脹卷積U型網絡（attentionbased deep expansion convolutional U-shaped network，ADEU-Net），其采用了FCN[9]與U-Net以及基于U-Net的改進網絡[10-21]的設計思想，即降采樣抽取不同層次的特征再結合上采樣至原圖大小進行預測，主要是在瞳孔語義特征提取的基礎上完成瞳孔的精細化重建，從而進行自動語義分割，避免了在以往算法中存在的一些盲目搜索。該網絡首次提出膨脹卷積和普通卷積雙線并行，在不加深網絡層數的前提下，提取到更加豐富高級的特征；引入注意力機制，并且基于注意力機制進行通道篩選，用以保證瞳孔特征被充分激活。實驗結果表明，該方法是有效且可行的。

1 人眼圖像中瞳孔的特征分析

瞳孔分割一般采用紅外光照明。紅外光照明時，由于瞳孔和虹膜對紅外光的吸收率不同，能夠突出瞳孔部分，如圖1（a）所示。由于紅外光源散射導致人眼光照分布不均衡，在瞳孔附近產生了陰影區域，且加深了睫毛的色深，導致睫毛和瞳孔難以分割。瞳孔位于上下眼瞼之間，在不同姿態下，受到睫毛與眼瞼的干擾也不同，如圖1（b）所示，瞳孔大部分被上眼瞼遮住，為瞳孔的分割帶來了困難，傳統的基于Hough圓的瞳孔分割方法也因此而受到制約。

圖1 不同姿態下瞳孔狀態Fig.1 Pupil state in different postures

2 基于ADEU-Net的人眼圖像語義分割技術

2.1 ADEU-Net原理

通過對已有瞳孔分割方法與語義分割進行研究分析，本文提出一種基于ADEU-Net深度語義分割網絡的瞳孔精確分割方法，方法具體流程如圖2所示。

圖2 瞳孔語義分割流程圖Fig.2 Flow chart of pupil semantic segmentation

ADEU-Net網絡結構如圖3所示，整個神經網絡主要由兩部分組成：收縮路徑和擴展路徑。收縮路徑主要是用來捕捉圖片中的上下文信息，而與之相對稱的擴展路徑則是為了對圖片中所需要分割出來的部分進行精準定位。ADEU-Net基于U-Net進行改進，并且利用數據增強技術對少樣本進行擴增，從而增大訓練集進行訓練。首先，對獲得的人眼圖像進行縮放至320×256的分辨率。將圖像輸入進ADEU-Net網絡，經過DC-Block（dialted and common convolution kernel block）結構進行多層膨脹卷積與普通卷積并行的操作，不同DCBlock分別提取圖像不同層次的抽象特征，層次越高的DC-Block提取出來的特征則越抽象，能夠從全局角度反映圖像的語義。之后，對不同層次的DC-Block通過反卷積進行上采樣并堆疊融合，從而使每一層融合之后的結果，既包含高度抽象的圖像特征又包含局部精細化的圖像特征，經過Attention-Block的加權處理后，瞳孔的語義特征被放大，非瞳孔的語義特征被縮小甚至遮蔽，最終將融合后的圖像特征經過Sigmoid激活層，與原圖像的瞳孔分割圖進行代價計算，通過binary_crossentropy計算網絡前饋傳播的損失，并通過反向傳播計算梯度來調整參數取值。當網絡訓練迭代至60輪時，已經能較高精度地分割出瞳孔區域，并減少了睫毛、眼瞼、虹膜及皮膚痣的干擾，因為這些干擾項本身并不具有瞳孔的語義特征，因此能被過濾掉。

圖3 網絡結構圖Fig.3 Network structure diagram

U-Net的網絡結構在收縮路徑中進行4次3層普通卷積后再最大池化的操作，縮放原始輸入尺寸16倍，在擴張路徑中進行4次Upsampling上采樣并與之前的同尺度的卷積層堆疊融合，直到達到與原圖相同尺度，之后通過Sigmoid激活函數進行輸出并反向傳播調整網絡參數。

本文通過對不同人眼瞳孔數據進行采集與標注，經過ADEU-Net網絡進行端到端訓練，充分學習瞳孔的語義特征，并瞳孔分割，提高了人眼各種狀態下瞳孔分割的準確性，減少了瞳孔分割的步驟，該算法具有較高的精確度、泛化能力與魯棒性，且運算速度可以達到83 frame/s，具有較高的實用價值。

2.2 DC-Block結構

本文的ADEU-Net網絡起始于收縮路徑，在收縮路徑中提出DC-Block結構，即普通卷積層與膨脹卷積層并行且層層融合的形式。如圖4所示，Input層分別進行普通卷積和膨脹卷積，然后將兩層普通卷積后的特征層進行融合，再進行最大池化。將獲得的池化層與兩層膨脹卷積后的池化層進行融合。

圖4 DC-Block結構圖Fig.4 DC-Block structure diagram

在深度語義提取過程中，卷積核的感受野十分重要，本文通過DC-Block結構利用膨脹卷積充分擴大每一個像素點的感受野，提高其全局分類能力。如圖5所示，經過兩層膨脹卷積，第一層卷積核大小為3×3，膨脹率為2，第二層卷積核大小為3×3，膨脹率為8，第三層的時候，感受野已經擴張成27×27，這對于大物體的分割能力提升較高，并且能抗干擾能力強.由于考慮了每一個像素其周圍大范圍的像素點特征，因此對睫毛、噪聲、深色雜質等干擾項具有較好的抵抗能力，減少了錯誤分類的概率。

圖5 膨脹卷積示意圖Fig.5 Dilated convolution diagram

由于單純使用膨脹卷積對[22]會導致圖像網格化，如圖6所示，因此采用膨脹網絡對一些大物體分割有較好效果，而對小物體來說則有弊無利，而瞳孔對于人眼來說，是一個小物體，占比人眼約5%～10%的空間。并且因為膨脹卷積的網格化效應丟失較多局部信息，會導致圖像邊緣分割粗糙，局部語義抽取能力較低，對瞳孔的分割可能會出現不全面的空洞現象或者邊界溢出以及睫毛、眼瞼的錯誤分類等現象。實驗中，發現完全使用膨脹卷積的網絡將導致瞳孔的分割精度低，內部呈現較多空洞現象，如圖7所示。

圖6 膨脹卷積的網格效應圖Fig.6 Grid effect diagram of dilated convolution

圖7 U-Net的膨脹卷積分割效果圖Fig.7 Dilated convolution segmentation effect diagram of U-Net

當全網絡只使用普通非膨脹卷積（如U-Net網絡只使用了普通卷積）對圖像進行分割時，由于要抽取更多全局信息，擴大卷積的感受野，不得不對圖像進行多層最大池化操作（MaxPooling），使大量局部信息丟失，導致邊界變得模糊，眼瞼、睫毛和瞳孔無法完全區分開，并且存在瞳孔分割不完全的現象，如圖8所示。受到輸入圖像尺寸的限制，網絡不可能無限加深，最大池化層的疊加次數受到限制，致使卷積感受野有限，因此對濃密的睫毛區域存在錯誤分類較多的情況，因為從局部區域來看睫毛與瞳孔的特征相似，如本身的顏色接近黑色與瞳孔相似，且睫毛也處于眼瞼和眼白之間，導致語義分割困難，因此提高卷積的全局信息捕捉能力并且保持局部精細化能力是做好瞳孔精準分割的基礎。

圖8 U-Net的普通卷積分割效果圖Fig.8 Common convolution segmentation effect of U-Net

本結構同時并行了普通卷積與膨脹卷積，用于增強每一個像素點的局部特征與全局特征，提高分類能力。隨后對膨脹卷積計算出的特征圖與普通卷積計算出的特征圖進行融合，采用堆疊融合的方式，隨后進行最大池化，保留最重要的特征，并為接下來的特征提取操作增大感受野。這時，在下一層的DC-Block結構中，普通卷積和膨脹卷積既能捕捉每一個像素點的全局特征又能捕捉其局部特征，在更大的感受野上進行計算，得出的特征圖具有更好的語義特征。本網絡在收縮路徑中，連接了2層DC-Block，其每一層計算出的特征圖均具備全局特征和局部特征，為接下來的擴張路徑提供了更好的基礎。并且使用膨脹卷積，能夠在提高感受野的同時不增加過多的參數量，為瞳孔的實時語義分割提供了基礎。

為了進一步優化分割結果，在收縮路徑前向傳播的同時，對擴展路徑中獲得的不同層次的多個特征圖分別使用注意力生成模塊（attention generation block）生成對應層級的權重圖，獲得精細化的語義結果。

2.3 注意力生成結構

圖9為注意力生成結構的示意圖，其步驟為：

圖9 注意力生成結構圖Fig.9 Attention generation block structure diagram

（1）對不同尺度和深度的特征層輸入，采用3×3卷積層進行2次降維，至與Input相同的通道數，用于進行激活；（2）利用Sigmoid激活層對特征圖中的值進行0～1的轉換，越接近1的越應該被重視；（3）與Input的結果進行相乘，從而可以對Input中的每一個特征圖進行注意力加權。

由于瞳孔所占圖像整體的面積較小，在進行訓練時，為了能夠對瞳孔信息進行進行強調，本文在此加入了注意力生成結構。

經過網絡收縮路徑的前向傳播，得到多層不同抽象程度的人眼特征圖。圖10對注意力機制進行了可視化，展示了神經網絡所關注的區域。由圖10可以看到，第一層注意力結構在邊緣處出現了大量的亮黃色像素，表明其主要關注邊緣信息過濾了上下眼瞼帶來的干擾，第二層注意力結構在瞳孔區域出現了大量的亮（黃）色像素，代表著注意力結構當前主要關注的區域在瞳孔上。本文提出的網絡通過注意力結構來強調或選擇眼部的重要信息即瞳孔區域，并且抑制一些無關的干擾區域。

圖10 注意力加權效果圖Fig.10 Attention weighting effect diagram

圖10形象地說明了注意力機制的作用原理，也闡明了一下所說的兩點意義。

引入注意力機制的意義：

（1）選擇聚焦位置，產生更具分辨性的特征表示。

網絡由雙層的注意力模塊組成，能產生注意力感知的（attention-aware）的特征，并且不同模塊的特征隨著網絡的加深會產生適應性改變。

（2）雙層的注意力模塊將帶來持續的性能提升。

不同類型的區域將被大量捕捉到，并在每一層注意力結構中不斷調整其關注區域從而向目標靠近。

對擴展路徑的每一次反卷積之后，都進行注意力機制，這個過程可以表示為：

式中，Input表示attention結構的輸入，其值與concatenate相同，concatenate分為兩塊，代表著Input是由反卷積上采樣的特征圖和收縮路徑中尺度相同的特征圖堆疊融合的結果。式中對Input進行了兩次3×3的卷積生成特征圖，σ(x)表示對x做Sigmoid非線性變換，將其區間映射到[0，1]，之后再與Input相乘，從而達到加權的效果。

2.4 自動通道篩選器CAS

在一個CNN的卷積層的堆棧內，所有的通道都是由之前的層生成的，并會在下一層中得到平等的對待。本文認為這樣的平等對待機制可能不是最優的。在ADEU初始開發過程中，發現盡管網絡已經收斂程度較高了，但是在實際推理過程中，瞳孔的邊緣依然不夠細化。于是在ADEU-Net最高一層卷積層中，對該卷積層所包含160個通道施行了注意力（attention）機制并將其可視化。如圖11所示就是對160個通道進行注意力加權的結果，結果顯示其中只有接近55個通道是與瞳孔特征相關的，即瞳孔的被激活程度很高，除此之外的102個通道分別激活了不同的特征，如全圖激活、睫毛特征激活以及眼瞼特征激活等，由此可以看出該卷積層的瞳孔特征激活率僅為34.375%.顯然這是個比較低的數字，更重要的是在后續的傳播過程中，這些通道仍會受到平等對待，從而對最終的結果產生負面干擾。

圖11 原始基于注意力的頂層卷積通道示意圖Fig.11 Original attention-based top convolution channel diagram

由此，本文提出了一種基于attention的自動通道篩選器（based attention channel auto-selector，BACAS）。根據2.3節中闡述的對卷積特征圖做attention機制的重要意義，繼續將attention機制融合在BACAS中。通過采用attention機制計算出每一個通道中目標特征的被激活程度，再通過通道自動篩選器（CAS）選擇出合適的通道來繼續向前傳播。此方法可以在網絡反向傳播中，自動調整參數，學習出最優的特征選擇策略以及通道選擇策略，其結構如圖12所示。

圖12 自動通道篩選器示意圖Fig.12 Diagram of automatic channel filter channel

在CAS中，采用如下的步驟：

步驟1假設輸入進來的卷積層ConvIn，其形狀是[W,H,Channels]。對ConvIn進行池化，以減小參數量，采用4×4的卷積核進行平均池化，增加全局的語義捕捉能力。此時輸出的形狀為[W/4,H/4,Channels]。

令ConvPooled上每一個通道上的特征圖為Map，通道數為Channels個，當前正在處理的通道為Mapc,r是特征圖Map中每個相鄰不相交的4×4的區域。則池化操作，可以表示為：

步驟2對平均池化后的卷積層ConvPooled，采用全局卷積的方法，卷積核為W/4×H/4，生成Channels個特征值F。此時輸出F的形狀為[1,Channels]。

對于第c個特征值其生成公式如下，令卷積核為Kernel，卷積之后對每一個特征值加上一個bc偏置。則卷積操作可以表示為：

步驟3對特征值張量進行TanH激活，將其區間映射到[-1,1]，用以計算每個通道的懲罰因子。此時輸出的形狀為[1,Channels]。

將Fc帶入：則可得出TanH激活后的結果Tanh(F)。

步驟4將輸入進來的ConvOut與Tanh(F)進行相乘，得到ConvTanh，將懲罰因子做用到每一個通道特征圖上。此時輸出的形狀為[W,H,Channels]。

步驟5對懲罰后的卷積層進性Relu激活，其目的是將被懲罰通道特征圖值置于0，以避免其在后續的傳播過程中，帶來誤差干擾。

將ConvTanh帶入：

則可得出Relu激活后的結果ConvOut。

對圖11的各卷積層特征圖進行BACAS后，訓練迭代10次，其可視化效果如圖13所示。未被遮蔽的通道數一共有69個，其中有38個通道瞳孔的激活程度高，瞳孔特征激活率為55.072%。隨著訓練迭代次數的增多，瞳孔的激活率也在適應性地調整，減少了無效通道的干擾，為后續的卷積操作提供了高質量的輸入。

圖13 BACAS篩選效果圖Fig.13 BACAS screening effect diagram

2.5 精度評價指標

選用圖像語義分割領域公認的兩種語義分割評價指標評估模型分割結果。評測指標分別為像素精度（pixel accuracy，PA）、均交并比（mean intersection over union，MIoU），各指標的定義如下[23]：

式中，pij表示本屬于類i但被預測為類j的像素數量，k+1表示類別數，本文k取1。PA表示標記正確的像素占總像素的比例，能夠反映分割灰度級的準確性，而MIoU指標表示真實值與預測值像素間的交集和并集之比，能充分反映分割區域完整性和分割位置準確性，這兩種指標常用于衡量圖像語義分割的效果，本文將PA及MIoU值作為模型最終的評價指標分別用于評價模型對人眼圖像中每個像素點的預測情況以及瞳孔提取的完整程度。

2.6 數據增強策略

利用數據增強方式能夠提高訓練樣本的多樣性，防止訓練過程中樣本不足帶來的過擬合，同時增強模型的魯棒性。依據圖像目標色彩、形狀、紋理等特征，本文采用7種方式進行，分別為：隨機旋轉變換-20°至+20°、隨機噪聲干擾、隨機光照抖動、隨機非等比例縮放0.8至1.2倍、隨機翻轉變換、隨機高斯模糊以及隨機水平垂直平移，具體效果如圖14所示。

圖14 效果圖Fig.14 Effect diagram

2.7 訓練方法設置

將數據集分為訓練集、驗證集及測試集3個部分，其中經過數據增強后的訓練集大小為1 200，驗證集大小200，測試集大小為200。為避免內存溢出，采取批訓練方式對ADEU-Net模型進行訓練，每輪迭代完成后在驗證集上計算accuracy模型評價指標值。采用binary_crossentropy作為代價函數。

為解決反向傳播過程中梯度消失和爆炸問題，引入dropout[24]隨機丟棄神經元。網絡的訓練引入了EarlyStopping[25]機制，當訓練集在連續迭代8輪，代價loss值不再減小時，停止訓練。

2.8 訓練超參數

（1）學習率（learning-rate）：初始時為lr=0.000 1；

（2）批量大小（batch size）：32；

（3）訓練迭代期（iteration）：300；

（4）優化方法：Adam；beta_1=0.9，beta_2=0.999。

3 結果與分析

3.1 網絡訓練過程及預測結果可視化評價

相同參數設置情況下，ADEU-Net與U-Net模型訓練過程對比如圖15所示，圖16展示了兩種模型在訓練集上每輪迭代完成后的accuracy指標值，兩種模型均訓練58輪后接近完全收斂。由此可以看出，ADEU-Net在第4輪時開始收斂，而U-Net直到第11輪才開始收斂；ADEU-Net收斂后的訓練集和測試集loss分別為0.003 0和0.003 2，遠小于U-Net的0.013 0和0.013 6，并且ADEUNet在驗證集accuracy指標上，相對于U-Net提高了1.4個百分點，達到99.87%，而U-Net accuracy為97.43%。顯然，ADEU-Net具有更快的收斂速度，更高的精確度。

圖15 U-Net訓練圖Fig.15 U-Net training diagram

圖16 ADEU-Net訓練過程圖Fig.16 ADEU-Net training process diagram

U-Net收斂后，在測試集上的結果如圖17所示。由圖17可以看到其對瞳孔的分割不完全，邊緣缺失存在較多的缺失或溢出情況，局部精細化能力較差；并且U-Net分割后，存在較多的錯誤分割，將睫毛錯誤分類為瞳孔。

ADEU-Net收斂后，在測試集上的結果如圖18所示。由圖18可以看到其對瞳孔的分割較為完全，并且對于瞳孔少量露出、瞳孔形變以及瞳孔被遮擋的情況，ADEU-Net的分割結果依然具有較高的精確度。由此可以看出，使用深層網絡進行特征提取，結合注意力機制和DC-Block的結構都對網絡性能的提升起到了實質性的作用。通過對比圖17和圖18的分割效果，可以看出：本文所提出的ADEU-Net可以有效提升U-Net進行瞳孔分割任務時局部精細度不夠的問題。

圖17 U-Net網絡瞳孔分割效果展示Fig.17 U-Net network pupil segmentation effect display

圖18 ADEU-Net網絡瞳孔分割效果展示Fig.18 ADEU-Net network pupil segmentation effect display

傳統圖像處理方法，利用眼部灰度直方圖的特性進行直方圖波谷提取[26]作為灰度分割閾值，進行圖像分割后進過多次重復定位尋找最優的瞳孔區域。很多學者對于瞳孔定位的研究主要采用傳統圖像處理的方法，例如，黃麗麗等[27]提出一種基于改進型最大類間方差法的瞳孔定位方法，對圖像進行基于光線補償和中值濾波的預處理操作，進而根據直方圖統計出圖像中未出現的像素灰度值，計算余下像素的最大類間方差，求取二值化圖像的最佳閾值，采用橢圓擬合方法確定瞳孔中心及半徑。顧可可等[28]提出一種基于直方圖二值化和改進的輪廓跟蹤的瞳孔分割方法。首先對采集的瞳孔圖像計算直方圖，根據直方圖特征取出合適的閾值進行二值化，再對二值化后的圖像進行輪廓跟蹤，得到精確的輪廓邊界，進而得到直徑、中心等信息。毛順兵等[29]提出一種將Hough圓變換和輪廓匹配相結合的瞳孔分割算法（Hough-contour）。對每幀圖像，首先進行灰度化并濾波去噪；然后提取邊緣并利用修改后的Hough梯度法檢測出初始圓作為瞳孔參數；最后在濾波后的灰度圖上的瞳孔附近用位置和半徑在一定范圍可變的圓形輪廓去匹配瞳孔，從而計算出瞳孔中心坐標和直徑。這類傳統圖像處理的研究難以克服睫毛和皮膚痣干擾以及不均勻光照干擾，在暗光情況下，難以計算出合適的灰度分割閾值從而導致瞳孔丟失或分割不準確的情況，并且此類算法對于瞳孔不完全漏出或者形變較大的情況，分割成功率較低。以文獻[28]中的方法為代表進行了實驗，效果如圖19所示。由圖19可以看出其魯棒性與精確度較低。

圖19 傳統圖像處理算法瞳孔分割效果展示Fig.19 Display of pupil segmentation effect of traditional image processing algorithm

3.2 評測指標定量評價

為了進一步驗證本文的觀點，在大規模的驗證集上進行定量評價，結果如表1所示，最優結果用加粗數字標出。實驗結果顯示，在數據集上，ADEU-Net的像素精度PA相對U-Net、以文獻[14]為代表的傳統圖像處理算法、SegNet、只添加DC_Block的U-Net分別提高了5、35、4、2個百分點；ADEU-Net的均交并比MIoU達到94%，在測試集上驗證的成功說明ADEU-Net方法的泛化能力很強，能夠準確分割出不同情況下的瞳孔圖像。

表1 多種瞳孔追蹤算法定量評價Table 1 Quantitative evaluation of various pupil tracking algorithms

此外，本文提出的算法在Win10+python3.6+tensorflow1.9.0的軟件環境下實現，使用1塊Nvidia GTX1080Ti顯卡進行訓練，訓練耗時約1 h。使用1塊Nvidia GTX1080Ti進行測試，處理1張圖片平均耗時為0.012 s，可達到83 frame/s的分割速度，滿足瞳孔實時追蹤定位的要求。

3.3 網絡泛化性探究

在互聯網上尋找了一些非紅外的人眼圖像，包含部分人臉，這些圖像均與訓練集中的數據差異十分大。將圖像輸入進ADEU-Net網絡后，進行語義分割結果如圖20所示。從實驗結果中可以看出，該方法的泛化能力較高，即使是不同源，高差異性的網絡圖像依然能夠做到較準確的語義分割。

圖20 網絡圖像ADEU-Net瞳孔分割效果展示Fig.20 Display of pupil segmentation effect of ADEU-Net on Internet images

本文提出的網絡結構對大多數不同光照條件、不同人眼姿態以及不同遮擋所形成的瞳孔區域都可以實現精確分割，但在某些場景過大的圖像中或復雜環境下表現不佳，如包含過多頭發以及服裝時，如圖21所示。究其原因，是輸入的圖像數據和本文的訓練樣本差距十分巨大，導致網絡參數不適用于這一類圖像，這些問題可以通過擴充訓練樣本來解決。通過對這些分割錯誤的圖像進行分析，可以發現，錯誤分類的像素主要存在于黑色頭發上與臉部皮膚的交界處、黑色衣服和身體皮膚的交接處，其實這與瞳孔和眼瞼和睫毛的交界處非常相似，并且黑色頭發與黑色衣服均屬于團塊狀區域容易被當作瞳孔的語義分割出來，因此圖21上方的女孩黑色頭發和黑色衣服均被分割出來，而下方的女孩由于穿著白色服裝則只分割出了瞳孔和頭發。

圖21 復雜場景圖像ADEU-Net瞳孔分割效果展示Fig.21 Display of pupil segmentation effect of ADEU-Net in complex scene images

4 結語

針對當前瞳孔分割方法運算量大、魯棒性不高的問題，本文提出了一種基于ADEU-Net深度語義分割網絡的瞳孔精確分割方法。該網絡使用DC-Block結構作為特征提取前端，并結合U-Net的設計思想通過Deconv反卷積完成特征層的上采樣過程，融入膨脹卷積和注意力機制進一步提升網絡效果。實驗結果表明，ADEU-Net在保持83 frame/s的高分割速度的基礎上，PA相對于UNet、傳統圖像處理算法分別提高了5、35個百分點；ADEU-Net的均交并比MIoU達到94%，可以滿足瞳孔實時分割的要求。此外，本文在使用模型訓練時，注意到不管是使用普通卷積或者是DC-Block（即雙線卷積并行），對于系統CPU占用相差不大。經過對網絡結構參數量的計算，發現普通卷積的參數數量為623 297，而本文提出的網絡結構參數數量為624 065。可見，本文提出的改進并沒有使網絡變得繁重。

下一步將著重研究如何更高效率地結合圖像中的語義信息，減少像素的錯誤分類，以及如何提升在復雜場景下以及角膜大塊亮斑情況下語義分割精確度。