復雜背景下的人眼狀態與虹膜位置檢測

于林泉, 陸軍

(1.北京理工大學 自動化學院, 北京 100081; 2.哈爾濱工程大學 智能科學與工程學院, 黑龍江 哈爾濱 150001)

眼睛是人臉區域中傳遞信息最多的器官之一,從人眼中可以分析得到諸如情緒、視線、困倦程度等重要的人體狀態[1]。人眼特征在疲勞檢測、視線追蹤、拍照檢測等方向上都有重要的應用價值[2]。一般而言,人臉眼部區域的檢測與應用分為人臉檢測定位與人眼特征應用2個主要過程,其中人臉定位是人眼特征應用的基礎與前提[3]。

國內外各種人臉定位的算法可以按照是否基于深度學習分為傳統人臉定位算法與基于深度學習的人臉定位算法[4]。傳統的人臉定位算法主要包括基于空間特征的定位算法、基于人臉自身特征的定位算法和基于統計模型的定位算法[5]。基于深度學習的人眼定位算法主要通過對神經網絡的訓練來實現檢測[6]。目前精度較高的算法是在卷積神經網絡基礎上發展的目標檢測網絡[7],其分為以Yolo、SSD、RetinaNet等為代表的One-stage和以R-CNN、Faster R-CNN等為代表的Two-stage算法[8]。Redmon 等[9]提出的Yolo算法是目前較為流行的One-stage目標檢測算法之一,之后出現的Yolov3、Yolov4[10]算法的性能也不斷提高。Tan等[11]的EfficientDet算法也是性能較為優異的目標檢測算法之一。Liu等[12]提出的SSD網絡和Fast R-CNN網絡等均是實驗效果較好的目標檢測網絡。

人眼狀態檢測的方法主要包括基于人眼灰度信息的檢測方法、基于人眼幾何特征的檢測方法、基于模板匹配的檢測方法與基于特征點檢測的方法[13]。其中基于特征點檢測的方法通過對人臉圖像中人眼關鍵點的檢測與位置判斷實現人眼狀態的檢測,具有較為廣泛的應用[14]。但上述算法只能應用于圖像質量較好的場景下,在圖像模糊、含有光照干擾與陰影等場景下的效果較差。

針對常見人眼狀態檢測算法在圖片較暗等情況下精度下降的問題,本文首先基于深度學習方法進行人眼定位,并在此基礎上設計了基于直方圖規定化與形狀特征的人眼狀態檢測方法和基于魯棒自適應的虹膜定位方法。通過控制模板圖像的直方圖分布規律,基于直方圖規定化的方法削弱圖像中陰影部分的干擾,并對人眼圖像中的關鍵部位進行增強,從而更準確地檢測虹膜的位置。

1 實驗數據集的建立

常見的人臉數據集普遍存在亞洲人臉不足以及瞇眼、閉眼等狀態下人臉圖像較少的問題,使用這些數據集訓練的網絡難以檢測不同狀態下的人眼。

針對該問題,本文設計了基于StyleGAN的定制化人臉生成網絡。在圖片生成器的內部,通過特定維度上的特征替換,將黃種人臉的特征賦值生成人臉;并通過修改控制向量在生成域內決定人眼開閉程度方向上的步幅大小,定制化生成人眼處于不同開閉程度下的亞洲人臉圖像。

基于上述定制化生成的人臉圖像與CAS-PEAL人臉數據集制作了實驗數據集,對下述3種人眼定位網絡進行訓練與測試,并且使用該數據集中人眼處于不同開閉程度下的人臉圖像對下述人眼狀態檢測方法與虹膜定位方法的精度進行測試。

1.1 基于Stylegan的數據集完善

1.1.1 Stylegan網絡的結構

StyleGAN網絡生成器的結構如圖1所示,其主要由映射網絡(mapping network)、樣式模塊(AdaIN)和生成網絡(synthesis network)組成[15]。包含8個全連接層的映射網絡將512×1的輸入向量解耦為同樣大小的中間向量W′,樣式模塊將W′變換為18個控制向量,生成網絡在18個控制向量的基礎上通過9次上采樣與3×3卷積操作將4×4的初始圖像變換為1 024×1 024的高清圖像,并添加噪聲豐富圖像內容。

圖1 特征碼對圖像特征的控制原理Fig.1 The control principle of feature codes on image features

1.1.2 黃種人臉的生成方法

StyleGAN生成圖片的特征受到AdaIN中18個控制向量的影響,這些向量分別作用于生成網絡里不同分辨率大小圖片的生成過程中,因此不同控制向量所影響的圖像特征也不同,具體過程如圖2所示,特征碼維度越高,所影響的圖像特征就越精細。

基于圖1所示原理,將生成圖像的部分特征碼替換為已生成黃種人臉圖像對應的特征碼,可以讓其具有黃種人臉的特征,效果如圖2所示。圖2中將非黃種人臉的5～8維特征碼替換為黃種人臉的特征碼,得到一張具有黃種人面部特征的人臉圖像。替換的特征碼不同,新圖片的特征便不一樣,通過替換5～8維的特征碼可以較好地賦予圖像黃種人臉特征而不改變其他特征。

圖2 黃種人臉特征的生成原理Fig.2 The formation principle of yellow face features

1.1.3 人眼開閉程度的控制方法

StyleGAN網絡建立了(18, 512)維特征向量到(1 024, 1 024, 3)維生成圖像之間的映射關系,每一幅生成圖像都對應于生成域R18×512中的一個特征向量,圖像屬性(如人眼開閉程度)的變化則表現為特征向量在生成域中的移動。因此只要確定人眼開閉程度變化在生成域中對應的方向,就可以通過改變特征向量在該方向上的移動步幅控制人眼的開閉程度。

(1)

式中:pi與qi為變化前后的生成圖片在生成域中的特征向量;pi_lable與qi_lable為二者對應的標簽值,原理如圖3所示;ei為人眼不同的開閉程度在生成域中各自對應的方向向量。

獲得代表人眼開閉程度變化的方向向量后,可以生成人眼處于不同開閉程度下的定制化人臉圖像:

E=E0+es

(2)

式中E0與E分別為人臉圖像調節前后在生成域內的特征向量;s為調節步幅。

1.2 實驗訓練集與測試集

CAS-PEAL數據集是由中科院計算機研究所發布的亞洲人臉數據庫[16]。該數據庫共采集了包括595位男性與445位女性在內的共1 040位人臉志愿者在各種情況下的人臉圖片共計99 450張。

考慮到常見人臉數據集的缺陷,在CAS-PEAL數據集與上述定制化生成圖片的基礎上建立本實驗的訓練集與測試集,其中訓練集包含有1 000張人臉圖片,測試集包含600張人臉圖片,均使用labelimg圖片標注工具進行了人眼單目標標注,標注過程如圖4所示。后續分別基于該訓練集與測試集進行人眼檢測網絡的訓練以及人眼定位、人眼狀態檢測和虹膜定位算法的精度測試。

圖4 人眼目標的標注結果Fig.4 The labeling result of human eye target

2 人眼定位及其應用

目前應用較廣的人眼狀態檢測方法是通過對人眼區域局部特征點的檢測實現的,在圖像質量較好的情況下可以根據特征點之間的位置關系判斷人眼狀態。但是在圖像較暗、對比度較差的情況下較難準確定位人眼特征點,從而降低狀態檢測的精度。

針對該問題,采用先定位人眼后提取特征的策略進行人眼狀態與虹膜位置的檢測。測試了3種目標檢測網絡的精度,并基于精度最高的Yolov5m網絡設計了人眼檢測網絡。針對人眼分割區域中對比度較差等圖像質量問題,采用直方圖規定化的方法進行了圖像增強,在增強后圖像的基礎上通過查找最小外接矩形提取人眼形狀特征,克服了特征點檢測等方法在圖片較暗等情況下失效的問題。基于直方圖規定化與Gamma變換對非閉眼的人眼圖像進行增強,提高算法的魯棒性,通過局部自適應二值化與霍夫圓檢測對虹膜區域的輪廓特征與位置信息進行提取,并對虹膜區域的位置進行量化。

2.1 基于深度學習的人眼定位

傳統人眼定位算法只適用于簡單場景下的人眼檢測,當存在障礙物遮擋、圖像模糊以及頭部姿態變化等干擾時精度會明顯降低。由于對人眼區域的定位精度將直接影響后續人眼狀態檢測等方法的檢測精度,因此選用定位精度更高的深度學習方法實現人眼區域的檢測。

分別基于Efficientdet-D0模型、Yolov5s模型和Yolov5m模型搭建并訓練了人眼檢測網絡。使用測試集對上述3種網絡進行測試,具體測試數值在下面實驗結果分析中給出。結果表明基于Yolov5m的人眼檢測網絡擁有三者中最好的綜合性能,后續均使用該網絡進行人眼區域的定位分割。

Yolov5m網絡主要由輸入網絡、主干征提取網絡(backbone)、特征融合網絡(neck)以及預測網絡(prediction)組成。主干網絡中的Focus模塊在保持原特征信息的基礎上,縮減了輸出圖像的寬高,增加了輸出圖像的特征通道,輸入圖片的大小為608×608×3,輸出圖像大小為304×304×12,通過3×3的卷積核對該特征圖處理后得到大小為304×304×32的最終輸出結果。

2.2 基于直方圖規定化與形狀特征的人眼狀態檢測

當人眼圖像對比度較低或質量較差時,基于特征點檢測的人眼狀態檢測方法由于無法準確定位特征點而失效,此時的灰度圖及灰度直方圖如圖5所示,無論是睜眼圖片還是閉眼圖片的灰度直方圖均失去了原有的形狀特征而難以進行狀態檢測。

圖5 含有陰影干擾時的灰度直方圖Fig.5 Grayscale histogram with shadow interference

通過深度學習方法進行人眼區域的分割,在分割后人眼圖像的基礎上設計了基于直方圖規定化與形狀特征的人眼狀態檢測算法。該算法通過直方圖規定化對原始圖像進行增強,在進行二值化與閉運算等預處理后,基于遞歸分治與旋轉卡尺方法查找人眼區域的最小包圍矩形,通過計算該矩形框的長寬比對人眼狀態進行判斷,有效地解決了因圖像質量所導致的特征點檢測失效的問題。

2.2.1 直方圖規定化

直方圖規定化主要由以下3個過程組成(其中待處理圖像的灰度等級為M,模板圖像的灰度級數為N,二者之間滿足N≤M的前提條件):

1)將原始灰度圖進行平衡化為:

(3)

2)獲得目標圖像的平衡化操作:

(4)

3)對第1)步中的灰度映射進行反變換處理,將待處理圖像的灰度直方圖變換為模板圖像所規定的灰度直方圖,采用組映射的方式將式(3)中的ps(si)變換到式(4)中的pu(ui)上去:

(5)

假定存在滿足0≤I(0)≤…≤I(l)≤…≤I(N-1)≤M-1要求的整數函數I(l),其中,l=0,1,…,N-1尋找能夠令式(5)中結果最小的I(l)值。

若式(5)中的l為0,則pu(ui)中的數值由ps(si)(0≤i≤I(0))所組成的一組數據進行映射;若式(3)中的l不為0,即為大于等于1的整數,則將ps(si)(I(l-1)≤i≤I(l))所組成的一組數據按照pu(ui)進行映射,組映射的原理如圖6所示。

圖6 組映射原理Fig.6 Group mapping schematic

2.2.2 直方圖規定化的模板圖像

為了解決對比度較低等圖片質量問題,直方圖規定化的模板要以去除外界干擾、增強人眼特征為目標。人眼特征較為明顯的、對比度較高的閉眼與睜眼圖像及其灰度分布直方圖如圖7所示。

圖7 2種模板圖像及其灰度直方圖Fig.7 Two template images and their grayscale histograms

分別以圖7中閉眼圖像與睜眼圖像為模板對質量較差的人眼圖像進行處理的結果如圖8所示。

其中圖8(a)是直方圖規定化前的人眼灰度圖,包含閉眼與睜眼2種狀態。圖8(b)是以圖7(b)中的理想閉眼圖像為模板對輸入圖像進行增強后的人眼灰度圖,雖然較好的去除了陰影干擾,但是對虹膜等人眼特征區域的削弱作用較強;圖8(c)是以圖7(d)中的理想睜眼圖像為模板對輸入圖像進行增強后的人眼灰度圖,雖然較好地增強了人眼特征,但眼角部位的陰影干擾仍有存留。問題的原因在于圖7(b)中的低值區域占比過低而圖7(d)中的低值區域占比過高。因此將模板中的低值區域占比設定在二者之間,使其既不過高也不過低,如圖9所示。

圖9 新模板的生成原理Fig.9 Schematic of the new template

基于該模板對上文的原始圖像進行直方圖規定化的結果如圖10所示。增強后圖像的灰度直方圖與模板圖像的灰度直方圖理論上擁有相同的分布規律,所以增強后圖像中不僅陰影較少,而且圖片的對比度獲得了提高,增強了眼部特征,便于后續對人眼狀態進行判斷。

圖10 直方圖規定化的效果Fig.10 The rendering of the histogram specification

2.2.3 人眼狀態判斷

在直方圖規定化增強圖片質量的基礎上,設計了人眼區域形狀特征的提取方法實現人眼狀態檢測,該過程主要分為3步:

1)圖像二值化

直方圖規定化后的人眼灰度圖具有明顯的雙峰特征,需要濾除高值背景區域而保留低值人眼輪廓。基于最大類間方差的大津法是專門應用于雙峰圖像自動閾值的二值化算法,因此采用大津法對人眼區域進行二值分割,效果如圖11所示。

圖11 大津法自動閾值效果Fig.11 Otsu method automatic threshold effect diagram

2)閉運算

二值化后圖片中的部分區域會出現空隙,為了避免對人眼形狀的提取造成干擾,加入運算核大小為5×5的閉運算進行圖像缺口填充,效果如圖12。

圖12 閉運算效果Fig.12 Closed calculation renderings

3)尋找最小包圍矩形

通過邊緣檢測獲得二值圖像的輪廓曲線,基于遞歸分治的方法查找輪廓曲線的凸包,過程如下:

①尋找輪廓中橫坐標最大與最小的點Pmax(x1,y1)與Pmin(x2,y2);

②遍歷輪廓中的每一個點,假設其坐標為(x3,y3),計算其數值:

(6)

結果為正時,該點位于直線PmaxPmin左側,反之則在右側,據此將輪廓分為上包(左側)與下包(右側)2部分。

③式(6)的絕對值越大,則該點距離直線PmaxPmin越遠,據此尋找上包中距離直線PmaxPmin最遠的點Pm;將上包中ΔPmaxPminPm內的區域視為新的下包,將ΔPmaxPminPm外的區域視為新的上包;

④重復步驟(2)、(3),并以同樣的方法遍歷下包。

找到凸包后再基于旋轉卡尺的方法尋找人眼輪廓凸包的最小包圍矩形,過程如下:

①計算凸包中在x,y方向上的4個頂點Pxmax,Pxmin,Pymax,Pymin,過4個頂點做矩形;

②若矩形中某條邊與凸包重合,則視該矩形為凸包的一個外接矩形,計算其面積并與當前最小面積比較,若小于當前最小面積則視該外接矩形為新的最小外接矩形;

③以該矩形為旋轉卡尺,順時針旋轉四條邊并保持矩形形狀直至有一條邊與凸包發生重合,重復步驟2);

④重復步驟②、③直至矩形轉過90°。

由閉運算后的二值圖經過輪廓提取、遞歸分治方法確定凸包、旋轉卡尺方法尋找最小包圍矩形的過程如圖13所示,其中虛線是提取的輪廓,實線是凸包,外圍框是最小包圍矩形,圖13(a)到圖13(f)的長寬比計算結果分別為5.69、4.68、5.75、1.07、1.06、1.01。

圖13 尋找最小包圍矩形過程示意Fig.13 Schematic diagram of the process of finding the smallest enclosing rectangle

由圖13可知睜眼圖片與閉眼圖片最小包圍矩形的長寬比存在明顯的不同,可據此進行人眼狀態的判斷。設定2個閾值a=2,b=3.5。假設人眼區域最小矩形的實際長寬比為x,則睜眼、瞇眼與閉眼狀態對應的變量關系分別為xb。

2.3 基于魯棒自適應的虹膜定位

虹膜定位可以追蹤人眼視線的方向,在圖片拍攝過程中可以用于糾正被拍攝者的視線。此外,虹膜定位在活體檢測、身份識別等方向上都有重要的應用價值。本文在人眼狀態檢測的基礎上設計了基于魯棒自適應的虹膜定位方法,當檢測到人眼狀態為睜眼或瞇眼時,基于直方圖規定化與自適應濾波等操作對虹膜區域進行檢測并量化該區域的位置。

2.3.1 虹膜定位

實際的人眼分割圖像往往因光照等不同因素的干擾而無法直接進行虹膜區域的分割,因此本文首先基于直方圖規定化減弱干擾影響。

1)直方圖規定化。

進行虹膜定位的前提是人眼狀態為睜眼或瞇眼,此時人眼灰度圖的低值部分由于虹膜區域的外露而占比較大。為了增強虹膜區域的形狀特征,在直方圖規定化中應保留人眼圖像的低值部分,因此使用圖7(b)中的睜眼圖像作為模板。該模板的灰度直方圖存在低值部分的尖峰,如圖14所示。

圖14 直方圖規定化模Fig.14 Histogram specification template map

基于該模板進行直方圖規定化的效果如圖15。

2)伽馬變換。

伽馬變換的計算過程為:

(7)

式(7)中Vin為歸一化后輸入圖像的像素值,范圍為0～1,輸出圖像像素值為Vout。當γ>1時,伽馬變換主要針對輸入圖像中亮度值較高的區域進行拉伸;γ<1時,伽馬變換主要針對輸入圖像中亮度值較低的區域進行拉伸。

圖15中的結果表明,雖然直方圖規定化可以整體上增強人眼圖片的質量,但會對虹膜區域的形狀造成略微的影響。為了保證虹膜區域形狀的完整性,此處使用γ值大于1的灰度映射(γ=3)來增強圖像中的低灰度值區域,其增強后的效果如圖16。

圖15 直方圖規定化效果Fig.15 Histogram specification rendering

圖16 Gamma變換效果Fig.16 Gamma transformation effect diagram

圖16說明直方圖規定化與Gamma增強結合后處理的圖片中虹膜區域的特征得到加強,形狀更加完整,且眼睛周圍的陰影得到了很好的去除。

3)中值濾波。

使用模板大小為9×9的中值濾波去除圖像復雜的紋理信息而保留其中的主要輪廓線,以減少后續圖像邊緣檢測過程中的干擾,效果如圖17所示。

圖17 中值濾波效果Fig.17 Median filtering effect chart

4)自適應二值化。

通過針對局部區域自動計算閾值的自適應二值化方法來進行圖像輪廓提取。將待處理的圖像分割為不同的局部小塊,針對每一個小塊計算其內像素灰度值的特征并據此得到該區域的自動閾值。

將圖像視為行向量,如圖18所示,其中Pn代表圖像二值化之前當前位置像素的灰度值大小,Tn代表該點像素在二值化后的灰度值大小。計算像素值為Pn的點附近s個像素的灰度值總和:

圖18 二維圖像一維化結果Fig.18 Two-dimensional image one-dimensional result map

(8)

按照式(9)計算該點在二值化后的灰度值大小。

(9)

該方法與大津法的區別在于后者是取雙峰圖像的自動閾值,目的在于獲取圖像低值或高值目標區域,而此處采用的局部自適應閾值由于只針對局部區域計算閾值,因此能夠更好的提取虹膜區域的局部特征,便于后續對虹膜形狀的檢測。對經過中值濾波后的人眼圖像進行局部自適應二值化的結果如圖19所示。

圖19 自適應二值化效果圖Fig.19 Adaptive binarization renderings

5)霍夫圓檢測。

對二值化后的人眼圖像進行canny邊緣檢測,并基于檢測到的輪廓特征進行霍夫圓檢測以定位虹膜區域,結果如圖20所示。

圖20 霍夫圓檢測結果Fig.20 Hough circle test result

2.3.2 虹膜位置的量化

在虹膜檢測的基礎上對虹膜的位置進行量化。如圖21所示將虹膜在人眼區域中的位置量化為百分數的形式,并在圖像的長邊方向上將其劃分為5個區域,通過判斷虹膜中心所在區域來量化虹膜偏移的程度。

圖21 虹膜位置量化原理Fig.21 Principle of quantification of iris position

3 實驗測試與結果分析

3.1 定制化人臉圖像的生成結果

定制化生成的亞洲人臉圖像如圖22所示,從左到右人眼的張開程度依次增加。

圖22 StyleGAN網絡生成結果圖Fig.22 StyleGAN network generated result graph

3.2 人眼定位的測試與結果分析

使用批量大小為64的小批量隨機梯度下降算法對網絡進行訓練以減少網絡訓練的計算成本,并使用Adam優化算法提高網絡的訓練效果,Adam算法的超參數β1、β2、ε分別為0.9、0.999、10-8。在Batch_size為32、學習率為0.001的條件下使用訓練集對Efficientdet-D0網絡、Yolov5s網絡和Yolov5m網絡進行了300次迭代訓練。訓練使用的GPU為Tesla K80,顯存容量為24 GB,顯存位寬為384 bit,CUDA版本為11.2。

使用測試集分別測試訓練后3種網絡的定位精度,測得Efficientdet-D0、Yolov5m和Yolov5s在測試集上的MAP@0.75大小分別為0.642 3、0.664 0、0.637。

在顯存2 GB 的Genforce MX150設備上對3種網絡的視頻檢測幀率進行測試,測得Efficientdet-D0、Yolov5m和Yolov5s在測試集上的檢測幀率分別為1.97、12.27、19.28。

檢測結果說明,Yolov5m網絡的檢測幀率并非最高,但已經可以滿足大多數場合下的需求,并且其檢測精度在三者中最高,因此本文中使用基于Yolov5m模型的檢測網絡進行人眼區域的定位。

3.3 人眼狀態檢測的測試與結果分析

使用基于直方圖規定化與形狀特征的檢測方法對人眼狀態進行檢測的過程如圖23所示。

圖23 人眼狀態檢測方法的工作過程Fig.23 The working process of the human eye state detection method

在包含600張人臉圖片的測試集上對人眼狀態檢測算法進行測試,得到該算法在睜眼、瞇眼和閉眼狀態下的檢測精度分別為95%、85%、93%。

結果表明基于直方圖規定化與形狀特征的檢測方法對圖23(a)、圖24 (c)、圖24 (d)和圖24 (f)中人眼區域較暗或包含陰影等情況以及圖24(a)中曝光過強等情況下的圖像均能準確判斷人眼狀態,克服了基于特征點檢測等人眼狀態檢測方法在圖像對比度較低時精度下降的問題,具有較強的穩定性,對3種不同的人眼狀態均具有較高的檢測精度。

圖24 人臉狀態檢測結果Fig.24 Figure of face state detection result method

3.4 虹膜定位的測試與結果分析

基于魯棒自適應的虹膜定位方法對不同視線方向下的人臉圖片進行檢測的結果如圖25所示。在人眼處于正視以及不同程度斜視的情況下,該算法均能夠準確地對人眼虹膜區域進行檢測定位并顯示當前虹膜的偏移程度。

圖25 虹膜檢測效果圖與原圖Fig.25 Iris detection effect picture and original picture

4 結論

1)基于StyleGAN網絡的定制化人臉生成方法能夠通過對網絡特征碼的替換以及特征向量的移動生成包含不同人眼狀態的亞洲人臉圖像,彌補了常見人臉數據集缺乏亞洲人臉以及瞇眼、閉眼等不同狀態下的人臉圖像的缺點,為人眼檢測網絡的訓練與測試提供了合適的數據集。

2)實驗結果證明基于Yolov5m的人眼檢測網絡能夠準確定位人眼,基于直方圖規定化與形狀特征的人眼狀態檢測方法能夠有效增強圖像質量,在睜眼、瞇眼與閉眼3種情況下的檢測精度分別為95%、89%、93%,在圖像較暗等情況下仍有較高的檢測精度,克服了基于特征點檢測的人眼狀態檢測方法在圖像較暗等情況下特征點定位困難以及精度下降的問題。

3)基于魯棒自適應的虹膜定位方法能夠有效地提取圖像中的虹膜特征,并準確地量化虹膜區域的位置,具有較高的魯棒性與準確性,該研究成果在圖像質量檢查、視線追蹤等方向上具有重要的應用價值。