一種基于特征點(diǎn)的快速人臉朝向檢測算法

高泠溦 李志揚(yáng) 鄧?yán)? 楊澤信 鄒穎

摘要：人臉朝向是判斷學(xué)生是否認(rèn)真聽課的重要線索，而其中所涉及的物體姿態(tài)檢測技術(shù)一般需要6軸傳感器、KINECT等專業(yè)設(shè)備。本文提出了一種采用單攝像頭的便捷人臉朝向檢測算法，該算法在基準(zhǔn)照片和轉(zhuǎn)動(dòng)后的照片中找出人臉的5對(duì)匹配特征點(diǎn)，然后根據(jù)光學(xué)成像原理，通過粒子群算法找出這些匹配特征點(diǎn)所對(duì)應(yīng)的旋轉(zhuǎn)矩陣，從而求出旋轉(zhuǎn)角度。實(shí)驗(yàn)表明，對(duì)剛性物體該算法的測量精度可以達(dá)到2度左右。該方法可以廣泛用于人臉朝向檢測，或其他物體的姿態(tài)檢測。

關(guān)鍵詞：人臉檢測;人臉朝向;特征點(diǎn);姿態(tài)估計(jì);粒子群算法

中圖分類號(hào)：TP391? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）29-0105-03

Fast Face Orientation Detection Method Based on Feature Points

GAO Ling-wei， LI Zhi-yang， DENG Lei， YANG Ze-xin， ZOU Ying

（College of Physical Science and Technology， Central China Normal University， Wuhan 430079， China）

Abstract： Face orientation is an important clue to see whether a student is listening carefully， in which the ect posture detection usually requires professional equipment such as 6-axis sensor and KINECT. The paper proposed a convenient face orientation detection method using only a single camera. It first finds 5 pairs of matched face feature points from the reference photo and the rotated photo. Then it calculates by means of the particle swarm algorithm the rotation matrix and next the rotation angle of these pairs of feature points from the equations set up following geometrical optics. As the experiments show， a measurement accuracy of about 2 degrees can be reached for rigid ects. Therefor it can be widely used for face orientation detection and posture detection of other ects.

Key words：face detection; face orientation; feature point detection; attitude estimation;particle swarm algorithm

1引言

在全面防控疫情的背景下，各級(jí)各類學(xué)校積極開展線上教學(xué)[1]。網(wǎng)絡(luò)教學(xué)具有很多優(yōu)勢(shì)，例如，資源共享以及學(xué)習(xí)形式趨向自由化。但是網(wǎng)絡(luò)教學(xué)也帶來一些不便，例如難以實(shí)時(shí)監(jiān)測和把控學(xué)生的學(xué)習(xí)狀態(tài)。通過人體姿態(tài)，特別是人臉朝向，可以判斷學(xué)生是否認(rèn)真聽課。而對(duì)人臉或其他物體的姿態(tài)檢測一般需要專業(yè)硬件設(shè)備或輔助裝置，例如6 軸傳感器[2]、KI? NECT[3]、雙目攝像頭[4]以及輔助棋盤格[5]等。人體姿態(tài)估計(jì)也一直是計(jì)算機(jī)視覺中一個(gè)備受關(guān)注的研究熱點(diǎn)[6]。傳統(tǒng)的姿態(tài)估計(jì)算法基于結(jié)構(gòu)模型，往往應(yīng)用在二維圖場景中，受制于幾何模糊性，其精度一般較低;隨著深度學(xué)習(xí)的流行，近年來提出大量基于深度學(xué)習(xí)的檢測算法，例如R-CNN[7]、SSD[8]等，估算精度得到大幅提升。但深度學(xué)習(xí)需要準(zhǔn)備大量的訓(xùn)練數(shù)據(jù)，尤其是基于視頻的機(jī)器學(xué)習(xí)，在實(shí)時(shí)監(jiān)測方面更是經(jīng)常遭受硬件資源和網(wǎng)絡(luò)帶寬帶來的限制。

本文提出了一種采用單攝像頭的便捷人臉朝向檢測方法，該方法在基準(zhǔn)照片和轉(zhuǎn)動(dòng)后的照片中找出人臉的5對(duì)匹配特征點(diǎn)，然后求出這些匹配特征點(diǎn)所對(duì)應(yīng)的旋轉(zhuǎn)矩陣，從而確定人臉朝向。該方法硬件設(shè)備簡單，不需要機(jī)器學(xué)習(xí)的前期訓(xùn)練，可以廣泛用于學(xué)生的學(xué)習(xí)狀態(tài)或其他物體的在線姿態(tài)檢測。

2基于匹配特征點(diǎn)的人臉朝向檢測算法

本文首先從監(jiān)測視頻中選擇兩幅不同時(shí)刻的人臉圖像A 和B，其中A為基準(zhǔn)。然后分別提取A和B 圖像的特征點(diǎn)，進(jìn)一步對(duì)兩者的特征點(diǎn)進(jìn)行匹配，選出其中5對(duì)匹配度較好的特征點(diǎn)。下面推導(dǎo)如何從這5對(duì)匹配特征點(diǎn)確定人臉在B時(shí)刻相對(duì)于A時(shí)刻的旋轉(zhuǎn)。

根據(jù)小孔成像原理，第i個(gè)特征點(diǎn)在 A 時(shí)刻的圖像坐標(biāo)（xiA，yiA）和其對(duì)應(yīng)的相機(jī)坐標(biāo)（XiA，YiA，ZiA）滿足如下方程：

方程（1）和（2）中，xc和yc為相機(jī)中心的圖像坐標(biāo)，f為相機(jī)以單個(gè)像素寬度度量的焦距大小。同理可列出第i個(gè)特征點(diǎn)在 B 時(shí)刻的圖像坐標(biāo)（xiB，yiB）和其對(duì)應(yīng)的相機(jī)坐標(biāo)（XiB，YiB，ZiB）所滿足的方程，i=1，2，3，4，5。這樣總共可以列出10×2=20個(gè)方程，其中包含10×3=30個(gè)未知的相機(jī)坐標(biāo)。

進(jìn)一步采用剛體近似，假設(shè)從A 時(shí)刻到B 時(shí)刻，5個(gè)特征點(diǎn)所對(duì)應(yīng)的相機(jī)坐標(biāo)的變化可以用同樣的旋轉(zhuǎn)矩陣R 和平移矢量[tx，ty，tz]描述，即：

其中i=1，2，3，4，5，這樣矩陣方程組（3）新增了5×3=15個(gè)方程，但是這15個(gè)方程新引入了3個(gè)未知的旋轉(zhuǎn)矩陣參數(shù)和3個(gè)平移矢量參數(shù)。這意味著方程組（1）-（3）共包含35個(gè)方程，36個(gè)未知數(shù)，仍然無法求解。值得注意的是本文只關(guān)心與人臉朝向?qū)?yīng)的旋轉(zhuǎn)矩陣R，對(duì)相機(jī)坐標(biāo)的絕對(duì)值大小并不關(guān)心。實(shí)際上，方程組（1）-（3）是關(guān)于圖像坐標(biāo)和其對(duì)應(yīng)的相機(jī)坐標(biāo)的線性方程，將其比例縮放后旋轉(zhuǎn)矩陣R不變。因此我們可以通過歸一化處理來減少未知數(shù)數(shù)目。

在方程組（3）中分別令i=1和2，并將所得方程組相減可得，

進(jìn)一步將方程組（5）兩邊分別除以Z1B 和Z1A，整理可得，

通過類似處理可知，方程組（7）中i=2可以分別用i=3，4，5代替，總共包含4×3=12個(gè)方程。每個(gè)方程右邊具有相同的矩陣系數(shù)Z1A1BR，而Z1A1BR本身包含1+3=4個(gè)未知數(shù)。除了矩陣系數(shù) Z1A1BR外，上述12個(gè)方程組還包含Z2B1B，Z2A1A，Z3B1B，Z3A1A，Z4B1B， Z4A1A，Z5B1B，和Z5A1A 8個(gè)未知參數(shù)。這樣12個(gè)方程共包含12個(gè)未知參數(shù)，具有唯一解。從所求得旋轉(zhuǎn)矩陣R 即可知道人臉朝向。

3基于粒子群算法的方程求解原理

方程組（7）雖然具有唯一解，但它是一個(gè)高階方程，無法求出解析解。為此本文采用粒子群算法進(jìn)行數(shù)值搜索求解?；驹砗筒襟E如下。

在采用粒子群算法求方程組（7）時(shí)，我們假設(shè)每個(gè)粒子的位置由Z1A1B、α、θ和 β預(yù)先確定，其中人臉先繞Z軸旋轉(zhuǎn)動(dòng)α 角度，再繞X軸旋轉(zhuǎn)θ 角度，最后繞Y軸旋轉(zhuǎn)β 角度，這樣旋轉(zhuǎn)矩陣R可以寫為，

進(jìn)一步記Z1A1BR為，

令i=2，將（9）代入（7），整理后有：

方程組（10）包含3 個(gè)方程數(shù)，卻僅有2 個(gè)未知數(shù) Z2B1B 和 Z2A1A 。我們先根據(jù)方程組（10）的前兩個(gè)方程進(jìn)行求解，整理后可得，

如果并將方程組（11）所求得的 Z2B1B 和 Z2A1A 代入方程組（10）第3個(gè)方程，并記方程左右兩邊的差值為，

一般情況下，d21不為零。只有當(dāng)Z1A1BR正確時(shí)，d21才為零。類似地分別令i=3，4，5，可得到d31，d41和d51。最后定義總誤差：

顯然，當(dāng)且僅當(dāng)總誤差d=0時(shí)，Z1A1BR才是正確解。因此總誤差d可以作為衡量Z1A1BR 的依據(jù)。

根據(jù)粒子群算法原理，首先在適當(dāng)范圍內(nèi)賦予每個(gè)粒子一個(gè)隨機(jī)初始位置（Z1A1B，α，θ，β）和隨機(jī)初始速度，并計(jì)算對(duì)應(yīng)的初始總誤差d。然后讓每個(gè)粒子不停地隨機(jī)移動(dòng)搜索，在每個(gè)粒子每走一小步后計(jì)算并記錄每個(gè)粒子以及整個(gè)粒子群所找到的最小總誤差d。在每步移動(dòng)過程中，所有粒子總是向其自身歷史誤差最小和整個(gè)粒子群誤差最小的位置隨機(jī)移動(dòng)。這樣經(jīng)過多步搜索后，可以使總誤差d收斂到零。由于大量粒子在整個(gè)范圍內(nèi)隨機(jī)搜索，總有一個(gè)粒子恰好鄰近總誤差全局最小位置，因此粒子群算法不僅搜索效率高，速度快，而且不會(huì)陷入局部最小位置導(dǎo)致收斂失敗或精度降低。

4實(shí)驗(yàn)結(jié)果

首先本文在不同距離和角度拍攝了多幅棋盤格照片，通過Matlab的相機(jī)標(biāo)定工具箱對(duì)相機(jī)進(jìn)行了標(biāo)定，確定了相機(jī)的焦距f和圖像中心坐標(biāo)（xc，yc）。然后在固定距離，讓棋盤格分別繞Z軸、X軸和Y軸旋轉(zhuǎn)預(yù)定角度，拍攝棋盤格轉(zhuǎn)動(dòng)前后的照片，并采用前面所討論的方法計(jì)算棋盤格的旋轉(zhuǎn)角度。圖1（a）和（b）分別為棋盤格繞Y軸轉(zhuǎn)動(dòng)前后的實(shí)驗(yàn)照片，計(jì)算結(jié)果為（Z1A1B，α，θ，β）=（1.6725 ， 0.1895， 47.6255 ， 0.9002）。而用量角器測量的棋盤格繞Y軸轉(zhuǎn)動(dòng)約為45度，計(jì)算結(jié)果與實(shí)測結(jié)果誤差在2度左右。

經(jīng)過上述標(biāo)定后，本文將上述方法用于人臉轉(zhuǎn)動(dòng)監(jiān)測。圖2（a）和（b）分別為人臉轉(zhuǎn)動(dòng)前后的示例實(shí)驗(yàn)照片，其對(duì)應(yīng)的計(jì)算結(jié)果為（Z1A1B，α，θ，β）=（0.9941 ， -30.3891 ， 7.3351 ， 1.7673），與實(shí)際觀察結(jié)果基本吻合。

圖2人臉轉(zhuǎn)動(dòng)前后對(duì)比圖示例

5結(jié)論

本文提出了一種基于特征點(diǎn)的快速人臉朝向檢測方法，該方法采用單攝像頭，只需在轉(zhuǎn)動(dòng)前后拍攝的兩幅照片中找出5 對(duì)匹配特征點(diǎn)就可以計(jì)算人臉或其他物體的相對(duì)旋轉(zhuǎn)角度。實(shí)驗(yàn)表明，對(duì)剛性物體該算法的測量精度可以達(dá)到2度左右?？梢詮V泛用于人臉朝向檢測，以便統(tǒng)計(jì)判斷學(xué)生的學(xué)習(xí)狀態(tài)，或用于其他物體的在線姿態(tài)檢測，以便進(jìn)行定位或安全報(bào)警等。

參考文獻(xiàn)：

[1]李旭光，李忠毅.疫情下高職學(xué)生線上學(xué)習(xí)現(xiàn)狀的個(gè)案研究[J].品位經(jīng)典，2021（1）：163-165.

[2]曾億山，劉睿.基于六軸傳感器的無線動(dòng)作識(shí)別系統(tǒng)設(shè)計(jì)[J].傳感器與微系統(tǒng)，2018，37（10）：98-101.

[3] Ashwini K，AmuthaR.Compressive sensing based recognition of human upper limb motions with kinect skeletal data[J].Mul?timedia Tools and Applications，2021，80（7）：10839-10857.

[4]錢林杰.基于FPGA雙目攝像頭采集的實(shí)時(shí)立體成像研究與實(shí)現(xiàn)[D].南京：南京大學(xué)，2018.

[5]熊云龍.基于六輪小車的虛擬智能管家系統(tǒng)及相關(guān)SLAM技術(shù)研究[D].武漢：華中師范大學(xué)，2020.

[6]李崤河，劉進(jìn)鋒.二維人體姿態(tài)估計(jì)研究綜述[J].現(xiàn)代計(jì)算機(jī)， 2019（22）：33-37.

[7] RussakovskyO，DengJ，SuH，etal.ImageNet large scale visual recognition challenge[J].International Journal of Computer Vi? sion，2015，115（3）：211-252.

[8] Li Q T，Chen Z C，ZhangB，etal.Detection of tailings dams us?ing high-resolution satellite imagery and a single shot multi? box detector in the jing –Jin –ji region，China[J].Remote Sens? ing，2020，12（16）：2626.

【通聯(lián)編輯：唐一東】