基于嘴巴特征點曲線擬合的哈欠檢測＊

謝國波，陳云華，張 靈，丁伍洋

（廣東工業大學計算機學院，廣東 廣州 510006)

基于嘴巴特征點曲線擬合的哈欠檢測＊

謝國波，陳云華，張 靈，丁伍洋

（廣東工業大學計算機學院，廣東 廣州 510006)

針對疲勞分析中哈欠檢測具有嘴角點定位困難、嘴巴張開大小及持續時間因人而異的特點，提出一種基于嘴巴內輪廓角點檢測與曲線擬合的哈欠檢測方法。首先利用角點檢測獲取嘴巴內輪廓上的若干點，對這些點進行曲線擬合建立嘴唇內輪廓數學模型；然后再對張口度曲線進行時間維度的分析，對哈欠進行二次判決。實驗結果表明，該方法不僅能夠更精確地獲取開口度的大小，而且還能夠降低哈欠的誤檢率。

角點檢測；輪廓提取；曲線擬合；哈欠檢測

1 引言

哈欠是反映疲勞的重要特征，基于哈欠與眨眼檢測的疲勞分析在智能交通領域擁有廣闊的應用前景。目前，國內外進行哈欠檢測的方法主要依據的是嘴巴的形態特征。Lu Yu-feng等［1］對兩幀圖像進行差分來定位人臉，通過檢測鼻孔與下巴的距離來判斷是否有哈欠產生。該方法在頭部發生偏轉的情況下，下巴難以準確定位，并且當攝像頭與人的距離發生改變時，從圖像上檢測到的鼻孔與下巴的距離也會發生相應的變化，因而會產生誤判。文獻［2，3］先從單幅圖像中分割出嘴巴，根據嘴巴張開區域的大小來檢測哈欠。該方法僅考慮單幅靜態圖像中嘴巴的狀態，沒有考慮哈欠的時間特性，而且提取的張口形狀是不規則圖形，當頭部發生傾斜時，不能有效地判斷。Wang Tie sheng等［4］先定位兩邊嘴角，然后檢測嘴唇的上下邊界獲取嘴巴的高寬比，并通過對張口度的分析判斷哈欠的產生。該方法依賴于嘴角點定位的準確性，其中任何一個嘴角點定位不準確都會影響到檢測結果；而且不同的嘴形和嘴唇厚度也會對結果產生一定的影響。此外，上述方法在判別哈欠時均未對張口的持續時間進行分析，導致短時間內或者瞬時的嘴巴張大（如驚訝時張大嘴)會被誤判為哈欠。

針對上述方法中的不足，本文提出一種基于嘴巴特征點曲線擬合的哈欠檢測方法。先對圖像進行人臉檢測和嘴巴粗定位；然后對嘴巴區域進行Harris角點檢測，利用檢測到的角點坐標擬合出嘴巴內輪廓曲線，計算張口度，得到張口度曲線和哈欠張口度閾值。對張口度曲線進行時間維度的分析，將結果分為哈欠、非哈欠和疑似哈欠，對于疑似哈欠的情況，根據哈欠、驚訝、大聲喊話時張嘴的不同特點進行二次判決。實驗結果表明，采用角點檢測和曲線擬合方法提取嘴巴內輪廓能夠獲取到更加精確的張口度大小，對張口度曲線進行時間維度分析的哈欠二次判決方法能夠提高哈欠檢測的準確率，減少誤判。

2 嘴巴內輪廓提取

2.1 人臉檢測與嘴巴定位

在彩色視頻圖像中，膚色是區分人臉與非人臉的顯著特征，因而也是人臉檢測的最常用的特征之一。相對于RGB顏色空間，膚色在YCrCb色彩空間具有更好的聚類特性。采用文獻［5］中的方法檢測人臉，并獲取嘴巴的粗略位置，然后利用文獻［6］中給出的唇色模型，得到嘴巴區域的位置，嘴巴檢測結果如圖1所示。

Figure 1 Diagram of face detection and mouth location results圖1 人臉檢測與嘴巴定位結果

2.2 嘴巴角點檢測

角點作為圖像上的特征點，包含有重要的信息，對圖像圖形的理解和分析具有重要價值。由于角點特征具有旋轉不變性和不隨光照條件變化而變化的特點，利用角點檢測嘴巴的內輪廓點，不僅準確而且結果穩定。

采用Harris角點檢測算法［7］對嘴巴區域進行檢測，主要步驟如下：

（1)設置高斯窗口函數：

其中，Ix、Iy分別為原始圖像像素點在水平和垂直方向上的梯度。

（3)計算每個像素點的Harris角點響應函數：

其中，k為Harris算子的參數，一般取值為0.04～0.06，計算出的響應函數CRF所對應的極大值點就是圖像的角點。嘴巴角點檢測的結果見圖2。

Figure 2 Diagram of mouth inner contour corner detection results圖2 嘴巴內輪廓角點檢測結果圖

2.3 嘴巴內輪廓模型

采用Harris角點檢測可獲取嘴巴內輪廓上角點的坐標，通過對這些坐標點進行曲線擬合可獲取嘴唇的內輪廓曲線，從而更準確地計算張口度的值。嘴唇區域的Harris角點檢測結果如圖2所示。

嘴唇的內輪廓形似拋物線，因而本文選取分段拋物線作為擬合曲線，采用最小二乘法獲取嘴唇內輪廓線，建立相應的數學模型。由于Harris角點提供的坐標是基于圖像像素點的坐標，因而角點坐標值受到圖像尺寸的影響，在進行擬合前要對坐標進行相應的變換。本文以檢測到的最左側角點（x0，y0)為坐標原點，其它點的坐標均轉化為該點的相對坐標，并以最左側和最右角點坐標 （x0，y0)、（xn，yn)的連線為水平坐標軸創建坐標系，如圖3所示。

設任意一點 （xi，yi)變換后的坐標為，)，則有：

Figure 3 Mouth inner contour curves coordinate transformation diagram圖3 嘴巴內輪廓曲線坐標轉換示意圖

其中，θ為嘴角連線相對水平位置的夾角，且：

當檢測到兩個嘴角的縱坐標相差很大時，表明頭部產生了傾斜，此時需要根據公式（9)對檢測到的嘴唇輪廓點進行坐標轉換。

利用公式（7)完成坐標轉換后，進行分段二次函數最小二乘曲線擬合得到嘴巴張開時的內輪廓曲線，如圖4所示。其對應的數學模型如下：

其中，a1＜0，a2＞0，f1（x)對應上嘴唇內輪廓曲線，f2（x)對應下嘴唇內輪廓曲線。

Figure 4 Mouth inner contour curve fitting diagram圖4 嘴巴內輪廓曲線擬合結果

3 哈欠檢測

3.1 張口度曲線

人在打哈欠時，嘴巴最明顯的特征就是張開的程度會變大，并且較大的張口度會維持一段時間。由于嘴唇內輪廓區域高寬比相對于嘴唇外輪廓高寬比更能夠反映張口度的大小，因此本文依據嘴唇的內輪廓，給出張口度的定義為：嘴巴張開時，嘴唇內輪廓曲線所圍區域的高度與寬度的比值為：

其中，H表示嘴巴張開的高度；L表示兩個嘴角間的距離，如圖3所示；x1和x2為上下嘴唇內輪廓曲線的交點的橫坐標。對每一幀視頻實時求取張口度即可生成張口度曲線。為了描述方便，將張口度隨時間變化的曲線稱為M曲線。

3.2 哈欠初次判決

已有的哈欠檢測方法由于未考慮張口度持續時間，容易將瞬時張大嘴巴如驚訝等誤判為哈欠，為此，本文在張口度閾值的基礎上增加張口持續幀數的檢測；同時，為了滿足哈欠檢測的實時性，本文的哈欠檢測分兩步進行：

第1步 根據張口度閾值進行哈欠初判；

第2步 對條件區域的哈欠進行二次判決。

現有哈欠檢測的文獻中并沒有給出一個準確的哈欠閾值，本文張口度的閾值根據多次實驗的經驗值確定。張口度超過βT的持續幀數記為t。如果是由驚訝或者大聲講話所導致的瞬時嘴巴張大，張口度超過閾值的持續時間必然會很小，因此，可按照張口度超過閾值βT的持續幀數t進行哈欠初判。判決規則如下：

（1)當t∈ （0，T1)時，為非哈欠區。在此區域內的點表示嘴巴張大維持的時間短，可能是驚訝等表情引起的嘴巴瞬間張大。

（2)當t∈ ［T1，T2)時，為條件哈欠區。在此區域不能直接判別是否產生了哈欠，需進行二次判決。

（3)當t∈ ［T2，150)時，為絕對哈欠區。在此區域內嘴巴張大的持續時間長，因此可以判定為產生了哈欠。

其中，T1和T2的值根據多次實驗的經驗值確定，時間維度的哈欠判別區域劃分如圖5所示。其中，整個檢測時間范圍內張口度均未達到判決門限βT的被認為是嘴巴正常活動狀態，如講話等。

3.3 哈欠二次判決

對條件哈欠區的情況，需要進行二次判別。二次判別的依據是哈欠的過程比大聲說話或瞬間張大嘴的過程要長，因此稍低于初次判決門限βT的張口度會持續更長的時間（對應于嘴小的人)；而瞬時的張大嘴或大聲說話時稍低于判決門限βT的張口度持續時間仍然很短。為此，取二次判決閾值為張口度，持續時間為T′，即已處于條件區域且滿足張口度超過β′T的持續幀數在T′以上時，才被判定為產生了哈欠，否則未產生哈欠。

Figure 5 Yawning discrimination zoning in time dimension圖5 時間維度的哈欠判別區域劃分

4 實驗結果與分析

選擇不同性別、不同年齡的192名測試者，在實驗室和駕駛室分別進行視頻采集。測試者的年齡和性別的分布如表1所示。測試者在錄制視頻時，可以打哈欠、講話、面露驚訝的表情，頭部可以傾斜、扭轉，靠近或者遠離攝像頭，每人至少打一次哈欠，有一次驚訝張嘴，講話若干。選取180段視頻進行哈欠檢測：至少包含了一次哈欠的視頻共60段，至少包含了一次驚訝張大嘴的視頻共60段，無哈欠也無驚訝張嘴的視頻共60段。經過多次反復實驗得出：典型的哈欠是張口度超過0.65，且持續幀數大于或等于25幀；對少數嘴較小的測試者的哈欠是張口度超過0.5，且持續幀數大于或等于125幀；由于驚訝等導致的瞬時張大嘴，開口度大于0.65的持續時間不超過25幀；由于驚訝等導致的瞬時張大嘴，開口度大于0.5的持續時間不超過125幀。因而，取哈欠初次判決的開口度閾值βT＝0.65，持續時間閾值為T1＝25幀，T2＝75幀，二次判決的開口度閾值β′T＝0.5，條件哈欠區開口度超過β′T的張口持續時間閾值為T′＝125幀。

Table 1 Age distribution of the testers表1 測試者年齡分布

（1)內輪廓角點擬合與嘴唇邊界獲取張口度的對比實驗。

為了說明采用內輪廓角點擬合方法計算嘴唇內輪廓獲取張口度的優越性，給出本文方法與文獻［4］中的方法對比實驗，如圖6所示。文獻［4］中計算張口度的方法是現有張口度計算方法的代表，該類方法在利用人臉比例關系粗定位嘴唇的檢測范圍后，采用梯度積分投影和唇色模型結合的方法定位嘴唇的上下左右邊界，從而獲取張口高寬比。該類方法存在的不足是：（1)張口度的計算會受到嘴唇厚度的影響，如圖6b所示；（2)當被測者頭部存在較大角度偏轉時，嘴唇的左右邊界容易檢測失敗，如圖6d所示。

Figure 6 Comparison of mouth open degree obtained by inner contour curve fitting and mouth border detection圖6 嘴唇內輪廓擬合與邊界獲取張口度的對比

（2)瞬時張大嘴與哈欠的對比實驗。

圖7是包含了一次由驚訝導致的瞬時嘴巴張大和一次張口度較小的哈欠，其中A段對應一次驚訝時的突然張嘴，B段對應一次張口度較小的哈欠。由圖7可看出，若僅用張口度閾值βT進行判別，則A段被誤判為哈欠；若用張口度βT加上超過βT的持續時間t進行判別，A段不會被誤判，同時，B段則被判為條件哈欠區的哈欠，需要進行二次判決。二次判決時，采用的張口度閾值為β′T，持續時間閾值為T′，經過二次判決后，B段被判定為哈欠。

對應的視頻幀及嘴唇內輪廓曲線擬合結果如圖8所示。由圖8可知，驚訝時張嘴與哈欠時張嘴的大小區別不大，僅用張口度閾值是很難將二者區別開的。但是，驚訝時張大嘴的持續時間明顯要短于哈欠，因而可利用該特點將如驚訝等的瞬時張大嘴的情況與哈欠區別開來。

對圖8所示的驚訝時張大嘴的視頻，利用本文

Figure 7 Mouth open degree curve containing a yawning and an instant mouth opening圖7 包含了一次瞬時張嘴和哈欠的張口度曲線

方法與其他文獻中的方法進行哈欠檢測，檢測結果如表2所示。

Table 2 Experimental results of mouth open caused by surprising misjudged as by yawning表2 驚訝張口被誤判為哈欠的實驗結果

從表2可看出，本文結合張口度與持續時間根據張口度曲線對哈欠進行二次判決，能區分出瞬時的嘴巴張大的情況，從而降低哈欠的誤檢率。

（3)總的檢測結果對比。

各種方法檢測率如表3所示。從表3可看出，本文對哈欠的誤判和漏判率均低于其他文獻中的方法。

Figure 8 Video frames and their inner contour curve fitting result of surprising and yawning圖8 驚訝和哈欠對應的視頻幀及其內輪廓擬合結果

Table 3 Yawning detection rate of different methods表3 不同方法的哈欠檢測率 %

5 結束語

本文根據打哈欠時嘴巴具有張口度大和持續時間較長的特點，針對現有哈欠檢測方法的不足，提出一種基于嘴巴內輪廓角點擬合的哈欠檢測方法。由于角點擬合綜合考慮了多個嘴唇輪廓點的信息，利用角點坐標擬合嘴唇的內輪廓曲線，相對于僅僅依賴少數幾個點進行嘴角和上下嘴唇邊界定位來計算張口度的方法，結果更加可靠和準確；對于存在大角度頭部扭轉的張口度，依靠嘴唇邊界計算張口度的方法會失效，但本文方法則仍然可以得到與真實張口度足夠近似的值；利用張口度和張口持續時間進行二次哈欠判決，先區分最易判別的狀態，對其它不易判別的情況進行二次判決，可有效地將哈欠與其它各種瞬時張大嘴的情況區別開。該方法也存在著一定的不足，擬合與二次判決在提高判決準確性的同時，也影響檢測的速度，每秒處理幀數約25幀，但仍能滿足實時檢測的需要。

［1］ Lu Yu-feng，Wang Zeng-cai.Detecting driver yawning in successive images［C］∥Proc of the 1st International Conference on Bioinformatics and Biomedical Engineering，2007：581-583.

［2］ Abtahi S，Hariri B，Shirmohammadi S.Driver drowsiness monitoring based on yawning detection［C］∥Proc of IEEE Instrumentation and Measurement Technology Conference，2011：1-4.

［3］ Omidyeganeh M，Javadtalab A，Shirmohammadi S.Intelligent driver drowsiness detection through fusion of yawning and eye closure［C］∥Proc of IEEE International Conference on Virtual Environments Human-Computer Interfaces and Measurement Systems，2011：1-6.

［4］ Wang Tie-sheng，Shi Peng-fei.Yawning detection for determining driver drowsiness［C］∥Proc of the IEEE International Workshop on VLSI Design ＆ Video Technology，2005：373-376.

［5］ Zhao Ming-hua，You Zhi-sheng，Mu Wan-jun，et al.Face detection based on skin color segmentation，mathematical morphology and geometry［J］.Journal of Sichuan University（Natural Science Edition)，2005：42（3)：617-620.（in Chinese)

［6］ Liew A W C，Leung S H，Lan W H.Segmentation of color lip image by spatial fuzzy clustering［J］.IEEE Transactions on Fuzzy System，2003，11（4)：542-549.

［7］ Rabi G，Si Wei-lu.Energy minimization for extracting mouth curves in facial image［C］∥IEEE International Conference on Intelligent Information Systems，1997：381-385.

附中文參考文獻：

［5］ 趙明華，游志勝，穆萬軍，等.基于膚色分割、數學形態學和幾何方法的人臉檢測［J］.四川大學學報（自然科學版)，2005，42（3)：617-620.

Yawning detection based on mouth feature point curve fitting

XIE Guo-bo，CHEN Yun-hua，ZHANG Ling，DING Wu-yang
（College of Computer，Guangdong University of Technology，Guangzhou 510006，China)

In yawning detection for fatigue analysis，it is difficult to get the exact location of the two mouth corners，the open size and open duration varies for different individuals.For this problem，it proposes a yawning detection method based on mouth inner contour corner detection and curve fitting of those corner points.Firstly，several points are located on the contour of the mouth by corner detection.Secondly，the mathematical model of the mouth inner contour is established by curve fitting to those points.Thirdly，the mouth openness curve is analyzed in the time sequence to identify the yawning twice.Experimental results show that this method can obtain more precise mouth openness，and reduce false detection rate of yawning.

corner detection；contour extraction；curve fitting；yawning detection

TP317.4

A

10.3969/j.issn.1007-130X.2014.04.027

2012-08-27；

2012-12-30

廣東省教育部產學研項目（2012B091000058)；廣東省重點實驗室建設專項項目（2011A091000046)

通訊地址：510006廣東省廣州市廣州大學城廣東工業大學計算機學院計算機工程系

Address：Department of Computer Engineering，College of Computer，Guangdong University of Technology，Guangzhou 510006，Guangdong，P.R.China

1007-130X（2014)04-0731-06

謝國波（1977-)，男，廣東五華人，博士，副教授，CCF會員（E200031488M)，研究方向為計算機視覺和精神疲勞監測。E-mail：guoboxie＠163.com

XIE Guo-bo，born in 1977，PhD，associate professor，CCF member（E200031488M)，his research interests include computer vision，and mental fatigue monitoring.

陳云華（1977-)，女，湖北仙桃人，博士生，講師，研究方向為計算機視覺、精神疲勞監測和可拓檢測。E-mail：chenyh＿winy＠163.com

CHEN Yun-hua，born in 1977，PhD candidate，lecturer，her research interests include computer vision，mental fatigue monitoring，and extension detection.

張靈（1968-)，女，廣西合浦人，博士，教授，研究方向為智能控制技術、數字信號處理和自動化裝備。E-mail：june4567＠21cn.com

ZHANG Ling，born in 1968，PhD，professor，her research interests include intelligent control technology，digital signal processing，and automation equipment.

丁伍洋（1988-)，男，湖北咸寧人，碩士生，研究方向為嵌入式系統開發和圖像處理。E-mail：dingwuyang0902＠sina.com

DING Wu-yang，born in 1988，MS candidate，his research interests include embedded system development，and image processing.