基于駕駛員視覺(jué)與語(yǔ)音的多模態(tài)情感特征識(shí)別系統(tǒng)應(yīng)用研究

摘要：導(dǎo)致交通事故的主要原因之一中疲勞駕駛占比非常高，為了能夠檢測(cè)駕駛員的疲勞駕駛狀態(tài)，以駕駛員的眼動(dòng)行為模擬性和隨機(jī)性的特點(diǎn)，使用不確定性云模型實(shí)現(xiàn)數(shù)據(jù)處理，對(duì)駕駛員疲勞情況進(jìn)行檢測(cè)，實(shí)現(xiàn)疲勞預(yù)警系統(tǒng)的創(chuàng)建。該系統(tǒng)通過(guò)手動(dòng)攝像頭對(duì)駕駛員面部數(shù)據(jù)進(jìn)行收集，利用人臉人眼的定位計(jì)算眨眼時(shí)間的均值。通過(guò)這個(gè)值，可以相對(duì)準(zhǔn)確地判斷駕駛員的疲勞程度。疲勞檢測(cè)模塊將收集到的數(shù)據(jù)輸入系統(tǒng)，并根據(jù)預(yù)設(shè)的規(guī)則進(jìn)行判斷。一旦發(fā)現(xiàn)駕駛員疲勞，系統(tǒng)將立即通過(guò)語(yǔ)音和文字提醒進(jìn)行警示。

關(guān)鍵詞：駕駛員視覺(jué)；多模態(tài)；情感特征識(shí)別

本文針對(duì)道路交通事故中大部分是由于疲勞駕駛引發(fā)的問(wèn)題，設(shè)計(jì)了一種基于駕駛員疲勞特征識(shí)別的系統(tǒng)，以更加全面地分析駕駛員的疲勞狀況。由于駕駛員很難自我察覺(jué)到疲勞駕駛的情況，并且這個(gè)問(wèn)題容易被忽視，因此筆者通過(guò)識(shí)別駕駛員在駕駛過(guò)程中出現(xiàn)的直觀疲勞特征，例如打盹、犯困、打哈欠等，來(lái)設(shè)計(jì)這個(gè)系統(tǒng)。

該系統(tǒng)運(yùn)用計(jì)算機(jī)視覺(jué)處理技術(shù)實(shí)時(shí)監(jiān)測(cè)和分析駕駛員的面部表情和動(dòng)作。通過(guò)監(jiān)測(cè)顏面的變化、眼睛的狀態(tài)等指標(biāo)，并結(jié)合人工智能算法對(duì)這些數(shù)據(jù)進(jìn)行綜合判斷，能夠準(zhǔn)確識(shí)別出駕駛員是否處于疲勞狀態(tài)。一旦系統(tǒng)檢測(cè)到疲勞駕駛的特征，將立即通過(guò)語(yǔ)音警告提醒駕駛員注意休息，以引起駕駛員的重視并促使其采取行動(dòng)[1]。

一、多層Boosted HMM多模態(tài)情感識(shí)別算法

通過(guò)所三個(gè)模態(tài)特征數(shù)創(chuàng)建多層Bootted HMM分類器，設(shè)計(jì)三層總體分類器。利用線性組合設(shè)計(jì)各層總體分類器，從而使MBHMM分離器的識(shí)別率得到提高。利用單一特征訓(xùn)練分類HMM分類器，三層總體分類器的分量分離器模型通過(guò)以下公式表示：

公式中的π為模型初始隱狀態(tài)概率分布，狀態(tài)轉(zhuǎn)移概率矩陣和模型隱狀態(tài)數(shù)分別通過(guò)A和N表示，。

概率密度函數(shù)的公式能夠利用混合高速密度函數(shù)表示：

公式中的指的是隱狀態(tài)i的第m個(gè)高斯概率密度函數(shù)。

Baum-Welch算法能夠?qū)崿F(xiàn)HMM算法的訓(xùn)練，對(duì)模型參數(shù)最大似然估計(jì)進(jìn)行計(jì)算。對(duì)算法修改后充分考慮訓(xùn)練樣本權(quán)重，如果樣本無(wú)法進(jìn)行識(shí)別，就要重點(diǎn)進(jìn)行訓(xùn)練，以下為修改之后的算法：

算法輸入包括R個(gè)訓(xùn)練樣本xr （1≤r≤R）的樣本集和樣本觀察序列權(quán)重W（r）；

更新之后的等式為：

公式中的Pr為HMM模型中樣本觀察序列xr 的概率。

改進(jìn)Baum-Welch訓(xùn)練算法能夠?qū)Φ蠼釮MM分量分類器模型參數(shù)中對(duì)各個(gè)樣本權(quán)重進(jìn)行考慮，比較收斂，使訓(xùn)練對(duì)無(wú)法識(shí)別的樣本進(jìn)行重視[2]。

二、駕駛員多模態(tài)疲勞特征識(shí)別系統(tǒng)的架構(gòu)

（一）駕駛員視覺(jué)圖像識(shí)別的信息編碼

駕駛員在開車過(guò)程中都是利用掃視的方式識(shí)別系統(tǒng)中的信息，所以需要對(duì)系統(tǒng)信息進(jìn)行編碼。在信息量比較大的時(shí)候，還要分層顯示和邏輯分組，以便駕駛員能夠快速找到所需的信息。多通道顯控系統(tǒng)的生產(chǎn)廠家不同，所以要對(duì)不同信號(hào)燈含義進(jìn)行識(shí)別。如果駕駛員在駕駛汽車時(shí)無(wú)法對(duì)系統(tǒng)信息進(jìn)行識(shí)別，就會(huì)導(dǎo)致交通事故的出現(xiàn)。所以，在設(shè)計(jì)多通道線控系統(tǒng)的時(shí)候要對(duì)駕駛員視覺(jué)生理特性和信息可識(shí)別性進(jìn)行考慮。其中背景顏色可選擇淡藍(lán)色，刻度顏色為黑色，指針和警示的顏色為紅色為宜。

（二）汽車多通道位置的設(shè)計(jì)

1.對(duì)駕駛員眼睛的位置進(jìn)行判斷。實(shí)現(xiàn)駕駛員眼睛模型的創(chuàng)建，從而計(jì)算駕駛過(guò)程中的視線，在對(duì)駕駛視野范圍觀察的時(shí)候，可以通過(guò)駕駛員方向盤確定，設(shè)置汽車多通道顯控整體布局，對(duì)坐位進(jìn)行調(diào)節(jié)后對(duì)基準(zhǔn)點(diǎn)坐標(biāo)計(jì)算；

2.以駕駛員所移動(dòng)的視野范圍可以看出來(lái)，汽車在行駛中能夠快速的移動(dòng)，并且能夠全方位的觀察。如果多通道顯控系統(tǒng)為順時(shí)針，可以根據(jù)水平方向?qū)π畔⑦M(jìn)行觀察。

在系統(tǒng)中，駕駛員對(duì)于直線輪廓的觀察力比曲線輪廓更加精準(zhǔn)。所以，在本文系統(tǒng)設(shè)計(jì)過(guò)程中為左右上方行，顯控系統(tǒng)的識(shí)別順序和顯示面板一樣。

在對(duì)駕駛員視覺(jué)圖像識(shí)別系統(tǒng)設(shè)計(jì)過(guò)程中設(shè)置儀表，儀表范圍為40° ～60°，視覺(jué)范圍為20°～40°。方向盤最高的切點(diǎn)設(shè)置為L(zhǎng)1，駕駛員和方向盤的切點(diǎn)設(shè)置L2，駕駛員的可見(jiàn)范圍為駕駛員視覺(jué)圖像識(shí)別系統(tǒng)兩條切線的投切范圍。駕駛員視覺(jué)圖像識(shí)別系統(tǒng)目視距離能夠滿足Henrry DrefDns需求，最佳和最大距離分別設(shè)置為550mm、711mm[4]。

三、駕駛員多模態(tài)疲勞特征識(shí)別系統(tǒng)的硬件

（一）攝像頭信息采集

利用CMOS攝像頭設(shè)計(jì)攝像頭模塊，充分考慮主控板USB接口并且進(jìn)行對(duì)比，此種接口在使用過(guò)程中更加方便。其次，在調(diào)試PC平臺(tái)系統(tǒng)開發(fā)程序時(shí)，能夠在PC平臺(tái)中設(shè)置USB攝像頭，降低了功耗和成本，結(jié)構(gòu)簡(jiǎn)單

（二）樹莓派主控板

為了能夠?qū)崿F(xiàn)視覺(jué)處理，系統(tǒng)使用樹莓派4B作為主控制板。此主控制板為迷你電腦，包括IO引腳、微控制器、1.5GHz的64位四核處理器、雙顯示屏、雙頻Wifi。布置內(nèi)部環(huán)境，方便燒錄代碼的應(yīng)用。

（三）語(yǔ)音警告提醒

通過(guò)檢測(cè)駕駛員的疲勞駕駛狀態(tài)，實(shí)現(xiàn)語(yǔ)音警告的發(fā)送。因?yàn)闃漭傻墓δ軓?qiáng)大，并且不需要和其他語(yǔ)音模塊相互連接，只需要對(duì)汽車藍(lán)牙連接。要求錄制一段語(yǔ)音并且在樹莓派中保存，對(duì)駕駛員是否疲勞駕駛后播放語(yǔ)言。

（四）顯示屏模塊

通過(guò)顯示屏模塊的設(shè)計(jì)使系統(tǒng)開發(fā)調(diào)試更加的方便，還要觀察系統(tǒng)的檢測(cè)功能，使用7寸顯示屏連接micro-HDMI接口。

四、駕駛員多模態(tài)疲勞特征識(shí)別系統(tǒng)的軟件

（一）特征提取

此模塊能夠?qū)崿F(xiàn)人臉檢測(cè)、眼動(dòng)參數(shù)計(jì)算和人眼定位。

1.人臉檢測(cè)

利用AdaBoost算法檢測(cè)人臉，基于弱分類器融合思想訓(xùn)練不同的弱分類器。實(shí)現(xiàn)樣本的精準(zhǔn)分類，使下次訓(xùn)練權(quán)值得到降低。如果下次所選擇的分類樣本不精準(zhǔn)，權(quán)重會(huì)加重。

2.人眼定位

在檢測(cè)人臉過(guò)程中要定位人眼，主要方式包括粗定位和精準(zhǔn)定位兩種?？梢酝ㄟ^(guò)人臉“三庭五眼實(shí)現(xiàn)粗定位，時(shí)。其中和兩種方式以垂直方向分為上中下庭，以水平方向劃分五眼。但在設(shè)計(jì)系統(tǒng)時(shí)，只對(duì)左眼進(jìn)行處理，因此需要更精確的方法來(lái)確定人眼的區(qū)域。由此，Adaboost算法自然引入。

3.計(jì)算眼動(dòng)特征

在精準(zhǔn)定位人眼時(shí)，要對(duì)眼動(dòng)疲勞特征參數(shù)進(jìn)行計(jì)算。per-clos與眨眼時(shí)間指的是人眼動(dòng)的特征參數(shù)，是單位時(shí)間內(nèi)眼睛的閉合百分比可以通過(guò)per-closh表示，比如EM、P70、P80，其中眼瞼擋住50%瞳孔面積眼睛閉合表示W(wǎng)M，P80表示瞳孔遮擋面積為80%，P70為70%的瞳孔被遮擋。在以上標(biāo)準(zhǔn)中，疲勞狀態(tài)能夠通過(guò)p80標(biāo)準(zhǔn)所展現(xiàn)，此計(jì)算公式為研究表明：

公式中的f0是指樣本采樣的頻率，通過(guò)Tp80表示計(jì)算時(shí)窗的大小，np是指單位時(shí)窗內(nèi)眼睛的閉合程度在80%以上。

（二）疲勞檢測(cè)

通過(guò)疲勞分類模型和虛擬實(shí)驗(yàn)環(huán)境收集駕駛員在疲勞或者清醒時(shí)候的眼動(dòng)數(shù)據(jù)，并且計(jì)算眼睛的眨眼和閉合時(shí)間均值，實(shí)現(xiàn)二維多規(guī)則定性推理生成器的創(chuàng)建。根據(jù)生成器的輸入值進(jìn)行輸入，如果輸出期望在1.5以上，說(shuō)明疲勞狀態(tài)。在模擬駕駛員環(huán)境過(guò)程中，定性推理生成器的識(shí)別率一般設(shè)置為73.98%。

（三）疲勞預(yù)警

如果疲勞檢測(cè)模塊輸出疲勞狀態(tài)時(shí)，系統(tǒng)能夠調(diào)用疲勞報(bào)警模塊，從而對(duì)用戶開展文字或者語(yǔ)音提醒。

五、系統(tǒng)的實(shí)現(xiàn)

（一）實(shí)驗(yàn)環(huán)境

將PC機(jī)作為實(shí)驗(yàn)硬件環(huán)境，Win10作為操作系統(tǒng)。將多模態(tài)音頻情感數(shù)據(jù)庫(kù)作為基礎(chǔ)，數(shù)據(jù)庫(kù)中包括大量的音頻和視頻序列。對(duì)于語(yǔ)音信號(hào)來(lái)說(shuō)，通過(guò)轉(zhuǎn)換得到梅爾倒譜圖，利用PCA實(shí)現(xiàn)降維。

（二）實(shí)驗(yàn)方案

本文利用不同實(shí)驗(yàn)方案評(píng)價(jià)設(shè)計(jì)有效性：其一，消融實(shí)驗(yàn)。針對(duì)多模態(tài)或者單模態(tài)實(shí)現(xiàn)情感識(shí)別實(shí)驗(yàn)，判斷驗(yàn)證特征重構(gòu)方法的有效性；其二，情感識(shí)別率。能夠分析系統(tǒng)的性能；其三，對(duì)比實(shí)驗(yàn)。有效驗(yàn)證決策層的融合方法。

（三）實(shí)驗(yàn)結(jié)果

1.消融實(shí)驗(yàn)

針對(duì)單模態(tài)情感識(shí)別率，語(yǔ)音識(shí)別率比視覺(jué)圖像識(shí)別率要高，主要是因?yàn)檎Z(yǔ)音特征提取的方法比視覺(jué)特征提取要優(yōu)。對(duì)于重構(gòu)模態(tài)決策層的融合識(shí)別率，與原始識(shí)別率的差別并不大，表示此種重構(gòu)的方法效果良好，具有較高的最小值規(guī)則決策層融合的情感識(shí)別率。

2.對(duì)比實(shí)驗(yàn)

通過(guò)語(yǔ)音視覺(jué)情感識(shí)別結(jié)果對(duì)比此表示，基于決策層規(guī)則融合方法的識(shí)別效果良好，也驗(yàn)證了決策層融合方法的有效性。

3.性能分析

融合后模型能夠提高不同的情感識(shí)別率，由于語(yǔ)音特征和視覺(jué)特征兩者互補(bǔ)，單模態(tài)時(shí)并沒(méi)有明顯的情感特征，降低了類別識(shí)別效果。所以和另外一個(gè)模態(tài)結(jié)合應(yīng)用，如果新模態(tài)具有明顯的情感特征效果，使類別會(huì)兒率得到提高。

（1）單模態(tài)情感識(shí)別

其中hate和afraid會(huì)降低識(shí)別率，一般使用sad、angry、happy等提高識(shí)別率，主要是由于兩者并沒(méi)有明顯的情感特征；

（2）多模態(tài)情感識(shí)別

通過(guò)融合決策層使afraid情感識(shí)別率得到提高，如果出現(xiàn)悲傷、恐懼等情感的時(shí)候會(huì)提高情感識(shí)別的復(fù)雜度，從而降低多模態(tài)的識(shí)別方法效率。利用最小值規(guī)則決策層融合的方法，提高情感識(shí)別效果；

（3）重構(gòu)多模態(tài)

具有一樣的多模態(tài)情感識(shí)別結(jié)果，重構(gòu)模態(tài)識(shí)別效果比較大，主要是由于本文重構(gòu)模態(tài)特征無(wú)法完全代替原本模態(tài)特征。

六、結(jié)束語(yǔ)

本文所設(shè)計(jì)的系統(tǒng)是將樹莓派實(shí)現(xiàn)數(shù)據(jù)信息處理核心，在實(shí)時(shí)監(jiān)測(cè)駕駛員圖像信息的過(guò)程中，可以通過(guò)攝像頭實(shí)現(xiàn)，提取人像特征或者圖像預(yù)處理。在提取駕駛員頭部、嘴部、眼部等特征之后，對(duì)駕駛員的狀態(tài)進(jìn)行判斷，包括是否出現(xiàn)打哈欠、犯困等情況，針對(duì)此種情況開展預(yù)警告。本文系統(tǒng)的設(shè)計(jì)比較簡(jiǎn)單，并且操作方便，使預(yù)期目標(biāo)得到滿足，實(shí)用價(jià)值比較高。

作者單位：張瑞宏 西藏大學(xué)

參考文獻(xiàn)

[1]王傳昱，李為相，陳震環(huán).基于語(yǔ)音和視頻圖像的多模態(tài)情感識(shí)別研究[J].計(jì)算機(jī)工程與應(yīng)用，2021，57（23）：163-170.

[2]李倩倩，王衛(wèi)星，楊勤，等.基于深度學(xué)習(xí)的視聽多模態(tài)情感識(shí)別研究[J].計(jì)算機(jī)與數(shù)字工程，2023，51（3）：695-699.

[3]龍英潮，丁美榮，林桂錦，等.基于視聽覺(jué)感知系統(tǒng)的多模態(tài)情感識(shí)別[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2021，30（12）：218-225.

[4]鄔卓恒，趙嘉熙，時(shí)小芳.基于BP神經(jīng)網(wǎng)絡(luò)的語(yǔ)音情感識(shí)別系統(tǒng)分析與設(shè)計(jì)[J].電腦知識(shí)與技術(shù)，2022，18（10）：76-79.