基于視覺(jué)傳感器采集光流特征的精神疾病識(shí)別方法*

陳銳霆，徐瑞吉，應(yīng)靈康，金潤(rùn)輝，毛科技，趙永標(biāo)

(1.浙江工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，浙江 杭州 310014；2.杭州惠嘉信息科技有限公司，浙江 杭州 311121；3.浙江工業(yè)大學(xué)之江學(xué)院，浙江 紹興 312030)

隨著現(xiàn)代生活節(jié)奏加快，人們感受到來(lái)自方方面面的壓力。壓力的積累導(dǎo)致各種各樣的心理健康問(wèn)題，最后發(fā)展到精神疾病。這些精神疾病危害著人們的身心，嚴(yán)重時(shí)甚至導(dǎo)致患者做出威脅個(gè)人或他人生命安全的行為[1]。世界衛(wèi)生組織最新報(bào)告顯示2021 年底全球約13%的人群擁有不同程度的精神疾病問(wèn)題，每年用于治療和預(yù)防的花費(fèi)就高達(dá)萬(wàn)億美元，給個(gè)人、家庭和社會(huì)都造成了巨大的負(fù)擔(dān)和影響[2]。

精神疾病的檢測(cè)識(shí)別一直是一個(gè)復(fù)雜且耗時(shí)的任務(wù)。要判定一個(gè)人是否正在遭受精神疾病的困擾，不僅需要具備專業(yè)的知識(shí)、基本掌握個(gè)人信息，還需要將目標(biāo)人群放在一個(gè)時(shí)間跨度之下觀察才能臨床確診。很多擁有輕度精神疾病的人往往無(wú)法意識(shí)到自己精神狀態(tài)的異常，也不會(huì)主動(dòng)透露自身情況或?qū)で笾委煟@導(dǎo)致精神疾病的篩查面臨巨大的現(xiàn)實(shí)困難[3]。

視覺(jué)傳感器可以準(zhǔn)確地獲得人的面部表情、手勢(shì)、姿態(tài)、以及頭部運(yùn)動(dòng)等信息。研究表明，人的面部表情占情感信息量的55%，而聲音特征和語(yǔ)義特征分別占情感信息量的38%和7%[4]。因此利用視覺(jué)傳感器采集面部變化進(jìn)行精神疾病評(píng)估是非常有效的方法。

除了數(shù)據(jù)采集之外，基于視覺(jué)傳感器的精神疾病識(shí)別方法能為精神疾病的輔助篩查提供了一種成本低廉、便捷、非侵入性的方式。相比傳統(tǒng)的臨床訪談和問(wèn)卷評(píng)估，采用視覺(jué)傳感器可以直接采集患者在日常生活中的行為、表情等數(shù)據(jù)，無(wú)需人工干預(yù)，因此能夠更加客觀地反映患者的真實(shí)狀態(tài)。

基于上述分析，本文提出了一個(gè)基于視覺(jué)傳感器采集光流特征的精神疾病識(shí)別框架。該算法根據(jù)視覺(jué)傳感器的特點(diǎn)設(shè)計(jì)了一種光流特征提取方法，能夠捕捉患者面部表情變化豐富的局部特征，也能組合局部特征以維持面部拓?fù)浣Y(jié)構(gòu)的變化，不丟失全局特征信息。算法中使用適用于光流變化特征的網(wǎng)絡(luò)TSMOSNet 進(jìn)行訓(xùn)練，從而構(gòu)建了一個(gè)高準(zhǔn)確率和魯棒性的精神疾病識(shí)別算法模型。該模型參數(shù)體積小，推理速度快，可以與視覺(jué)傳感器進(jìn)行整合，開(kāi)發(fā)出一系列精神疾病預(yù)警系統(tǒng)，及時(shí)監(jiān)測(cè)患者的行為變化，發(fā)現(xiàn)異常情況，并及時(shí)采取相應(yīng)的干預(yù)措施。這為精神疾病的預(yù)防和治療提供了新的思路和方法。

1 基于視覺(jué)傳感器的精神疾病識(shí)別

1.1 視覺(jué)傳感器采集

由于通過(guò)視覺(jué)傳感器采集而來(lái)的患者視頻時(shí)間跨度大，且包括房屋背景等無(wú)用信息，需要對(duì)原始視頻做預(yù)處理，構(gòu)建出面部序列單元。本算法中通過(guò)HOG 特征描述算子從采集視頻中按每幀提取出患者的面部圖片。提取到的患者面部圖片通過(guò)仿射變化進(jìn)行矯正對(duì)齊，并統(tǒng)一圖片大小到128×128，以標(biāo)準(zhǔn)化面部圖片的分辨率。

其中，仿射變換是一種線性變換，能夠保持平行線的平行性和長(zhǎng)度的比例不變。它由旋轉(zhuǎn)、縮放、錯(cuò)切和平移四種基本變換組成，可以表示為矩陣乘法的形式，如式(1)所示:

式中:(x，y)是像素點(diǎn)變換前的坐標(biāo)，(x′，y′)是像素點(diǎn)變換后的坐標(biāo)，a11和a21分別表示圖像在x方向和y方向的縮放因子，a12和a22表示圖像在x方向和y方向的錯(cuò)切因子，t1和t2表示圖像在x方向和y方向的平移量。

由于精神疾病患者并不會(huì)一直正對(duì)視覺(jué)傳感器。偏轉(zhuǎn)角度小的患者面部可以通過(guò)仿射變化進(jìn)行矯正，但是存在偏轉(zhuǎn)角度大，且有物體遮擋等干擾的患者面部圖片。對(duì)于這些低質(zhì)量的圖片，通過(guò)OpenFace[5]中的人臉檢測(cè)算法，定義置信度來(lái)進(jìn)行清洗。

當(dāng)置信度設(shè)置得比較高時(shí)，視覺(jué)傳感器能采集到的符合要求的面部圖片數(shù)量會(huì)變少，丟失掉一些可用的特征。反之當(dāng)置信度取到較低值，會(huì)存在大量受到污染的面部圖片，影響整體方法的效果。對(duì)于置信度的設(shè)置，通過(guò)對(duì)比試驗(yàn)，最后設(shè)置的置信度閾值為0.95。

因?yàn)榛颊叩拿娌繄D片是一個(gè)時(shí)序變化的圖片序列，通過(guò)對(duì)采集到的數(shù)據(jù)進(jìn)行分析，發(fā)現(xiàn)低置信度的面部圖片都是連續(xù)的。為了保持時(shí)序性，使用低置信度面部圖片前出現(xiàn)的最后一張正常面部圖片作為填充，而不是直接刪除低置信度的面部圖片。

最后可以得到有效且高質(zhì)量的患者面部圖片序列，即本文算法中定義的面部序列單元。本節(jié)方法流程如圖1 中的視覺(jué)傳感器視頻采集模塊所示。

圖1 本文的整體算法框架

1.2 面部應(yīng)激單元提取

精神疾病患者的面部表情變化會(huì)被一些特定的內(nèi)容所激發(fā)。其有效特征往往分散在采集而來(lái)的視頻片段之中。此外，因?yàn)椴杉鴣?lái)的視頻時(shí)間不定，直接輸入模型訓(xùn)練，存在時(shí)序跨度大、干擾信息多、有效特征難以定位等問(wèn)題。所以，在本文的算法框架中，需要對(duì)1.1 節(jié)中提取到的面部序列單元進(jìn)一步處理，提取出受到激發(fā)的患者面部圖片序列，即面部應(yīng)激單元。

受到相關(guān)研究的啟發(fā)，光流特征在表情變化分析中能夠提取出有效的時(shí)空運(yùn)動(dòng)信息[6-7]。本算法在患者的面部序列單元中選定一張患者自然狀態(tài)下的面部圖片作為中性幀。然后，計(jì)算患者每幀的面部圖片和中性幀的光流特征。光流特征的水平分量u和垂直分量v采用TV-L1 光流方法來(lái)計(jì)算[8]。此外，光流應(yīng)變采用了無(wú)窮小應(yīng)變理論，可以反映出患者的細(xì)微面部形變。光流應(yīng)變的定義如式(2)所示:

式中:δx為坐標(biāo)(x，y)的像素點(diǎn)在x軸上的微分，δy為像素點(diǎn)在y軸上的微分，εxx和εyy為正切應(yīng)變分量，εxy和εyx為剪切應(yīng)變分量。則光流應(yīng)變的幅值可以按式(3)進(jìn)行計(jì)算。

在本文的算法中，以光流應(yīng)變幅值作為量化患者面部運(yùn)動(dòng)的程度。而光流特征圖為水平分量u、垂直分量v和光流應(yīng)變?chǔ)湃齻€(gè)矩陣疊加而成，可視為一張通道數(shù)為3 的特征圖。

從已有的研究中可知，患者面部的表情變化通常集中在特定區(qū)域[9]。在本文算法中，定義了三塊ROI 區(qū)域，分別為左眼左眉、右眼右眉和嘴部區(qū)域。通過(guò)面部標(biāo)志點(diǎn)來(lái)區(qū)分這些區(qū)域，如圖2 所示。

圖2 通過(guò)面部標(biāo)志點(diǎn)定義的ROI 區(qū)域

在各個(gè)ROI 區(qū)域之中，以面部標(biāo)志點(diǎn)的最高點(diǎn)、最低點(diǎn)、最左側(cè)的點(diǎn)和最右側(cè)的點(diǎn)作為基準(zhǔn)進(jìn)行截取。為了保證ROI 區(qū)域被完整地截取，不丟失邊界的信息，分別在每個(gè)方向都擴(kuò)展12 個(gè)像素。算法中將左眼左眉區(qū)域定義為ROI 1，右眼右眉的區(qū)域定義為ROI 2，嘴部區(qū)域定義為ROI 3。

將ROI 1 和ROI 2 的大小都調(diào)整為27×27 像素，ROI 3 的大小調(diào)整為27×52 像素。最后，將三塊ROI 區(qū)域拼接在一起，得到54×54 大小的ROI 區(qū)域圖片。三塊ROI 區(qū)域的位置關(guān)系如圖3 所示。

圖3 面部ROI 區(qū)域位置關(guān)系

隨后，按照光流應(yīng)變幅值中提到的方法計(jì)算面部序列單元的每一幀面部圖片和中性幀的光流特征圖。在計(jì)算光流特征圖時(shí)，雖然已經(jīng)在采集視頻的預(yù)處理中對(duì)患者面部圖片進(jìn)行了矯正對(duì)齊。本算法中還選取了鼻子區(qū)域的標(biāo)志點(diǎn)位置，來(lái)進(jìn)一步消除患者頭部全局運(yùn)動(dòng)對(duì)光流產(chǎn)生的影響[10]。

得到光流特征圖后，以原始圖片上識(shí)別出的面部標(biāo)志點(diǎn)，按上述ROI 區(qū)域定義方式，從光流特征圖中裁剪拼接得到面部ROI 區(qū)域光流特征圖。該步驟算法流程如圖4 所示。

圖4 面部ROI 區(qū)域光流特征圖構(gòu)建流程

通過(guò)面部ROI 區(qū)域光流特征圖構(gòu)建流程中的算法，得到了患者面部序列單元中每幀面部圖片的面部ROI 區(qū)域光流特征圖。然后通過(guò)光流應(yīng)變幅值計(jì)算方法，計(jì)算出患者每幀面部ROI 區(qū)域光流特征圖的光流應(yīng)變幅值。可以得到時(shí)序幀和光流應(yīng)變幅值的峰值關(guān)系圖，如圖5(a)所示。

在原始的峰值關(guān)系圖中存在著許多噪聲元素，這些噪聲元素的產(chǎn)生和圖片的質(zhì)量、患者面部本身的過(guò)度偏轉(zhuǎn)和視覺(jué)傳感器的采集環(huán)境等因素相關(guān)。這導(dǎo)致了在峰值圖中存在大量微小的波峰和偽峰，影響后續(xù)算法的效果。所以需要對(duì)原始峰值圖進(jìn)行去噪以及離群值檢測(cè)。

在去噪算法的選擇中，對(duì)比了傅里葉變化，滾動(dòng)平均值和Savitzky-Golay 濾波。根據(jù)消融實(shí)驗(yàn)數(shù)據(jù)，選擇Savitzky-Golay 濾波作為本文算法框架中的去噪算法。同樣，對(duì)于離群值檢測(cè)算法的選擇，對(duì)比了基于滾動(dòng)統(tǒng)計(jì)的方法、孤立森林算法和K-Means 算法。在這些方法中，孤立森林算法取得了最好的效果。

經(jīng)過(guò)去噪和離群值檢測(cè)后，得到處理后的峰值圖，如圖5(b)所示。處理后的峰值圖中減少了大量的微小波峰，也處理了偏離正常趨勢(shì)的離群點(diǎn)。然后，通過(guò)峰值檢測(cè)器尋找成峰時(shí)序段所在的起始幀位置、結(jié)束幀位置、峰值幀位置和持續(xù)幀長(zhǎng)度。

每一個(gè)成峰時(shí)序段都是一個(gè)應(yīng)激單元。為了后續(xù)輸入模型的數(shù)據(jù)長(zhǎng)度統(tǒng)一，需要統(tǒng)計(jì)所有應(yīng)激單元的持續(xù)幀長(zhǎng)度，進(jìn)行K-Mean 聚類，獲得一個(gè)最為合適的持續(xù)幀長(zhǎng)度。

在本文使用的數(shù)據(jù)集中，聚類得到的時(shí)序幀長(zhǎng)度為128。

按照本節(jié)算法流程可以將視覺(jué)傳感器采集而來(lái)的長(zhǎng)時(shí)間的患者視頻，轉(zhuǎn)化為短時(shí)間的應(yīng)激單元，應(yīng)激單元中既包含了有效的患者面部表情變化特征，又保持了時(shí)序關(guān)聯(lián)性，易于后續(xù)模型進(jìn)行訓(xùn)練。能夠有效解決時(shí)序跨度大、干擾信息多、有效特征難以定位等問(wèn)題。

本節(jié)整體的算法流程如圖1 中面部應(yīng)激單元提取部分所示。

1.3 光流特征單元構(gòu)建

以每個(gè)成峰時(shí)序段所在的峰值幀位置作為基準(zhǔn)，對(duì)兩側(cè)起始幀位置和結(jié)束幀位置盡量等額進(jìn)行擴(kuò)充或是刪除(對(duì)于無(wú)法擴(kuò)充前置幀或者后序幀的情況，通過(guò)復(fù)制幀來(lái)解決)。最后，得到標(biāo)準(zhǔn)化后的應(yīng)激單元，為128 幀的分段面部序列單元。對(duì)于每一個(gè)標(biāo)準(zhǔn)化后的應(yīng)激單元，同樣利用1.2 小節(jié)中介紹的方法，計(jì)算每一幀和中性幀的光流特征圖，保留指定ROI 區(qū)域部分，可以得到128 幀所對(duì)應(yīng)的128張光流特征圖。

為了去除人臉個(gè)體性的差異，保持光流特征圖的時(shí)序聯(lián)系性以及采集環(huán)境對(duì)圖片帶來(lái)的色澤影響。對(duì)光流特征圖矩陣基于HSV 色彩空間做歸一化[11]。然后以16 frame/s 的規(guī)格將128 幀歸一化后的光流特征圖拼接成8 s 的視頻，即本算法中的光流特征單元。

光流特征單元為本算法框架后續(xù)模型的數(shù)據(jù)輸入。對(duì)于每一個(gè)光流特征單元，需要生成一個(gè)匹配的標(biāo)簽。針對(duì)本文中所使用的數(shù)據(jù)，設(shè)計(jì)了一個(gè)偽標(biāo)簽函數(shù)(線性函數(shù))來(lái)對(duì)每一個(gè)光流特征單元生成標(biāo)簽。偽標(biāo)簽函數(shù)的表達(dá)形式g(·)如式(4)所示:

式中:label 為輸入視頻數(shù)據(jù)對(duì)應(yīng)的標(biāo)簽。

1.4 TSMOSNet 和權(quán)重分類

本算法以TSM 網(wǎng)絡(luò)為基礎(chǔ)，結(jié)合光流特征單元的特性，設(shè)計(jì)了新的網(wǎng)絡(luò)結(jié)構(gòu)TSMOSNet。TSMOSNet的網(wǎng)絡(luò)結(jié)構(gòu)如圖6 所示。

在TSMOSNet 模型的開(kāi)始，輸入的光流特征單元被分割成N個(gè)大小相等的片段。在本文的算法中，因?yàn)楣饬魈卣鲉卧目値瑪?shù)已經(jīng)被控制在128 幀，所以在采樣環(huán)節(jié)使用了更為密集的采樣方法。模型中將N值設(shè)置為成16，也就是每個(gè)片段的大小為8 幀，從輸入的光流特征單元中采樣出16 幀光流特征圖輸入后續(xù)的網(wǎng)絡(luò)結(jié)構(gòu)之中，來(lái)提高模型的精度。

光流特征圖的性質(zhì)和一般圖片不同，為了提高光流特征單元的解碼速度，在模型中采用了PyAV作為解碼器。

模型的下一部分是光流處理頭。光流處理頭是針對(duì)光流特征圖提出的預(yù)提取網(wǎng)絡(luò)，替換了原TSM網(wǎng)絡(luò)之中的卷積模塊。光流處理頭的結(jié)構(gòu)如圖7 所示。光流處理頭將輸入的特征圖拆分成三個(gè)通道分別進(jìn)行卷積。以維持光流水平分量、垂直分量和光流應(yīng)變矩陣的獨(dú)立性。每個(gè)卷積層的卷積核通道數(shù)分別是3、5、8，來(lái)獲取不同的感受野，隨后是一個(gè)最大池化層來(lái)減少特征圖的大小。然后，將每個(gè)流的特征圖按照通道堆疊重新組合特征，經(jīng)過(guò)一個(gè)平均池化層后輸出。

圖7 光流提取頭的結(jié)構(gòu)

光流提取頭能夠有效地提取光流特征圖的空間信息，送入后續(xù)的時(shí)序注意力模塊。

原TSM 網(wǎng)絡(luò)通過(guò)把特征在時(shí)間通道上位移，來(lái)獲取時(shí)序信息。但這種位移方式僅讓局部的特征進(jìn)行交互，缺少對(duì)全局時(shí)序信息的建模能力。所以，本算法設(shè)計(jì)的TSMOSNet 在TSM 模塊之前，添加了輕量級(jí)的LTA 時(shí)序注意力模塊，可以讓后續(xù)的網(wǎng)絡(luò)在全局信息的指導(dǎo)下進(jìn)行時(shí)序位移，進(jìn)一步提高模型的精度。LTA 時(shí)序注意力模塊的結(jié)構(gòu)如圖8 所示。

圖8 LTA 時(shí)序注意力模塊

本文提出算法的最后一步便是通過(guò)權(quán)重分類，讓光流變化單元的分類結(jié)果回歸到視覺(jué)傳感器采集視頻的分類結(jié)果之中。設(shè)面部序列單元M有l(wèi)個(gè)光流特征單元，第i(0＜i≤l)個(gè)光流特征單元的模型輸出標(biāo)簽記為L(zhǎng)i，可表示為M＝{L1，L2，L3，…，Ll}。其中任意標(biāo)簽Li屬于n類偽標(biāo)簽類別集合{P1，P2，…，Pn}，表示為L(zhǎng)i∈{P1，P2，…，Pn}。則權(quán)重分類函數(shù)的表達(dá)形式如式(5)所示:

式中:LM為權(quán)重分類函數(shù)計(jì)算出的面部序列單元M對(duì)應(yīng)的標(biāo)簽。函數(shù)MaxP 取輸入?yún)?shù)的最大值所對(duì)應(yīng)的偽標(biāo)簽。函數(shù)Count 為計(jì)數(shù)函數(shù)，統(tǒng)計(jì)輸入?yún)?shù)在M＝{L1，L2，L3，…，Ll}出現(xiàn)的次數(shù)。

通過(guò)權(quán)重分類函數(shù)，可以聚合光流特征單元的輸出標(biāo)簽到面部序列單元所對(duì)應(yīng)的標(biāo)簽上，最后得到采集視頻的分類結(jié)果。

2 實(shí)驗(yàn)與分析

為了評(píng)估本文提出的精神疾病識(shí)別算法框架的有效性，在H7-BDSN 數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。在本節(jié)中，將介紹數(shù)據(jù)集、實(shí)驗(yàn)內(nèi)容并討論分析實(shí)驗(yàn)結(jié)果。

2.1 數(shù)據(jù)集

H7-BDSN 數(shù)據(jù)集是本文研究團(tuán)隊(duì)和某人民精神醫(yī)院合作所采集構(gòu)建的數(shù)據(jù)集。數(shù)據(jù)集在真實(shí)診室和問(wèn)診流程下使用視覺(jué)傳感器進(jìn)行患者問(wèn)診流程視頻和音頻的采集，同時(shí)包括了精神疾病專家對(duì)患者的評(píng)估量表[12-13]。其中包括了抑郁癥、雙相情感障礙和精神分裂癥三種精神疾病以及正常人的樣本。

采集到的抑郁癥患者病例有130 例，雙相情感障礙患者62 例，精神分裂癥患者79 例。對(duì)于采集到的數(shù)據(jù)，進(jìn)行了嚴(yán)格的篩選，去除了其中視頻質(zhì)量低、視頻時(shí)間短、拍攝角度傾斜大、患者戴有口罩、非初診病例等情況的視頻。

最后保留的有效視頻，時(shí)間持續(xù)在10 min 左右，患者面部清晰可見(jiàn)，表情激發(fā)豐富，且有精神疾病專家的詳細(xì)診斷資料和評(píng)估量表。在H7-BDSN數(shù)據(jù)集中，除了通過(guò)視覺(jué)傳感器采集到的原始視頻數(shù)據(jù)之外，通過(guò)OpenFace 提取了面部標(biāo)志點(diǎn)的2D坐標(biāo)數(shù)據(jù)、面部標(biāo)志點(diǎn)的3D 坐標(biāo)數(shù)據(jù)、頭部姿態(tài)、面部動(dòng)作單元、眼部注視數(shù)據(jù)。本文的對(duì)比算法也是在該數(shù)據(jù)上進(jìn)行。

最后，H7-BDSN 數(shù)據(jù)集的分布如表1 所示。

表1 H7-BDSN 數(shù)據(jù)集樣本分布表

2.2 實(shí)驗(yàn)結(jié)果與分析比較

在實(shí)驗(yàn)中，本文選用了ResNet-50[14]作為TSMOSNet 的骨干網(wǎng)絡(luò)。使用在ImageNet 上訓(xùn)練好的ResNet-50 權(quán)重作為骨干網(wǎng)絡(luò)的初始化參數(shù)。為了進(jìn)一步提高模型的精度，引入了DML 蒸餾方法[15]。使用DML 蒸餾方法，無(wú)需額外的教師模型，兩個(gè)結(jié)構(gòu)相同的模型可以互相進(jìn)行學(xué)習(xí)，計(jì)算彼此輸出的KL 散度，完成訓(xùn)練結(jié)果。在實(shí)驗(yàn)中，便以TSMOSNet 自身為教師模型進(jìn)行蒸餾，提高了模型的性能。

針對(duì)輸入的數(shù)據(jù)，本文在實(shí)驗(yàn)中通過(guò)VideoMix[16]的方法來(lái)進(jìn)行數(shù)據(jù)增強(qiáng)。對(duì)每個(gè)輸入的光流特征單元，抽取固定數(shù)量的幀，并賦予每一幀相同的權(quán)重，然后與另一個(gè)光流特征單元疊加作為新的輸入。

實(shí)驗(yàn)使用的評(píng)價(jià)指標(biāo)包括精確率(Precision)、召回率(Recall)和F1 分值。另外，在分析中會(huì)對(duì)樣本假陽(yáng)和假陰的情況進(jìn)行分析。評(píng)估指標(biāo)的計(jì)算公式如式(6)，式(7)和式(8)所示:

式中:TruePositive 表示算法識(shí)別結(jié)果為精神疾病患者，實(shí)際也是精神疾病患者的樣本數(shù)量，F(xiàn)alsePositive 代表的是算法識(shí)別結(jié)果為精神疾病患者，實(shí)際為非精神疾病患者的樣本數(shù)量。

在實(shí)驗(yàn)中，對(duì)置信度閾值的選擇進(jìn)行了消融實(shí)驗(yàn)。圖9 展示了置信度閾值的消融實(shí)驗(yàn)結(jié)果。消融實(shí)驗(yàn)中置信度從0.8 開(kāi)始，每隔0.02 進(jìn)行一次實(shí)驗(yàn)，最大值為0.98，以分類準(zhǔn)確率為指標(biāo)。從圖9 的數(shù)據(jù)趨勢(shì)中進(jìn)行分析可知，當(dāng)置信度閾值設(shè)置的比較低時(shí)，提取出來(lái)的面部特征受到一定的污染，導(dǎo)致特征信息少，算法效果差。當(dāng)置信度設(shè)置的過(guò)高時(shí)，可供使用的面部圖片變少，導(dǎo)致模型的準(zhǔn)確率也會(huì)下降。所以在本文算法的參數(shù)設(shè)置中，取置信度閾值為0.95。

圖9 置信度閾值的消融實(shí)驗(yàn)結(jié)果

圖10 和圖11 分別展示了面部應(yīng)激單元提取環(huán)節(jié)中去噪算法和離群值檢測(cè)算法的消融實(shí)驗(yàn)結(jié)果，比較指標(biāo)也是識(shí)別準(zhǔn)確率。從消融實(shí)驗(yàn)的結(jié)果可知，去噪算法中Savitzky-Golay 濾波取得了最好的效果，比傅里葉變換和滾動(dòng)平均值分別高出了3.79%和12.07%。相比之下，Savitzky-Golay 濾波在平滑數(shù)據(jù)的同時(shí)保留數(shù)據(jù)的整體趨勢(shì)和形狀，對(duì)于處理面部噪聲更為合適。

圖10 去噪算法的消融實(shí)驗(yàn)結(jié)果

圖11 離群值檢測(cè)的消融實(shí)驗(yàn)結(jié)果

在離群值檢測(cè)算法的消融實(shí)驗(yàn)中，孤立森林算法取得了最好的效果，這得益于孤立森林算法不受數(shù)據(jù)分布的影響，普適性較高，適合于處理視頻數(shù)據(jù)中波動(dòng)較大的離群值。

表2 給出了本文算法和其他算法在H7-BDSN數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果。算法框架中所使用的數(shù)據(jù)維度都為視頻維度。從表2 中可知，本文算法在精確率、召回率和F1 分值上都取得了最好的結(jié)果，分別為0.89、0.80 和0.84。表2 的實(shí)驗(yàn)結(jié)果證明了本文方法擁有更好的識(shí)別效果。

表2 本文算法和其他算法的效果對(duì)比

此外，對(duì)識(shí)別結(jié)果的混淆矩陣進(jìn)行統(tǒng)計(jì)分析后發(fā)現(xiàn)，本文算法對(duì)于樣本的誤判主要表現(xiàn)為假陽(yáng)，假陰性樣本少。這意味著本文的算法能夠更好地檢測(cè)出患有精神疾病的樣本。這對(duì)于精神疾病患者的篩查任務(wù)而言，有著積極的意義。

表3 給出了本文算法中提出的模型TSMOSNet和常用模型的比較。除了比較各類模型的準(zhǔn)確率，還比較了模型的預(yù)處理時(shí)間和模型的推理時(shí)間，以衡量模型的開(kāi)銷。此處時(shí)間的單位為ms。

表3 TSMOSNet 和其他模型效果對(duì)比

從表3 中可知，TSMOSNet 的準(zhǔn)確率指標(biāo)最高。和基礎(chǔ)模型TSM 相比，TSMOSNet 因?yàn)榧尤肓斯饬魈幚眍^，LTA 時(shí)序注意力等模塊，模型預(yù)處理時(shí)間和推理時(shí)間開(kāi)銷都更大，但是準(zhǔn)確率分別提升了5%和8%。此外，TSMOSNet 和其他模型相比，在各個(gè)指標(biāo)中都具有很大的優(yōu)勢(shì)。其中，雖然VideoSwin在準(zhǔn)確率上和TSMOSNet 接近，但是VideoSwin 的預(yù)處理時(shí)間和推理時(shí)間都遠(yuǎn)高于TSMOSNet?？芍琓SMOSNet 相比于其他模型，最適用于本文的算法。

3 總結(jié)

在本文的工作中，提出了一種新的基于視覺(jué)傳感器采集光流特征的精神疾病識(shí)別算法。在H7-BDSN 數(shù)據(jù)集上，本文提出的算法在精神疾病識(shí)別任務(wù)上取得了最優(yōu)的結(jié)果。其中，算法的準(zhǔn)確率為85%，F(xiàn)1 分值為0.84，優(yōu)于其他方法。此外，TSMOSNet 的規(guī)模規(guī)模小，推理速度是VideoSwin 的10 倍、SlowFast 的3 倍和TSN 的16 倍，能夠和視覺(jué)傳感器進(jìn)行整合，利用視覺(jué)傳感器成本低、非侵入性、客觀性高等優(yōu)勢(shì)，開(kāi)發(fā)出精神疾病預(yù)警系統(tǒng)。

在未來(lái)的工作中，會(huì)嘗試引入更多的傳感器，例如使用毫米波雷達(dá)來(lái)監(jiān)測(cè)體征數(shù)據(jù)，音頻傳感器提取聲波情緒特征，進(jìn)行共同建模分析。