基于多模態數據融合的大學生心理健康自動評估模型設計與應用研究

周炫余 劉林 陳圓圓 洪嘉玲 盧笑

[摘? ?要] 快速準確地評估大學生心理健康狀況是高校心理健康教育的重要任務，也是高校心理工作實現精準干預和提供個性化教育服務的基礎。傳統評估方法存在評估實時性不高、單一模態數據評估效果差、社會稱許性反應偏誤等問題。研究基于生態瞬時評估理論，以深度學習算法為手段，提出了一種基于多模態數據融合計算的大學生心理健康自動評估方法。該方法在自構建的多模態心理評估數據集（JA-IPAD）上測試表明：該模型能夠精準評估大學生的心理健康狀態，在智慧學習環境中具有良好的應用前景，能為完善學生心理檔案、精準干預學生心理、優化心理健康服務提供決策依據和技術支撐，也能為促進高校智慧化心理健康教育作出貢獻。

[關鍵詞] 心理健康教育; 自動評估; 多模態融合計算; 深度學習; 生態瞬時評估

[中圖分類號] G434? ? ? ? ? ? [文獻標志碼] A

[作者簡介] 周炫余（1987—），男，湖南邵陽人。講師，博士，主要從事基于人工智能視角下教育過程自動評價、智慧學習環境構建研究。E-mail：zhouxuanyu@whu.edu.cn。

一、引? ?言

心理狀態對人的行為起支配作用，在學習活動中能影響學習者的學習意志和效率。健康的心理狀態是學習者形成嚴謹邏輯思維和開展創造性活動的前提和保障。大學生是一個較為特殊的群體，處在認知尚不成熟階段，易出現焦慮、抑郁等心理問題[1]。尤其是新冠肺炎疫情暴發后，許多大學生因社交活動減少、家庭關系緊張、學習就業壓力大等多重因素影響，心理健康問題逐漸凸顯[2]。大學生由心理問題引發的極端惡性事件逐漸增多，如何準確評估心理健康狀態，既是保障學生順利開展學習活動的重要任務，亦是高校開展智慧化心理健康教育的重要依據。

隨著“互聯網+”時代的到來，以人工智能為代表的新技術力量正在撬動傳統教育封閉的大門，并逐步重構教育服務體系[3-4]。網絡與教育之間的交互趨向頻繁，為高校心理健康教育的智慧化發展帶來新機遇。據《2018中國大學生日常生活及網絡習慣調研報告》調查顯示，以00后為代表的大學生習慣在新浪微博、騰訊說說、微信朋友圈等社交網絡平臺上使用文本、圖像或者表情等多種模態數據發表自己的觀點或宣泄情緒[5]。若能從多種模態的網絡內容數據中挖掘學生的意念觀點、情緒傾向，將有助于更加精準地獲知學生的心理健康狀況。技術賦能教育，相關理論的成熟和智能技術手段的迅猛發展使自動評估學生心理健康成為可能。目前，傳統的心理健康評估主要是基于自評問卷和結構化訪談[6]，通過面對面的人際互動模式從被評估者處獲取數據信息，并以此來評估被評估者的心理健康狀況。這類傳統的心理健康評估方法從量表[7]的角度主觀獲取被試的心理健康狀態，但在實施過程和評估工作中存在社會稱許性反應偏誤[8-9]、評估實時性不高[10]、評估工作被動等問題[11]。針對傳統心理健康評估方式存在的問題，以及大學生所發布在社交網絡平臺數據的特點，有研究者開始嘗試將生態瞬時評估理論[12]和社交網絡數據應用于心理健康評估工作中。該方法通過專家分析或自評量表的方式標注數據標簽以構成數據集，提取數據特征并訓練模型，從而實現心理健康自動評估[13-17]。雖然上述方法已取得不錯的效果，但是仍存在網絡行為數據難以采集[18]、單一模態數據語義表述不全面[19]等問題，難以精準捕獲被評估者的心理健康狀態。因此，針對上述問題，提出一種基于多模態數據融合計算的大學生心理健康評估模型。

二、核心概念界定與理論基礎

（一）心理健康評估

心理健康是個體各項心理功能處于平衡運轉情況的一種和諧狀態，心理健康異常狀態最常見的是焦慮和抑郁[1]。大學生處在校園和社會的交接階段，面臨著來自各方的壓力，易產生各種心理問題，其中，抑郁問題尤為突出[20]。抑郁問題按程度的不同分為抑郁情緒、抑郁傾向、抑郁障礙（抑郁癥）三種，而大學生群體的抑郁問題一般為抑郁情緒和抑郁傾向。當受到外界負面刺激源影響時，個體就可能產生抑郁情緒，其持續時間較短;而抑郁傾向是指受負面情緒或行為引起的個體抑郁，表現為個體處于相對持久的愉悅感缺失狀態。論文主要針對大學生的抑郁傾向進行評估，即通過處理分析學生一段時間內的多模態網絡內容數據，判斷其情緒是否處于抑郁狀態。

（二）多模態數據

多模態數據是指包含兩種及以上不同形式或不同來源的數據[21-22]。文字和圖像是人類頭腦與心理作用結果的外在表現形式，可以反映出個體的心理狀態。在互聯網高度發達的現代社會，大學生傾向于在社交平臺上同時發布文本、圖像或表情等多種模態數據以表達個人意念、抒發情感。不同模態數據存在互補作用，能提供更多解釋信息，通過融合多模態數據并對其進行理解，可實現對學生心理健康狀況更為全面、系統的剖析評估。

（三）自動評估模型構建理論基礎

本研究以生態瞬時評估（Ecological Momentary Assessment， EMA）和深度學習為基礎構建自動評估模型，實現自然環境下實時評估學生心理。生態瞬時評估是由心理學家Shiffman提出的一種對自然環境下被試者的相關行為和經驗進行實時采樣并測量評估的生態方法[12]，它具有較高的真實性和動態性，更能準確反映被評估者的心理特征。深度學習是目前人工智能領域研究的熱點和重點，它通過建構多層神經網絡提取特征，然后組合低層特征形成更加抽象的高層特征，以學習各類數據的內在規律和表示層次，獲取其隱含的深層次語義知識。

三、基于多模態融合計算的心理健康評估模型構建

模型設計依據系統方法理念[22]，分析確定評估等級，設計自動評估框架，選擇評估策略，實施模型評估，評價模型評估效果，修正模型參數并加以應用。為實現多種模態數據信息的融合，模型從以下四個部分進行設計：數據清洗及預處理、基于文本的情感計算、基于圖像的情感計算、心理健康評估模型生成。

多模態融合計算的心理健康評估模型是通過挖掘學生的文本、圖像和表情等模態數據背后隱含的真實情緒，綜合考慮學生一段時間內的心理變化，實現快速、準確地識別學生的心理健康等級的過程。基于此，構建了基于多模態數據融合的大學生心理健康自動評估模型，模型框架如圖1所示。

（一）數據清洗及預處理

收集的學生網絡內容數據無法直接用于心理特征的處理分析，需對這些原始數據進行清洗以及預處理。首先對抑郁自評問卷獲得的數據進行清洗，即去除問卷分數為零或滿分、填寫時間少于3分鐘的被試;其次，對網絡爬蟲手段獲取的數據進行清理，即去除網絡內容數據數量低于閾值的被試;最后在計算機處理前將多模態數據進行預處理并轉換成模型可識別符號。例如：刪除文本數據中的無關符號、對字體進行轉換等操作;對圖像數據進行格式轉換、尺寸調整、標準化及歸一化處理等。

（二）基于文本的情感計算

文字信息是人類傳達情感、表達思想的基礎信息，是個體心理狀態的重要外在表現形式。因此，挖掘個體發布內容時的心理狀態和情感態度[23]，對準確識別心理健康狀況起重要作用。文本是典型的序列數據，若能捕捉句子上下文信息，基于語義理解便能很好地挖掘文本的情感傾向，因此，本研究建立了詞嵌入層—雙向長短時記憶（Bi-LSTM）層—密集連接層的三層神經網絡框架，跨越上下文間隔學習到句子隱含的情感信息，基于文本的情感計算流程如圖2所示。

文本向量化處理有one-hot編碼表示和分布式表示兩種，分布式的代表“詞嵌入”能將詞映射成密集低維的向量并保證語義相近的詞在向量空間距離更近，比one-hot編碼表示更適于處理情感分析任務。由于微博文本與說說文本在表達上均有口語化、短小精悍等特點，使用基于微博語料庫訓練出的Skip-gram預訓練詞嵌入模型[24]作為模型的詞嵌入層，使說說文本向量表示更為精準貼切。

LSTM因其獨特的門控結構和記憶單元能避免長期依賴和梯度消失問題而聞名，但在學習文本序列特征時信息只能單向傳播。為深入理解說說語義并習得有效的情感特征表示，論文設計雙向長短時記憶網絡層以充分掌握說說文本的上下文信息。t時刻的說說特征表示ot需要獲取t時刻前向隱狀態ht和后向隱狀態h't，其中，⊕表示以拼接方式整合二者; t時刻的前向隱狀態ht是由t時刻的輸入xt、t-1時刻的隱狀態信息計算得出;t時刻的后向隱狀態h't是由t時刻的輸入xt、t+1時刻的隱狀態信息計算得出，其中，f函數為LSTM非線性函數，W，U，W'，U'表示函數的權重，b，b'表示函數的偏置。具體如公式1、公式2和公式3所示：

（三）基于圖像的情感計算

圖像信息是對文本信息的重要補充，大學生發表言論時往往附帶圖像以分享生活狀態、增強情感表達，甚至利用圖像表達語言無法描繪形容的心理狀態，因此，準確識別圖像模態中的隱含情感有利于在文本的基礎上更加精準地評估個體的心理健康狀況。VGG16網絡是牛津大學視覺組提出的具有16層結構的卷積神經網絡，在圖像特征表示和泛化能力上有不俗效果，本研究以VGG16為基準模型，通過微調策略構建CNN模型，以捕捉圖像背后隱藏的情感傾向，基于圖像的情感計算如圖3所示。

基于圖像的情感計算是個復雜視覺問題，CNN唯有學習到大量參數和有效特征，才能準確地計算學生在發布圖像時的心理情感。利用遷移學習技術解決帶標簽數據的規模困境，將基于ImageNet大規模數據集訓練的VGG16卷積基作為圖像情感計算的預訓練模型以學習圖像的通用特征表示，更改原有密集連接層設置以適應圖像情感計算任務，修改后的模型結構包括13層卷積層、5個池化層以及2層全連接層。

卷積基中較底部卷積層學習的是圖像的局部通用特征，而較頂層學習的是較為抽象、專業的特征表示。本研究訓練CNN時釋放VGG第五個卷積塊的權重以學習圖像情感表示，既能使網絡結構更適于計算圖像情感，也避免過擬合風險。卷積基學習到說說圖像的情感表示后，經由密集連接層整合和softmax分類即可獲得圖像的情感傾向值，具體計算如公式4所示：

（四）心理健康評估模型生成

依據生態瞬時評估的生態性原則，獲取自然狀態下學生的網絡內容數據，試圖對這些數據進行處理分析以提取心理特征，從而評估其心理健康狀況。為達成這一目標，需完成兩個任務：一是融合多模態數據在情感表達上的互補信息;二是考慮學生在一段時間內的情緒、情感變化。采用最大值規則融合計算多模態數據，利用隱條件隨機場算法（HCRF）考慮學生特定時間段內的心理變化，以準確評估出個體的心理健康等級，心理健康評估模型流程如圖4所示。

有效融合多模態信息是多模態情感計算的一個核心問題，采用最大值規則計算文本、圖像情感傾向值，充分考慮兩種模態的情感成分以準確決策學生發表說說時的心理狀態，具體計算過程如公式5和6所示：

其中，i和j為分類器數和類別數，Pj（n）為該說說第j類情感類別的概率值。

心理健康是一種隨著時間推移變化程度較大的狀態型心理特征[25]，實現準確評估需考慮學生在當前時間點前一段時間的網絡內容數據。論文基于HCRF算法提出時序分析模型，意圖挖掘一段時間內不同心理健康等級的內在發展規律，發現情感變化與心理健康間的關系。x={x1，x2，……，xn}對應學生時間段內每條說說數據的情感分數，為時序模型的一組觀測序列;h={h1，h2，……，hn}對應觀測序列中習得的規律特征，為時序模型的一組隱隨機變量;y表示學生一組觀測序列對應的心理健康等級隨機變量。當給出學生時間段內的一組網絡內容數據觀測序列x，心理健康等級變量y的條件概率計算如公式7所示：

其中，由θ參數化的勢函數ψ（y，h，x;θ）用于度量一個等級類別、一組隱狀態序列和觀測序列之間的兼容性。

四、實驗與結果分析

（一）實驗數據集的構建

本研究以湖南某大學學生為實驗對象，發放根據CES-D量表設計的抑郁自評問卷，并與其簽署數據保密協議，收集對象的網絡內容數據。在數據清洗的基礎上依據抑郁自評問卷的分數等級標注對象的抑郁程度類別，邀請領域專家根據情感傾向性標注多模態數據的正負情緒類別，從而構成用于隱式心理評估的聯合標注數據集（JA-IPAD）。其中，多模態數據的情感傾向標注示例見表1。

為訓練并驗證模型性能，處理并劃分多模態數據，具體數據分布如下：文本情感計算模型的情感類別包括正面、負面兩類，其訓練集、驗證集和測試集分別為4000條、500條和500條的文本內容數據;圖像情感計算模型的情感類別包括正面、負面兩類，其訓練集、驗證集和測試集分別為4000條、500條和500條的圖像內容數據;經多名領域專家交叉核查后，評估模型的心理健康等級包括健康、可能抑郁、存在抑郁三種情況，三類人群分布狀況分別為128人（61.0%）、57人（27.1%）、25人（11.9%），從中隨機抽取180人所發表的多模態數據為訓練集、30人所發表的多模態數據為測試集。

（二）評價指標

文本情感計算模型和圖像情感計算模型的數據分布較為平均，選用通用評價指標對模型效果進行評價以分析精準率P、召回率R和F值。心理健康評估模型的學生數量較少且不同心理等級的數據分布不均，為確保結果的可信度，采用分層交叉驗證策略，保持各個等級類別的原始比例以進行 5 折分層交叉驗證，并選用準確率指標對模型效果進行評估。

（三）實驗結果與分析

為驗證所提出的多模態數據融合計算模型的有效性，設計以下對比實驗：（1）Bi-LSTM（T），即使用雙向長短時記憶網絡針對文本模態進行情感計算的模型;（2）微調CNN（V），即采用微調策略遷移學習的卷積神經網絡對圖像模態進行情感計算的模型;（3）Bi-LSTM+微調CNN+AVER（T+V），即采用均值規則對圖文模態數據進行融合計算的模型;（4）Bi-LSTM+微調CNN+MAX（T+V），即采用最大值規則對圖文模態數據進行融合計算的模型。上述幾類算法在JA-IPAD數據集上的結果見表2。

從表2可知，圖文多模態融合的情感計算結果均優于單一模態，均值規則和最大值規則的融合計算方式在精準率上超單一文本模態約2.2%。結果表明，在文本模態基礎上引入圖像模態，能有效補充單一模態情感信息不足的問題，且多模態數據很好地解決了表達上的多義性問題，能成功捕捉到學生發表這些自述內容時的真實情感傾向。除此之外，最大值規則比均值規則的融合計算方式在精準率上高出1.6%。這表明，在文本和圖像情感計算結果存在差距的情況下，依靠情感計算得出更為準確一方的最大值規則比平等看待二者的均值規則在模態融合上更顯優越。在基于最大值規則的融合計算模型中，文本模態因情感計算結果不俗，較圖像模態占有更大的比重，但說說帖子的配圖在情感表達上強烈、直接，有助于融合多模態的情感計算模型以精準識別學生的情感、情緒。

為驗證心理健康評估模型的有效性，將量表分數與模型評估結果進行對比獲得準確率，實驗結果見表3。

健康類別的識別準確率較高，抑郁類別尚可，可能抑郁類別相對較低。健康類別和抑郁類別屬于兩向極端，在縱向時間發展上，健康類別的學生情緒大部分時候處于正面積極狀態，而存在抑郁傾向類別的學生情緒持續低落，對外界刺激持消極態度，因而模型能較好地捕獲兩種類別的心理特征，有效判斷學生是否存在抑郁傾向。但可能抑郁類別處在健康與抑郁間的模糊地帶，特征并不鮮明，模型在進行評估時容易因學生近幾次的說說情感傾向而發生誤判，導致準確率相對較低。心理健康評估模型在驗證集上有84.85%的平均準確率，說明模型在判斷學生是否存在抑郁傾向上具有較強的區分力，能準確發現心理問題的個體，具有實際應用價值。與已有研究相比，本研究采用深度學習算法處理網絡內容數據，能獲取文本、圖像等多種模態數據的深層次語義知識和真實的情感極性，且在評估耗時上比傳統機器學習算法更具優勢，通過實時分析學生發表的網絡內容，可以實現對學生心理健康狀態的快速定位和持續跟蹤，做到及時給高校工作者反饋學生狀況，為智慧教育時代下完善學生心理檔案、精準干預學生心理、優化心理健康服務[26]提供了技術支撐。

五、結? ?語

本研究針對學生社交網絡平臺數據的特點，構建了一種多模態融合計算的大學生心理健康自動評估模型。該模型在JA-IPAD數據集上實驗結果顯示，融合了多模態數據的模型相比于單一模態數據在準確率上有顯著提高。這說明除文本信息以外，圖像信息也是大學生心理健康評估的重要依據。融合模型的平均精確度達到了84.85%，說明該模型能精準地把握學生的心理健康水平，有效揭示學生心理特征的連續變化趨勢。同時，這也符合“人工智能+教育”的發展方向，為高校心理健康教育的智慧化發展帶來新機遇。

[參考文獻]

[1] 祁雙翼，西英俊，馬辛.中國人心理健康研究綜述[J].中國健康心理學雜志，2019，27（6）：947-953.

[2] 昌敬惠，袁愈新，王冬.新型冠狀病毒肺炎疫情下大學生心理健康狀況及影響因素分析[J].南方醫科大學學報，2020，40（2）：171-176.

[3] 陳麗.“互聯網+教育”的創新本質與變革趨勢[J].遠程教育雜志，2016，34（4）：3-8.

[4] 黃榮懷，陳麗，田陽，等.互聯網教育智能技術的發展方向與研發路徑[J].電化教育研究，2020，41（1）：10-18.

[5] 微博校園.《2018中國大學生日常生活及網絡習慣調研報告》全面摸底大學生新媒體使用習慣[EB/OL].（2019-02-25）[2021-05-01].http：//ln.qq.com/a/20190225/004681.htm.

[6] 孟健男，司維，邵杰.大學新生SCL-90心理測評研究——以某中醫藥大學藥學院2017級新生為例[J].中國社會醫學雜志，2019， 36（4）：388-391.

[7] 方曉義，袁曉嬌，胡偉，等.中國大學生心理健康篩查量表的編制[J].心理與行為研究，2018，16（1）：111-118.

[8] 奚曉嵐，程灶火.基于神經網絡的大學生心理健康評估模型[J].中國臨床心理學雜志，2011，19（6）：746-747，733.

[9] 郭菲，趙琳，連志鑫.大學生自我報告的學習投入可靠嗎——大學生群體的社會稱許性反應及對自陳式問卷調查的影響[J].華東師范大學學報（教育科學版），2018，36（4）：53-61，163.

[10] 夏徐書.湖南省某師范大學新生抑郁和自殺意念的流行病學調查[D].長沙：湖南師范大學，2019.

[11] 朱廷劭.大數據時代的心理學研究及應用[M].北京：科學出版社，2016.

[12] SAUL S， ARTHUR A S， MICHAEL R H. Ecological momentary assessment[J]. Annual review of clinical psychology，2008（4）：1-32.

[13] 李昂，郝碧波，白朔天，等.基于網絡數據分析的心理計算：針對心理健康狀態與主觀幸福感[J].科學通報，2015，60（11）：994-1001.

[14] RINALDI A， FOX T J， CHATURVED S. Predicting depression in screening interviews from latent categorization of interview prompts[C]// Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： ACL Press，2020：7-18.

[15] 劉德喜，邱家洪，萬常選，等.利用準私密社交網絡文本數據檢測抑郁用戶的可行性分析[J].中文信息學報，2018，32（9）：93-102.

[16] 劉德喜，夏先益，萬常選，等.基于多特征融合的在線論壇用戶心理健康自動評估[J].計算機學報，2019，42（7）：1553-1569.

[17] CHENG Q J， LI T M.H， KWORK C-L， et al. Assessing suicide risk and emotional distress in Chinese social media： a text mining and machine learning study[J]. Journal of medical internet research，2017，19（7）：243-250.

[18] 于亞新，劉夢，張宏宇.Twitter社交網絡用戶行為理解及個性化服務推薦算法研究[J].計算機研究與發展，2020，57（7）：1369-1380.

[19] 張國標，李潔.融合多模態內容語義一致性的社交媒體虛假新聞檢測[J].數據分析與知識發現，2021，5（5）：21-29.

[20] 張芮，楊晨韻，張耀東.中國大學生抑郁影響因素的Meta分析[J].中國全科醫學，2020，23（35）：4497-4502.

[21] 汪維富，毛美娟.多模態學習分析：理解與評價真實學習的新路向[J].電化教育研究，2021，42（2）：25-32.

[22] 麻益通.基于多模態的在線學習情感分析模型設計與實現[D].南京：南京師范大學，2019.

[23] 劉三女牙，彭晛，劉智，等.基于文本挖掘的學習分析應用研究[J].電化教育研究，2016，37（2）：23-30.

[24] LI S， ZHAO Z， HU R， et al. Analogical reasoning on Chinese morphological and semantic relations[C]// Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics. Melbourne： ACL Press， 2018： 138-143.

[25] HAMBURGER Y. A， BEN-ARTZI E. The relationship between extraversion and neuroticism and the different uses of the Internet [J]. Computers in human behavior. 2000，16（4）： 441-449.

[26] 俞國良，侯瑞鶴.論學校心理健康服務及其體系建設[J].教育研究，2015，36（8）：125-132.