基于TGAM模塊的視聽情緒調控系統

【作 者】張婷，燕光光，李文杰，石春花

長治醫學院 生物醫學工程系,長治市,046000

0 引言

2019年國民心理健康水平的研究結果表明，一系列心理問題在人群中已日漸凸顯出來，影響到了日常生活的幸福感，且在心理健康的需求中，“自我心理調節”方面是最需要的，從側面反映了我國國民已經意識到情緒調節對幸福生活的重要影響。因此，設計一款能夠進行“自我情緒監控并實現基礎調控”的儀器成為一種必然。目前，大多數用于情緒監測、調控的設備均服務于一般的心理診療中心和治療室，結構復雜，且功能單一，未一體化，不方便于自我使用。

一方面，腦電信號具有不易偽裝以及相對于其他的生理信號有較高的識別準確度的特點，成為情緒識別領域最為可靠的生理信號之一[1]；另一方面，大量研究表明[2]，音樂（聽覺）和燈光顏色（視覺）作為刺激或者治療源，均可以引起情緒變化。如色彩的情緒效應中[3-4]，通過視覺影響人的內分泌系統，從而導致人體激素分泌的變化，最終影響人的情緒，即顏色具有影響病人的生理活動、情緒、認知加工等心理活動變化的特性，且不同顏色可以引起不同的情緒變化，紅色、黃色屬于暖色系，興奮交感神經，可激發歡快活潑、積極向上的情緒，有效緩解消極情緒，藍色屬于冷色系，興奮副交感神經，可使人放松，消除緊張感，降低血壓等。因此，其為依據腦電信號監測個體情緒，并通過視聽感官能力對其進行調控提供了可能。

本研究設計了一款視聽情緒調控系統，利用TGAM芯片即時獲取使用者情緒狀態[1]，同時將色彩心理學及音樂治療學原理相結合[2]，共同作用于使用者的視聽感官，發揮調節作用。其體型小巧，識別精確，效果明顯，可有效緩解使用者的不良情緒，恢復精神穩定。

1 系統方案

本系統分為頭箍端和儀器端兩部分。頭箍端的核心部分是位于頭箍帶中的TGAM芯片，此外還包括有進行前額腦電采集的干式傳感電極以及用于數據傳輸的藍牙模塊。儀器端的核心部分是STM32主處理器模塊，此外還有音頻解碼模塊、濾波模塊、燈光治療模塊、顯示模塊等附屬模塊。視聽情緒調控系統具體結構見圖1。

圖1 視聽情緒調控系統總體結構Fig.1 General block diagram of the audio-visual emotion regulation system

位于頭箍端的TGAM腦波芯片經過傳感干電極獲取使用者腦波數據，通過藍牙將數據發送給儀器端的STM32處理器進行分析處理，確定使用者當前的情緒狀態，控制RGB LED，依據色彩心理學原理進行選擇性彩光照射，同時音頻通道輸出α腦波音樂對使用者進行情緒安撫。α腦波音樂是節拍60～70，頻率8～14 Hz的靈感音樂[5]。8～14 Hz的音樂可以和大腦中的腦波信號產生共振現象，激發腦內的α頻段的腦波，使大腦進入一種穩定放松的狀態。儀器端的Micro SD卡內置多首α腦波音樂，通過顯示模塊可顯示曲目。

2 系統硬件設計

2.1 頭箍端總體設計

系統的頭箍端外觀如圖2所示，包含一個由Neurosky公司開發的TGAM腦波芯片，一個HC-08藍牙模塊以及作為單極導聯傳感干電極的耳夾和軟帶。其中，作為頭箍端的核心，TGAM模塊是一款單通道腦電信號采集分析模塊，可直接連接干電極[6]。前額電極置于左前額處，耳夾作用為參考電極，通過兩電極差分采集腦電信號后輸出腦波信號數據，即8組腦波數據，如α信號，β信號，γ信號等，由于該芯片采用了“慢速自適應”調制技術，具有動態自學習能力，可以針對不同使用者的不同腦波信號波動進行動態的補償，因此選擇此芯片，對腦波信號的提取具有良好可靠性和準確性。

圖2 頭箍端外觀Fig.2 Appearance of the headband section

2.2 STM32主處理器及其他模塊

綜合考慮情緒調控技術對主控芯片的高性能低成本低功耗的苛刻要求，決定選用STM32F103ZET6芯片作為系統儀器端的控制核心，由穩壓模塊為芯片供給2.0～3.6 V電壓。該芯片外接8 MHz晶振。64 kB的SRAM、512 kB的FLASH以及眾多外設接口，能滿足常規程序設計過程中的應用[7]。其他主要的模塊包括：VS1053音頻解碼模塊[8]，Micro SD[9]音樂存儲卡，1.44 in的分辨率為128×64的TFT液晶屏，均以STM32F103處理器兼容配合，串口連接，數據傳輸快，且TFT屏實時顯示使用者情緒狀態信息，音樂播放信息。

2.3 燈光治療模塊

采用10 mm全彩霧狀RGB燈珠作為本系統的燈光治療模塊。將該燈珠固定于鏡框一側，在提供色彩情緒調節的同時可避免燈光直射對眼部造成傷害及對使用者視線的遮擋，如圖3所示。不同色彩反射進入眼后，視網膜細胞將色彩，即感受層感受到的生理參數，轉換為電脈沖信號，經由視神經傳達至大腦。大腦會據此進行不同程度的聯想，進而產生不同的心理效應和情感表達。不同色彩通過視覺反映到大腦后，除了產生心理上的冷和暖，輕和重以及遠和近的感覺外，還能引起抑郁、煩躁、興奮、安定等心理效應。與此同時，大腦變化的信號，被腦電模塊采集，經過單片機計算處理后，將所得參數通過傳輸層傳遞給應用層，來達到情緒監控的目的。

圖3 儀器端外觀Fig.3 Appearance of the instrument section

3 系統軟件設計

3.1 數據解析算法

TGAM模塊可以處理并輸出腦波頻率譜、腦電信號質量、原始腦電波和三個Neurosky的eSense參數：專注度、放松度和眨眼偵測，通過對以上參數分析，可確定當前用戶的情緒狀況，具體為：當傳感干電極以512 Hz的頻率對腦波信號進行取樣，利用ThinkGear芯片對提取到的數據進行處理分析，最終將采到的腦電模擬信號轉變為數字信號，便于進行傳輸和運算。TGAM模塊在1 s的時間內可以發送大約513個包。包分為大包和小包兩類[10]。

小包格式如下：

AA AA 04 80 02 xxHigh xxLow xxCheckSum;

其中，AA AA 04 80 02為標志幀格式，固定不變，而后四位處在不斷變化中。其中，腦波信號數據是由xxHigh xxLow組成。該小包中也存在校驗和數據，即xxCheckSum。在獲取到該小包數據之后首先應進行校驗和檢查，算法格式如下：

算法含義為將04之后的字節相加，取反后再取低八位。若Sum=xxCheckSum，此包正確，在此基礎上再進行腦電原始數據的計算，否則將直接丟棄該小包。腦電原始數據計算代碼如下：

該代碼即表示將高、低位數據相連得到rawdata，將該值與數32768相比較，若rawdata>32768，則執行指令：rawWaveData-65536。

選擇基于事件驅動作為系統串口通訊方式，將數據解析程序編入中斷函數，進行原始腦電數據的采集處理。數據解析流程如圖4所示。

圖4 數據解析流程Fig.4 Flowchart for data resolution

3.2 情緒識別分析

采用直觀、易理解的二維離散情緒模型，如圖5所示。橫軸表示效價，從負到正的移動過程，即從不愉快逐漸過渡到愉快；縱軸表示喚醒度，從負到正的移動過程，即從低迷逐漸過渡到興奮。目前公認人類共有27種不同的情緒，考慮到調節必要性和識別精準度，本系統主要將27類情緒劃分為正性情緒、中性情緒、負性情緒三類[11]。先對獲取的腦電數據進行選頻濾波以及去偽跡處理的預處理，后進行特征提取及降維，最終利用情緒識別分類算法對情緒狀態進行識別。

圖5 二維情緒模型Fig.5 2D emotional model

3.3 RGB LED控制程序

通過使用STM32主控芯片上TIM4的CH1、CH2、CH3這三個通道的3路PWM調制控制RGB LED的光色，而RGB LED的光強通過固定頻率、調節脈寬來實現。若向上計數時TlMx_ CCR1>TIMx_CNT，電平有效，反之無效；若向下計數時TlMx_CCR1

依據色彩心理學原理，在STM32主控芯片成功識別使用者情緒后，若使用者情緒為正性情緒，控制RGB LED發出淡藍光予使用者以治療；若為中性情緒，控制RGB LED發出綠色光；若為負性情緒，則發出橙色光。

3.4 音頻輸出程序

各個模塊進行初始化設置，包括TFT顯示屏初始化、VS1053音頻解碼模塊初始化、SPI通訊初始化、Micro SD存儲卡初始化等，成功初始化后，VS1053即可對來自于STM32主控芯片的音樂數據進行解碼并播放。

4 系統評測

本系統以STM32作為主控芯片，以RGB LED燈珠和音樂作為治療手段，利用不同燈光色彩和音樂對人的心理產生的不同影響來調節人們情緒變化，對人體沒有副作用，方便快捷，安全可靠。

4.1 情緒識別能力評測

（1）實驗源

選擇9個視頻片段作為本實驗“情緒誘發”的刺激源，時長均為5 min左右，根據Russell的二維情緒模型，按照視頻的喚醒度和效價兩方面的分數，對其進行情緒標簽歸類[12]，即第1～3個視頻為正性情緒，效價介于7～9分，喚醒度介于4～9分，包括《夏洛特煩惱》《人在囧途之泰囧》《國產凌凌漆》；第4～6個視頻為負性情緒，效價介于1～3分，喚醒度介于4～9分，包括《二十二》《Hello！樹先生》《阿Q正傳》，第7～9個視頻為中性情緒，效價介于4～6分，喚醒度介于1～5分，包括《三色藝術史》《李子柒：土豆的一生》《與摩根弗里曼一起穿越蟲洞》。

（2）實驗對象

隨機挑選本校大學二年級學生作為實驗對象，男5人，平均年齡20.4歲，女5人，平均年齡20.0歲，視聽感官正常，身體健康，智力正常，即統一為“受試者”。

（3）實驗過程

以系實驗室為實驗地點，早八點左右進行，在開始測試前對受試者進行注意事項的再次說明，避免頻繁眨眼導致的其他生物電信號對腦電信號的干擾[12]。受試者正確佩戴本系統后分別觀看9個視頻，每個片段結束后進行實時的情緒識別結果記錄，見表1。結果表明：本系統可較為準確地識別受試者的情緒狀態，具有較高的精確度。

表1 情緒識別實驗結果Tab.1 Results of the emotional recognition experiment

4.2 情緒調節能力評估

研究表明[12]，情緒喚醒程度與皮膚電導率（SC）之間表現出來非常緊密的相關關系，同時，血容量搏動（BVP）也經常被用來反映情緒喚醒程度的敏感性。因此，本系統的情緒調節能力的評估也采用這兩個常規生理指標參數。

首先，利用生物反饋儀對10名受試者進行SC值和BVP值的基礎采集，記錄為表2中的“基線”；然后，受試者分別在觀看了上述第4、5、6個視頻后，采集并記錄其SC值和BVP值，即表2中的“喚起后”，將此數據與基線值進行配對樣本t檢，結果表明：SC（5.41±2.97）顯著高于基線水平（3.71±2.70），t=－8.60，P<0.01；BVP（87.34±15.63）與基線（86.71±15.18）相比無顯著變化，t=－0.80，P>0.05，成功喚起了受試者的負性情緒。最后，使用本系統點亮藍色的燈光和適當頻率的音樂，按預定方法進行情緒調節。當受試者情緒平復后停止實驗，并記錄SC和BVP值，對兩組數據進行配對樣本t檢驗，結果表明：受試者接受系統調節后，BVP沒有明顯變化，t=0.33，P>0.05；SC有所升高，t=－2.59，P<0.05。通過實驗，受試者的負性情緒波動得到了有效恢復。

表2 情緒指標統計值Tab.2 Statistics on emotion indicators

5 討論與結論

本研究設計出了一款可以從視覺聽覺兩個維度對使用者進行情緒調節的系統。依靠STM32作為主控芯片。使用神念科技的TGAM芯片為情緒識別模塊，對使用者的情緒進行識別。以RGB LED燈珠為彩光發生部分，生成各色彩光刺激視覺進行情緒調節。以VS1053音頻解碼模塊進行α腦波音樂的輸出，刺激聽覺進行情緒調節。經過綜合的實驗測評，本系統具有較為精準的情緒識別以及調控能力，使用者的自我關注度有效降低。總之，本系統是將情緒心理學原理及電生理學原理相結合而形成的新型情緒調控系統，具有識別使用者情緒并調節的功效。