基于CNN和LSTM的眼疲勞預(yù)測方法研究

中圖分類號：R77；TP183 文獻(xiàn)標(biāo)志碼：B 文章編碼：1672-7274（2025）05-0035-04

Abstract： The prediction of eye fatigue is of great significance for the prevention of eye diseases and the construction of eye health care systems.This article combines CNNand LSTMalgorithms to establish a prediction model for eye electrical signals. Using data from the SEED-VIG database，atraining model for eye fatigue prediction dataset is constructed and compared with three other models for verification.The experimental results show that this method can effectively predict the grading status of eye fatigue，providing acertain reference for subsequentresearch and offering new methods for the prevention and health care of eye diseases.

Keywords： prediction of eye fatigue; CNN-LSTM; EOG; eye disease prevention

眼疲勞是一種由于長時間用眼，特別是在使用電子屏幕設(shè)備后常見的癥狀。眼疲勞不僅會降低工作效率和生活質(zhì)量，還可能引發(fā)視力下降、干眼癥等眼部疾病。目前，針對眼疲勞的研究多是基于眼動儀追蹤或視頻流的眼動狀態(tài)研究，基于眼電信號（Electrooculography，EOG）的眼疲勞研究很少。實(shí)際上，眼電信號采集于眼晴周圍的皮膚，主要由眼瞼或眼球的運(yùn)動產(chǎn)生，能直接地反映眼疲勞狀態(tài)，可以作為判斷眼疲勞的依據(jù)[1]。因此，本文選擇通過眼電信號構(gòu)建數(shù)據(jù)集并借助智能算法構(gòu)建眼疲勞預(yù)測模型，在眼疲勞發(fā)生之前進(jìn)行精確預(yù)測，有效預(yù)防各類眼病，不僅能夠幫助人們更好地了解自身眼健康狀況，采取相應(yīng)措施加以改善，也能為醫(yī)療機(jī)構(gòu)提供寶貴的信息支持，對公共眼健康政策制定發(fā)揮重要作用，促進(jìn)眼健康服務(wù)水平的整體提升。

1 數(shù)據(jù)集構(gòu)建及處理

1.1數(shù)據(jù)來源

關(guān)于眼疲勞研究的公共數(shù)據(jù)集很少，因此選擇上海交通大學(xué)的SEED-VIG作為基礎(chǔ)數(shù)據(jù)，SEED-VIG數(shù)據(jù)庫是一個專注于研究駕駛員疲勞狀態(tài)的腦電圖

（Electroencephalogram，EEG）數(shù)據(jù)集。實(shí)驗參與者在模擬器中駕駛，同時記錄他們的EEG信號。參與者還佩戴SMI眼球追蹤眼鏡來記錄他們的眼球運(yùn)動，計算實(shí)驗過程中參與者的PERCLOS指標(biāo)值，并將其用作警惕標(biāo)簽，此外，該數(shù)據(jù)集還記錄了眼電圖EOG信號，以監(jiān)控眼球運(yùn)動[2]。以往對腦疲勞的研究中，EOG信號往往作為噪聲，需要從EEG信號中剔除，但EOG信號的特征對眼疲勞的識別和預(yù)測具有非常重要的意義，本研究利用EOG信號構(gòu)建眼疲勞預(yù)測的數(shù)據(jù)集，充分挖掘了公共數(shù)據(jù)集中的數(shù)據(jù)價值。

1.2數(shù)據(jù)預(yù)處理

SEED-VIG數(shù)據(jù)集包含23組樣本數(shù)據(jù)。每次實(shí)驗共885樣本，采樣頻率為1 000Hz ，其中，Raw_Data中為實(shí)驗原始數(shù)據(jù)，水平眼電和垂直眼電的樣本維度均為 23×885×1000 ，將其中的水平眼電和垂直眼電數(shù)據(jù)組合，構(gòu)建成 4 071×5 000×2 格式的數(shù)據(jù)作為模型的特征輸入，即每5s作為一段樣本。perclos_labels中為利用眼動儀數(shù)據(jù)計算的PERCLOS數(shù)據(jù)，該數(shù)據(jù)能充分反應(yīng)參與者的疲勞狀態(tài)，樣本維度為 23×885 ，將這些數(shù)據(jù)根據(jù) 0.2、0.4、0.6、0.8、1.0 的閾值分為5段，對應(yīng)眼睛的不疲勞、輕度疲勞、中度疲勞、重度疲勞和嚴(yán)重疲勞5種分級狀態(tài)3，并將每段改寫為0、1、2、3、4，構(gòu)建成代表眼疲勞程度的標(biāo)簽集，隨后將每個數(shù)據(jù)前移5位，并將前5個數(shù)據(jù)填充到最后。保證原始數(shù)據(jù)中每段水平眼電和垂直眼電數(shù)據(jù)對應(yīng)的為5秒后的PERCLOS標(biāo)簽，如果訓(xùn)練后模型能夠準(zhǔn)確分類，模型輸出的結(jié)果即為5秒后的眼疲勞狀態(tài)，從而對眼疲勞狀態(tài)進(jìn)行預(yù)測。

眼電信號采集過程中一般會存在較強(qiáng)的噪聲，采用小波變換的方法分別對原始的水平和垂直眼電信號進(jìn)行濾波。以垂直眼電信號為例，濾波效果圖1所示。

數(shù)據(jù)集出現(xiàn)了樣本不均衡的問題，采用SMOTE方法進(jìn)行數(shù)據(jù)增廣。增廣前后各類樣本數(shù)量，如表1所示。

將數(shù)據(jù)集按8：2的比例分為訓(xùn)練集和測試集，訓(xùn)練集用來進(jìn)行模型的訓(xùn)練，測試集用作驗證模型的準(zhǔn)確率和泛化性能。

2 算法介紹

本文所述的CNN-LSTM模型主要由一維卷積層（Conv1D）和LSTM層組成，實(shí)現(xiàn)了從特征提取到最終預(yù)測的全過程。使用一維CNN能減少輸入序列的維度并且提高模型訓(xùn)練速度，使網(wǎng)絡(luò)模型能夠輕量化，長短期記憶網(wǎng)絡(luò)LSTM是一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，相比簡單的RNN，LSTM能夠在更長的序列中有更好的表現(xiàn)[4]。具體結(jié)構(gòu)如圖2所示。

（1）輸入部分：定義了輸入數(shù)據(jù)的形狀為（5000，2）的輸入層，即每個樣本包含5000個時間步（5s），每個時間步有兩個特征值，分別為水平眼電信號和垂直眼電信號。

（2）卷積部分：采用了4個一維卷積層（Conv1D）進(jìn)行眼電信號的特征提取，由第一層到第四層，卷積核的個數(shù)由4個逐漸增加到64個，卷積核的大小由33逐漸增加到39，padding采用了“SAME”方法，確保輸出的長度與輸入相同，避免信息丟失，激活函數(shù)使用的是“ReLU”，引入非線性，使模型能夠?qū)W習(xí)更復(fù)雜的特征。在第1個卷積層后添加批量歸一化層，用以加速訓(xùn)練過程，穩(wěn)定梯度，提高模型的泛化能力。在第1、2、3個卷積層后添加了一維的最大池化層，池化窗□大小為3，步長為2，減小參數(shù)量和計算量。在第1、2、3卷積層應(yīng)用L2了正則化，權(quán)重衰減系數(shù)為0.001，以防止過擬合，并且使用了正交初始化方法進(jìn)行初始化權(quán)重，來加速訓(xùn)練過程和提高模型性能。

（3）轉(zhuǎn)換連接部分：先通過拉平層（Flatten）將多維的輸出轉(zhuǎn)換成一維向量，方便進(jìn)一步的特征融合。具有64個神經(jīng)元的全連接層（Dense），應(yīng)用“ReLU”激活函數(shù)，接收拉平層（Flatten）的輸出，用于特征融合和進(jìn)一步的非線性變換，同時應(yīng)用了L2正則化，防止過擬合。為了適應(yīng)LSTM層的輸入要求，通過重塑層（Reshape）將一維向量重塑為（1.64）的二維張量。

（4）LSTM部分：采用了兩個LSTM層用于捕捉時間序列數(shù)據(jù)中的長期依賴關(guān)系，提取眼電信號的時序特征，第1個LSTM層有1024個記憶單元，第2個LSTM層有2048個記憶單元。

（5）輸出部分：采用5個神經(jīng)元的全連接層（Dense），使用softmax激活函數(shù)，輸出表示5個疲勞狀態(tài)的預(yù)測概率。同時應(yīng)用了L2正則化，防止過擬合。

另外，在模型中多個位置添加了隨機(jī)丟棄 20% 或30% 神經(jīng)元的Dropout層，進(jìn)一步抑制過擬合。

3 評價指標(biāo)

選取準(zhǔn)確率Precision、召回率Recall和F1-Score作為評價指標(biāo)[5]，計算方法分別如式（1）、式（2）、式（3）所示：

但計算的結(jié)果為每一類的分別結(jié)果，為了便于分后續(xù)的分析和展示，均采用平均值的方法，給出的是Avg_Precision、Avg_Recall和Avg_Fl-Score。

實(shí)驗過程與結(jié)果分析

4.1實(shí)驗過程及結(jié)果

訓(xùn)練時，將訓(xùn)練集按8：2比例分為訓(xùn)練集和驗證集，經(jīng)過多次調(diào)整，效果最好的超參數(shù)如表2所示。

訓(xùn)練300輪后，輸出的訓(xùn)練TrainingLossandAccuracy曲線圖如圖3所示，Loss值隨訓(xùn)練輪數(shù)的增加逐漸下降，而Accuracy值隨訓(xùn)練輪數(shù)的增加逐漸上升，在150輪左右，Loss和Accuracy值趨于穩(wěn)定，模型開始收斂。

對訓(xùn)練好的模型進(jìn)行測試，混淆矩陣如圖4所示。

計算各類評價指標(biāo)結(jié)果如下：avg_Precision為0.9469，avg_Recall為0.9347，avg_F1_Score為0.9403。證明模型預(yù)測的準(zhǔn)確率較高，達(dá)到了預(yù)期的效果。

4.2對比試驗

為了進(jìn)一步驗證CNN-LSTM眼疲勞預(yù)測模型的準(zhǔn)確性和有效性，應(yīng)用之前的數(shù)據(jù)集，在CNN、LSTM以及MobileNetV2+LSTM ?+. Attention三種網(wǎng)絡(luò)結(jié)構(gòu)中進(jìn)行了對比實(shí)驗，每一種模型最優(yōu)的實(shí)驗結(jié)果如表3所示。

從表3可以看出，使用單獨(dú)的CNN或LSTM網(wǎng)絡(luò)模型訓(xùn)練效果均不如CNN-LSTM，這表明在CNN基礎(chǔ)上加入LSTM使模型性能有了顯著提升。MobileNetV2+LSTM ?+. Attention網(wǎng)絡(luò)模型的各項指標(biāo)均低于 20% ，這可能是由于模型過于復(fù)雜，提取特征的能力過強(qiáng)，而訓(xùn)練樣本又較少，出現(xiàn)了過擬合現(xiàn)象，導(dǎo)致模型的泛化性能較差。

4.3結(jié)果分析

（1）CNN-LSTM預(yù)測模型能夠較好提取眼電信號特征，進(jìn)行5s后眼疲勞等級狀態(tài)的預(yù)測。（2）CNN-LSTM預(yù)測模型的預(yù)測結(jié)果優(yōu)于其他三種模型，并且在預(yù)測精度上具有一定的優(yōu)勢。（3）選用一維卷積處理序列信息，能夠起到一定的濾波作用，不需要進(jìn)行復(fù)雜的高維特征的提取，就可以使用模型進(jìn)行預(yù)測，應(yīng)用時更快捷，更節(jié)省算力資源。（4）復(fù)雜模型在針對眼電信號建模時不一定比簡單模型有優(yōu)勢，且簡單模型結(jié)構(gòu)更簡單，計算量更小，推理速度更快，更容易部署在算力有限硬件上。

5 結(jié)束語

本文選取SEED-VIG數(shù)據(jù)集中的輔助數(shù)據(jù)EOG作為基礎(chǔ)數(shù)據(jù)，根據(jù)PERCLOS數(shù)據(jù)進(jìn)行眼疲勞狀態(tài)分級，構(gòu)建了以5s后狀態(tài)為標(biāo)簽的數(shù)據(jù)集，并應(yīng)用CNN-LSTM構(gòu)建了眼疲勞預(yù)測模型，通過實(shí)驗證明，該模型基本能夠滿足眼疲勞預(yù)測的性能需求。

不足之處在于某些參數(shù)的調(diào)整可能沒有達(dá)到最優(yōu)，未來可繼續(xù)對其進(jìn)行改進(jìn)，以達(dá)到更好的預(yù)測效果。另外，如果能夠?qū)⒃撍惴ú渴鹪谘垭姳O(jiān)測設(shè)備上，將能夠?qū)崿F(xiàn)眼疲勞狀態(tài)的實(shí)時監(jiān)測，并能在眼疲勞狀態(tài)來臨前進(jìn)行預(yù)警，將眼部疾病的控制從治療轉(zhuǎn)向預(yù)防，減小對眼部的損傷，節(jié)約治療的成本。

參考文獻(xiàn)

[1]李帥，郝冬梅，楊琳，等.基于垂直眼電信號的眼疲勞評估系統(tǒng)的研發(fā)[J].中國醫(yī)學(xué)裝備，2020，17（6）：4-9.

[2]Wei-LongZhengandBao-LiangLu，AmultimodalapproachtoestimatingvigilanceusingEEGandforeheadEOG.JournalofNeuralEngineering，2017，14（2）：026017.1-026017.14.

[3]孫茜，徐軍莉.基于眼動特征的駕駛疲勞個體差異性研究[J].電腦知識與技術(shù)，2024，20（16）：29-32，36.

[4]張?zhí)煊睿蹴弟埃瑥堈停?基于CNN-LSTM的原煤產(chǎn)量預(yù)測模型[J].中國科技論文在線精品論文，2024，17（2）：276-282.

[5]張星星，婁莉.基于U-Net3+的虹膜分割算法研究[J].信息與電腦（理論版），2024，36（17）：1-5.