并行時間卷積的疲勞檢測

張少涵，馬錦山，陳澤龍，謝子彥，林少煒，張振昌

(1.福建農林大學 計算機與信息學院，福建 福州 350002;2.聯勤保障部隊第900醫院醫學影像中心，福建 福州 350002;3.福建醫科大學，福建 福州 350002)

隨著時代的發展，社會生產力不斷提高，人們的工作量也隨之增加。由于工作時間過長、工作壓力過大等產生疲勞的現象在日常生活中時常發生[1]，而疲勞會影響人們工作效率甚至導致事故的發生。

在生物醫學數字信號處理技術的不斷發展下，研究者們發現腦電信號和眼電信號與人的精神疲勞有顯著的相關關系[2]。在傳統方法中，劉苗苗等[3]使用非線性動力學的多尺度熵方法來分析不同駕駛狀態下的腦電信號，發現受試者在疲勞狀態下駕駛時的熵值低于非疲勞狀態下的熵值。李超[4]使用與的比值來客觀性的判斷人腦的疲勞狀態。周佳蘋[5]研究發現α波、β波、θ波及（α+θ）/β、β/α在疲勞和不疲勞狀態下的表現都有顯著差異。

生物信號是一種十分復雜以及微弱的時序信號，具有非平穩性和非線性的特點，通常情況是由多電極測得的多通道信號，這使得疲勞檢測評估更為復雜。近幾年來隨著人工神經網絡的發展，神經網絡也開始應用在生物信號分析上，它在面對復雜問題上具有強大學習力，對于多通道的信號也能夠學習到其中的相關信息。韓霜等[6]提出基于深度收縮自編碼網絡的飛行員疲勞狀態識別模型。張兆瑞等[7]建立疲勞識別模型對疲勞進行檢測。卷積神經網絡已經在疲勞檢測中廣泛的應用[8]，但是普通的卷積網絡并沒有利用到生物信號上的時間信息。時序處理算法（Long Short-Term Memory,LSTM）是專門用于時間序列的模型，在對于含有時間信息的模型，通常使用基于LSTM網絡進行研究，以使得模型能夠學習到序列的時間信息。張楠等[9]使用微分熵的特征輸入LSTM模型中，來預測警惕性水平。但是LSTM不能夠并行計算，使得模型訓練時候需要消耗大量的時間成本。

TCN網絡[10]是在卷積網絡的基礎上進行改進，以適用在時間序列的問題上。它通過使用擴張卷積對全局信息進行學習，使其具有學習時間信息的能力。于是本文運用TCN網絡在生物信號的疲勞檢測問題，利用鄭偉龍等[11]公開的SEED-VIG數據集進行進一步研究，他們將數據集的標簽PERCLOS按閾值[0.35,0.7]分為3類，但我們在進行數據預處理中發現，3類的數據集數量嚴重不平衡，一些實驗對象數據分布極端化，這可能導致模型訓練的無效性。于是，本文針對該數據集進行實驗，分別建立連續的P-TCN模型和連續的P-LSTM網絡模型，在模型中并行輸入數據集中EEG和EOG的數據，最后通過全連接輸出疲勞程度。實驗結果表明，在同樣采取并行結構的方法下，PTCN的預測結果更好。

1 資料與方法

1.1 SEED-VIG數據集

研究使用BCMI實驗室公開的數據集SEED-VIG[11],實驗要求被試者模擬駕駛車輛，并且在測試前一天無服用酒精咖啡因等物質。使用Neuroscan系統記錄了23名被試者的EEG和EOG，同時在實驗過程中使用跟蹤眼鏡標記對應的PERCLOS（眼睛閉合時間長度/時間區間總長度）指標值作為警戒的標簽。實驗在午后進行，時間持續2 h以上，以便在嗜睡的晝夜節律高峰和長時間的駕駛下確保實驗對象進入疲勞的狀態。數據的采樣頻率為1000 Hz。PERCLOS標簽的區間為[0,1]，這里的PERCLOS只作為標簽數據使用。

數據集中將腦電信號數據下采樣至200 Hz，EOG信號充當EEG信息的補充，它攜帶眨眼時的有關信息。通過在每個腦電信號中以2 Hz的頻率分辨率從總頻帶（50 Hz）中提取25個頻域，計算25個頻域下的EEG的微分熵作為特征值；通過在眼電信號中檢測眨眼和掃視的持續時間，均值，最大值，方差等統計參數中提取了36個EOG的特征值。

1.2 TCN網絡

1.2.1 因果卷積

為提高疲勞判斷的準確度，運用由WaveNet提出的基于時間的因果卷積模型[12]，該模型能夠針對生物信號來進行序列的卷積建模。規范的CNN并不能夠處理到生物信號的特征問題。而將因果卷積應用在生物信號序列中，能確保在建立模型時不會改變生物信號的順序，從而實現對生物信號序列一一對應的問題。下圖1顯示因果卷積結構的圖示。

圖1 因果卷積Fig.1 Causal convolution

1.2.2 擴展卷積

腦電信號和眼電信號的采樣頻率較高，因此信號的序列較長，需要較長的時域感受野。對于一個長序列進行因果卷積，卷積層需要不斷增加，才能達到要求。這就會出現梯度消失，過擬合等問題。擴展卷積能夠很好的解決這個問題，Dilation是擴展卷積的大小，Dilation的大小隨著層數增加而增加。擴展卷積的結構如下圖2所示。設生理信號為X=（x1，x2，…，xt），則序列擴展卷積運算F定義為：

圖2 擴展卷積Fig.2 Extended convolution

D表示膨脹因子，k表示卷積核的大小，s-d·i表示過去的比例，增大d可以增加感受野，在信號訓練中更大的d，可以應用更長的序列。

1.2.3 殘差學習

隨著神經網絡層數的增加，導致參數過多，且標準的反向傳播無法找到最優權重，這就會出現退化問題。生理信號的數列數據龐大，為了提升模型的性能，在TCN模型中添加殘差和參數化跳過連接，具體結構如下圖3所示。

圖3 殘差模塊結構Fig.3 Residual module structure

殘差模塊的輸出包括了卷積網絡的輸出和輸入信息，其輸出簡單表示為y=F（X）+X。

1.3 實驗

該實驗使用Python語言在Pytorch環境下實現提出的 P-TCN模型，在硬件方面使用 Nvidia GTX1080TI訓練模型。

提出融合EEG和EOG的P-TCN結構，首先將兩種信號并列輸入TCN進行學習后，然后把兩種信號特征融合后，再次輸入不同參數的TCN模塊，使得模型學習到不同尺度下的多尺度的信息，最后由全連接層輸出疲勞狀態值。EEG和EOG具有不同的信號特征，分別運用不同大小的TCN模塊提取不同信號的時序特征進行特征融合，更優于將信號數據先融合后輸入模型的方法。

數據輸入模型之前使用BatchNorma函數對數據集進行處理，可加快模型的收斂速度。模型中殘差學習和跳過鏈接的結構，可以使得模型具有較深的網絡，在模型網絡中層與層之間加入dropout層，以防止出現過擬合，并且加快模型訓練的速度。P-TCN的算法結構如圖4。

圖4 P-TCN結構Fig.4 P-TCN structure

模型的輸入形狀為EEG[25*17*885]、EOG[36*1*885]，分別經過8層和5層的TCN模塊層，通過torch.cat函數進行特征拼接融合后；再分別輸入3層和2層的TCN模塊層，再次通過torch.cat函數進行特征拼接，把拼接結果矩陣通過reshape為一個676維的向量，最后，利用3層全連接進行回歸，分別由32，16，1個神經元組成，得到接近的PERCLOS值。優化算法采用adam進行參數調整。其他一些參數設置學習率為0.001，batch設置為24，epoch設置為100，dropout設置為0.5。

1.4 評估指標

為評估模型的檢測程度，我們引入平均絕對誤差（MAE），均方誤差（MSE）,可釋方差得分（EVS），R2（r2_score）評估實驗的模型，yi表示第i個真實值，表示第i預測值，表示一段信號y的平均值，指標可表示如下：

2 實驗結果

由于不同個體間具有差異性，在相同的疲勞程度下不同個體在生物信號上有不同表現，且每個人對于疲勞的感應力不相同，因此該實驗對同一個被試者進行建模。同時為防止數據集劃分不平衡出現訓練無效的現象，不對標簽進行閾值上的分類劃分，而是使用連續型的數據進行建模。為了使得模型能夠學習到每個狀態下的信息，通過隨機劃分確定訓練集和測試集，將提出的模型與單一信號的TCN模型、P-LSTM模型進行對比實驗，評價指標結果如下表1所示：

表1 不同模型指標結果Tab.1 Results of different model indicators

從表1中可以看出，在使用單一的信號時，使用EEG對比EOG有更好的表現，這可能是EEG對精神疲勞的變化更為敏感。提出的模型對比P-LSTM模型的評價指標有較大的提升。其中均方誤差下降到0.0022，平均絕對誤差下降到0.0370。各模型對于同一實驗對象測試集的預測曲線如圖5所示。

圖5 P-LSTM和P-TCN的預測曲線Fig.5 P-LSTM and P-TCN prediction curves

實驗控制相同的神經網絡層數，相同的訓練次數epoch=50下。P-LSTM也能取得不錯的預測，但PTCN在訓練模型時消耗的時間比P-LSTM少得多，且在預測曲線中表現更貼近實際值，在真實曲線中波動較大地方和細節處表達的更好，體現出模型更強的學習能力和性能。

3 討論和結論

在上述實驗中融合兩種信號的方法對比單一信號確實有更好的表現。LSTM網絡結構決定讀取數據時只能等上一個時間點讀取完畢才能讀取進行下一個時間點，于是它在處理龐大的生物信號數據時會導致訓練的時間過長，訓練后使用模型進行預測計算速度更耗時，影響腦電疲勞檢測的實時性。提出的改進TCN模型融合了EEG+EOG的并行計算，該算法針對時序信息具有更大的感受野。既兼顧學習到時間序列信息，也能夠通過大規模的卷積并行計算提升訓練速度，計算成本更低，模型性能更加優異。

在TCN網絡中并行輸入兩種生理信號，將輸出的特征融合后，再輸入不同層數參數的TCN模塊以學習不同尺度下的信息。該模型對比同類研究具有較大的改進，加快了訓練的速度提高了模型的魯棒性，對于實時的疲勞檢測研究具有重要意義。