基于ECG 和眼動信號的顯示模式視疲勞測量

賈立秀，黃 晟，丁義權，屠 彥，王莉莉

（1. 南京工程學院 計算機工程學院，江蘇 南京 211167；2. 東南大學 電子科學與工程學院，江蘇 南京 210096）

1 引言

隨著顯示技術的發展，三維顯示廣泛應用于軍事、健康、科研和教育等領域，特別是虛擬現實、增強現實和全息顯示技術給用戶帶來全新的立體感和沉浸感［1-2］。然而，由于輻輳沖突、串擾和過量雙目視差等原因引起了觀看者不可避免的視疲勞［3-4］。視疲勞狹義上以眼部不適癥狀為基礎，廣義上指的是一種身心疾病，以全身疲勞為主。為了保證觀看者視覺健康，各國研究學者致力于三維顯示引起的視疲勞課題研究。目前視疲勞測量方法主要包括兩類：主觀測量方法和客觀評價方法［5］。馮永等人［6］總結了視疲勞主觀測量研究發展現狀，發現目前尚無統一公認的分類方法。20 世紀90 年代以臨床視疲勞癥狀為基礎的“簡單量表”為主，如針對電腦工作視疲勞的“Sheedy量表”［7］，專門針對近距離工作導致的眼部疲勞的“Rafael 量表”［8］等；2000 年左右發展為針對不同場景的“專業型量表”，如針對視覺功能的NEIVFQ（National eye institute visual function questionnaire）［9］，針對虛擬現實視疲勞的VRSQ（Virtual reality symptom questionnaire）量表［10］；最近幾年隨著新型顯示技術和各種客觀測量技術的發展，主觀為主客觀為輔的“新型量表”應運而生，如融合光線和空間等環境因素的VERAM（Visual ergonomics risk assessment method）量表［11］。總的來說，主觀測量對于確定引起視覺不適的視頻內容和觀看條件的研究是至關重要的［12］。

客觀評價方法主要借助先進的儀器設備測量相關的生理參數變化。Yuan等人把客觀測量方法分為基于非接觸式生理信號的測量方法和基于接觸式生理信號的測量方法［13］。基于非接觸式生理信號的測量方法包括視功能參數測量和眼動參數測量，基于接觸式生理信號的測量方法包括心電（Electrocardiogram，ECG）測量、眼電（Electro-oculogram，EOG）測量和腦電（Electroencephalogram，EEG）測量等［13］。Zheng 等人驗證了視疲勞的主觀癥狀和視功能參數之間的相關關系［14］。微眼跳作為一種注視性眼球運動，受覺醒和認知加工的調節［15］。覺醒水平不斷變化，對人類日常活動中的表現有著深刻的影響。覺醒的波動由自主神經系統調節，而自主神經系統主要由副交感神經和交感神經系統的平衡活動控制，通常以心率（Heart Rate，HR）和皮膚電反應（Galvanic Skin Response，GSR）為指標［16］。此外，瞳孔大小可作為自主神經系統非自主調節覺醒水平的指標。Chen等人使用圓圈和聽覺刺激來喚起瞳孔反應，證明疲勞和喚醒同時影響掃視和瞳孔反應［17］。既往研究通過觀看立體電影過程中心電指標變化規律發現，心率隨著觀看時間增加而增大［18］。而Zhang 等人發現，心率和視疲勞之間沒有顯著關系［19］。Ramadan 等人通過心率變異性和GSR 參數來比較觀看2D 和3D 電影在不同觀看距離和時間上的差異［20］。

主觀測量和客觀評價方法各有優缺點，其中主觀測量方法比較簡單，易于采集，但是時間分辨率低，無法實時評價觀看者的反應，且受個體差異影響比較大；客觀評價可以被自動化，并告訴我們更多有關不適的生理原因，獲得的數據更加準確，但是分析復雜。現有的二維和三維顯示視疲勞測量研究大多基于單一模態測量觀看前后的視疲勞狀態，且沒有相關的實驗環境和觀看設備的標準，因而仍沒有一致的研究結論。

本文采用主觀問卷測量和客觀測量（ECG、眼動參數、視功能參數）相結合的測量方法，探究了觀看70 min 2D 和3D 顯示前后以及觀看過程中的視疲勞變化情況。

2 實驗

2.1 實驗設備以及刺激材料

本實驗選取2D 和3D 左右格式的《阿凡達》視頻作為刺激材料，采用分辨率為1 920×1 080 的1 269 mm×799 mm 索尼BRAVIA 液晶顯示屏為研究載體。該顯示屏最高白場亮度為220 cd/m2。為了避免光環境對實驗結果產生影響，本實驗在無照明環境的實驗室（照度＜1 lx）內進行。

采用RT-5100 綜合驗光儀、Pelli-Robson 敏感度表、自制測量調節近點和集合近點設備、裂隙燈顯微鏡（型號：YZ5X）測量視功能參數。

采用BIOPAC 公司生產的MP150 多導生理記錄儀采集心電數據，SMI 公司生產的紅外遙感眼動設備測量眼動參數。

主觀問卷采用5 級評分標準（5：程度嚴重，4：程度明顯，3：程度中等，2：程度輕微，1：無）對“眼睛感覺不舒適”、“遠近調節緩慢”、“眼睛疲勞”、“眼睛酸”、“眼干”、“頭疼”和“頭暈”等7 個癥狀進行打分。

根據國際電信聯盟發布的ITU-R BT.500-11標準《電視畫面質量的主觀評價方法》［21］中的建議，選取3倍的屏幕高度作為觀看距離，約為2 m。

2.2 實驗受試者

17 名東南大學學生（14 男3 女，年齡24.4±1.46 歲）參與本實驗。受試者納入標準包括雙眼矯正后視力達到1.0 及以上，無色弱，無色盲，無雙眼視功能障礙。為了保證實驗數據準確，要求受試者在實驗前24 h 內有高質量的睡眠，并且禁食含有酒精和咖啡因的食物。

2.3 實驗流程以及測量參數

所有受試者都參與觀看2D 和3D 顯示實驗。每名受試者的兩部分實驗分別在不同日期的9：00～12：00 或14：00～17：00 進行，且觀看2D 和3D 顯示順序是隨機的。介紹完實驗內容后，受試者自愿簽署知情同意書，實驗內容和流程均符合赫爾辛基宣言要求。

在實驗開始前，告知受試者實驗流程和實驗過程中注意事項。整個實驗流程如圖1 所示，首先填寫主觀問卷，然后按順序測量視功能參數和微眼跳參數。考慮到觀看視頻內容對采集信號的影響，在觀看電影前后分別增加了5 min 觀看電子書的內容并同步采集眼動和心電信號，再次測量微眼跳參數和視功能參數，最后填寫主觀問卷。整個實驗約耗時110 min，具體步驟如圖1 所示。

圖1 實驗流程圖Fig.1 Schematic of experiment procedure

（1）填寫主觀問卷；

（2）測量1：包括視功能參數和微眼跳參數；

（3）為了采集觀看電影前的眼動參數和心電參數，同步采集閱讀5 min 歷史題材類電子書（定義為TE1）的心電信號和眼動信號；

（4）采集觀看70 min 2D/3D 顯示的心電信號，其中觀看電影前5 min 和后5 min 分別定義為TM1 和TM2，其中TM1 時間段的心電信號作為研究心電信號隨時間變化的參考信號；

（5）再次同步采集閱讀5 min 電子書（定義為TE2）的眼動和心電信號；

（6）測量2：包括微眼跳參數和視功能參數；

（7）最后填寫主觀問卷，實驗結束。

視功能參數主要包括最佳矯正遠視力（Best Corrected Distance Visual Acuity，BCDVA）、最佳矯正近視力（Best Corrected Near Visual Acuity，BCNVA）、調節近點（Near Point Accommodation，NPA）、集合近點（Near Point Convergence，NPC）、對比敏感度（Contrast Sensitivity Frequency，CSF）和淚膜破裂時間（Tear Film Break-up Time，TBUT）。眼動參數主要包括注視期間的瞳孔大小（Ebook Mean Pupil Diameter，EMPD）、微眼跳期間的瞳孔大小（Microsaccade Mean Pupil Diameter，MMPD）、眨眼頻率（Blink Frequency，BF）、掃視數目（Saccade Count，SC）和掃視速度（Saccade Velocity，SC）等。心電參數主要包括RR 間期值（R-peak to R-peak interval，RR）、心率（HR）、低頻功率（0.04～0.15 Hz，Low Frequency Power，LF Power）、高頻功率（0.15～0.4 Hz，High Frequency Power，HF Power）、低頻/高頻比（LF/HF）和香農熵（Shannon Entropy）等生理參數。圖2 為實驗情況示意圖。

圖2 實驗情況示意圖Fig.2 Schematic diagram of experiment

3 結果

為了研究觀看2D 和3D 顯示前后視疲勞變化情況以及顯示模式對各測量參數的影響，我們使用軟件SPSS 16.0 對觀看2D 和3D 顯示前后的測量參數分別進行配對樣本T 檢驗分析，然后將有顯著變化的參數的相對變化值（觀看后和觀看前的差值除以觀看前的值）作為因變量，顯示模式等作為自變量，受試者作為隨機變量進行ANOVA（Analysis of Variance）分析；選取p＜0.05 為差異有統計學意義，使用偏Eta 方（Partial eta squared，）作為效應量，的值介于0 和1 之間，值越大，效應越強，的值為0.01 是小效應，0.06 為中等效應，0.14 為大效應［22］。

3.1 視功能參數

配對樣本T 檢驗結果表明，觀看2D 和3D 顯示前后的BCDVA（2D/3D：p＜0.001）、BCNVA（2D：p=0.001；3D：p＜0.001）、CSF（2D/3D：p＜0.001）和TBUT（2D/3D：p＜0.001）都有顯著的變化。從圖3 可以看出，觀看2D 和3D 顯示后的BCDVA、BCNVA、CSF和TBUT都比觀看前的小。

圖3 觀看2D 和3D 顯示前后視功能參數。（a） BCDVA；（b） BCNVA；（c） CSF；（d） TBUT 的平均值。誤差條表示標準差（**表示p＜0.01）。Fig.3 Mean values of ophthalmological parameters before and after watching 2D and 3D display modes. （a） BCDVA；（b）BCNVA；（c） CSF；（d） TBUT. Error bars indicate standard deviation（**：p＜0.01）.

將BCDVA相對變化量（R_BCDVA）、BCNVA相對變化量（R_BCNVA）、CSF 相對變化量（R_CSF）和TBUT 相對變化量（R_TBUT）分別作為因變量，顯示模式作為自變量，受試者作為隨機變量進行ANOVA 分析，結果表明顯示模式只對R_BCDVA（F1，16=10.79，p=0.005，=0.40）和R_TBUT（F1，16=29.89，p＜0.001，=0.65）有顯著影響且效應較大。圖4 為觀看2D 和3D 顯示前后的R_BCDVA 和R_TBUT 的平均值及標準差。從圖4可以看出，觀看3D顯示后BCDVA和TBUT 減小的百分比均顯著大于觀看2D 顯示。從視功能參數的變化可以看出，觀看3D 顯示后引起的視銳度下降和干眼癥狀比觀看2D 顯示后嚴重。

圖4 視功能參數（a） R_BCDVA 和（b） R_TBUT 在2D 和3D顯示模式下的平均值及標準差（**表示p＜0.01）。Fig.4 Mean values and standard deviation of （a） R_BCDVA and （b） R_TBUT under 2D and 3D display modes（**：p＜0.01）.

3.2 眼動參數

觀看2D 和3D 顯示前后眼動參數的配對樣本T 檢驗結果表明，觀看2D 和3D 顯示前后微眼跳期間的瞳孔直徑MMPD（p＜0.001）有顯著的變化。圖5 為觀看2D 和3D 顯示前后MMPD 的平均值及標準差。

圖5 觀看2D 和3D 顯示前后MMPD 的平均值。誤差條表示標準差（**表示p＜0.01）。Fig.5 Mean values of MMPD before and after watching 2D and 3D display. Error bars indicate standard deviation（**：p＜0.01）.

將MMPD 的相對變化量（R_MMPD）作為因變量，顯示模式作為自變量，受試者作為隨機變量進行ANOVA 分析，結果表明顯示模式對R_MMPD 有顯著影響且效應較大（F1，16=31.27，p＜0.001，=0.66）。圖6 為觀看2D 和3D 顯示前后R_MMPD 的平均值及標準差。從圖6 可以看到，觀看3D 顯示后R_MMPD 增加的百分比顯著大于觀看2D 顯示。

圖6 R_MMPD 在2D 和3D 顯示模式下的平均值及標準差（**表示p＜0.01）。Fig.6 Mean values and standard deviation of R_MMPD under 2D and 3D display modes（**：p＜0.01）.

3.3 心電參數

觀看2D 和3D 顯示前后閱讀5 min 電子書的TE1和TE2 時間段心電信號的配對樣本T 檢驗結果表明，觀看2D 顯示前后的LF Power（ms2） （p=0.009）、HF Power（%）（p=0.001）和觀看3D 顯示前后的LF Power（ms2）（p=0.003）、HF Power（%）（p=0.006）、Shannon Entropy（p=0.008）有顯著的變化。圖7 為閱讀電子書期間有顯著變化的心電參數的平均值及標準差。

圖7 觀看2D 和3D 顯示前后閱讀電子書期間心電參數的平均值。（a） LF Power（ms2）；（b） HF Power（%）；（c） Shannon Entropy。誤差條表示標準差（**表示p＜0.01）。Fig.7 Mean values of ECG parameters before and after watching 2D and 3D display modes during E-book reading. （a） LF Power（ms2）；（b） HF Power（%）；（c） Shannon Entropy. Error bars indicate standard deviation（**：p＜0.01）.

上述LF Power（ms2）相對變化量（R_LF Power（ms2）_1）、HF Power（%）相對變化量（R_HF Power（%））和Shannon Entropy 相對變化量（R_Shannon Entropy）分別作為因變量，顯示模式作為自變量，受試者作為隨機變量進行ANOVA 分析，結果表明顯示模式僅對R_Shannon Entropy 有顯著影響且效應較大（F1，16=8.99，p=0.01，=0.39）。圖8 為觀看2D 和3D 顯示前后的R_Shannon Entropy 的平均值及標準差。可以看到，觀看3D 顯示后R_Shannon Entropy 比觀看2D 顯示后大。

圖8 R_Shannon Entropy 在2D 和3D 顯示模式下的平均值及標準差（*表示p＜0.05）。Fig.8 Mean values and standard deviation for R_Shannon Entropy under 2D and 3D display modes（*：p＜0.05）.

3.4 主觀問卷

觀看2D和3D顯示前后7個主觀癥狀配對樣本T 檢驗結果表明，“眼睛感覺不舒適”（p＜0.001）、“眼睛疲勞”（p=0.004）和“眼睛酸”（p=0.001）在觀看2D 顯示前后有顯著變化；“眼睛感覺不舒適”（p＜0.001）、“眼睛疲勞”（p＜0.001）、“眼睛酸”（p=0.004）、“眼干”（p=0.001）、“遠近調節緩慢”（p＜0.05）和“頭暈”（p＜0.05）在觀看3D 顯示前后有顯著變化。圖9 為觀看2D 和3D 顯示前后有顯著變化的主觀癥狀分數的平均值及標準差。

圖9 觀看（a） 2D 和（b） 3D 顯示前后主觀癥狀的分數平均值。誤差條表示標準差（**表示p＜0.01，*表示p＜0.05）。Fig.9 Mean values of subjective symptoms score before and after watching （a） 2D and （b） 3D display. Error bars indicate standard deviation（**：p＜0.01；*：p＜0.05）.

將上述配對樣本T 檢驗有顯著變化的主觀癥狀打分的相對變化量作為因變量，顯示模式作為自變量，受試者作為隨機變量進行ANOVA 分析，結果表明顯示模式只對癥狀“眼睛疲勞”相對變化量（R_眼睛疲勞：F1，16=5.13，p=0.037，η2p=0.2）和“眼干”相對變化量（R_眼干：F1，16=6.76，p=0.019，=0.30）有顯著影響且效應較大，對其他癥狀沒有顯著的影響。圖10 為觀看2D 和3D 顯示前后主觀癥狀分數相對值的平均值及標準差。可以看到，觀看完3D 顯示引起的“眼睛疲勞”和“眼干”增加的百分比均顯著大于觀看2D 顯示。

圖10 觀看2D 和3D 顯示前后主觀癥狀分數相對值的平均值和標準差（*表示p＜0.05）。Fig.10 Mean values and standard deviation for relative subjective symptoms score before and after watching 2D and 3D display（*：p＜0.05）.

3.5 心電參數隨時間的變化

為了研究顯示模式、觀看時間對心電參數的影響，我們將觀看2D/3D 顯示期間前5 min（TM1時間段）的心電數據作為參考值，以各5 min 數據段相對變化量（對應時間段的數據減去參考值然后再除以參考值）作為因變量，顯示模式和時間作為自變量，受試者作為隨機變量進行ANOVA 分析。表1 給出了觀看2D 和3D 顯示期間心電參數相對變化量的ANOVA 結果。從表1 可以看出，時間和顯示模式對RR 相對變化量（R_RR）、HR相對變化量（R_HR）和LF Power（ms2）相對變化量（R_LF Power（ms2））有顯著影響。此外，時間和顯示模式的交互效應對3 個因變量沒有顯著影響。

表1 觀看2D和3D顯示期間心電參數相對變化量的ANOVA結果Tab.1 ANOVA results of relative ECG parameters during watching 2D and 3D display

圖11為R_RR、R_HR 和R_LF Power（ms2）隨時間變化的趨勢圖。從圖11可以看出，R_RR 隨著時間的增加而減小，R_HR 和R_LF Power（ms2）隨著時間的增加而增大。此外，可以看出60 min時2D 和3D 顯示之間的R_RR 和R_HR 分別有顯著差異（p＜0.05），55 min 時2D 和3D 顯示之間的R_LF Power（ms2）（p＜0.05）有顯著差異。

圖11 觀看2D 和3D 顯示期間心電參數（a） R_RR、（b） R_HR 和（c） R_LF Power（ms2）隨時間變化趨勢。誤差條表示標準差（*表示p＜0.05）。Fig.11 Trend of （a） R_RR，（b） R_HR and （c） R_LF Power（ms2） over time during watching 2D and 3D display. Error bars indicate standard deviation（*：p＜0.05）.

4 討論

視功能參數BCDVA、BCNVA 和CSF 定義視覺空間分辨率，反映一定距離內人眼辨別物體細節的能力。既往研究表明，視覺疲勞與人類通過雙眼視覺編碼視覺細節的能力有關［14］，與本文中相關的視功能參數在觀看完2D 和3D 顯示后都顯著降低相吻合。人們普遍認為輻輳沖突是三維顯示視疲勞的一種可能誘因，但是本實驗與輻輳機制相關的視功能參數NPA 和NPC 在觀看2D 和3D 顯示后都沒有顯著變化，可能由于受試者都是青年人，其輻輳調節能力較強，因此，受試者年齡因素是我們未來研究的方向。

眼動參數結果表明，注視（微眼跳）期間的瞳孔大小在觀看電影前后有顯著變化，既往研究也表明瞳孔直徑隨著視疲勞增加而變大［23］。瞳孔大小受交感神經系統和副交感神經系統之間的平衡活動控制［17］，與覺醒和認知處理相關，在需要認知處理的任務中會擴大。覺醒與各種過程有關，包括情緒喚醒和疲勞程度。Wang 等人［15］驗證了協調瞳孔和微眼跳的神經機制，以藍斑核為中心神經通路一方面調節瞳孔大小，另一方面連接到以上丘為中心神經通道協調瞳孔和微眼跳響應，越大的瞳孔直徑對應越高的掃視速度。此神經機制很好地解釋了本實驗中瞳孔大小的結果。

心電信號受自主神經系統調節，代表心臟對各種環境刺激的反應能力。既往研究［18］表明，疲勞的產生導致自主神經系統失衡，進而伴隨著心率變異性的變化，如LF Power、LF/HF 增加、HF Power降低等，與本文結果相一致。LF和交感神經活動有關，HF 和副交感神經有關，而LF/HF 代表人體自主神經系統的調節能力。人類在安靜狀態下，副交感神經起調節作用；在覺醒狀態（包括疲勞、興奮和緊張等）有變化時，交感神經興奮。Park 等人的研究表明，觀看完3D 電視后，交感神經系統和副交感神經系統的反應分別被激活和關閉［24］。香農熵通常被認為是反映樣本復雜性、不可預測性和不規則性的衡量標準。Viktor 從控制論角度分析人的行為特征，隨著光、聲音和熱量等刺激信息的輸入，人體正常信號交換和生理系統之間相關依賴性減少，表現出各生理系統的失控混亂以及熵的增加［25］。該機理很好地解釋了本實驗中觀看電影后受試者心電信號的香農熵比觀看前增加。

主觀問卷中“眼干”癥狀增加和視功能參數TBUT縮短相一致，表明主觀癥狀和客觀視功能參數有很高的相關性。

此外，從觀看70 min電影期間心率變異性參數變化可以看出，50 min 以后2D 和3D 顯示引起的R_RR 和R_HR 的差異逐漸增加。Ramadan 等人通過測量心電參數和皮電參數發現，在近距離觀看3D 顯示50 min 后，身體壓力顯著增大，并隨著觀看時間的持續增加而增大，與本文結果相一致［20］。3D 電影制作商可以考慮50 min 左右盡量避開激烈打斗的電影場景，選擇自然風光為主的舒緩放松場景來緩解視疲勞。

5 結論

本文采用主觀問卷測量和客觀測量相結合的評價方法，在暗環境下研究2D 和3D 顯示對視疲勞的影響。結果表明，觀看3D 顯示后BCDVA和TBUT減小的百分比、香農熵、瞳孔直徑、主觀癥狀“眼睛疲勞”和“眼干”增加的百分比均顯著大于觀看2D 顯示，說明觀看3D 顯示引起的視疲勞程度大于觀看2D 顯示。通過心率變異性參數變化可以看出，50 min 以后2D 和3D 顯示引起的視疲勞程度逐漸增大，這個時間點對于3D 電影制作商具有指導意義。未來的研究我們將繼續增加受試者數量和3D 景深程度，形成更加具有普適性的評估模型和結論。