人機交互技術在神經系統疾病輔助診斷中的應用：現狀與前景

李 洋，汪柳萍，黃 進,2，范向民,2，田 豐,2

中國科學院軟件研究所 1人機交互北京市重點實驗室 2計算機科學國家重點實驗室, 北京 100190

人機交互是研究用戶與系統之間交互關系的學科，主要目的是增強用戶與計算機系統之間的交互體驗，使用戶更容易完成交互任務[1]。目前人機交互技術在醫學領域的應用主要是通過筆式、語音、步態等評估患者感官功能的變化情況，協助醫生對患者進行輔助診斷。人機交互技術無侵入性，醫生只需通過患者與計算機的自然感官交互結果，分析疾病在交互模態下的表征，即可客觀地判定患者當前的健康狀態。一方面節省了患者的檢查時間和費用，提高了患者的檢查舒適感，另一方面也減輕了醫生的工作強度，因此如何利用人機交互方法對疾病進行早期預警[2]和輔助診斷[3- 5]受到了國內外學者的廣泛關注。神經系統疾病表現為運動能力失調、語言能力受損、生理信號異常等多種問題，體現為觸覺、聽覺等多個感官功能受損，是人機交互技術的最佳應用領域。本文介紹筆交互、語音交互、步態交互、生理計算等人機交互技術在常見神經系統疾病輔助診斷中的應用現狀，并對該領域未來前景進行展望。

1 基于人機交互的神經系統疾病輔助診斷技術

1.1 筆交互

筆交互通過電子筆對觸控屏幕進行輸入，記錄用戶書寫時的移動軌跡，利用符號或標識得到可反映用戶運筆狀態和認知能力的交互數據。神經系統疾病患者在運筆時可能存在緩慢、震顫、認知障礙等多種情況，因此通過分析其運筆時的運動功能狀態(如速度、加速度)或圖形繪制結果，可評估患者是否存在運動功能受損以及認知功能異常等問題，為醫生提供診斷依據[6]。常見的筆跡交互任務包括阿基米德螺旋線、重復的字母書寫等[7]，繪圖任務包括TMT(Trail Making Test )[8]和CDT ( Clock Drawing Test )[9]等(圖1)。其中繪圖任務不但可有效反映患者的手部運動狀態，還可較好地反映患者當前的認知狀態[11- 12]。除運筆特征外，患者在書寫時對接觸表面的壓力也是重要的判斷指標。Drotár等[10]采用筆交互技術對75名用戶(包括37例帕金森病患者和38名健康用戶)進行研究，每人完成阿基米德螺旋線、重復的字母書寫等8項任務，結合用戶書寫過程中產生的運筆特征和壓力特征，選擇支持向量機進行疾病分類，準確度為81.3%，靈敏度為87.4%，特異度為80.9%。基于筆交互的神經系統疾病評估方法受環境影響較小，無論是在嘈雜的診室，還是居家環境中，都可獲得較高的精確度；缺點是需要使用具有特定功能的筆交互設備對數據進行采集。

圖1 常見的筆交互任務

1.2 語音交互

語音交互是通過用戶發音表達交互意圖，獲取系統響應的過程。神經系統疾病可導致患者聲道部分受損，發音改變。與肢體運動障礙和腦損傷等病理特征相比，語言表達和發音障礙常出現在疾病的早期階段，產生如音調變化、失聲、構音障礙等問題[13- 15]。目前基于語音交互的神經系統疾病輔助診斷方法主要通過患者的言語或發音狀態對疾病進行分析，為醫生提供診斷依據，包括兩種模式：(1)連續性語句發音，即患者說一句或一段話，由此判斷是否存在構音障礙、言語發音、共振、韻律等問題[16- 18]；(2)持續性元音發音，即患者盡可能長時間地保持發音頻率和振幅的穩定，由此判斷是否存在頻率、震顫、噪音等問題[19- 21]。如Weiner等[18]從ILSE德語音頻數據集中選取98個數據集合，包括健康人群80人、輕度認知障礙13人、阿爾茨海默病5人，通過語音識別，提取平均靜音時間、平均說話時間等10種音頻特征，選擇線性判別分析分類模型對3類人群進行分類，準確度為85.7%，其中阿爾茨海默病組的F值可達0.8。與其他交互方式相比，語音交互只需采用普通的麥克風進行數據采集，具有成本低、交互任務簡單的特點；缺點是某些神經系統疾病對發音狀態影響較小，發音過程中對環境要求較高，需在安靜的診室或居家環境中執行交互任務。

1.3 步態交互

步態作為人們日常生活中一種普遍的交互行為，是人體的運動器官在神經系統控制下相互協作產生的結果。當用戶患有神經系統疾病時可能導致運動功能受損，其在行走過程中，下肢出現受力狀態和運動形態的變化[22]。現階段步態交互主要分為基于傳感器信號[23- 24]和基于視覺[25]的步態分析系統兩大類(圖2)。基于傳感器的自動步態分析系統常利用用戶佩戴的傳感器設備獲取身體不同部位的移動信息，計算用戶完成任務過程中的速度、加速度等行為特征，進而判定用戶當前的步態行為，對神經系統疾病進行輔助檢測[26]。基于視覺的步態分析系統主要是利用相機錄制用戶完成任務的視頻數據，通過視頻檢測用戶指令動作或行走狀態，計算用戶的速度、幅度、時間等時空步態參數信息，從而進行分析評估[27- 28]。步態的自動診斷系統對治療干預的定量評估至關重要，因此建立低成本的步態分析系統具有十分重要的意義。Chakraborty等[29]招募了40名用戶(20例腦癱患者和20名健康用戶)，利用Kinect錄制用戶的行走過程，通過提取步長、步幅、步幅時間等特征，極限學習機分類準確度可高達98.59%，靈敏度為100%，特異度為96.87%。通過計算機對步態進行量化分析，可有效反映患者的協調性、運動功能等身體狀態，設備無需精確校準，降低了臨床評估成本；缺點是基于傳感器的采集方式需穿戴特殊的傳感器設備進行數據采集，而基于視覺的采集方式容易受背景環境因素的限制，同時多人存在于畫面中時會對數據采集造成影響，不適合在人員流動的嘈雜診室環境中進行。

圖2 步態交互分析系統A.基于傳感器的步態分析系統[23];B.基于視覺的步態分析系統[25]

1.4 生理計算

生理計算作為人類與計算機交互的接口，將人類解析的生理信號轉換成計算機的實時輸入，可豐富和改善用戶的交互體驗。神經系統疾病引起的運動功能失調可導致用戶生理電信號產生特定改變，根據傳感器放置位置不同，獲取不同特性的生理信號。典型的生理信號包括腦電圖(electroencephalogram，EEG)[30- 32]和肌電圖(electromyography，EMG)[33](圖3)。EMG是對肌肉收縮電信號的測量，不僅可區分用戶身體是否健康，還與疾病的嚴重程度相關[34]。細微的EEG信號變化可描繪某種特定類型的大腦異常，因此臨床常利用EEG對癲癇發病情況進行監測。Das等[35]通過收集10例頑固性癲癇患兒癲癇發作和未發作期間的EEG數據，計算信號的均值和均方根等關鍵特征，利用Ensemble Bagged Tree分類器對癲癇發作活動情況預測，其準確度高達91.09%，靈敏度為87.83%，特異度為94.35%。生理計算可直接檢測用戶的生理信號，不受疾病表征和發病時間的限制，可解釋性強；缺點是用戶需要佩戴適當數量的電極設備，易受外界因素干擾，信號噪音較大。

圖3 典型的生理信號數據采集示意圖

2 基于多模態人機交互的神經系統疾病輔助診斷技術

患者在發病過程中，常同時伴隨多種癥狀，不同的交互模態可反映用戶不同的交互行為信息，因此利用不同交互模態信息互補的特點，采用多模態融合的方法對提取特征進行融合，能夠提供更精確的神經系統疾病輔助診斷結果。但多模態交互方法存在數據采集困難、模態數據融合方法對結果影響較大的特點，因此應選擇合適的模態及其組合方式進行神經系統疾病的輔助診斷。中國科學院軟件研究所通過筆式、語音、步態等多個通道搭建的智能輔助診斷系統可實時對神經系統疾病進行輔助診斷。此系統利用數字筆和平板、麥克風、Kinect等多個設備采集書寫、發音、走路等多種交互行為數據，得到可反映患者病理特性的交互特征，然后利用機器學習模型預測得到自動化的診斷結果。多模態數據獲取與融合方式較為困難與復雜，本研究團隊分別對176名用戶[88例臨床診斷的神經系統疾病患者(14例帕金森病、62例腦小血管病變、12例神經系統異常引起的運動障礙)和88名健康用戶]采集語音模態元音/ah:/以及筆模態“連線測試”的交互任務數據，提取其中的語音特征與筆交互特征，拼接融合得到1437維多模態融合特征向量，為避免維度過高引起分類模型的過擬合問題，用Correlation-based Feature Selection進行特征選擇得到55維特征，進而利用DCEM(Ex) (dual channel ensemble model with extra information)對數據進行分類訓練，分類準確度為89.22%，高于僅使用筆模態數據的分類準確度(82.54%)和僅使用語音模態的分類準確度(77.8%)[36]。

3 小結與展望

現階段，利用人機交互技術已可實現具有明顯表征的神經系統疾病患者的病情評估，為臨床醫生提供輔助診斷依據(表1)，但仍然存在諸多問題，未來需要進一步探索與研究。

表1 基于人機交互的神經系統疾病輔助診斷技術及其臨床應用

第一，實現交互任務的自然性。用戶需執行特定的交互任務，降低了數據采集的自然度。未來應研發無需特定任務的交互系統，一方面發展面向醫生的輔助診斷系統，另一方面發展面向用戶的智能居家疾病預警系統[37]，更自然地采集反映用戶當前生理狀態的行為數據。

第二，建立輔助診斷數據集。性別、年齡、既往病史等用戶特性和環境的變化因素會影響疾病的癥狀和反應，因此需建立全面、均衡、有效的標記數據集[38]。未來可利用線上和線下結合的方式采集有效數據，并推行多個機構、不同國家之間的數據共享，解決地理位置、疑難病例等問題導致的數據采集困難問題。

第三，促進交互模態的融合。單個交互模態無法全面反應患者當前復雜的生理狀態，現階段輔助診斷技術主要用于區分健康用戶與神經系統疾病用戶。未來可選擇多模態融合的方法，利用多模態特征更好地區分相似類型的神經系統疾病。

第四，增強診斷結果的可解釋性。由于使用者無法了解計算機內部的操作原理，醫生與患者易對診斷結果持懷疑態度，難以實現真正的臨床應用。未來可利用 “人在回路”策略，增強用戶對計算機輸出結果的理解度。