面向漸凍人設計的有意識地眨眼交互系統

楊俊　高凡承　王新龍　寧磊

摘要：漸凍癥患者隨著病情的發展會逐漸喪失語言功能，無法通過語言表達內心需求，造成較大的心理壓力，為了幫助漸凍人能夠輕松地與外界交流，本文為漸凍人設計了一種人機交互系統。由于患者會逐漸喪失行動能力，本文設計了眨眼識別算法，該識別算法能夠識別出眨眼的面部動作，并且區分接收到的眨眼信號是否為患者有意識地眨眼。交互系統配以圖形界面，圖形界面內置了虛擬軟鍵盤，用戶能夠不通過敲擊鍵盤實現打字輸出。設計的交互系統以眨眼作為人機交互方式，系統將接收到的眨眼信號傳入圖形界面，圖形界面通過虛擬軟鍵盤實現輸出功能。患者雖喪失了語言功能和行動能力，但可以通過該交互系統實現眨眼打字，舒緩心理壓力。

關鍵詞：人臉對齊;人臉特征點檢測;眨眼識別;人機交互

【Abstract】InordertohelpALSpatientscommunicatewiththeoutsideworldeasily，thisresearchdesignsaman-machineinteractionsystemforALSpatients.Becausethepatientwilllosetheabilityofaction，thispaperdesignsaneyeblinkrecognitionalgorithm，whichcanrecognizethefacialmovementsofblinkinganddistinguishwhetherthereceivedblinksignalisconscious.Theinteractivesystemisequippedwithagraphicalinterface，whichhasbuilt-invirtualkeyboard，userscantypewithouthittingthekeyboard.Theinteractivesystemtakesblinkashuman-computerinteractionmode，andtheinteractivesystemcanreceivetheblinksignalandsendittothegraphicinterface.Meanwhile，thegraphicinterfacerealizesexpressionfunctionthroughvirtualkeyboard.Althoughthepatientlostthelanguagefunctionandtheactionability，theinteractivesystemcanhelpthepatientrelievethepsychologicalpressure.

【Keywords】facealignment;facelandmarkdetection;blinkdetection;man-machineinteraction

作者簡介：楊俊（2000-），男，本科生，主要研究方向：計算機視覺、人機交互。

0引言

到2020年，全球已有超過一百萬的“漸凍癥”患者[1]。研究可知，罹病患者由于神經損傷，喪失語言功能和行動能力，無法與外界交流以滿足自身需求，因此承受巨大的心理壓力和生理痛苦[2]。

為了能讓漸凍癥患者可以自主地與外界交流，本文為漸凍癥患者設計了一種人機交互系統，使用該系統患者將無需穿戴任何設備，只需面對攝像頭，通過眨眼與計算機交互，并通過圖形界面來完成打字輸出，輕松地實現與外界交流。

1交互方式的設計

由于漸凍癥患者隨著病情的加重會喪失語言和行動能力，所以無法通過控制手指敲擊鍵盤與計算機交互。患者通常只能控制眼睛的運動，因此有面向

漸凍人設計的人機交互系統是通過識別眼球來展開研究，將人眼眼球的位置作為輸入信號來與計算機進行交互[3]，但是這種交互方式存在一些不足。首先，計算機無法判斷輸入信號是否為患者有意識地交互，易造成誤判。其次，人眼眼球運動幅度較小，不易被計算機辨別，增加了交互難度。并且，患者的視線長時間注視在顯示器的同一位置，易造成視覺疲勞。

本次研究即以眨眼作為患者和計算機交互的方式，通過訓練面部標志模型，設計眨眼檢測算法和圖形界面，來實現人機交互。同時，眨眼檢測算法能夠辨別患者是否為有意識地眨眼，避免了誤判，提升了交互系統的穩定性，降低了操作難度。

2眨眼識別算法的研究

2.1人臉特征點檢測模型的選擇

為了能夠辨別患者是否眨眼，研究時需要有能夠識別人眼關鍵點的深度學習模型，關鍵點包括左側眼角關鍵點、右側眼角關鍵點、左側上眼瞼關鍵點、右側上眼瞼關鍵點、左側下眼瞼關鍵點以及右側下眼瞼關鍵點[4]，如圖1所示。過程中還要考慮到患者頭部姿態的改變對識別精確度的影響，該模型也要能夠克服頭部姿態所帶來的噪聲，因此深度學習的神經網絡模型采用深度對齊網絡[5]（DeepAlignmentNetwork）。深度對齊網絡的輸入為整張圖片，充分利用了人臉的全局信息，使得檢測人臉關鍵點時受頭部姿態的影響較小。深度對齊網絡每個階段均有3個輸入，分別是：被矯正過的圖片、關鍵點熱圖和全連接層生成特征圖。每個階段有一個輸出，是面部形狀。每階段的輸出要經過連接層轉換，得到下個階段的3個輸入。網絡結構示意圖如圖2所示。

同時，將圖片輸入全連接層，以線性整流函數作為激活函數，再進行上采樣，得到用于輸入的特征圖。

經過多層網絡迭代訓練，最終得到能識別人臉面部關鍵點的深度學習模型。經由分析可知，深度對齊網絡加入了關鍵點熱圖，神經網絡能以整張圖片作為輸入，提取人臉的全局信息，所以深度學習模型能夠較好地克服頭部姿態導致的干擾，識別效果如圖6所示。

2.2眨眼檢測算法的設計

在實現2.1節研發的基礎上，本文就能得到人臉中眼睛的6個關鍵點坐標，如圖7所示。

在患者閉眼時，關鍵點坐標會發生顯著變化，如圖8所示。

由于人臉與攝像頭之間的距離會影響圖片中2像素點之間坐標的差值[6]，因此通過計算出上下眼瞼關鍵點距離之和與左右側眼角關鍵點距離的比值[7]，來判斷人眼的狀態，令函數DR如下式所示：

3人機交互界面的設計

人機交互系統以眨眼作為人機交互方式，圖形界面均勻地排布著26個英文字母按鍵[8]，作為虛擬軟鍵盤的界面。并且加入了便捷按鍵，能夠直接在顯示框中輸出常用的交流短語，例如：“Iwanttodrinkwater”，“Iamhungry”等，以提升交互界面的使用便捷度，交互界面如圖11所示。

研究中為了降低患者使用該系統的復雜度，減少眨眼次數，圖形交互界面會先循環選中每一行字母按鍵，每行選中時停留3s的時間，若在停留時間內，圖形界面接受到眨眼輸入信號，則會退出行循環，開始循環選中該行中的每一個字母按鍵，每個按鍵選中時停留3s的時間，若在停留時間內，圖形界面接收到眨眼輸入信號，則輸出框中會出現選中的字母，并退出該行的字母按鍵循環。此時交互系統完成一次輸出，開始進行下一輪行循環，等待眨眼信號的輸入。

該圖形界面自動循環選中按鍵，不需要患者通過眨眼來操縱選中按鍵的位置，極大程度上減少了眨眼操作的次數。并且圖形界面先循環選中每行按鍵，患者確認某行按鍵后，再循環選中該行中的每一個字母按鍵，兼顧了眨眼交互的效率。

4結束語

本文提出了一種為漸凍人設計的有意識的眨眼交互系統。該交互系統采用眨眼作為人機交互的方式，并且患者的視線不需要長時間注視在屏幕上，提升了使用者的舒適度。漸凍癥患者可以通過眨眼來操控圖形界面的輸出框顯示出想要表達的內容，從而幫助其及時與醫護人員溝通，該人機交互系統具有一定的創新性和實際應用價值。

參考文獻

[1]BROWNRH，SWASHM，PASINELLIP.Amyotrophiclateralsclerosis[M].2nded.Florida：CRCPress，2006.

[2]劉曉陽.罕見病群體網絡社群的使用及其對心理健康的影響研究[D].廈門：廈門大學，2019.

[3]王浩沖，沈小鍵，賈磊，等.睿眼隨心—漸凍人腦電輔助交互系統[J].物聯網技術，2018，8（5）：13-14.

[4]張云，李嵐.基于級聯卷積神經網絡的人臉特征點識別算法實現[J].蘭州理工大學學報，2020，46（3）：105-109.

[5]朱富麗，楊磊，姬波.基于增強并行級聯卷積神經網絡的人臉檢測方法[J].計算機應用與軟件，2020，37（11）：101-105，111.

[6]黃琬婷，胡小平.一種基于張氏標定法的單目相機改進標定算法[J].導航與控制，2019，18（1）：105-111.

[7]余貴珍，牛歡，張艷飛，等.一種基于單目攝像頭的前向物體橫向距離標定方法：中國，CN109087361A[P].2018-12-25.

[8]董小龍，趙斯衎.基于手勢識別的人機交互技術的研究[J].電子制作，2020（19）：73-74，54.