基于眼部坐標提取算法的眼控智能眼鏡

謝超

（株洲長遠智造股份有限公司，湖南株洲，412000）

0 緒論

社會調查顯示，目前我國約有20萬“漸凍人”，目前該癥還無法根治，只能延緩痛苦和生存時間。患有漸凍癥的病者生活無法自理，事無巨細只能依靠外界的幫助，并且我國有肢體障礙和語言障礙的殘障人士不在少數。基于這一社會現實，結合我國蓬勃發展的物聯網技術，現開發出了一款眼控智能眼鏡，旨在為這部分特殊人群服務，做出實質性的公益幫助。本智能設備在外觀和功能皆考慮到使用者的身體狀況以及實際需求，研究出了一款后置式便攜式眼鏡，不僅能在智能手機、電腦PC端及智能家居三個平臺多方面應用，還擁有輔助性交互界面。

1 總體設計

本產品以智能家居為依托，融入了互聯網+和大數據的技術，能提供高精準的服務，該產品的設計由系統整體設計、硬件設計、手機APP設計、智能家居設計、電腦端設計等部分組成。

本系統中，使用者通過自己眼球的移動，來控制離自己很遠的聯網家用電器和智能手機端。

流程一：使用者通過眼球移動來發出指令，智能眼鏡上的攝像頭來捕捉眼球的動作，再通過眼鏡上的主控芯片，來判斷眼球的移動，進而得到使用者的指令。然后把獲取的指令通過藍牙模塊發送到智能手機端，通過操控手機端App，使用者就可以體驗到手機上便捷的服務。

流程二：使用者通過眼球移動來發出指令，智能眼鏡上的攝像頭來捕捉眼球的動作，再通過眼鏡上的主控芯片，來判斷眼球的移動，進而得到使用者的指令。利用zigbee通信發送到PC（電腦）端，PC端接受傳來的指令就執行相應的操作。比如模擬鼠標動作，瀏覽電子圖書，觀看視頻，玩休閑游戲等休閑活動。

流程三：使用者發送指令通過局域網服務器來控制的聯網家電，同時服務器就可以獲取使用者的指令代碼，分析這些數據，這樣就可以推測出使用者的生活習慣，使使用者不懂移動就可以操控身邊的智能家居電器。

流程四：使用者通過本產品可實現語音交流功能。通過眼動來控制光標的移動來輸入使用者的想要說的話，再通過語音轉換軟件來是實現使用者“說話”的功能。

2 硬件設計

圖2中所示的便是智能眼鏡的組成框圖，眼鏡上硬件主要包括搭載控制器的集成電路板、貼片藍牙模塊、數字攝像頭、液晶顯示屏和鋰電池，通過將這些部分組合起來，共同構建了一個智能眼鏡系統。

圖2 系統硬件設計圖

控制器采集數字攝像頭拍攝的人眼圖像，經過處理后得到眼球的坐標，從而達到實時追蹤人眼移動軌跡的效果。控制器再將眼球移動的信息以光標的形式顯示在液晶顯示屏上，液晶顯示屏上同時還會顯示出功能菜單，用戶可以通過轉動眼球來移動屏幕上的光標，從而實現功能選擇。控制器還可以通過藍牙向外部的模塊發送控制指令，以及接收一定的信息。智能眼鏡上的鋰電池用于為整個眼鏡供電。眼鏡上還設置了一個休眠按鍵，用戶可以通過按下此按鍵來使眼鏡脫離休眠狀態或者是進入休眠狀態，眼鏡上的控制器在大多數情況下是處于休眠狀態下的，以此來降低整個設備的功耗，增長了眼鏡的使用時間。

3 眼部坐標提取算法

由于裝置的操作與判定基于使用者的眼球坐標與運動軌跡，因此使用者眼球圖像的捕捉提取十分重要，準確高效的提取算法是整套系統穩定運行的關鍵。

如圖3所示，在眼部坐標提取流程上，首先由攝像頭捕獲使用者的眼部圖像，實時將圖像傳至主控芯片中；然后經過基本圖像處理，獲取出較為純凈的使用者眼部二值化圖像；最終通過中心計算，獲取并記錄實時使用者的眼珠中心點位置。至此系統便可獲得使用者眼部的實時坐標與運動軌跡，從而可進行后續相應判斷操作。

圖3 眼部坐標提取流程

進一步地，為避免使用者不清楚目前自己眼睛所處位置是否為自己的預期點，系統依據眼珠相對坐標實時在顯示模塊上繪制光標用以對使用者進行視覺上的反饋。這一設計可以提高使用者的操作感，極大的降低了誤操作的概率。

4 圖像處理流程

在眼部坐標提取算法中，圖像處理流程如圖4所示。主要流程為：灰度處理、濾波處理、邊緣檢測、中心識別。

圖4 圖像處理流程圖

(1)灰度處理：由攝像頭采集回來的為RGB格式彩色圖像，如圖5所示，圖上坐標為像素坐標示意。在系統應用中，色彩信息并不重要，并且會占據大量的存儲空間。因此首先需要將圖像進行灰度處理，去除顏色信息，僅保留灰度信息。這將使圖像簡化，改善畫質，提升圖像顯示效果，并有利于后續對圖像進行的運算處理。

圖5 捕獲的原始圖像

在RGB格式的彩色圖像中，每一個像素點都有R、G、B三分量數據，分別表示該點的紅色光、綠色光、藍色光的相對亮度。將某點的RGB分量轉換為灰度時，可以依據式1來進行計算。

但是在實際應用中，單片機進行的浮點運算是十分低速的，這不適宜在追求高效的環境下使用。因此，可以依據式2對其進行縮放來進行高效的整數運算。

對圖像中各點進行灰度計算后，便可將整體彩色圖像轉換為灰度圖像，如圖6所示。

圖6 灰度處理后的圖像

(2)濾波處理：圖像常常被強度隨機信號所污染，亦或稱作噪聲，這些噪聲的來源既有傳感器的電子噪聲，也有光斑噪點。一些常見的噪聲有椒鹽噪聲、脈沖噪聲等。

在進行邊緣檢測算法錢，要先對原始數據進行濾波處理。這樣，單獨的一個像素噪聲在經過平滑的圖像上將變得幾乎沒有影響。

在理想的平滑后的圖像上，各個像素的顏色不僅由自身決定，同時其周圍的像素亦會對其進行加權。從客觀上來看，則是減少了和周圍的像素的差異，同時這些權重的設定也滿足了越近權重越大的規律。而從理論上來看，這些權重的分布則滿足式3所示高斯分布。

式3中，x、y表示的就是當前點到對應點的距離。

在使用高斯均值濾波時，便可使用由式3特化而來的模板進行帶權平均濾波。這里采用的是三階模板，如式4所示。

在對圖6的圖像運用式4的高斯濾波器后，原圖像上的噪聲被平滑、剔除，得到的圖像如圖7所示。

圖7 濾波處理后的圖像

可以看到，相比圖6，在圖7中尖銳的噪聲信號被移除，單獨的邊界干擾（如睫毛）被平滑處理。這些干擾被濾除后，則為后續的邊緣檢測做好了鋪墊。

(3)邊緣檢測：圖像的邊緣是圖像的最基本特征。所謂邊緣，是指其周圍像素灰度有梯度變化的那些像素集合。在灰度圖像中，物體的邊緣是由灰度不連續性所反映的。

能夠高效、快捷且簡單的提取出圖像的邊緣是所需要的，因此采用邊緣檢測局部算子法，考察圖像的每一個像素在某個領域內的灰度變化，利用了邊緣鄰近一階或二階方向導數變化規律。

現有諸多的學術以及參考論文提出了許多的邊緣檢測算子，如Sobel算子、Prewitt算子等。但是本裝置上需要高效快捷的提取出使用者的眼珠坐標，過于復雜的算子雖然效果令人滿意，但是不免太過累贅。在多次的實驗比較后，采用Roberts算子進行邊緣檢測。Roberts算子采用對角線方向相鄰兩像素之差近似梯度幅值進行邊緣檢測，其實現簡單，效益比高，邊緣檢測的結果適宜裝置上使用。

Roberts模板是用斜向上的4個交叉差分定義的，即如式5所示：

對圖7應用式7與式8的Roberts交叉算子模板，進行邊緣提取后，結果如圖8所示。可以看出，眼部圖像的邊緣大部分已被完好的提取出來。由于圖7在進行邊緣檢測之前已經過濾波，雖然Roberts算子對噪聲敏感，但實際應用上效果可觀。

圖8 邊緣檢測后的圖像

(4) 中心識別：在經過前述圖像處理流程后，圖像數據已變得十分單純。灰度值上，高值點為邊緣，圖像上的體現便是白色；低值點為非邊緣部分，圖像上的體現便是黑色。接下來所要做的便是進行使用者眼部眼珠部分的中心提取。人眼珠近似為一圓形，在圖像處理上可以使用經典的Hough變換來檢測圓。

在二維空間上使用Hough變換來檢測圓時，一般采取如圖9所示的流程來進行檢測。

圖9 Hough變換檢測圓形流程

算法依次掃描輪廓中各點，設該點為擬想圓心，在三維參數空間內，以該點為xy平面上圓心點，而以變量半徑作為z軸。依此，便可以構造出一個圓錐模型，接下來則計算其余各輪廓點到達當前擬想圓心的距離，在圓錐模型上進行映射。掃描完全部輪廓點后以契合度最高的擬想圓心為實際圓心，契合度最大的半徑則作為該圓的半徑，依此構造出圓形。

但是在實際應用中，標準Hough變換耗時長，內存空間要求高，因此必須對其進行優化。

由于人眼眼珠大小差別較小，因此可以限定三維參數空間中半徑的有效范圍，減少算法迭代次數。同時對于圖像在進行Hough變換檢測前，先進行一次腐蝕、高斯濾波處理，可減少無用擬想點，降低復雜度。經過上述處理和Hough變換后，便可以得到圖像中使用者的眼珠中心坐標。當使用者眼部運動時，其眼珠中心坐標便能被實時記錄。檢測得到的圖形與圓心如圖10所示。

圖1 系統整體設計

圖10

5 手機端設計

用戶使用智能眼鏡，通過眼睛的移動來發出指令，通過搭載在控制平臺的藍牙模塊，與手機app進行通信。手機端接收到終端發出的指令，并即時的執行，來響應用戶的需求，這樣就可以實現電子圖書的閱讀等簡單的工作。

圖11 設備協議棧

根據本產品要實現的功能，需要設置我們需要的部分協議，我們定義自己的協議族為：基帶協議、連接管理協議（LMP）、邏輯鏈路控制和適配協（L2CAP）、服務發現協議（SDP）等。在以上基本核心模塊下，本系統使用以下協議模式。

注意：此模式下，語音數據流不經過L2CAP層而直接接入基帶協議層。

6 總結

本智能設備出發點是服務社會、給予特殊人群實質性的幫助。在經過線上數據論文研究、實地調查和分析之后，從而設計裝置的外觀、功能，再一步步進行優化。

本智能設備是基于目前殘障人士的現狀和實際需求開發的具有多樣性功能的一款眼控智能眼鏡。設備開發的智能穿戴裝置是并不需要依靠外物進行復雜連接的，在手機、電腦以及智能家具三個方面都同步開發了相應的app,電腦接口和zigbee模塊，在任意智能手機、電腦、智能家居都能應用。