基于柔性傳感器的手勢識別神經網絡智能手套的研究

摘 要 本文提出一種基于柔性傳感器陣列的手勢識別智能手套。目前，手勢識別無論是在結構設計、制備及后續算法等方面都得到了廣泛的研究。在此背景下，為了獲得更好的用戶體驗，降低手勢識別的成本，我們提出了一種柔性傳感器陣列的手勢識別手套。該手勢識別智能手套包括柔性傳感器陣列、LABVIEW采集和處理電信號系統、神經網絡識別。柔性傳感器陣列包括基底、形變敏感層、電極和封裝層，采用聚二甲基硅氧烷、氫化苯乙烯-丁二烯嵌段共聚物、鉑催化硅橡膠、聚酰亞胺、聚對苯二甲酸乙二酯中的一種或多種為基底和封裝層，形變敏感層則為離子凝膠，電極通過導線引出;LABVIEW的模擬通道、外置的數據采集卡以及PCB電路板作為采集和處理電信號系統。

關鍵詞 手勢識別;柔性傳感器陣列;LABVIEW信號采集;神經網絡

1背景

本文的研究內容是利用柔性傳感器陣列并結合人工智能算法，實現集感知與識別一體的基于柔性傳感器陣列的手勢識別智能手套的制備，實現手勢的實時識別。國內外的研究多是采用視覺方式來進行手勢識別。Mohidul Alam Laskara等人提出了一種基于前向和后向運動的手勢檢測方法。該方法基于立體視覺，采用基于視差圖的質心運動及其強度變化作為特征，以條件隨機場（CRF）為分類器對姿態進行識別[1]。Dipak Kumar Ghosh提出了一種靜態手勢識別方法，克服了手勢圖像的光照、旋轉、大小和位置變化等問題，該工作利用同態濾波和灰度世界技術補償手勢圖像的光照變化，提出了一種圖像旋轉技術，使分割后的手勢旋轉不發生變化[2]。Han Zhao Zhu 等人為了解決手勢識別系統基于固定位置，無法隨時隨地使用的問題，提出了一種基于固定在用戶腰部的圖像采集帶的手勢識別方法，以提高用戶的友好性，獲取穩定的手勢信息[3]。目前基于視覺的手勢識別，需要高精度的攝像頭，成本要求高，且條件苛刻，要求手勢識別過程中不能出現遮擋情況，因此，在人機交互領域的應用仍受到一定的限制。近幾年，隨著柔性可穿戴傳感器的發展（靈敏度高、生物兼容性好、制備方便、成本低廉），其人機交互領域中顯示了潛在的應用前景。它可以為聽力受損者開發助聽器、使非常年幼的兒童能夠與計算機進行互動、觀察患者的情緒狀態或壓力水平，它還能在虛擬環境中導航或操作、視頻會議通信、遠程教學，應用十分廣泛。所以，本實驗旨在設計一種集信號感知與智能識別為一體的智能手套，實現一種新型的人機交流方式，推動人機交互的發展。

2結果與討論

2.1 手勢識別系統的總體設計方案

本文結合柔性傳感器陣列與人工智能算法，提出了一種集信號感知與智能識別為一體的智能手套，以期實現對不同手勢的感知、識別。通過該項目的工作，推動人機之間的交流，減少人們在人機交互過程由于對外在設備存在排斥而產生的抵觸情緒。

本課題實施具體步驟如圖1所示：

制備基于高導柔性凝膠基的高靈敏傳感器陣列并固定于手套上;

智能手套電信號的采集，并對手勢變化引起的微弱電信號進行放大、去噪處理;

利用LABVIEW模擬通道獲取電信號，并將電信號轉化為數組形式;

通過LABVIEW判定結構進行程序識別。

本設計方案將傳感器感知與智能識別相統一。LABVIEW信號的采集與判定結構的程序識別相結合，實現感知與識別的一體化。利用柔性可穿戴傳感器靈敏度高、生物兼容性好、制備方便、成本低廉的優點，結合模板匹配技術，成功識別手勢。

2.2 柔性傳感器陣列

柔性傳感器陣列包括基底、形變敏感層、電極和封裝層，采用聚二甲基硅氧烷、氫化苯乙烯-丁二烯嵌段共聚物、鉑催化硅橡膠、聚酰亞胺、聚對苯二甲酸乙二酯中的一種或多種為基底和封裝層，形變敏感層則為離子凝膠，電極通過導線引出，制備過程如圖2所示。

本文使用的柔性傳感器具有良好的穩定性，圖3（a）是傳感器拉伸0～100%狀態下電流電壓變化圖像，傳感器每隔10%拉伸量記錄一次電流隨電壓變化趨勢，由圖可知，拉伸量一定時，電流基本與電壓成正比關系，表明傳感器內部電阻穩定，不易受溫度等外界環境干擾。本文使用的傳感器不僅具有良好的穩定性，還有很高的靈敏度。圖3（b）是傳感器截取2V工作電壓時電流隨拉伸的變化圖像，圖中可知，拉伸量越大，電阻通過傳感器的電流越小，根據歐姆定律

可知，電流減小，電阻增大。圖3（c）是傳感器的電阻變化率隨拉伸的變化圖像，根據靈敏度系數計算公式，

（1）

（2）

其中，為靈敏度系數靈敏度，為電阻變化率，為形變量，為拉伸率。

由公式（1）、（2），靈敏度系數為106，表明該柔性傳感器具有高靈敏度。圖3（d）是傳感器拉伸50%的電信號，隨著時間推移，傳感器每拉伸一次，在極短的時間內就會產生非常明顯的電信號，根據圖中紅色虛線所轄時間范圍，響應時間為5ms左右。拉伸多次后，電壓峰值一直穩定在2.0V左右，具有較高的穩定性能。

總之，本文使用的離子液體傳感器靈敏度高、穩定性強、生物兼容性好、制備方便、成本低廉，能很好地貼附在人體皮膚上，而且，還具有一定的透明度，是成功檢測電信號的基礎。

2.3 手套的信號采集

本文搭建LABVIEW信號采集系統，獲得手勢識別過程中的電信號數據。

首先，搭建LABVIEW信號采集系統，通過外設的數據采集卡獲得各個手勢的電信號，如圖4所示。然后將柔性傳感器陣列貼附于手套上，通過不同手勢帶動手指運動，進而引起電信號的變化，通過這些電信號，即可實現對手勢的識別。見圖5。

2.4 手套的智能識別

本文采用的判別方式，是基于神經網絡判定的手勢識別。通過LABVIEW將電信號陣列轉換為數字信號，向嵌套的神經網絡的輸入層實時導入數字信號。通過中間層加權取值，建立迭代函數，再通過神經網絡的迭代訓練，優化迭代函數，通過輸出層返回對應的“0-9”手勢的判斷（如圖6）。

3結束語

本文結合柔性傳感器陣列與人工智能算法，提出了一種集信號感知與智能識別為一體的智能手套，以期實現對不同手勢的感知、識別。通過該項目的工作，推動人機之間的交流，減少人們在人機交互過程由于對外在設備存在排斥而產生的抵觸情緒。

參考文獻

[1] Mohidul A L，Amlan J D，Anjan K T，et al. Stereo Vision-based Hand Gesture Recognition under 3D Environment[J]. SECOND INTERNATIONAL SYMPOSIUM ON COMPUTER VISION AND THE INTERNET，2015（58）：194-201.

[2] Ghosh D K，Ari S . On an algorithm for Vision-based hand gesture recognition[J]. Signal Image and Video Processing，2016，10（4）：655-662.

[3] Zhu H Z，Bo Y K，Xue Z L，et al. Gesture Recognition Based on the Image Acquisition Belt[J]. Journal of Physics：Conference Series，2018（1087）：62016.

作者簡介

陳龍飛（1998-），男，江蘇揚州人;現就讀學校：蘇州大學，本科在讀，研究方向：機械電子。