手勢識別車載人機交互系統虛實結合實驗教學項目研究與實踐

馬學條，陳 龍，程知群，牛小燕，楊 柳，鄭雪峰

手勢識別車載人機交互系統虛實結合實驗教學項目研究與實踐

馬學條，陳 龍，程知群，牛小燕，楊 柳，鄭雪峰

（杭州電子科技大學 電子信息技術國家級虛擬仿真實驗教學中心，浙江 杭州 310018）

將手勢識別車載人機交互系統虛實結合實驗教學項目引入到數字電路實驗教學中，設計了基礎實驗、能力提高和延伸拓展3層次、遞進式實驗任務。虛實結合實驗教學項目面向電子信息類學生開放，在培養學生設計復雜數字系統能力方面取得了一定成效。

圖像處理；手勢識別；虛實結合；教學改革

在國家創新驅動發展戰略大背景下，如何培養本科生的工程實踐和創新能力已成為近年來工科高校教學改革的主旋律。然而，國內多數高校數字電路實驗教學仍停留在幾十年一貫制的基于74系列器件進行驗證性實驗設計的傳統教學階段，使學生以較低的起點和過窄的視野去面對大量與之緊密聯系的后續課程學習，不利于學生工程創新能力的培養[1]。傳統數字電路實驗教學的下列不足越來越凸顯：

（1）實驗教學以驗證理論知識為主，采用中小規模集成門電路進行邏輯設計，實驗項目對知識的深度與廣度要求缺少層次，缺乏分析研究的空間；

（2）教學內容涉及的實驗項目彼此孤立，大都圍繞課本知識點而設置，缺少學科間的交叉融合，脫離工程實際，使學生在遇到實際工程問題時感到不知 所措；

（3）現有實驗教學與實驗管理滯后于信息技術發展，實驗教學模式單一，忽視學生能力的培養和達成，難以適應現代社會發展的需要。

基于上述情況，我校數字電路課程組教師將虛實結合實驗教學項目“手勢識別車載人機交互系統”引入到數字電路實驗教學中。團隊教師以實驗項目為載體，以解決復雜工程問題為軸心，落實產出導向（outcomes-based education，OBE）教學理念，將工程創新能力培養貫穿實驗的各個環節，著力培養學生“大工程”觀念，提高學生綜合解決復雜工程問題的能力[2]。

1 項目建設思路

將虛擬仿真技術應用于數字電路實驗教學，建設虛擬仿真軟件資源和虛實結合的實驗項目，將仿真實驗融于實驗教學，以解決實驗實施中面臨的條件、時間、成本等方面難題。虛實結合的實驗教學對于探索教學新模式、培養與現代社會發展相適應的工程創新型人才具有重要意義[3]。“手勢識別車載人機交互系統”虛實結合實驗教學項目的建設主要圍繞以下3方面展開。

1.1 突破傳統數字電路實驗教學中的時空局限

鑒于數字電路實驗受到器材、課時數和場地等制約，依托我校國家級虛擬仿真實驗中心，基于FPGA設計開發“手勢識別車載人機交互系統”虛擬仿真實驗教學項目，學生可通過網絡在線完成手勢圖像噪聲濾除的仿真設計，使實驗教學突破了時空限制，實現了“處處能學、時時可學”的泛在化學習[4]。

1.2 基于工程背景設計多學科交叉融合教學項目

基于項目背景工程性和實驗過程探索性，設計開發多學科交叉融合的“手勢識別車載人機交互系統”實驗。實驗教學項目將數字電路、模擬電路、高等數學、人工智能、信號處理等課程內容進行了實質性的交叉和融合。隨著實驗進程推進，學生不僅要理解各課程的核心知識，還要掌握解決實際工程問題所需的實驗技能，拓展學科視野，培養工程實踐能力、創新能力和團隊合作能力，提升專業素養和創新素養。

1.3 根據教學進程設置3層次遞進式實驗任務

根據實驗教學進程及由淺入深、由點到面的認知規律，將實驗教學項目設置為基礎實驗、能力提高、延伸拓展3層次遞進式實驗任務。基礎實驗任務為基于FPGA進行手勢信號采集的仿真設計，注重基本實驗知識及技能的運用；能力提高任務為根據仿真數據選取合適的圖像噪聲濾除方式，讓學生掌握二值形態學和連通域分割的圖像處理方案；延伸拓展任務為結合實物平臺進行車載人機交互系統的硬件測試與方案優化，降低系統對硬件指標的要求，培養學生成本控制意識[5]。

2 項目內容設計

本虛實結合實驗教學項目包括手勢圖像噪聲濾除的仿真設計和人機交互系統硬件平臺性能優化2部分。學生根據仿真數據進行多因素敏感性分析，選取較佳的二值形態學和連通域分割方案；通過實驗室搭建的硬件平臺進行實際實驗測試與研究，提高手勢識別的準確度和靈敏度；實現仿真數據指導實際實驗、實際實驗驗證仿真數據的閉環設計流程[6]。

2.1 實驗原理

如圖1所示，手勢識別車載人機交互系統包括攝像頭采集模塊、異步FIFO模塊、SDRAM模塊、形態學運算模塊、連通域分割模塊、手勢庫建立及匹配模塊等。

通過IIC配置攝像頭，使其將采集到的8位特定分辨率信號轉化為RGB565格式的16位信號；將每16位的像素通過FIFO緩存，然后存入SDRAM；再將每個像素從RGB565轉成RGB888格式；預處理后的手勢圖像經中值濾波、形態學運算、連通域分割等提取有效的手勢命令，經手勢庫匹配運算轉換為系統控制指令，實現手勢圖像對人機交互系統的控制[7]。

手勢圖像噪聲濾除中涉及膨脹、腐蝕、開、閉等運算，其數學模型及FPGA設計實現如下，其中A為輸入的手勢圖像，B為結構元素。

（1）膨脹運算數學模型為：

（2）腐蝕運算數學模型為：

（5）3×3結構元素FPGA設計為：

reg [0:0]window11; reg [0:0]window12; reg [0:0] window13;

reg [0:0]window21; reg [0:0]window22; reg [0:0] window23;

reg [0:0]window31; reg [0:0]window32; reg [0:0] window33;

（6）膨脹運算FPGA設計為：

corrosion1<=window11 | window12 | window13;

corrosion2<=window21 | window22 | window23;

corrosion3<=window31 | window32 | window33;

（7）腐蝕運算FPGA設計為：

corrosion1<=window11 & window12 | window13;

corrosion2<=window21 &window22 | window23;

corrosion3<=window31 & window32 | window33;

閉運算為先執行膨脹運算再執行腐蝕運算；開運算為先執行腐蝕運算再執行膨脹運算；腐蝕運算和膨脹運算不能同時執行。

2.2 實驗任務

手勢識別車載人機交互系統3層次遞進式實驗任務，如圖2所示。

圖2 手勢識別車載人機交互系統實驗任務

基礎實驗任務。完成圖像采集模塊、存儲模塊、VGA顯示模塊等設計。使用OV5640攝像頭進行手勢圖像采集，在完成攝像頭的上電時序后，FPGA通過IIC配置寄存器，完成RGB565格式和1024×768像素分辨率的配置。存儲模塊需要2個FIFO（記為FIFO1和FIFO2）以及SDRAM模塊；FIFO1負責緩沖來自攝像頭采集的像素，然后交給SDRAM緩存；FIFO2負責接收來自SDRAM的像素信號，然后輸出到VGA顯示； SDRAM模塊需要完成初始化、刷新、寫操作、讀操作等設計。VGA顯示模塊中分辨率為1024×768像素，在顯示過程中，需要對幀同步信號、行同步信號以及相關時序參數進行描述。

能力提高任務。完成結構元素、形態學運算、連通域分割等設計。結構元素采用×矩陣因子對手勢圖像執行單次腐蝕運算，分析不同類型矩陣因子達到的噪聲濾除效果和占有的邏輯資源，針對手勢圖像設計合適類型的結構元素。形態學運算設計中，采用腐蝕、膨脹、開、閉等運算對手勢圖像執行單次或多次組合運算，歸納和分析各形態學運算的特點及適用條件，尋找為達到更好的噪聲濾除效果所需的形態學運算方案。連通域分割模塊設計中，采用2×3行緩存方式對手勢圖像進行逐點掃描，根據手的面積和手勢包圍盒邊長的大小進行手勢圖像判斷，標記并分割出有效的手勢圖像[8]。

延伸拓展任務。根據仿真數據及噪聲濾波效果，進行多因素敏感性分析，總結手勢圖像噪聲去除效果的變化規律，尋找較佳的圖像處理方案。根據手勢圖像的特征值建立手勢指令控制庫，并結合車載人機交互系統硬件平臺，進行手勢識別準確度和靈敏度測試，實現人機交互系統的性能優化。

2.3 實驗結果

數字電路課程組教師采用“實驗慕課”和“翻轉實驗室”的方法，把課內實驗變革為自主開放模式，讓學生自行思考和分析項目的實施進程。學生按實驗任務完成仿真設計和硬件測試，記錄手勢圖像噪聲濾除過程中涉及的仿真數據和圖形，并結合硬件測試效果探究各參數間的影響規律[9]。

系統采用OV5640攝像頭進行手勢圖像采集，圖像經不同的處理方案得到不同的噪聲濾除效果，其仿真結果如圖3所示。學生在進行結構元素設計、形態學運算、連通域分割時，需從消耗的邏輯資源、占用的存儲空間、噪聲濾除效果等多方面進行綜合考慮，給出較佳的圖像處理方案[10]。

(a) 攝像頭采集的原始手勢圖像(b) 3×3結構元素單次腐蝕運算 (c) 7×7結構元素單次腐蝕運算(d) 7×7結構元素先腐蝕再閉運算

選用Altera公司的Cyclone V開發板為核心控制單元進行硬件平臺搭建，包括攝像頭模塊、雨刮器模塊、音響模塊、顯示模塊、LED燈模塊等。學生可使用石頭、剪刀、布、大拇指等特定的手勢及手勢組合完成車載人機交互系統的遠程控制，如表1所示。

表1 手勢動作與對應的控制功能

完成手勢圖像噪聲濾除仿真設計后，在Quartus Ⅱ仿真軟件中對頂層電路的輸入、輸出信號進行引腳鎖定，編譯生成.sof文件，下載到硬件平臺進行控制功能驗證。

3 項目實施情況

“手勢識別車載人機交互系統”虛實結合實驗教學項目是面向電子、通信、自動化等專業學生。不同于傳統的實驗教學項目，該項目以多學科交叉融合的工程項目為背景，通過3層次遞進式實驗任務激發學生創新意識，可以提高學生設計復雜數字系統的能力[11]。表2為虛實結合實驗教學和傳統數字電路實驗教學在實驗模式、實現方式、設計能力等方面的對比情況。

表2 虛實結合實驗教學與傳統實驗教學對比情況

學生通過虛擬仿真設計、多因素敏感性分析、設計方案優化、硬件平臺測試等實踐環節，提高工程實踐能力和參與學科競賽的積極性[12]。經數字電路實驗課程培養的學生，近3年獲各類學科競賽國家級、省級獎勵47人次，發表論文18篇，授權專利17項，主持國家級、省級創新創業計劃23項。

4 結語

基于虛實結合實驗教學，課程組教師對我校數字電路實驗進行了系列改革研究。在保證教學成效和不減少必備的基礎知識教學前提下，將傳統數字技術與現代數字技術進行了有機融合，在實驗課程中引入基于FPGA設計的虛實結合實驗教學項目[13]。該教學改革模式已在我校實踐多年，具有如下特點：

（1）將虛擬仿真技術深度應用于實驗教學，學生通過云端服務器遠程調用仿真軟件，完成車載人機交互系統仿真設計，打破了時空限制，豐富了教學手段；

（2）實驗教學項目基于工程背景，融合多學科知識點，教學模式由單一的實驗技能訓練向創新能力素養培養轉變；

（3）采用基礎實驗→能力提高→延伸拓展3層次遞進式的實驗教學任務，因材施教，逐步提高學生分析、解決實際工程問題的能力。

[1] 潘松，陳龍，黃繼業.數字電子技術基礎[M].北京：科學出版社，2014.

[2] 陳龍，牛小燕，馬學條.現代數字電子技術基礎實踐[M].北京：機械工業出版社，2017.

[3] 祖強，魏永軍，熊宏齊.省級在線開放虛擬仿真實驗教學項目建設探討[J].實驗技術與管理，2017, 34(1): 153–157.

[4] 馬學條，程知群，鄭雪峰，等.電子信息技術虛擬仿真實驗教學平臺的建設與實踐[J].實驗技術與管理，2018, 35(11): 130–133.

[5] 劉峰，石永軍. OBE理念下機械創新設計實踐課程教學研究與實踐[J].實驗室研究與探索，2018, 37(10): 196–200.

[6] 牛彥杰，于愛榮，張東戈，等.面向創新思維的探究式教學方法探索與實踐[J].大學教育，2015(11): 41–43.

[7] 馬學條，程知群，陳龍.數字電路虛擬仿真實驗教學改革研究[J].實驗技術與管理，2018, 35(10): 121–124.

[8] 賈永霞.創新性實驗教學的探究與實踐[J].實驗室研究與探索，2018, 37(12): 206–208.

[9] 馬學條，陳龍.基于虛擬仿真技術的數字電路實驗教學探索[J].實驗技術與管理，2016, 33(10): 127–129.

[10] 王心剛，賀利，張冬至，等.電工電子學課程研究性實驗教學模式改革與實踐[J].實驗室研究與探索，2017, 36(4): 188–191.

[11] 張建良，盧慧芬，趙建勇，等.跨學科綜合性實驗平臺的探索與設計[J].實驗技術與管理，2017, 34(1): 194 –197, 216.

[12] 馬學條.數字電路實驗課程小班化虛擬仿真教學的探索[J].杭州電子科技大學學報（社會科學版），2016, 12(6): 64–67, 71.

[13] 陳龍，郄小美，馬學條.數字電子技術綜合性虛擬仿真實驗教學改革研究[J].實驗室研究與探索，2017, 36(5): 110–113.

Research and practice on experiment teaching project of combining virtuality and reality in gesture recognition vehicle human-computer interaction system

MA Xuetiao, CHEN Long, CHENG Zhiqun, NIU Xiaoyan, YANG Liu, ZHENG Xuefeng

(National Virtual Simulation Experimental Teaching Center of Electronic Information Technology, Hangzhou Dianzi University, Hangzhou 310018, China)

With the introduction of the experiment teaching project of combination of virtual and real of gesture recognition vehicle human-computer interaction system into digital circuit experiment teaching, the three-level and progressive experiments tasks for the basic experiment, ability improvement and extension are designed. The experimental teaching project of combining virtuality with reality is open to students of electronic information, which has achieved some results in training students’ ability to design complex digital systems.

gesture recognition; image processing; combination of virtuality and reality; teaching reform

G642.423

B

1002-4956(2019)10-0183-04

2019-02-15

浙江省高等教育“十三五”第一批教學改革研究項目（jg20180101）；杭州電子科技大學實踐類教學改革項目（sjkg201805）

馬學條（1984—），男，浙江溫州，碩士，實驗師，研究方向為數字電子技術教學與研究、嵌入式系統設計與應用。E-mail: mxt@hdu.edu.cn