基于圖像識別的遠程控制實驗系統開發與實現

范光宇 曾祥緒 方草

摘要：新冠肺炎疫情的爆發對大學傳統課程教學帶來了很大挑戰，很多課程教學方式由原來的線下教學轉為在線教學方式，但很多實驗課程特別是硬件實驗課程的在線教學中難以完成硬件動手實際操作，給實驗教學帶來很大困難，在線教學和虛擬仿真實驗教學的教學質量難以控制。本文針對電子信息類專業課程的硬件實驗教學，利用互聯網和圖像識別技術，開發了基于遠程控制方式的遠程控制硬件實驗系統，并用于電子信息類專業硬件實驗教學。通過實驗驗證，本實驗系統功能齊全，操作靈活，運行穩定，有助于學生進行遠程操作實驗，掌握實驗原理和操作過程，提高了實驗教學效果。

關鍵詞：電子信息類，遠程控制實驗教學，圖像識別，遠程實驗系統

1、緒論

2020年，一場突如其來的新冠肺炎疫情，給人們的生產生活帶來了很多變化，也給傳統課堂教學帶來了新的挑戰，很多課程教學不得不從線下轉為在線方式進行[1]，而硬件實驗課程由于有硬件動手實操，很難采用在線實驗進行。為了解決這個問題，很多專家學者、教師和工程技術人員提出了各種電子信息類、計算機類實驗課程教學系統、在線教學方法、線上線下混合實驗教學方法。

文獻[1]針對新冠肺炎疫情“停課不停學”的教學需求，利用在線教育平臺和嵌入式系統的專業虛擬仿真軟件，提出了針對嵌入式系統線上線下混合教學模式，提高了嵌入式系統線上教學效果。文獻[2]提出了一種新的硬件類課程實驗的教學方法，該方法通過遠程硬件實驗云平臺來完成學生實驗操作，學生還能通過平臺提供的智能問答系統、教師在線輔導等方式獲得幫助。文獻[3]針對《計算機組成原理》這一課程提出了線上線下混合硬件實驗教學的想法，學生通過虛擬平臺完成線上預習、線上測評以及復習，用實驗箱完成線下操作。這些方法雖然在線上線下混合教學上取得了一定的效果，但是在硬件實驗方面上存在一下兩個問題。一個問題是，雖然提出了線上硬件實驗這個想法但是并沒有具體的實現方案;另一個問題是，我只是通過軟件仿真來達到遠程控制硬件實驗的目的，試驗箱的使用我們仍然是在實驗室完成。

為了解決以上問題，特別是保證在線實驗教學也能使用實驗箱完成硬件實驗的問題，我們設計開發了遠程控制硬件實驗系統。

2、實驗教學系統

本遠程控制實驗系統主要包括以下功能：遠程操作與學校實驗室統一配備的現有實驗箱相連的電腦進行編程、仿真操作;遠程操作實驗箱進行按鍵、撥碼等實操動作;遠程視頻觀察硬件試驗箱LED指示、顯示屏等外設表現;同學老師遠程控制視頻觀摩實驗。

本實驗教學系統主要以Python為源代碼并結合開源模塊庫開發，系統界面可分為學生端和教師端兩個客戶端。本項目自主編程來實現實時遠程控制師生教學、可視化音像交互實驗，完成了機械動態定位功能、實時錄像錄音功能、個性化定制實驗功能等。

本遠程控制實驗系統總體上包括硬件子系統和軟件子系統兩個子系統，下面分別介紹具體兩個子系統的結構和功能。

2.1系統硬件結構

本遠程控制實驗系統硬件結構包括硬件控制、圖像采集和圖像傳輸等主要部分，硬件控制部分使用一個xyz滑臺，在滑臺下方放置實驗箱，利用固定在z軸的頂針完成按鍵操作，在滑臺的側方放置一個攝像頭。該攝像頭可以獲取實驗箱實時影像，保證實驗者、同組成員可對實驗進行實時觀察、觀摩，也可保證教師對學生的實驗操作進行實時觀察，有利于教師了解學生實驗操作情況并進行考核。

2.2系統軟件結構

本遠程控制實驗系統的軟件子系統采用客戶端和服務端兩個部分，其中客戶端包括學生端與教師端兩個版本。教師端的權限大于學生端，在教師端可以實現滑臺在限位許可條件下x、y、z三個方向的任意移動，能夠設置固定按鍵，設置限位保護，機械臂的使用權限;學生端的權限就小于教師端，只能通過教師設置的按鍵來實現機械臂的移動。學生端還可以進行截圖以及錄像的操作來完成實驗內容的證明。

2.3系統功能模塊

模塊1：xyz移動模塊

教師在界面更改目標位置信息，確定目標位置后，系統會檢查機械臂是否連接正常，如果連接正常判斷機械臂的當前位置與目標位置是否相同，若不相同，則使用G代碼使得機械臂通過絕對路徑方式移動至目標位置。

模塊2：按鍵模塊

按鍵模塊包括添加添加按鍵、刪除按鍵、按鍵測試以及按鍵點擊。添加按鍵則是將此時的位置信息添加至按鍵列表信息中，刪除按鍵同理;按鍵測試則是測試機械臂z軸移動能否實現按鍵的點擊;按鍵點擊則是點擊按鍵使得機械臂在任意位置能到達按鍵所在位置并完成點擊。

3、遠程在線實驗方法

遠程在線實驗教學通過軟件遠程操控置于實驗室與實驗箱相連的電腦，教師先在教學平臺上傳實驗操作視頻，使學生對軟件以及實驗有一定的了解。小組成員在課前交流實驗操作，實驗過程中只能根據教師發放的實驗指導書操作，不得播放實驗視頻，教師在學生進行實驗過程中觀察不同小組學生的實驗操作。教師還在實驗報告中添加關于實驗的思考題，學生將答案置于實驗報告中上傳教學系統。

4、總結

本文針對電子信息類專業實驗教學特點，充分利用互聯網、圖像識別等信息技術，設計開發了遠程控制實驗教學系統。該系統將線下傳統實驗教學移植到遠程控制實驗教學，系統將硬件實驗課程只能通過教師錄制的視頻講解的教學方式轉化成學生和教師均能在遠程控制完成硬件實驗，不受場地與時間的限制。教師端與學生端的不同使得本系統更加貼合實際使用，也使儀器損壞的可能性降低。本實驗系統能為教師教學和學生學習帶來更大的便利，提高遠程控制實驗教學效果。

參考文獻：

[1]張宏偉，王海星，郭建鋒，王新環.基于騰訊課堂和虛擬仿真技術的嵌入式系統遠程控制教學[J].實驗技術與管理，2020，37（12）：170-174.

[2]章復嘉，孫丹鳳，趙建勇，林菲，李二濤.一種計算機硬件類課程實驗教學方法[J].實驗室研究與探索，2019，38（05）：151-154.

[3]張海英.《計算機組成原理》硬件實驗線上線下混合教學模式探討[J].電腦知識與技術，2020，16（23）：103-104.