結合機器視覺課程案例（庫）建設提升研究生課程教學效能

王福斌 曾凱 張瑞成 陳波

[關鍵詞]專業學位研究生;案例（庫）建設;機器視覺課程;實踐技能

機器視覺課程作為控制科學與工程及控制工程學科的專業學位課，是一門實踐性極強的課程，要求學生在掌握基本的數字圖像處理理論的基礎上，利用計算機視覺技術解決實際與圖像、視覺相關的工程技術問題。隨著感知技術的多元化，尤其是智能感知技術的發展，基于視覺的識別、測量技術得到了重視，如在機器人視覺伺服控制領域、生產線瑕疵產品檢測領域、人臉識別安全監測領域等，機器視覺技術都扮演著越來越重要的角色。在研究生課程學習階段引入機器視覺案例教學，將理論知識與工程實際案例相結合，不僅可加深學生對課程理論知識的理解，更能讓其掌握將所學的理論知識應用于實踐的技能，為學生在研究生課題研究階段解決實際問題能力的提升打下基礎。

《教育部關于做好全日制碩士專業學位研究生培養工作的若干意見》（教研〔2009〕1號）闡明了開展專業學位碩士研究生教育的必要性，為培養社會緊缺的應用型、技能型專門人才給出了指導性建設原則[1]。各高校對研究生課程教學案例庫建設投入了較大的力量進行研究和建設，并取得了積極成果;圍繞專業學位研究生教育對案例資源庫建設的案例選擇、整理與優化以及案例資源庫案例的實踐與應用進行了大量研究[2]，從師資培訓、教學內容調整、案例庫建設、課程組織實施和教學評價等方面對案例建設與研究生培養進行探索[3]。案例式教學模式在研究生培養效果提升方面的作用日益顯現，對專業學位研究生培養的應用效果顯著，對提高研究生綜合能力，讓其更好地適應將來的工作具有積極的意義[4]。

一、機器視覺課程典型工程案例（庫）建設總體方案

為深化專業學位研究生培養模式改革，提高培養質量，教育部出臺了《關于加強專業學位研究生案例教學和聯合培養基地建設的意見》[5]，對案例教學的意義及地位進行了闡明。

機器視覺是一門實踐性很強的課程。自開設機器視覺課程起，對授課對象（包括專業型碩士、學術型碩士）就引進工程案例方法進行分析與講解。近幾年在機器視覺應用方面積累了一些工程案例，如，成捆鋼筋的端面圖像采集與計數、燒結火焰斷面圖像特征識別、天車機器人雙目立體視覺避障及視覺實時距離測量、振動模糊圖像復原、激光結構光視覺測量及三維目標物重構、無人機航點視覺定位、飛秒激光燒蝕微光斑的微視覺幾何參數測量等。如何對以往的案例進行整合、總結及系統化，使案例內容更翔實、豐富，更符合教學規律，是本課程案例庫建設遵循的原則。

機器視覺課程典型工程案例（庫）建設過程以工程應用為主線，以案例分析與程序實現為方法，通過實際應用需求分析、工藝分析、詳細設計、程序實現、程序運行及調試、運行結果分析等環節，使學生能對機器視覺快速地認知、熟悉，進而解決機器視覺“做什么、怎么做”的問題。案例庫先期基本建設框架如圖1所示。案例庫建設過程遵循動態建設原則，在反饋及修正補充過程中不斷地得到完善。

二、機器視覺課程先期案例建設核心內容

案例庫建設將結合機器視覺課程的講授內容，在總結現有機器視覺應用的基礎上，針對機器視覺系統構建、硬件設備選型、相機標定、結構光視覺系統、視覺三維重建等環節給出詳細的工程實現過程。在多個機器視覺技術應用的關鍵環節結合典型案例給出詳細的實現步驟、方法、程序及運行結果。整個案例建設給出“手把手”式的機器視覺構建與分析詳細過程，對學生快速融入機器視覺領域、增強實踐能力具有較好的指導意義，這能為學生今后在機器視覺研究領域及工程應用打下堅實的理論及實踐基礎[6]。

要本著真實性、典型性及創新性原則對案例進行篩選，并能利用實驗室現有實驗平臺進行實驗內容建設，以保證案例的真實、可復現、可驗證性。同時，突出案例的典型性、代表性，并兼具一定的創新性，保證案例教學的效能及新知識、新觀點的啟發作用。機器視覺案例庫教學的核心建設內容有以下幾方面。

（一）機器視覺光學系統設計、選型及參數計算

為學生講述如何根據實際工程要求搭建一個光學系統，實現對特定目標的圖像采集。為提高圖像采集質量，需對照明光源進行選型設計，包括條形光源、點光源及環形光源設計等;為使得工業相機適合工程實際目標圖像采集的需要，需對相機視場、靶面尺寸、分辨率及物距等參數進行計算，確定相機與計算機的通訊形式等;對鏡頭與相機的接口進行選配，對鏡頭焦距等參數進行計算等。通過光學系統硬件設計、選型，可提高學生對光學系統的感性認識，促進工程設計理念的形成。

（二）微視覺系統及微結構目標的圖像測量

為學生講述基于單目相機的微視覺系統圖像測量方法及基于雙目微視覺系統的圖像測量方法。首先，采用遠心鏡頭構建微視覺測量系統，對飛秒激光在硅晶片上燒蝕的微光斑進行圖像采集;對光斑圖像進行預處理、分割及幾何中心提取，獲得光斑本身的像素尺寸及光斑之間的像素尺寸;通過測量尺寸已知的標準物體尺寸，標定出幾何尺寸與像素尺寸之間的對應比例系數，進而應用比例系數求出光斑的幾何尺寸，實現微結構的視覺測量。

（三）雙目立體視覺系統的標定及視覺測量

采用兩個面陣工業相機構建雙目立體視覺系統，對工件幾何尺寸進行測量。通過案例建設使學生掌握立體視覺的構建，相機畸變參數標定及雙目立體相機的旋轉矩陣與平移向量的標定;工件深度方向的尺寸測量方法等。這可為學生將來采用視覺方法進行不同目標物體的圖像幾何測量問題提供有意義的借鑒。

（四）激光結構光視覺系統的標定及視覺測量

在光學實驗平臺上搭建線激光結構光與單目相機構成的結構光測量系統;將待測工件放置在二維運動控制工作臺上，當工件隨著工作臺移動時，激光線掃描整個工件，由工業相機采集激光線條圖像，構成工件的激光線條圖像。通過標定相機參數及激光與相機之間的光學系統，實現激光結構光測量系統。

（五）基于激光結構光的工件三維重建

所用硬件平臺與激光結構光測量系統一致，包括相機、激光器、精密移動平臺及標定板等。只是在相機內外參數標定、激光器的光平面標定基礎上，通過對激光光條圖像的處理，在光條二維圖像坐標基礎上求取光條的三維點云數據。

三、案例庫動態建設過程

在先期建設完成的案例庫實踐教學基礎上，總結教學實踐經驗、教學效果及存在的不足，動態完成了第二部分案例庫的建設內容，如圖2所示。

案例庫后期建設內容涵蓋基于Blob分析的目標識別、基于模板匹配及仿射變換的幾何定位與動態跟隨、直角坐標機器人視覺系統的9點標定、基于直角坐標機器人的工件隨機視覺抓取及定位擺放、基于視覺的光學字符識別及C#聯合Halcon編程內容。

（一）基于Blob分析的視覺目標識別案例

研究實現目標圖像的分割及識別，主要內容有：采集圖像—圖像分割（Blob分析前，將圖像分割成區域和背景）—形態學處理—連通域分析，將圖像中不同目標打散—數學形態學處理—特征提取，根據不同幾何特征條件，篩選出目標。

（二）基于模板匹配及仿射變換的幾何定位與動態跟隨

建設內容：確定圖像對比度，形成目標輪廓。對于模板中的輪廓線，輪廓線少了，提取的輪廓特征也少，匹配精度不好;相反，輪廓線太多了，則不易匹配，因此，用三個參數進行篩選（對比度（低）、對比度（高）、最小組件尺寸）。確定合適的圖像匹配金字塔級別，基于形狀的模板匹配，將圖像和模板在高層金字塔進行搜索，然后映射到低層，提高搜索速度。模板設計為可旋轉、放縮的搜索，從原圖創建模板圖像再生成模板輪廓，從原點開始搜索。

（三）直角坐標機器人視覺系統的9點標定

利用實驗室現有三坐標直角運動平臺，配置單目相機構成直角坐標機器人視覺系統。講述實現9點標定的詳細過程：建立圖像平面與機械手之間的一一對應關系，利用圖像得出機械坐標偏差。通過9點視覺系統標定，將圖像的像素坐標和目標點的物理坐標對應起來，將像素位移轉換為機械手的幾何尺寸位移。

（四）基于直角坐標機器人的工件隨機視覺抓取及定位擺放

講述機器人的基礎坐標、工具坐標的建立，并通過特征點標定機器人工具坐標系的0點位置;通過9點標定確定工具坐標與圖像坐標間的關系。對標定后的4軸機械手進行目標物體的隨機擺放視覺識別、抓取，并進行定點擺放。

（五）基于視覺的光學字符識別

完成如下內容的建設：1.坐標變換：通過極坐標變換調整圖像，將字符轉換到標準位置;2.光學字符圖像的處理：圖像平滑、閾值分割、圖像匹配、連通域分割、形態學處理、區域特征提取;3.光學字符識別，應用OCR分類器，識別出分割出來的字符。

（六）C#聯合Halcon編程

結合工程實際案例，以“自動售藥機剩余藥品數量的視覺統計”為例，講述并實現如下案例內容：C#聯合Halcon編程過程。創建C#窗體程序項目，設計C#控件操作界面，將HALCON/.NET類庫、控件HwindowControl添加到C#的工具箱中;為實現C#中調用Halcon相關算子，加入using HalconDotNet命名空間的引用，將Halcon程序導出成C#程序等內容。

四、課程建設與效果反饋

機器視覺課程的實踐性要求在課程學習過程中必須緊密結合實踐，這樣學生才能真正將所學的理論知識學活、學透徹。在案例庫教學活動中遵循教師講解與啟發、學生實踐、效果反饋機制，使每個學生都能從案例教學過程中收益，有所收獲，有所進步。完整的案例建設及效果反饋機制如圖3所示。

機器視覺案例庫建設是一個動態的、持續改進的過程，在案例庫建設之初要列出詳細的建設大綱、建設方案并進行可行性分析，同時廣泛征求有益的意見和建議，使得案例庫建設一開始就能做到科學、可行、合理、有效。案例庫主要通過教學實施及學生實踐形成教學活動，此環節是檢驗案例庫建設成效的關鍵，因此要保證案例庫建設內容要豐富、翔實，同時教學手段及教學方法要與案例庫實際相銜接，充分調動學生的學習積極性，鼓勵學生大膽實踐并進行創新性學習[7]，在案例庫基本教學內容基礎上有所收獲、有所啟發。在對案例庫建設成效、教學效果及學生學習效果評價環節，主要采用師生互動進行討論、分析、查找不足等方法。在對討論結構形成共識的基礎上對案例庫內容進行修正、完善，做到在建設中改進、在改進中完善。

五、結束語

案例庫教學是提高研究生實踐教學效能的主要方式之一。我校在研究生案例庫建設方面給予了大力的支持，在設備購置、建設資金支持方面得到了保障。我校結合控制學科研究生教育與培養過程，建設了機器視覺教學案例庫，突出了機器視覺教學活動的實踐性，使學生在學習與實踐過程中真正掌握機器視覺課程學習的理論及實踐技能，實現了“學有所成，為我所用”的目標。本文研究內容提高了機器視覺課程教學效果，提升了學生的學習效能，具有實踐意義。