智能檢測技術與系統教學內容實踐與探索

付東翔，傅迎華，胡春燕，李菲菲，孫 紅

（上海理工大學 光電信息與計算機工程學院，上海 200093）

0 引 言

隨著人工智能、大數據等新技術的不斷發展和新技術在社會各個領域應用的不斷深入，在智能科學與技術專業如火如荼的當下，越來越多的高校開設了智能科學與技術專業或者相關專業。智能本科專業的課程內容如何與當前社會實際應用相匹配、如何體現本專業特色、如何滿足當前社會與行業的人才需求等問題一直是教學工作中需要關注和思考的問題[1]。

當前信息技術的飛速發展，尤其工業機器人技術不斷滲透、應用到生產和社會生活的方方面面，面對機器人技術的發展和應用，智能專業的培養計劃和課程內容應該包括不斷發展、擴大機器人相關領域的知識[2]。

智能檢測技術與系統課程以面向機器人視覺標定與測量為主要內容，包括機器人視覺的概念、攝像機模型與基于標靶的標定方法、基于運動的攝像機自標定方法、視覺測量的基本概念與方法等。課程內容還銜接專業的機器視覺、自主機器人技術等其他課程。這些內容使專業課程體系較好地覆蓋了智能機器人領域的各個方面，更具專業特色。

1 教學目標方向與定位

傳統的智能檢測技術與系統課程內容通常由傳感器分類與原理、智能儀表及軟測量技術等內容組成。隨著機器人技術的不斷發展和應用，智能專業課程中需要對機器人視覺測量相關技術的基本原理和方法進行介紹。機器人視覺與機器視覺、計算機視覺等學科關系密切，但概念又有所不同：機器人的視覺測量與控制著眼于提取視覺測量信息，進行機器人的實時運動控制，注重實時性和自主工作能力；機器視覺和計算機視覺側重于根據目標的二維圖像回復其三維信息[3-4]。

為了適應當前智能專業應用和技術發展，智能檢測技術與系統課程的目標方向應面向機器人視覺測量技術與方法，課程定位為：熟悉機器人視覺測量的基本概念，熟悉和掌握攝像機內、外參數模型、攝像機基本標定方法、機器人手眼系統及其標定方法、視覺位置測量的基本原理與方法等，奠定學生在機器人視覺檢測與控制方面的基礎知識，為后續機器視覺、自主機器人技術等專業課程教學奠定理論和實驗基礎。

2 理論與實驗教學內容

課程理論教學介紹以攝像機為傳感器的視覺測量的基本理論和方法，同時在此基礎上進行攝像機標定實驗、標定算法程序設計和測量方法計算實驗。理論教學分為兩大部分：①攝像機、視覺系統和手眼系統的標定；②視覺測量原理和方法。實驗教學是理論教學的實踐，讓學生認識和動手實踐理論內容。

2.1 理論教學

1）攝像機與視覺系統標定。

在介紹機器人視覺的基本概念之后，著重介紹攝像機內、外參數模型與標定方法：①機器人視覺測量的基本概念；②攝像機模型與內、外參數，攝像機針孔模型與內、外參數的矩陣表達式；③視覺系統的標定方法，Faugeras、Tsai等經典標定方法[5]。Faugeras是一種經典的攝像機標定方法，其后許多改進的方法，如Tsai等方法都以此方法為基礎[6]。

2）視覺測量的基本理論與方法。

①視覺測量中的約束條件，視覺測量中，對相同的場景，不同攝像機采集的圖像存在一些約束條件；同一臺攝像機在不同視點采集的圖像之間也存在某些約束條件。這些約束有特征匹配約束、不變性約束、直線約束[7]。②單目、立體視覺測量，單目視覺測量是對平面內目標二維位置的測量，根據攝像機內外參數模型公式確定世界坐標系與圖像坐標系的轉換關系。雙目視覺測量是根據兩臺攝像機采集的圖像上的匹配點，計算空間點的三維世界坐標。③位姿測量，位姿的測量主要內容有：基于PnP問題的位姿測量、基于矩形目標約束的位姿測量和具有消失點的位姿測量等。④視覺定位，本部分內容是視覺測量的應用舉例，基于PnP的定位和基于矩形目標約束的位姿測量。

理論教學內容與學時安排見表1。

2.2 實驗教學內容

實驗教學是理論教學的實踐，分為2個部分：基于工具軟件實現攝像機標定；攝像機標定算法計算和位姿測量仿真實驗。主要內容可概括為3部分。

1）攝像機標定實驗。

該實驗內容包括采用Matlab2014a軟件中的攝像機標定工具箱輸入靶標圖像，進行攝像機內、外參數的標定。與Matlab前期版本相比，其操作相對簡單，步驟如下：添加圖像。打開靶標圖像所在文件路徑，添加靶標圖像，實驗中有20幅；選擇畸變矯正系數；點擊標定按鈕；導出標定參數。

表1 理論教學內容與學時安排

圖1為實驗輸出結果形式。該實驗通過靶標圖像進行攝像機標定的步驟、過程。讓學生充分理解攝像機內、外參數含義和形式。

圖1 Matlab工具箱標定結果

2）基于OpenCV的攝像機標定實驗。

該實驗內容包括：采用VS2010及后續版面軟件和OpenCV軟件包，設計VS程序，輸入靶標圖像，進行攝像機內、外參數的標定。步驟如下：安裝OpenCV程序，同時進行運行環境配置；在VS2010下建立一個win32控制臺工程，配置OpenCV頭文件和庫文件編譯路徑，編寫主函數代碼；程序運行。程序流程如圖2所示。

圖2 程序流程圖

通過該實驗，學生動手通過程序設計，調用OpenCV庫函數，實現靶標圖像的讀取和標定，使得學生熟悉和掌握標定的程序設計方法和步驟。實驗結果形式如圖3所示。

圖3 OpenCV標定及結果

3）PnP問題仿真計算實驗。

該實驗以3個空間點的情況為對象，設計Matlab程序進行PnP問題的求解和驗證其正確性。步驟如下：①給出3個空間點的世界坐標系下坐標和攝像機的內、外參數模型；②根據空間點的世界坐標和攝像機內外參數，計算這些空間點的攝像機坐標系下坐標和圖像坐標，將該攝像機坐標系下坐標作為真實坐標將與計算結果比較；③按照P3P計算原理，計算3個空間點的攝像機坐標系下的坐標，將該結果與前面計算的攝像機坐標系下坐標進行比較，驗證P3P計算的正確性。通過該實驗，使學生熟悉視覺測量的基本計算方法和求解步驟。表2為實驗課程內容與學時安排。

表2 實驗課內容與學時安排

3 創新實踐

基于視覺測量的智能檢測技術課程教學內容為本專業其他課程（如機器視覺、自主移動機器人技術等）奠定了基礎，與這些課程實現了較好的銜接，如圖4所示。

圖4 課程與其他專業課程的銜接

首先，在智能檢測技術與系統課程的學習中，學生已經能夠熟悉視覺系統的基本概念、攝像機標定的內外參數模型定義和方法、視覺測量的基本方法和原理等，同時實踐了OPenCV庫函數的調用和程序設計。這些為學生學習后續課程機器視覺、自主機器人技術等和參加實踐比賽奠定了基礎。學生在智能專業課程設計中還可以選擇帶有視覺測量功能的智能系統題目。

其次，通過本課程內容的學習，為學生申請本校和上海市的大學生創新項目和完成奠定了基礎。專業學生近年來連續獲得多項上海市大學生創新項目和上海理工大學本科創新項目。

最后，為專業學生參加各類全國大學生智能大賽奠定了視覺測量與控制方面較好的理論和實踐基礎，使得學生可以更多、更好地選擇參加視覺類測量、控制項目。

4 結 語

面向視覺測量的智能檢測技術與系統課程教學與實驗以視覺系統的標定和測量為主要內容，圍繞攝像機標定和視覺測量方法展開，使學生能夠理解視覺測量的基本概念和方法，能夠充分理解、熟悉視覺測量理論和方法在機器人系統中的功能和作用。課程內容較好銜接后續機器視覺、自主機器人技術等相關課程。為智能專業課程設計奠定了工作基礎，使智能專業課程體系更加合理。

同時，本課程也在不斷探索中，隨著本專業實驗室設備的更新和建設，后續設備如機械臂、工業相機和控制器等設備的購置和引入，實驗課程部分擬增加機器人手眼系統標定和測量定位等部分的實驗內容。

在目前機器人技術應用逐漸進入工業自動化領域和各個生活領域并且已經開始取代一些人類重復性工作的大趨勢下，通過對機器人視覺測量原理和方法的熟悉和掌握，將使得智能科學與技術專業學生的專業應用能力更具有針對性和專業性。