人工智能背景下數字圖像處理教學改革

王成優，周 曉，張亮，王小利，郭春生

(山東大學 機電與信息工程學院，山東 威海 264209)

數字圖像處理是一門多學科交叉的應用型課程，在生物醫學、衛星遙感、高光譜成像、農作物監測和安防監控等領域發揮著重要作用。近年來，得益于政府的高度重視和科研工作者的積極參與，人工智能技術在各個領域得到了廣泛應用并獲得顯著成效，數字圖像處理和計算機視覺領域也不例外，機器學習在圖像去噪、圖像復原重建、圖像分割和圖像識別等方向的應用取得了良好效果[1-3]。同時，各企業和科研機構對數字圖像處理人才的需求急劇增長，能夠同時掌握傳統的數字圖像處理方法和相關人工智能技術對學生畢業后從事相關工作、繼續深造、研究相關課題等打下堅實的基礎。

作為計算機類和電子信息類專業課或選修課，數字圖像處理具有綜合性強、先導課程多、實踐要求高和算法更新快等特點，在教學中，這些特點對教師的知識儲備、教學能力和學生的專業基礎有較高要求。盡管人工智能已廣泛應用于圖像處理領域，然而在目前高校的教學中較少涉及，人才培養相對滯后于先進技術的發展，無法適應時代特點。因此，本文立足于傳統的教學內容并結合人工智能技術，進行數字圖像處理教學改革，對高校的人才培養具有重要意義[3-6]。

一 課程教學面臨的問題

通過調研與教學實踐發現，目前數字圖像處理課程的教學中主要存在以下不足。

1)對先導課程缺乏補充性回顧和復習。數字圖像處理涉及到的先導課程較多且內容較為硬核，主要的先導課程有高等數學、線性代數、概率論與數理統計、信號與系統和數字信號處理，在授課過程中，部分學生由于數學功底薄弱和知識遺忘的問題，容易對課程產生畏難、抵觸等厭學情緒。

2)重理論、輕實踐。為了保證教學內容的嚴謹性，教師在課堂上往往著重于理論推導，對實驗設計的重視程度不足，內容也多偏重于MATLAB 編程的驗證性實驗，缺少對當前流行的Python 和OpenCV 的引入，不能很好地提升學生工程實踐能力。

3)教學內容陳舊。當前的課件和教材雖然經典，但是延用多年，內容不能很好地與當前新興的人工智能技術相銜接，對最新的數字圖像處理方法闡述較少，不利于培養學生的創新能力。

4)實驗內容的延續性和拓展性較差。當前用于實驗的算法已經相當成熟且過于基礎，未涉及當前較為前沿的技術與算法[7]，不利于學生后期的探索和拓展研究。

5)考核方式單一。當前大多數課程教學仍采用考試和實驗報告相結合的形式，缺少對學生綜合能力和團隊意識的培養。

二 數字圖像處理教學改革方案

針對課程教學中存在的諸多問題，為了在現有教學的基礎上更好地順應人工智能技術熱潮，改善本課程的教學效果，充分提高學生的工程實踐能力和科研探索能力，使得學生能夠掌握數字圖像處理的傳統方法和相關的人工智能技術，同時具備了解國際前沿動態的能力，本文提出并總結了適合本課程的教學改革方案，整體改革方案如圖1 所示。

圖1 數字圖像處理教學改革整體方案

（一）以學生為中心的理論內容改革

為了提高學生的學習積極性和課程參與度，改善教學效果，從學生的角度出發，對數字圖像處理課程的理論教學內容進行改革，主要從以下幾個方面展開。

1)先導課程補充性復習。考慮部分學生在先導課程上存在基礎薄弱或知識遺忘的問題，在鼓勵學生主動復習的同時，基于數字圖像處理課程的需要，在圖像濾波、復原等需要較深理論的地方，對信號處理、微積分、線性代數等簡明復習，并對相關重難點進行講解。

2)更新課件，引入深度學習內容。目前，多數高校選擇Gonzalez R C 編寫的《Digital Image Processing》(第3 版)[8](或其中文譯本)作為教材，該書作為主流權威的數字圖像處理教材已有40 多年的歷史。在第3 版的基礎上，《Digital Image Processing》(第4 版)[9]在模式識別章節增加了使用神經網絡對圖像進行分類與識別的內容。基于教材的改版，并結合人工智能背景，對教學課件進行了更新，增加了對神經網絡的原理介紹及應用實踐。

3)設置3～4 名研究生助教。本次教學改革中，在重視理論講解的基礎上，對實驗的設計進行優化，從而加強對學生的動手能力訓練。為保證理論課和實驗課的順利進行，增設3～4 名助教，及時解答學生遇到的各種問題，培養學生對數字圖像處理的學習興趣與探索精神。

4)使用Python 和PyTorch 框架。在數字圖像處理領域，除了可以使用MATLAB 進行仿真，越來越多的科研工作者選擇Python 作為其主要的編程語言，特別是在搭建神經網絡時，PyTorch 和TensorFlow 成為主流的深度學習框架。從學生的就業和后期深造角度出發，在教學內容上逐步加強對Python 和PyTorch 框架的講解，并設計使用深度學習進行數字圖像處理的實驗。

5)更新實驗樣例圖像。由于教材《Digital Image Processing》(第4 版)中選取的樣例圖像比較經典，為了提高學生學習興趣和課堂參與度，在設計驗證性實驗時，從互聯網資源或公開數據集(如ImageNet[10])中選擇比較新穎有趣的圖像，從而豐富經典的樣例圖像庫，如圖2 所示引入動植物、人物、景物等圖。

圖2 新增實驗樣例圖

（二）以項目為驅動的實驗內容改革

目前，在數字圖像處理教學中的輔助實驗設計存在知識點零散、以驗證性為主且使用單一的MATLAB 語言編程等問題。以空域濾波的學習為例，教師在課堂上講解均值濾波器、高斯濾波器和中值濾波器等的理論知識，學生則按照實驗指導書機械地對圖像進行加噪聲和濾波操作。雖然這樣的教育方法能加深學生對理論知識的理解，卻不能很好地提高學生工程實現能力、激發學生探索意識。此外，以往的實驗設計未涉及到神經網絡，既沒有落實第4 版教材的內容更新，也不符合當下人工智能技術潮流。

為了解決上述問題，在驗證性實驗的基礎上，結合第4 版教材的模式識別章節，首次引入Python 語言和PyTorch、TensorFlow 深度學習框架教學，并設計了兩個基于深度學習的綜合實驗項目：基于卷積神經網絡的CIFAR-10 圖像分類實驗、基于深度自編碼網絡的圖像去噪實驗。在實驗課中，將綜合實驗項目分成項目介紹、項目準備、項目實現和項目匯報4 個階段展開。以下以基于卷積神經網絡的CIFAR-10 圖像分類為例，闡述這4 個階段的具體細節。

1)項目介紹。首先，教師介紹數據集和項目總體要求：實驗所用數據集為公開的CIFAR-10 數據集[11]，如圖3 所示。該數據集含有50 000 張訓練圖，10 000 張測試圖，共有飛機、汽車、鳥、貓、鹿、狗、青蛙、馬、輪船和卡車10 個類別(用數字0～9 表示)，圖像尺寸是32×32×3。學生要做的是搭建并訓練參數為θ 的神經網絡f，對于給定的圖像I∈R32×32×3，識別其類別標簽y∈ {0,1,2,...,9}，這一過程可表示為

圖3 CIFAR-10 數據集10 個類別的部分圖像

考慮到大部分學生的筆記本配置有限，學生使用5 000 張訓練圖和1 000 張測試圖即可。學生需盡最大努力，保證訓練集和測試集準確率分別不低于80%和70%。

其次，教師給出神經網絡搭建樣例。如圖4 所示，為了給學生提供參考并啟發學生思考、起到拋磚引玉的作用，教師搭建出簡單的圖像分類神經網絡并進行講解。盡管該網絡層數較淺，但同時運用到了理論課上講授的卷積層、非線性激活函數、池化層和全連接層等。另外，助教要率先完成實驗內容并對實驗內容深入理解，提供給學生基于Python 和PyTorch 的參考代碼。

圖4 用于CIFAR-10 圖像分類的網絡舉例

2)項目準備。項目準備分為學生組隊、文獻調研和相關知識學習三個過程。首先，為提升學生的團隊協作能力，鼓勵學生在課下自由組隊，但限制隊員人數為2～3人。考慮到部分學生性格內向等原因，對于逾期未組隊的學生，由教師或助教為其選定隊友。其次，為培養學生的探索意識和創新能力，由助教講授科技文獻檢索方法，鼓勵基礎較好的學生利用學校圖書館數據庫，查閱相關ICCV、ECCV 和CVPR 等計算機視覺會議論文，對于基礎較弱的學生，適當降低要求。最后，學生要主動學習相關的知識點，如神經網絡調參技巧、代碼的工程性等。

3)項目實現。神經網絡的設計和代碼實現是綜合項目的核心部分。在神經網絡設計方面，要引導學生參考該領域內權威論文所提出的神經網絡架構(如VGG-16[12]、ResNet[13]、MobileNet[14]等)，并針對自己的數據集和硬件配置，設計出適當的神經網絡架構。在代碼實現方面，學生要積累神經網絡的調參經驗，如學習率大小、批次大小、優化方法(如SGD、Adam、RMSProp 等)的選擇等。

4)項目匯報。在學生完成項目后，以小組為單位制作PPT 來交流和展示綜合項目中學到的知識、卷積神經網絡的設計、代碼實現、最終的訓練集和測試集準確率等方面的內容。教師應當給出點評及相應的分數。

（三）以全面、多角度為目標的考核方式改革

當前數字圖像處理的教學往往以理論課考試和實驗報告作為本課程的期末成績，這種考核方式比較單一，不能很好地反映學生的學習情況，同時缺少對學生的實踐能力和團隊合作意識的培養和考察。因此，新增了考核項目并優化相應的考核比重，如圖5 所示。

圖5 期末考核占比

從多個角度出發，充分保證學生的學習效果和能力培養，分別賦予出勤(含課堂問答)、實驗報告、理論考試和綜合項目為10%、20%、20%、50%的比重。此外，如圖6 所示，為充分調動小組隊員的積極性并考慮學生的基礎差異，對綜合項目的算法設計、代碼實現、PPT 制作和匯報答辯分別賦予35%、35%、15%、15%的比重。

圖6 綜合項目考核占比

（四）以探索為方向的綜合項目擴展改革

為了保證綜合項目的延續性，并做到差異化培養興趣高、主動性強和基礎扎實的學生，在教學的最后對綜合項目進行了擴展性嘗試。綜合項目的擴展可以從兩個方向展開，分別是適度增加綜合項目難度和引入更多的深度學習類綜合項目。對于適度增加綜合項目難度，以本文提到的CIFAR-10 圖像分類為例，引入對抗攻擊(比如對原始圖像添加擾動等)，要求學生分別實現基于最近鄰分類器和卷積神經網絡的圖像分類，并在對抗攻擊的條件下保證訓練集和測試集準確率，最后將實驗結果進行對比并解釋二者的性能差異。同時，考慮到當下的人工智能技術熱潮，以及深度學習、機器學習在圖像處理和計算機視覺領域取得的重大突破，將在后續的教學中引入更多的綜合項目，如基于生成對抗網絡的圖像超分辨率重建[15]、基于注意力機制的圖像復原[16]、基于卷積神經網絡的圖像去噪[17]等。最后，對學生進行科研寫作的指導和訓練，鼓勵學生創新，并總結梳理創新成果，撰寫學術論文。

三 結束語

本文討論了數字圖像處理課程的教學改革方案，立足于人工智能技術熱潮，以培養學生的科研探索能力和動手實踐能力為目的，針對以往教學中突出存在的問題，提出以學生為中心的理論內容改革、以項目為驅動的實驗內容改革、以全面和多角度為目標的考核方式改革、以探索為方向的綜合項目擴展改革。該教學改革充分調動了學生的學習積極性，提高了學生的課程參與度，培養了學生對數字圖像處理的興趣，鍛煉了學生的綜合能力，改善了課堂氛圍和教學效果，使學生全面地掌握了傳統圖像處理方法和相關人工智能技術，為學生畢業后在數字圖像處理領域的就業、深造、科學研究等打下堅實的基礎。