科研項目向專業教學內容的轉化
——以“計算機視覺中的注意力機制”單元為例

李 智 謝勤嵐*

1.中南民族大學生物醫學工程學院 湖北武漢 430074;2.醫學信息分析及腫瘤診療湖北省重點實驗室 湖北武漢 430074;3.認知科學國家民委重點實驗室 湖北武漢 430074

1 概述

科研反哺教學是高校教學過程的重要特點。[1-7]科研與教學存在內在統一性,兩者并舉可以實現良性互動。在高校教學內容中展現最新科學技術的成果和研究動態,可以促進學生深入理解學科基礎知識,了解學科前沿動向,為進一步的科研實踐做好準備。

人工智能技術正在深刻改變臨床醫療和生物醫學研究。[8-12]近來,人工智能前沿技術已經開始應用于各種醫學成像設備中,承擔起一些以往由醫學專家完成的任務。隨著諸如數字化數據采集、機器學習、基礎算力設施等各方面條件的發展,人工智能將在未來十年更加廣泛地應用于分析診斷等臨床實踐。

中南民族大學生物醫學工程學院面向國家戰略發展需求,大力推進新工科建設,堅持立德樹人培養理念,培養德才兼備、通專融合的高素質醫學人工智能人才,于2019年開始在生物醫學工程專業建設智能醫學工程卓越工程師班(簡稱“卓越班”)。“卓越班”培養具備堅實的生物醫學、工程技術、信息科學、人工智能有關的基礎理論知識的生物醫學工程專業高素質人才。

“醫學人工智能前沿”是面向“卓越班”的專業選修課程。中南民族大學生物醫學工程專業是國家級一流本科專業。生物醫學工程學院有醫學信息分析與腫瘤診療湖北省重點實驗室、認知科學國家民委重點實驗室、生物醫學工程湖北省虛擬仿真實驗教學中心等科研和教學平臺。深入挖掘學院科研資源、反哺學院本科生教學,具有非常現實的重要意義。本文以“計算機視覺中的注意力機制”教學單元為例,進行科研反哺理念下的課程教學設計。

2 教學分析

《醫學人工智能前沿》是面向“卓越班”學生在第6學期開設的專業選修課程。醫學人工智能是一門新興的醫、理、工高度交叉的學科,是醫學與一系列前沿科技的密切融合。醫學人工智能的崛起,將改變醫療手段甚至醫療模式,成為推動醫療創新與發展的強大動力。身處醫學人工智能技術的峰浪尖口,“卓越班”的培養方案面向時代的需求,開設課程實踐相關前沿技術的教學工作。本文選取的教學單元是“計算機視覺中的注意力機制”,教學單元設計時長為2個學時。

教學目標包括以下四個方面:

(1)知識目標:了解視覺注意力機制原理,熟悉常見的視覺注意力方法;

(2)能力目標:理解視覺注意力提升網絡性能的原因,掌握設計視覺注意力方案的思路;

(3)素質目標:提高學生獨立思考、獨立學習、獨立分析問題及解決問題的能力;

(4)思政目標:寓價值觀引導于知識傳授和能力培養之中,將價值塑造、知識傳授和能力培養三者融為一體,落實立德樹人根本任務,幫助學生塑造正確的世界觀、人生觀、價值觀。

本單元教學的重點是:分析視覺注意力機制的原理。教學的難點是:在分析與討論的基礎上,引導學生提出視覺注意力機制的設計方案。

學情分析:“卓越班”實行動態管理。學生入班時經過選拔測試、全過程末位淘汰。學生具有如下的一些特點:在學習興趣上,有較強的好奇心;經過前五個學期的學習,有一定編程基礎;學習習慣較為認真,在明確要求下能夠進行一定程度的探索;學業壓力較大,課程安排較多,學生在學習方法上傾向于“照葫蘆畫瓢”,獨立思考時間不夠多。

教學理念:科研與教學具有內在統一性。科研和教學都是促進社會進步的重要推力,科研創造知識、教學傳播知識。科研與教學相互促進,在教學中穿插最新科技成果,一方面科研激發學生學習興趣,提高教學質量;另一方面教學工作科研激發科研的靈感,成為科研創新的重要源泉。

教學策略:在教學工作中結合科研專長,用最新的研究成果指引學生主動尋求真理、積極探索世界。以前沿科研課題指導教學的開展,引導學生發現問題、提出設想、實驗驗證、解決問題。

教學手段:(1)運用互聯網教學平臺,在超星學習通上使用學習資源庫拓展學習、使用手機端實現簽到、答題投票、進行小測試等課堂實時互動。(2)運用多媒體信息技術,將文字、圖片、音頻、視頻有機結合,使學生在課堂教學過程中可以從視覺和聽覺多種感官接收知識。(3)運用分組討論和翻轉課堂,引導學生對知識進行探索、提煉和表達。

教學方法:(1)積極培養學生對科研的興趣,用前沿科研動態引導學生提高課堂注意力。(2)圍繞科研實例構建教學內容,選擇與教學內容相匹配的科研實例,讓學生參與科研文獻中知識點的歸納與提煉。(3)引導學生參與科研實踐訓練,開放科研平臺,指導學生以教學內容為起點,參與大學生創新創業訓練和畢業設計。

3 教學實施

3.1 課前準備

3.1.1 閱讀參考文獻

教師提供三篇文獻供學生課前學習。文章包括Squeeze-and-excitationnetworks,Spatialtransformernetworks,TAM:Temporaladaptivemoduleforvideorecognition。

3.1.2 完成思考題

教師設計課前學習思考題,引導學生閱讀文獻。問題設置有以下三點考慮:一是突出針對性,緊緊圍繞“計算機視覺中的注意力機制”設計問題;二是提高自信心,基于所提供的文獻學生很容易找到最基本的回答;三是有擴展性,問題有很大深入思考的空間,學生可以探索更深刻、更全面、更有洞見的回答。問題1:什么是“計算機視覺中的注意力機制”?問題2:你認為“計算機視覺中的注意力機制”可以分為哪幾類?

3.2 課堂教學

課堂導入:人類的視覺系統能夠在復雜場景中找到顯著區域。受此啟發,計算機視覺中引入了注意力機制,希望能夠模擬人類視覺系統。

3.2.1 教學子模塊1:計算機視覺注意力機制的基本概念

將注意力轉移到圖像中最重要的區域并忽略無關部分的方法稱為注意力機制;人類視覺系統使用注意力機制輔助實現高效分析和理解復雜視覺場景。受這種生理機制啟發,計算機視覺系統中也引入了注意力來提高性能。我們可以將計算機視覺系統中的注意力機制看作一個動態的選擇過程,也就是根據輸入的重要性適應性地對特征進行加權。注意力機制已經廣泛應用在各種視覺任務中,并且實現了性能的提升,例如,圖像分類、目標檢測、語義分割、人臉識別、行人重識別、動作識別、小樣本學習、醫療圖像處理、圖像生成、姿態估計、超分辨率、3D視覺以及多模態任務。

3.2.2 教學子模塊2:計算機視覺注意力機制的發展歷程

近年來,注意力機制在計算機視覺中的作用越來越重要。深度學習時代計算機視覺中基于注意力的模型的發展歷程可以粗略地分為四個階段。第一階段始于循環注意力模型(Recurrent Attention Model,簡稱RAM),RAM將深度神經網絡和注意力機制結合。在這一階段,循環神經網絡是注意力機制的必要工具。第二階段以空間變換網絡(Spatial Transformer Networks,簡稱STN)為開端,STN引入一個子網絡來預測一個仿射變換用以在輸入中選擇重要區域。明確地預測有差異的輸入特征是第二階段的重要特點。第三階段始于提取激發網絡(Squeeze-and-Excitation Net,簡稱SENet),SENet是一個通道注意力網絡,隱式地適應性預測潛在關鍵特征。最后一個階段是自注意力時代。

3.2.3 教學子模塊3:計算機視覺注意力機制的數學表達式

基于人類視覺系統的認知過程,科學家總結出注意力機制的一個通用形式。在日常生活中我們看到一個場景的時候,我們會關注到最重要的區域,再快速處理這些區域,這個過程可以公式化地表達為:

Attention=f(g(x),x)

這里,g(x)表示產生注意力,注意力對應于參與有辨別力的區域的過程。f(g(x),x)意思是基于注意力g(x)處理輸入x,注意力g(x)就是處理關鍵區域并獲取信息。[13]

3.2.4 教學子模塊4:計算機視覺注意力機制的分類

大家都可以根據自己的理解對計算機視覺注意力機制進行分類。我們這節課采取的分類思路是按照視覺注意力機制作用的數據維度進行分類。視覺數據通常有這么幾個維度:通道、空間、時間。大家是否已經發現,我們課前閱讀的三篇文獻所接受的注意力機制,正好就是分別作用于這三個數據維度。接下來,我們將介紹各種典型注意力機制,并說明各種注意力機制如何對應到前述數學表達式。

3.2.5 教學子模塊5:通道注意力

通道注意力適應性地校正每個通道的權重,SENet開創了通道注意力。SENet的核心是提取激發(SE)模塊,SE模塊用來收集全局信息,捕獲通道方面的關系并提升表達能力。

SE模塊分為兩個部分:一個提取模塊和一個激發模塊。提取模塊使用全局平均池化收集全局空間信息;激發模塊使用全連接層和非線性層(ReLU和sigmoid)獲取通道方面的關系并輸出一個注意力向量。然后,輸入特征的每個通道乘以注意力向量中對應元素來給各個通道加上權重。總體上,輸入為X、輸出為Y的提取激發模塊Fse(有個參數θ)可以公式化地表示為:計算注意力打分s=Fse(X,θ)=σ(W2·δ(W1·GAP(X)))和使用注意力分數進行加權Y=s·X。

SE模塊的作用是突出重要通道,同時抑制噪聲。SE模塊所需的計算資源不多,可以在每個殘差單元后都加上SE模塊。不過,SE模塊也有不足,在提取模塊、全局平均池化過于簡單,不太能夠獲取復雜一些的全局信息。在激發模塊,全連接層增加了模型的復雜性。[14]

3.2.6 教學子模塊6:空間注意力

空間注意力可以看作一個可學習的空間區域選擇機制。STN是空間注意力方法的代表性工作。卷積神經網絡具有平移不變性,這個特點很適合用來處理圖像數據。不過,卷積神經網絡缺乏其他變換的不變性,例如,旋轉變換、尺度變換、扭曲變換。為了獲得在這些變化下的不變性,同時使得卷積神經網絡聚焦于重要區域。科學家提出了空間變換網絡STN,STN使用一個顯式的過程來學習不變性,包括平移、縮放、旋轉以及其他更一般的扭曲,來使網絡將注意力放到最相關的區域。STN是第一種顯式預測重要區域,并提供具有變換不變性的深度神經網絡的注意力機制。

在數字圖像中,二維仿射變換可以表示為:

3.2.7 教學子模塊7:時間注意力

時間注意力可以看作一個決定什么時候注意的動態的時間選擇機制,常常用在視頻處理中。時域適應性模塊(TAM)是時間注意力的代表性方法。TAM采用一個可學習的卷積核高效靈活地獲取復雜時域關系。

TAM有兩個分支:局部分支和全局分支。給定輸入特征圖X∈RC×T×H×W,首先在特征圖上使用全局空間平局池化,從而保證TAM有一個較低的計算代價。然后,局部分支在時域使用幾個有ReLU非線性的一維卷積,以產生對局部敏感的重要性圖,從而增強逐幀特征。局部分支可以寫作:

s=σ(Conv1D(δ(Conv1D(GAP(X)))))

X1=s·X

與局部分支不同,全局分支具有位置不變性,聚焦于基于每個通道的全局時域信息產生一個逐通道的適應性的核。對于第c個通道,卷積核可以寫作:

Θc=Softmax(FC2(δ(FC1(GAP(X)c))))

Y=Θ?X1

在局部分支和全局分支的作用下,TAM可以獲取視頻中復雜的時域結構,并且增強每幀的特征,而這些只需要比較低的計算代價。由于其靈活輕量的設計,TAM可以添加到任意已有的二維卷積神經網絡。[16]

3.2.8 教學子模塊8:自注意力機制

近來,自注意力顯示出在計算機視覺領域成為主要工具的潛質。對于自注意力,g(x)和f(g(x),x)可以寫作以下形式:Q,K,V都是x的線性變換,所以

Q,K,V=Linear(x)

計算注意力分數:g(x)=Softmax(Q·K)

使用注意力為特征加權:f(g(x),x)=g(x)·V

自注意力可以用于各個數據維度,其中一個廣泛的應用是作為一種空間注意力機制來獲取全局信息。由于卷積操作的局部性,卷積神經網絡的感受野天然窄,這就限制了CNN全局地理解場景的能力。為了提升感受野,科學家將自注意力引入計算機視覺領域中。

以一個二維圖片為例,給定一個特征圖F∈RC×H×W,自注意力首先用線性投射計算查詢、鍵、值,即Q,K,V∈RC′×N,其中N=H×W。這個自注意力可以公式化表達為:

注意力分數:A=(a)i,j=Softmax(Q·KT)

使用注意力為特征加權:Y=A·V

其中A∈RN×N是注意力矩陣,(a)i,j是第i個元素和第j個元素之間的關系。自注意力是一個建模全局信息的強大工具,在很多視覺任務中都很有用。不過,自注意力機制的二次方的復雜度限制了它的適用性,也就是輸入向量尺寸不能過大。

課堂結語:在深度學習時代,注意力機制成為計算機視覺領域不可或缺的技巧。這節課我們介紹了計算機視覺領域深度神經網絡中的注意力機制的代表性方法。希望能夠幫助大家理解注意力機制,并在將來進行科研訓練時應用到深度學習之中。

3.3 課后拓展

充分利用科研平臺,引導學生參與科研。學生在科研訓練中進行創新實踐探索,凝練創新成果。根據科研項目的最新進展,為學生提供以下幾個探索方向:

3.3.1 通用注意力模塊方向

目前,對于每一個不同的任務,需要單獨設計特別的注意力機制,這需要大量努力來探索篩選和改進注意力方法。例如,通道注意力非常適合圖片分類,而空間注意力很適用于密集預測任務諸如語義分割和目標檢測。通道注意力聚焦于注意什么,空間注意力考慮注意哪里。我們鼓勵學生探索是否存在具有所有種類注意力機制優勢的通用注意力模塊。例如,有一種可能可行的方向時:采用一個軟選擇機制(分支注意力)針對特定任務從通道注意力、空間注意力、時間注意力選擇合適的注意力機制。

3.3.2 描述和可解釋性方向

注意力機制受人類視覺系統啟發產生,這種產生方式使得注意力機制有可能有助于建立可解釋計算機視覺系統。一般來說,我們用注意力圖來理解基于注意力的模型,而這只能給我們直覺感受,不能給出精準解釋。在諸如醫療診斷和自動駕駛這樣一些安全性要求很高的應用領域,通常會對優化機制的可解釋性有更嚴格的要求,需要更好的描述方法是如何工作的,以及什么時候系統會出現漏洞。開發可描述、可解釋的注意力模型,使得注意力機制能夠更廣泛應用。

3.3.3 基于注意力的預訓練模型方向

近來,一些模型證明了基于注意力的模型非常適用于視覺任務。基于注意力的模型兼容各種不同的輸入,因而能夠處理未見過的目標、非常適用于轉換預訓練權重到各種任務。預訓練和注意力模型的結合需要進一步探索:訓練方法、模型結構、預訓練任務以及數據規模都值得研究。

3.4 課程評價

教師對教學環節中學生的完成進行考核、得到學生學習情況的反饋,從而優化學習過程、幫助學生更好地掌握知識。(1)課前學習評價:通過課前思考題的回答了解學生閱讀參考文獻以及對相關內容理解的情況。(2)課堂學習評價:利用學習通設置實時課堂提問,由統計結果把握學生對知識點掌握情況。(3)課后學習評價:根據學生的科研訓練實踐報告對學生的課后拓展學習效果進行評估。

4 教學效果

在“計算機視覺中的注意力機制”單元的教學中,將科研內容融入教學,激發學生好奇心、增加學習過程的挑戰性和參與感,充分調動學生學習的內在動機。將科研成果、科研思維有機地融入教學工作,發揮科研對教學的促進作用。與時俱進,將科研中學科前沿知識和研究進展傳授給學生。增加教學深度,拓展教學廣度,促進教學創新,提升教學質量。

結語

中南民族大學生物醫學工程學院“卓越班”承擔著培養能從事醫學人工智能、醫學大數據、智能醫學工程相關領域科技工作的創新人才的使命。本文以“計算機視覺中的注意力機制”單元為例,探索在“醫學人工智能前沿”課程教學中依托學院科研平臺開展科研反哺教學實踐。通過將研究成果融入教學內容,能夠增加教學知識深度與廣度,提高學生學習興趣,加深學生對知識的理解,培養學生解決實際問題的工程能力。未來將繼續加強教學與科研的結合,提升教學質量,培養高素質醫學人工智能人才,為全面建設社會主義現代化國家做出新的更大貢獻。