掃描電鏡虛擬仿真實驗教學(xué)系統(tǒng)的建設(shè)與應(yīng)用

王昆侖

山東大學(xué)(威海)空間科學(xué)與物理學(xué)院 山東威海 264209

大型分析測試儀器的本科實驗教學(xué),是培養(yǎng)學(xué)生綜合能力及素質(zhì)的重要課程。該課程要求學(xué)生熟知大型儀器的基本原理、硬件結(jié)構(gòu)、規(guī)范操作方法、應(yīng)急處理辦法及結(jié)果分析技巧,該課程能接觸較為前沿的大型測試設(shè)備,受到廣大學(xué)生的青睞。但是目前,大型分析測試儀器實驗教學(xué)中存在著儀器設(shè)備數(shù)量少、儀器設(shè)備價格高、儀器內(nèi)部結(jié)構(gòu)不易觀察、損壞維修周期長等問題,嚴重影響了教學(xué)效果。而虛擬仿真實驗教學(xué)平臺將設(shè)備專業(yè)理論知識與計算機模擬仿真技術(shù)結(jié)合,是目前實驗教學(xué)模式的升級和延伸,已經(jīng)被許多高校應(yīng)用于專業(yè)的實驗教學(xué)中[1-2]。

場發(fā)射掃描電子顯微鏡(簡稱掃描電鏡)是一種利用高速聚焦電子束轟擊樣品表面,高能電子束與樣品物質(zhì)相互作用,激發(fā)出各種如二次電子、背散射電子、特征X射線、俄歇電子、陰極熒光等信號,這些信號經(jīng)接收、處理、放大和顯像后,能夠獲得材料的表面形貌、成分及結(jié)構(gòu)等信息[3]。掃描電鏡目前已成為材料科學(xué)研究的重要基礎(chǔ)表征手段,因此掃描電鏡的實驗教學(xué)及使用培訓(xùn)等活動是提高學(xué)生分析問題、解決問題等能力的重要環(huán)節(jié)。但掃描電鏡屬于大型設(shè)備,價格昂貴,操作復(fù)雜、設(shè)備數(shù)量短缺,導(dǎo)致無法實現(xiàn)在本科實驗教學(xué)過程中每個學(xué)生親手操作儀器,進而難以達到讓學(xué)生深入理解和掌握課程中所學(xué)的理論知識的教學(xué)目標,實驗教學(xué)效果不理想。我校于2014年成立理化與材料分析測試中心,陸續(xù)購置包括FEI Nova Nano sem450熱場發(fā)射掃描電鏡在內(nèi)的多臺大型儀器,該平臺的建立為我校實驗教學(xué)和科研奠定了良好基礎(chǔ)。該掃描電鏡目前由學(xué)校轉(zhuǎn)至教師負責測試和維護,存在學(xué)生參與度較低的問題[4-5]。

虛擬仿真技術(shù)利用現(xiàn)代計算機網(wǎng)絡(luò)、編程技術(shù),是實驗教學(xué)改革和教育現(xiàn)代化發(fā)展相結(jié)合的創(chuàng)新產(chǎn)物和目標,是解決教學(xué)中設(shè)備資源短缺難題的有效方法和重要手段[6]。虛擬仿真實驗教學(xué)系統(tǒng)以三維仿真、人機交互、實時反饋的形式呈現(xiàn),有利于學(xué)生的自主學(xué)習(xí),目前已成為眾多高校教學(xué)信息化建設(shè)的重要途徑和工作重點。虛擬仿真實驗項目具有不受時空地域限制的獨特優(yōu)勢,可以高效保障線上實驗教學(xué)的有序開展。自2013年教育部下發(fā)《關(guān)于開展國家級虛擬仿真實驗教學(xué)中心建設(shè)工作的通知》以來,高校科研院所積極開展虛擬仿真實驗教學(xué)項目建設(shè),打造高質(zhì)量的虛擬仿真實驗教學(xué)系統(tǒng),將理論知識、動手實踐相結(jié)合,自主思考判斷解決問題。此外,虛擬仿真技術(shù)在大型儀器培訓(xùn)、社會服務(wù)等方面也發(fā)揮了強大的作用。

一、國內(nèi)各高校大型測試設(shè)備虛擬仿真發(fā)展現(xiàn)狀

近年來,國內(nèi)外多所高校結(jié)合自身科研和教學(xué)需求,在大型儀器設(shè)備實驗教學(xué)中引入虛擬仿真技術(shù),開發(fā)了多項虛擬仿真實驗項目。

中國海洋大學(xué)虛擬仿真實驗教學(xué)系統(tǒng)內(nèi)容健全,通過模擬實驗場景,豐富教學(xué)形式、改進教學(xué)方法、提高教學(xué)效率,為學(xué)校培養(yǎng)創(chuàng)新型人才開辟了新的路徑。貴州大學(xué)建立化學(xué)化工虛擬仿真實驗教學(xué)中心,構(gòu)建了仿真的虛擬儀器分析實驗教學(xué)環(huán)境,拓寬儀器的應(yīng)用范圍,以進一步加深和強化學(xué)生對原理的理解,使每個學(xué)生在較短教學(xué)周期內(nèi)熟練操作儀器、并深刻理解高成本大型儀器設(shè)備的工作原理和應(yīng)用分析。青島科技大學(xué)建立了材料科學(xué)與工程虛擬仿真實驗體系,該體系不僅可以幫助學(xué)生深化理解課堂理論知識,提高學(xué)生的時間能力,同時,可以彌補目前常規(guī)實驗教學(xué)暴露出來的缺陷,提高高校實驗課教學(xué)效果,內(nèi)蒙古大學(xué)開展了以透射電子顯微鏡為主的低昂儀器分析虛擬仿真實驗教學(xué),讓虛擬仿真技術(shù)與儀器實物教學(xué)有效地銜接,通過虛實結(jié)合最大程度地培養(yǎng)學(xué)生的大型儀器分析綜合能力,解決了資源緊張、教學(xué)成本高、理論與實踐脫節(jié)等具體問題;福州大學(xué)建立了掃描電鏡的虛擬仿真實驗教學(xué)系統(tǒng),彌補實際掃描電鏡實驗教學(xué)的不足,切實提高了掃描電鏡的實驗教學(xué)效果;集美大學(xué)聯(lián)合科大奧銳公司合作建立了物理仿真實驗預(yù)習(xí)及考試系統(tǒng),構(gòu)建了實體實驗與虛擬仿真實驗相結(jié)合的實驗教學(xué)體系[7]。

我校理化與材料分析測試中心針對“現(xiàn)代測試技術(shù)”“材料物理專業(yè)實驗”以及大型儀器培訓(xùn)等課程中的掃描電鏡實踐內(nèi)容,基于虛擬仿真技術(shù)建設(shè)了一套實驗教學(xué)仿真系統(tǒng)。內(nèi)容涵蓋設(shè)備操作規(guī)程及注意事項、理論知識、實驗操作及評價等模塊。該虛擬仿真系統(tǒng)在掃描電鏡實驗教學(xué)及用戶培訓(xùn)等方面效果顯著,可大大提高掃描電鏡的使用效率,有效降低儀器故障率,節(jié)約成本。

二、Nano SEM 450掃描電鏡虛擬仿真實驗教學(xué)系統(tǒng)設(shè)計

在虛擬仿真實驗教學(xué)中,人機交互是核心,真實客觀反饋在不同操作下的設(shè)備狀態(tài)也是大型儀器設(shè)備虛擬仿真的重點難點。本研究中使用的儀器為FEI Nova Nano sem450熱場發(fā)射掃描電鏡,包含管理平臺和儀器平臺,如圖1所示,該系統(tǒng)能涵蓋掃描電鏡設(shè)備教學(xué)、上機實操、考核評價功能,能更好地完成全流程周期的實驗教學(xué)活動。

圖1 Nano SEN 450掃描電鏡虛擬仿真系統(tǒng)架構(gòu)圖

(一)管理平臺設(shè)計

在實驗教學(xué)和大型儀器培訓(xùn)過程中,需要確認人員名單,因此在模塊中設(shè)置“實驗課程管理”模塊,并與學(xué)校教務(wù)系統(tǒng)對接形成聯(lián)動整體,讓有課程任務(wù)的同學(xué)能進入系統(tǒng)選擇該虛擬仿真實驗項目。并且針對學(xué)生的身份類型,按照上課學(xué)生和培訓(xùn)學(xué)生進行分類管理、分類考核。設(shè)置互動通知區(qū),主要發(fā)布上課時間、通知事項、師生交流等,讓學(xué)生在上課前即可與老師取得溝通。

(二)儀器平臺設(shè)計

一個完整的掃描電鏡實驗操作,需要有一定的理論基礎(chǔ)作為前提,并按照規(guī)則進行規(guī)范的制樣以及圖像調(diào)節(jié),最后保存圖像完成一個完整的流程周期。

在理論知識模塊,只要介紹掃描電鏡的系統(tǒng)構(gòu)成,包含電子束系統(tǒng)、真空系統(tǒng)、數(shù)據(jù)采集處理系統(tǒng)、樣品室及樣品臺等。在正常實驗過程中,掃描電鏡內(nèi)部處于真空狀態(tài),無法打開觀察內(nèi)部結(jié)構(gòu),學(xué)生無法充分認知儀器構(gòu)成。而虛擬仿真系統(tǒng)采用了三維的虛擬仿真技術(shù),可以清晰地觀察到電磁透鏡、物鏡光闌以及掃描線圈等裝置。并介紹電子束與樣品作用后的產(chǎn)物特點。如圖2所示。此模塊為必修模塊,只有通過該模塊的學(xué)習(xí)后,才能進入下一步的操作。

圖2 掃描電鏡的工作原理示意圖

掃描電鏡對測試的樣品具有普適性,但是也要有規(guī)范的制樣過程,而且制樣的手法很大程度上決定了最終獲得圖像的質(zhì)量。在眾多的分析測試中,固體塊狀、粉末和纖維狀材料能占測試材料的80%以上,因此以該三類材料為例進行制樣和觀察,如圖3的實驗桌照片為取出樣品臺,裁剪合適尺寸的導(dǎo)電膠,用鑷子將導(dǎo)電膠黏在樣品臺上,撕下保護膜,將適量樣品黏在導(dǎo)電膠上。在此模塊中集成了粉末樣品、固體樣品、截面樣品、部分導(dǎo)電樣品等的制備方法,供大家學(xué)習(xí),學(xué)生可以根據(jù)自己的樣品類型自學(xué)如何制備測試樣品。儀器操作過程需要嚴格按照步驟操作,主要包含開啟高純氮氣放氣閥,點擊放氣按鈕對真空室放氣,等待三分鐘后打開真空室艙門,將樣品放置于樣品臺上并固定,關(guān)閉艙門并抽取真空。

圖3 實驗室虛擬仿真場景

三、掃描電鏡虛擬仿真系統(tǒng)的開發(fā)

(一)模型制作

據(jù)實驗室內(nèi)實際場地環(huán)境和儀器進行3D建模和渲染,充分的還原實驗室真實環(huán)境,按照設(shè)備操作流程和步驟完成虛擬交互,對掃描電鏡樣品的制樣過程和儀器操作進行虛擬仿真,充分再現(xiàn)真實的測試過程。從而能夠建立功能完善的掃描電鏡虛擬仿真實驗教學(xué)系統(tǒng)。系統(tǒng)環(huán)境圖像逼真,可讓學(xué)生體驗到親臨現(xiàn)場的感受,其具體流程為:(1)采用3ds Max、Maya制作掃描電鏡實驗室環(huán)境的低模,其中包括實驗桌、設(shè)備、計算機等,做好后導(dǎo)出為OBJ格式;(2)用ZBrush 4R6雕刻低模、制作高模,如圖3所示;(3)使用Topo Gun拓撲軟件將其拓撲出一個低模,用于導(dǎo)入游戲引擎使用3ds Max或Maya來展開UV,使用軟件xNormaldfdrt3烘焙法線貼圖,導(dǎo)入Substance Painter繪制貼圖,效果調(diào)好,導(dǎo)出貼圖。然后在PS中細化貼圖,微調(diào);在上述操作的基礎(chǔ)上,對系統(tǒng)進行交互設(shè)計,實現(xiàn)掃描電鏡實驗過程中的真實交互過程,包括對儀器的開關(guān)、電子束的開關(guān)、樣品的取放、圖像的調(diào)節(jié)及獲取等操作,如圖4所示。(4)將制作的模型導(dǎo)入Unity實時3D開發(fā)引擎,使用Unity BuiltIn渲染管線、DirectX11圖形API進行實時渲染,使用VisualStudio IDE、C#語言編寫實驗操作流程的代碼腳本。

圖4 虛擬仿真操作界面

(二)軟件開發(fā)及性能優(yōu)化

將制作的模型導(dǎo)入Unity實時3D開發(fā)引擎,使用Unity BuiltIn渲染管線、DirectX11圖形API進行實時渲染,使用VisualStudio IDE、C#語言編寫實驗操作流程的代碼腳本。由于需要模擬的機器本身結(jié)構(gòu)復(fù)雜,導(dǎo)致模型制作難度較高。作流程復(fù)雜、腳本編寫具有一定難度,需要注意代碼框架,降低耦合性。學(xué)生電腦配置參差不齊,為保證能夠在所有學(xué)生電腦上流暢運行,需要進行性能優(yōu)化(包括減少圖形渲染等性能消耗)。

1.包體體積優(yōu)化

聲音文件優(yōu)化:將WAV,壓縮成MP3或OGG,將多聲道變成單聲道。改變聲音的采樣率與碼率,減少聲音文件體積。

貼圖文件大小優(yōu)化:將png轉(zhuǎn)jpg,并使用圖片壓縮軟件,壓縮貼圖體積,盡量減少圖片數(shù)目,復(fù)用圖片,盡量能使用顏色等代碼的方式來代替貼圖。

3D模型文件:根據(jù)需求適當降低模型面數(shù),去掉多余不用的數(shù)據(jù),可以通過法線貼圖,高度貼圖等將低模做出高模的效果,合并貼圖通道數(shù)據(jù)(PBR工作流中,將金屬度、粗糙度、環(huán)境遮擋放一個紋理里面,將數(shù)據(jù)合并到貼圖不用的通道,比如Albedo貼圖,Alpha通道不用,就可以存放環(huán)境遮擋等,節(jié)約貼圖數(shù)目)。

將資源ab包化:把所有的資源分成一個一個的ab包,ab包本身有壓縮功能,這樣整體的包體也會減小來節(jié)省包體體積。

2.光照優(yōu)化

靜態(tài)光照烘焙+反射探頭來做更好的場景效果,代替實時的光照計算,減少光源的數(shù)目。對于一些物體的發(fā)光特效,可以通過Shader來實現(xiàn),而不用加光源。定制Shader,可以將逐像素光照改為逐頂點光照,節(jié)約逐像素光照的計算開銷。

SetPassCall優(yōu)化:SetPassCall通俗的講解就是更換重新裝在渲染管線里面的Shader代碼和配置,就像換畫筆一樣的。SetPassCall開銷非常大,所以在一個場景里面,盡可能少用一些不同的Shader。盡可能讓同一個Shader繪制最多的物體后再切換下一個Shader,盡量避免繪制物體的時候頻繁交叉地來回切換Shader來節(jié)約SetPassCall的次數(shù)。

Drawcall優(yōu)化:其實很簡單三種優(yōu)化手段,靜態(tài)合批,動態(tài)合批,GU Instancing。

Shader優(yōu)化:減少Shader中的條件判斷和展開循環(huán),來獲得更好的指令緩沖Cache命中率,減少一些復(fù)雜的計算,可以采用一些空間換時間的方法來緩存計算結(jié)果。逐頂點計算來替代逐片元的計算,減少計算次數(shù)。可以把Shader設(shè)置為常駐內(nèi)存緩存,這樣節(jié)約SetPassCall所帶來的開銷。

四、實驗教學(xué)實施及結(jié)果分析

虛擬仿真系統(tǒng)建成后,其在日常實驗教學(xué)及儀器培訓(xùn)方面的應(yīng)用效果最為重要。該系統(tǒng)可以利用三維仿真還原技術(shù),客觀真實還原現(xiàn)場環(huán)境,給予用戶身臨其境的體驗。通過虛擬仿真實驗的過程,可以幫助學(xué)生深入了解掃描電鏡的工作原理,掌握從樣品制備、真空抽取、樣品工作距離調(diào)節(jié)、放大倍數(shù)調(diào)節(jié)、圖像亮度對比度調(diào)節(jié)、圖像的獲取等全流程操作要點。該虛擬仿真項目在掃描電鏡日常實驗教學(xué)及大型儀器培訓(xùn)中效果顯著。作為材料測試的基礎(chǔ)工具,掃描電鏡經(jīng)常用于分析顆粒及纖維等材料的形貌。因此,本項目選定金屬粉末及碳纖維作為觀察對象,通過對放大倍數(shù)及對焦的調(diào)節(jié),完成圖像的調(diào)節(jié)及最終拍攝。

(一)管理平臺的實際應(yīng)用

本系統(tǒng)設(shè)計了實驗管理平臺,用于日常的實驗教學(xué)及大型儀器培訓(xùn)考核,具備用戶登錄、過程記錄、成績管理等功能。用戶在完成虛擬仿真實驗后,系統(tǒng)會記錄實驗過程并對過程中的錯誤進行評判,用戶和管理員均可查看,并可以針對過程進行交流。

(二)儀器平臺的實際應(yīng)用

金屬粉末是近球形顆粒形貌,顆粒尺寸約50μm,從200倍、400倍一直放大到6000倍和12000倍。過程中,可見圖像由大面積的宏觀尺寸到單個顆粒形貌,再到顆粒表面的具體細節(jié)。在低倍時,需要通過鼠標的右鍵進行反復(fù)對焦,聚焦清晰后再進行圖像放大,每放大一次都要重新對圖像進行聚焦,在6000倍時,聚焦不清晰,該部分內(nèi)容是采用Virtool軟件并在VSL編程語言和編譯交互腳本模塊的協(xié)助下完成,圖像呈現(xiàn)模糊狀,圖像出現(xiàn)邊緣模糊不清的情況,通過鼠標右鍵的左右滑動,改變WD工作距離后,顆粒表面的形貌清晰可辨。圖像的聚焦在掃描電鏡拍攝過程中是極其重要的一項操作,過焦或欠焦都會影響圖像質(zhì)量。

碳纖維是應(yīng)用于國防工業(yè)以及高性能民用領(lǐng)域的物資。碳纖維是典型的纖維形貌,其直徑約10μm。實驗要求從200倍逐步放大到24000倍,觀察纖維絲束分布及纖維表面形貌細節(jié)。在不同的放大倍數(shù)下,探測器對于二次電子信號的捕捉效率略有差異,因此會引起圖像黑白及對比度的不同,要手動對其進行調(diào)節(jié)。通過鼠標拖動Contrast和Brightness橫條的數(shù)值,并時刻關(guān)注圖像變化,在調(diào)節(jié)同一幅圖的對比度后,纖維表面的溝壑等細節(jié)會展現(xiàn)更清晰,層次感更明顯。

結(jié)語

本研究從掃描電鏡實驗教學(xué)面臨的實際問題出發(fā),采用Unity3D技術(shù)平臺,成功設(shè)計并創(chuàng)建了以Nnao sem 450掃描電鏡為藍本的實驗教學(xué)仿真系統(tǒng)。該系統(tǒng)具備沉浸式的體驗和完整的操作流程,具備實驗管理和儀器操作兩大模塊。該成果在具體的實驗教學(xué)中發(fā)揮了重要作用,彌補了設(shè)備緊缺的短板,提升了實驗教學(xué)的效果。今后,我們將以此系統(tǒng)為借鑒,開發(fā)更多的大型儀器設(shè)備虛擬仿真系統(tǒng),并將其整合成為一個大平臺進行推廣應(yīng)用。