基于AR技術的“視覺本草”草藥識別軟件設計與開發

楊昕彤　朱丹丹　張晶　倪心宇　關云興

摘要：增強現實是虛擬現實技術的拓展。基于增強現實的交互手段可以為學習對象提供新的表達方式，并且可以通過最自然的交互方式為學習者構建一個獨立探索的空間。運用AR技術與中醫藥教學相結合，以軟件的形式將傳統的中醫藥教學變為具有趣味性、體驗性、交互性的增強現實教學。通過開發相應軟件利用手機攝像頭掃描AR卡片，還原中藥本草的三維立體形象，改變以往單一、平面的傳統教學方式，多維度的展現中藥植物的地道產區、本草溯源、功效主治等知識。將中藥材的教學內容更直觀地體現，把抽象復雜的知識變的可視化、形象化。打破空間和時間的限制，讓教學場景更加豐富生動，讓教學內容變得更生動有趣。

關鍵詞：AR;中藥教學;增強現實

中圖分類號：TP391? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2020）02-0179-05

這幾年來，隨著不斷深入的科技發展以及教學改革，多模式多樣化的新型教學方式不斷產生;AR技術作為一種新興的技術，在制造業應用廣泛，對于提升制造業的信息化智能化水平有極大幫助。科技部和國家中醫藥管理局聯合發布文件，將“VR/AR技術用于中藥智能制造”提升到了國家政策的高度，這也是中醫藥文化發展的一個機遇與挑戰。同時《“十三五”中醫藥科技創新專項規劃》《新一代人工智能規劃》等多項國家規劃書中都提出發展人工智能技術，將傳統文化與增強現實技術相結合，推動我國中醫藥文化的前進。AR技術在中醫藥教育中的應用，可以充分發揮AR技術的優勢，對減輕學生的學習壓力，提高教育教學質量，促進中醫藥文化的發展具有積極的作用。本軟件開發利用VR技術，將中藥本草的真實立體形象展示給學生并給予實時交互性使教學，過程直觀真實，形象易記，對于中藥課堂教學起到了很好的輔助作用。

1 AR技術在領域的研究現狀

近年來，AR技術作為新型的人機接口和仿真工具，在各領域的應用日益廣泛。AR技術已應用在軍事、航空、醫學、船舶等多個領域;在針灸教學、患者康復訓練以及醫藥教輔類有所應用，且反響良好。[1]AR在智能手機上的應用也日漸增多。利用手機進行草藥識別，并將草藥的細微結構、標本飲片細節呈現出來，是一種挑戰，同時也具有一定的前景。目前全球多家公司已經推出了各具特色的AR軟件開發平臺，為不擅長編程者提供了可操作的平臺，只需按照自己的思維邏輯來設計流程，將已經分裝好的程序模塊嵌入，就可以通過AR工具設計開發符合自己需求的AR軟件產品。這為我們做中醫藥教學軟件的開發提供了便利。目前各醫學院校未設置中草藥植物園或中藥飲片陳列室， 學生沒有機會直接接觸中藥， 不能直接觀察中藥原植物或標本， 不利于了解中藥四氣五味、性狀特征等性能。沒有理論結合實踐， 學生對所學印象不深[6]。

2 設計理念

2.1 科學性

本軟件設計的科學性，主要體現在中草藥模型制作的規范。通過查閱大量的文獻，嚴格按照中草藥文獻中草藥的外觀特點進行建模。對于所識別草藥的植物基源、形態特征以及功效的介紹做到有據可依，保證用戶在平臺上所獲得的知識具有一定的科學性和可信性。

2.2 創新性

本軟件設計的創新性主要體現在運用AR增強技術，將圖片的描述立體、直觀的呈現在學生面前。研究表明采用語言描述與彩色照片， 兩者認知程度相差2倍之多。將抽象的學習內容形象化、可視化、直觀化的展示出來，增強現實的可視化效果，能夠提高學生對于抽象概念、微觀現象的理解，提升學習效率和效果[2]。將AR技術運用于中藥教學中，這種方式可以打破以往對于中藥學習的時空限制，能夠更好地適應學生的個別差異，同時也滿足了學生自主個性的學習需求，豐富了獲取知識的途徑，真實，具體的教學情景有利于學生對知識點的掌握。這種新型互聯網+技術可以提高學生的學習興趣，調動學習積極性。是現代信息化技術與傳統中藥教學的完美結合。

2.3 服務性

本軟件設計本著服務學生的思想，主要用于課堂教學，草藥模型的建立、簡介等主要用于課堂教學，服務教師、服務學生，對于優化課堂教學模式具有良好作用。

3 軟件的特點

增強現實技術是真實世界和虛擬世界的信息集成，具有實時交互性，是在三維尺度空間中增添定位虛擬物體。

該項目旨在運用AR技術與中醫藥教學相結合，以軟件的形式將傳統的中醫藥教學變為具有趣味性、體驗性、交互性的增強現實教學。通過利用手機攝像頭掃描AR卡片，還原中藥本草的三維立體形象，改變以往單一、平面的傳統教學方式，多維度的展現中藥植物的產地溯源、功效等知識。提供更直觀的中藥材教學內容，將抽象復雜的知識可視化、形象化。打破空間和時間的限制，讓教學場景更加豐富生動，讓教學內容變得更生動有趣。

4 設計方法與開發過程

4.1 設計方法

本項目研究主要采用文獻法、基于設計的研究法和快速原型法。通過文獻檢索法，整理中草藥數據庫，通過基于設計的研究的方法對軟件的基本功能需求進行設計、改進、完善、應用，在運用中設計、設計中進行完善。在App項目開發中采用快速原型法，根據設計與基本需求建立軟件原型。在軟件設計中采用面向對象的方法進行開發。

4.2 開發流程

1） 插件的安裝

AR識別卡插件：

4.3 開發過程

增強現實AR軟件教學系統的核心功能， 該功能開發中采用了unity 3D AR場景搭建、3DMAX建模、自然場景識別等技術， 用戶可以通過虛擬現實系統感受到在客觀物理世界中所經歷的“身臨其境”的逼真性，還能突破空間、時間以及其他客觀限制，感受到在真實世界中無法親身經歷的體驗。

具體開發過程如下：3DMAX建模，確定植物藥材選擇。以人參為例，搜集人參全株圖片、根莖圖、葉片細節圖等作為素材。首先用CAD繪圖軟件繪制平面圖形，將CAD軟件中的平面圖形導入到3Dmax當中，利用3Dmax軟件的輪廓和尺寸，繪制出初始平面圖形，如圖2。

將二維圖形進行處理，將其轉化為三維立體的模型。再通過貼圖使模型完整，為達到更好的效果先用Photoshop對前期收集的人參素材進行處理，對貼圖材質中的光線、顏色進行強化。用zbrush做貼圖和細節處理，針對材質貼圖的紋理設計，進行相應的調整，再導入到3dMax中檢查貼圖，建立一個更加生動的實體模型。還可以根據實際情況的要求調整添加燈光、渲染輸出，如圖3。

4.4 搭建Vuforia數據庫

通過Vuforia增強現實插件可以將Unity3D 生成的虛擬現實世界疊加到真實環境中，基于Unity3D+Vuforia增強現實技術可以開發具有交互功能的App。AR Camera需要Vuforia SDK的支持。點擊Get Development Key自己定義項目名如上圖創建你的Vuforia項目，如圖4。

復制粘貼密鑰，如圖5。

回到Unity，點擊AR Camera，然后在右邊Inspector窗口點擊Open Vuforia Configuration，將密鑰粘貼到App Licese Key，如圖6。

點擊Target Manager，添加識別卡，這樣當攝像頭拍攝到我們指定的東西上，就在上面浮現AR模型。點擊Add Database，選擇Device，然后點開新建的Database，如圖7。

4.3 搭建AR場景

打開Unity3D，選擇Android Build Support、iOS Build Support 界面，如圖8。

然后搭建AR相機，刪除Main Camera，搜索AR Camera，拖動到hierarchy，如圖9。

然后導入下載的Database，如圖10。

然后Assets目錄下會多出StreamingAssets文件夾，添加的識別卡也在目錄下面。添加ImageTaget，將ImageTarget拖動到左上角，如圖11。

然后將模型文件從本地電腦拖動到Assests目錄下，模型拖動到ImageTarget目錄下，使得其變成子目錄，如圖12。

然后點擊ImageTarget，將Database選為我們在Vuforia建立的database，步驟正確的話，有兩個選項，一個是Empty，另一個就是新建立的database，如圖13。

然后點擊AR Camera，在Datasets里面將下面兩個選項勾選上即可完成AR場景的搭建，如圖14。

4.5 AndroidAPK打包

安裝 JDK，運行安裝程序jdk-7u67-windows-x64，完成之后點擊確定，完成環境變量的配置。復制android-sdk-windows文件夾到C盤或者D盤或者你可以找到的任意盤任意目錄，復制完成之后，打開unity，新建一個項目，打開Edit-Preferences選項，Javajdk環境和SDK環境搭建完成。完成之后，新建場景，保存場景，添加到build里面去切換平臺為安卓Android平臺，如圖15。

然后點擊Player settings，修改Other Settings，如圖16。

修改完成后，點擊Build，如圖17所示。

添加文件名，打包保存，如圖18所示。

4.6 效果演示

5 總結與展望

雖然AR技術已廣泛被大眾接受，但在教學實施中，如何平衡虛擬與現實是一個待解決的問題。對基本教育理念的沖擊和對傳統教學方式的突破都需要一段時間的適應。同時，由于AR產品技術需要相關設備的條件滿足，成本較高于以往的教學設備，所以尚未全面走進各大高校。

增強現實技術能為包括中醫藥教學在內的各個領域的發展提供一個全新的突破口，隨著網絡技術不斷地飛速發展增強現實技術會得到更為長足的發展，與中醫藥教學的結合也會更加完美，必將更為廣泛的運用于中醫藥教學領域。

AR技術中藥本草的真實立體形象展示給用戶并給予實時交互性，使教學過程直觀真實，形象易記。許多過去難以講述的內容，如植物形態、藥用部位、飲片性狀等，通過AR教學，現在變得易于識別和理解，這種教學形式將會掀起改革式的熱潮。

將AR技術應用于中藥教學中，這種方式可以打破以往對于中藥學習的時空限制，能夠更好地適應學生的個別差異，同時也滿足了學生自主個性的學習需求，豐富了獲取知識的途徑，真實，具體的教學情景有利于學生對知識點的掌握。將實現現代信息化技術與傳統中藥教學的完美結合。

參考文獻：

[1] 萬倩茹，劉旭初，尹瑞英，等.AR技術應用在中醫藥教育中的可行性探討[J].中國中醫藥現代遠程教育，2018（19）：29-32.

[2] 田方，巢建國.植物圖片庫在藥用植物學教學中的應用[J].中國醫藥指南，2013（36）：590-59.

[3] 涂子琰，孫濟洲.增強現實技術的應用和研究[J].計算機工程與應用，2003（12）：100-102+125.

[4] 徐敏，童強.一種基于Unity3D+Vuforia的增強現實交互App的開發[J].現代計算機，2016（12）：71-75.

[5] 王丹婷，蔣友燏.古建筑三維虛擬建模與虛實交互軟件實現[J].計算機應用，2017（S2）：186-189.

[6] 唐建紅，黃佳伊，劉川玉.中藥學課程授課現狀及改革探討[J].中國中醫藥現代遠程教育，2018，16（19）：18-20.

[7] 吳小惠.基于AR的計算機軟件教學工具設計與研究[J].吉林省教育學院學報，2018，34（11）：76-78.

【通聯編輯：朱寶貴】