應用增強現實技術于醫療器械課本的研究與設計*

孟祥軍 馬志慶* 趙文華 孟 美

應用增強現實技術于醫療器械課本的研究與設計*

孟祥軍①馬志慶①*趙文華①孟 美②

目的：應用增強現實(AR)技術，改進醫療器械課本中二維圖片的諸多缺點，進行形象具體可交互的三維(3D)圖片展示，便于學生更加清楚、透徹地理解課本內容。方法：比較Vuforia、ARToolKit、Easy等AR解決方案，利用Unity 3D作為開發平臺，利用C#計算機語言作為開發語言，采用識別準確率更高的Vuforia AR技術，設置虛擬按鈕進行交互；利用智能終端設備完成醫學課本的相關應用程序(APP)設計。結果：基于AR技術的醫學課本APP開發設計，在原有醫學課本的基礎上實現了觀察某些特定醫學二維圖像，可以實時展示單個或多個3D立體模型，可直接使用設計的虛擬按鈕功能與虛擬3D立體模型進行交互。結論：利用AR技術的APP學習方案，能夠顯著提高醫療器械的學習效率，使學生學習興趣極大增強，并可將該技術移植到其他課本中進行研究。

增強現實；醫療器械；課本

增強現實(augmented reality，AR)[1-2]即為利用相關技術在原有場景中構建新的虛擬模型或場景并使其與現實場景融為一體，是一種實時地計算攝影機影像的位置及角度并加上相應圖像、視頻和三維(threedimensional，3D)模型的技術。在醫療器械課本中，傳統紙質課本只能展示二維圖片，相比傳統紙質課本，研究基于增強現實技術的“增強現實課本”可帶來新的應用體驗，增強學習醫療器械相關知識效果，而且可以推而廣之，擴展到整個教育領域使用。本研究應用AR技術，對原有醫療器械課本二維圖片的諸多缺點進行改進，實現其形象具體、可交互的3D圖片展示。

1 AR技術的解決方案

1.1 AR技術分類

AR技術目前市場上解決方案大致有PTC公司的Vuforia、開源的ARToolKit、Metaio以及國內的EasyAR等系統軟件解決方案，ARToolKit僅僅用于個人電腦(personal computer，PC)平臺的開發。此外，Metaio被Apple公司收購后已經不在對外提供服務[3-6]。本研究采用移動平臺作為開發平臺，本項目采用被廣泛應用于移動端AR開發的Vuforia系統作為AR開發的解決方案(如圖1所示)。

圖1 AR技術主要解決方案示圖

1.2 Vuforia系統

Vuforia系統是由PTC公司推出的AR開發工具包，最新版本為Vuforia 6.2，其開發的AR應用能夠在現實世界中構建虛擬物體，利用移動終端的顯示屏將虛擬對象和攝像頭捕捉的現實場景結合到一起，從而實現對現實世界進行增強的作用。Vuforia系統開發工具包(software development kit，SDK)在AR技術之所以被廣泛使用，主要有以下優勢[7-9]：①AR ToolKit主要針對PC，而Vuforia系統對移動終端有著較好的支持；②應用Vuforia可以同時識別多個物體、同時構建多個3D模型；③支持用戶自定義目標；④有著優良的追蹤性能，不會因為移動終端設備的移動而受到干擾，無法進行識別；⑤最新版能夠支持OpenGL ES 3.X；⑥具備良好的容錯性，即使對圖像進行遮擋也能夠正確識別；⑦能夠適應不同的光照環境，即使在非常明亮以及非常暗淡的環境下也能夠正確識別；⑧應用Unity 3D開發，其有著良好的兼容性，可以適配不同的移動終端設備。Vuforia SDK主要包含本地識別以及收費的云識別兩種方案。

2 Vuforia系統應用于Unity 3D開發

2.1 Vuforia系統總體開發流程

Vufoira系統應用于Unity 3D引擎的整體工作如圖2所示。

圖2 Vuforia系統應用于Unity 3D開發流程示圖

利用專業攝像頭拍攝識別物的圖像，再應用3D建模與動畫軟件開發配套3D模型，將拍攝好的圖像導入到Vuforia系統中，由系統算出每個圖片的特征點以及對應的應用密鑰，然后導出為Unitypackage文件，在Unity 3D中導入Vuforia SDK與配套3D模型以及上述導出的Unitypackage文件，然后編寫相應的代碼邏輯，并對其組件的多個屬性進行配置，完成應用的基礎開發[10-14](如圖3所示)。

2.2 應用Virtual Button進行人機交互

如實現對醫療器械3D模型進行控制，則需要研究其人機交互方案，除直接在UI端設計，如能利用遮擋識別點，對模型進行直接操作，更加方便簡單，若實現這種方案需首先下載Vuforia SDK，然后導入Vuforia SDK到Unity 3D工程中[15-16]。在Image Target控件下，新建空對象命名為btn_left、btn_ right并添加VB Plane、Mesh Renderer、Virtual Button Behaviour、Turn Off Behaviour等控件，對Virtual Button Behaviour腳本配置其Name屬性為btn_left和btn_right、Sensitivity Setting屬性設置為HIGH如圖4所示。

圖3 應用運行界面圖

圖4 Virutal Button配置示圖

創建名為VirtualButtonEventHandler.cs的C#腳本繼承IVirtualButtonEventHandler接口，在Start方法中注冊虛擬按鈕，其關鍵代碼如圖5所示。

圖5 注冊虛擬按鈕示圖

對按鈕按下和按鈕釋放(OnButtonPressed和OnButtonReleased)兩個方法編寫其他邏輯代碼實現應用控制功能，需要注意兩個方法傳入的是Virtual Button Abstract Behaviour對象，其擁有VirtualButtonName屬性可以方便調用設計的VirtualButton名稱。最后完成界面如圖6所示。

圖6 虛擬按鈕功能運行界面圖

3 結論

在醫學教育中傳統醫療器械課本只能單純展示文字與圖片，一些場景無法形象具體展示出來，不利于學生進行理解，而應用目前流行的多媒體也只能展示部分相關課程要點。以醫療器械課本為例，如學生僅僅依靠課本與多媒體內容很難完全理解，而搭建相應實驗室存在一定弊端，雖然一定程度上使學生獲得較好的學習體驗，但是學生無法隨時隨地進行在實驗室學習[17]。本研究創新之處在于利用AR技術對應開發與應用，極大增強了原有醫療器械課本的生命力，提高了使用者的學習效果。

參考文獻

[1]陳澤嬋.基于Unity3D的移動增強現實光學實驗平臺[D].北京：北京理工大學，2015.

[2]顧亞平.基于智能語音交互技術的智慧語音助理系統實現[D].南京：南京郵電大學，2015.

[3]羅永東.基于Unity3D的移動增強現實技術與應用研究[D].青島：青島科技大學，2015.

[4]王志強.基于移動增強現實的虛擬機械臂系統研究與實現[D].邯鄲：河北工程大學，2015.

[5]王曉雨.沉浸式虛擬3D敦煌莫高窟場景重現技術研究[D].西安：西安工程大學，2016.

[6]王陽.基于Android的室內WiFi定位系統設計與實現[D].南京：南京大學，2016.

[7]黃賢立，羅冬梅.基于訊飛語音技術的智能家居控制APP設計[J].福建電腦，2016，32(8)：112.

[8]張宇.現實亦虛擬虛擬亦現實[J].機器人產業，2016(2)：46.

[9]徐德華，張雪艷.中國VR技術發展現狀、應用前景與對策研究[J].經營管理者，2017(1)：271.

[10]王延可.增強現實幾何一致性相關問題研究[D].濟南：山東大學，2014.

[11]孫鵬飛.移動綜合網絡應用客戶端和服務器的研究與開發[D].北京：北京郵電大學，2014.

[12]宋杰銀.以社會責任為己任的民族語音品牌[J].質量與標準化，2013(8)：11-12.

[13]陳向東，曹楊璐.移動增強現實教育游戲的開發—以“快樂尋寶”為例[J].現代教育技術，2015(4)：101-107.

[14]康帆.增強現實技術支持的幼兒教育環境研究—基于武漢市某幼兒園的調查與實驗[J].電化教育研究，2015(7)：61-65.

[15]羅永東，張淑軍.一種基于Unity3D的移動增強現實自動導覽方法[J].計算機與數字工程，2015，(11)：2024-2028.

[16]趙建宏.VR中碰撞響應的一種解析解及對FCPF算法的改進[D].太原：太原理工大學，2003.

[17]楊露.基于云計算的嵌入式系統輸入法研究與設計[D].合肥：合肥工業大學，2012.

Research and design of augmented reality technique applied in medical apparatus and instrument textbook/

MENG Xiang-jun, MA Zhi-qing, ZHAO Wen-hua, et al//China Medical Equipment,2017,14(9):120-122.

Objective: To improve the shortcomings of the two-dimensional image in the book of medical apparatus and instrument, and to display visual, specific and interactive 3D image so that students can clearer and more thoroughly understand content of the textbook through applying augmented reality (AR) technique. Methods: By comparing different solutions of AR included Vuforia, ARToolKit, Easy and so on, using Unity 3D as development platform, using C# computer language as development language, adopting Vuforia AR technique with higher accurate, installing virtual button to achieve interaction and using intelligent terminal equipment to complete the design for relative application progress of medical textbook. Results: The development design of APP for medical textbook that based on AR technique has achieved the observation for some specific medical 2-dimentional images on the basis of original medical textbook, and it could real-time display single or multiple 3D spatial model, and could directly use virtual button function to achieve interaction with virtual 3D spatial model. Conclusion: The APP learning plan based on AR technique can significantly increase learning efficiency for medical apparatus and instrument, and can enhance the learning interest, and this technique can be transferred to other textbooks to research more APP according to above results.

Augmented reality; Medical apparatus and instrument; Textbook

College of science and engineering, Shandong University of Traditional Chinese Medicine, Ji'nan 250355, China.

1672-8270(2017)09-0120-03

R-058

A

10.3969/J.ISSN.1672-8270.2017.09.033

孟祥軍,男,(1990- ),碩士研究生。山東中醫藥大學理工學院，研究方向：醫學圖像處理、醫學增強現實與虛擬現實。

2017-04-13

山東省研究生教育創新計劃(SDYY16069)“基于《生物醫學圖像處理與分析》課程群移動學習資源的研究與設計”

①山東中醫藥大學理工學院 山東 濟南 250355

②中國海洋大學信息科學與工程學院 山東 青島 266100

*通訊作者：mazhq126@163.com