醫(yī)學(xué)移動軟件中虛擬現(xiàn)實人機交互方案的研究*

孟祥軍 趙文華 馬志慶* 孟 美

醫(yī)學(xué)移動軟件中虛擬現(xiàn)實人機交互方案的研究*

孟祥軍①趙文華①馬志慶①*孟 美②

目的：在醫(yī)學(xué)軟件的開發(fā)中，改變原有的利用鼠標(biāo)、鍵盤等人機交互方案，研究基于佩帶虛擬現(xiàn)實頭盔多個新的人機交互方案。方法：采用手勢識別工具LeapMotion在虛擬環(huán)境中在醫(yī)學(xué)模擬場景中模擬真人的手勢移動軌跡，利用科大訊飛語音識別對開發(fā)的醫(yī)學(xué)移動軟件進(jìn)行語音控制的新技術(shù)來實現(xiàn)新的人機交互方案。結(jié)果：在醫(yī)學(xué)虛擬現(xiàn)實軟件中應(yīng)用手勢識別以及語音控制后較傳統(tǒng)采用按鈕、鼠標(biāo)及鍵盤等人機交互方案易用性獲得顯著提升，使用效果反饋較好，驗證了新的人機交互方案的有效性，并提高了軟件的易用性和靈活性。結(jié)論：應(yīng)用虛擬現(xiàn)實人機交互方案后，采用沉浸式虛擬現(xiàn)實技術(shù)開發(fā)的醫(yī)學(xué)軟件能夠獲得較好的應(yīng)用體驗。

醫(yī)學(xué)移動軟件；人機交互；虛擬現(xiàn)實

虛擬現(xiàn)實(virtual reality，VR)目前在數(shù)字化領(lǐng)域中是一項應(yīng)用最為廣泛的技術(shù)，與網(wǎng)絡(luò)技術(shù)、多媒體技術(shù)并稱為三大前景最好的計算機技術(shù)，是一種集計算機圖形技術(shù)、傳感器技術(shù)、人機交互技術(shù)、網(wǎng)絡(luò)技術(shù)、立體顯示技術(shù)以及仿真技術(shù)等多種技術(shù)發(fā)展而來的綜合性技術(shù)[1-3]。應(yīng)用VR技術(shù)的醫(yī)學(xué)移動軟件目前顯示出巨大的應(yīng)用前景，其可構(gòu)建VR手術(shù)、人體解剖虛擬實驗室及VR醫(yī)學(xué)等應(yīng)用平臺，可以極大降低購買批量醫(yī)療器械、醫(yī)療模型以及建立實體實驗室?guī)淼木揞~花費，且通過在VR技術(shù)中進(jìn)行學(xué)習(xí)，使用者可更加直觀地理解醫(yī)療器械的內(nèi)部原理和應(yīng)用等[4]。因沉浸式VR技術(shù)需佩帶頭盔，原有的人機交互方案已不適用，因此本研究采用基于佩帶VR頭盔的新型人機交互方案。

1 Leap Motion手勢識別的人機交互

1.1 人機交互原理

Leap Motion是由Leap公司在2013年發(fā)布的一款手勢識別工具。Leap Motion利用紅外成像原理，追蹤雙手、手指及手持小工具等的活動，采用獨特的軟件、硬件結(jié)合技術(shù)，使用雙手即可實現(xiàn)虛擬實境和擴增實境，如同在真實世界中與數(shù)字內(nèi)容進(jìn)行互動，且具有超高精度和超低延時等特點，誤差在0.01 mm以內(nèi)，延時為5～10 ms，能夠以≥200幀/s的速度追蹤雙手，其精準(zhǔn)程度在極大程度上保證用戶順利完成人機互動所需的操作。Leap Motion是以右手笛卡爾坐標(biāo)系為基準(zhǔn)，單位為毫米(mm)，X軸與Z軸呈水平狀態(tài)，Y軸呈豎直狀態(tài)，如圖1所示。

在虛擬現(xiàn)實場景中，應(yīng)用Leap Motion可帶來自然的人機交互方式，易于接受，并可帶來身臨其境的感覺，營造真實的用戶體驗。以開發(fā)的兒童辨識教育APP為例，討論在Unity 3D下如何應(yīng)用Leap Motion手勢識別進(jìn)行人機交互，其主要功能為可以幫助幼兒辨識學(xué)習(xí)一些簡單的立方體。

圖1 Leap Motion坐標(biāo)系

1.2 虛擬現(xiàn)實場景

(1)需從Leap Motion官網(wǎng)下載Unity 3D對應(yīng)的Unity Package，然后新建Unity 3D工程，導(dǎo)入Unity Package如圖2所示。

圖2 Leap Motion導(dǎo)入圖示

(2)在Visual Studio編寫相關(guān)代碼邏輯，其最終打包生成APP配合Leap Daemon Skeletal運行界面，如借助VR頭盔可實現(xiàn)沉浸式體驗(如圖3所示)。

圖3 應(yīng)用運行界面圖

(3)應(yīng)用此方法雖簡單實現(xiàn)了VR體驗，但是由于VR頭盔的工作原理，一般是通過對屏幕的左右內(nèi)容進(jìn)行光學(xué)放大實現(xiàn)沉浸式體驗，為了讓用戶在視覺上擁有真實的沉浸感，VR設(shè)備則要盡可能覆蓋人眼的視覺范圍，因此需要在VR頭盔裝一個特定的球面弧度鏡片，但利用弧形鏡片將傳統(tǒng)的圖像投射到人眼中時圖像扭曲，人眼無法獲得虛擬空間中的定位，因此會出現(xiàn)邊角畸變[5]。為了解決畸變問題，本研究通過從虛擬鏡片對VR頭盔硬件進(jìn)行處理或通過利用相關(guān)算法在軟件中處理，其中Cardboard軟件開發(fā)工具包(software development kit，SDK)可提供預(yù)防畸變方案。

2 訊飛語音識別的人機交互

2.1 人機交互方案

在VR人機交互上，語音識別以及語音回饋功能可以讓使用者自然交互，具有很好的用戶體驗。目前，應(yīng)用較多的主要有訊飛語音、百度語音等提供SDK的平臺，在Unity 3D平臺也有開源的Unity包，如Word Detection等。經(jīng)過反復(fù)研究對比，其中訊飛語音識別準(zhǔn)確率最高，因此以訊飛語音為例，簡要介紹人機交互功能的實現(xiàn)。

2.2 人機交互功能

(1)因訊飛語音在移動平臺提供的API大同小異，因此以Android SDK為例討論如何利用訊飛語音SDK，即MSC SDK實現(xiàn)人機交互功能[6-8]。①需利用Eclipse新建Android工程導(dǎo)入MSC SDK中l(wèi)ibs文件夾中文件到Android工程中l(wèi)ibs目錄下；②在Android Manifest.xml文件中添加網(wǎng)絡(luò)連接、獲取手機錄音機使用、讀取網(wǎng)絡(luò)狀態(tài)、讀取WiFi狀態(tài)、允許程序改變網(wǎng)絡(luò)連接、讀取手機信息、讀取聯(lián)系人及外存儲讀寫等權(quán)限；③編寫代碼實現(xiàn)語音識別邏輯功能；④需在onCreate方法上創(chuàng)建語音配置對象，設(shè)置其申請的APPID字符串后創(chuàng)建Create Recognizer對象；⑤對上述XML文件布局進(jìn)行初始化并在開始與結(jié)束上放置Click Listener，編寫Click事件邏輯；⑥設(shè)置DOMAIN、SAMPLE_RATE及LANGUAGE等參數(shù)，創(chuàng)建Recognizer Listener對象實現(xiàn)對識別結(jié)果進(jìn)行監(jiān)聽，應(yīng)用Create Recognize對象開始監(jiān)聽語音輸入事件，編寫相關(guān)代碼邏輯。

(2)由于項目需要使用Unity提供的接口，故需將接口classes.jar引入至當(dāng)前工程中在Windows平臺下其位于Unity 3D安裝包目錄中的UnityEditorData PlaybackEnginesandroidplayerinclasses.jar中[9]。打開工程的目錄，進(jìn)入bin文件夾下面的classes文件夾，在Windows平臺下打開命令(command，CMD)提示符將目錄調(diào)整到classes目錄下，輸入jar-cvf命令將Eclipse中的所需類打成JAR(壓縮文件)包其整體過程如圖4所示。

圖4 JAR導(dǎo)出過程示圖

(3)將獲得的JAR導(dǎo)入到Unity工程中進(jìn)行調(diào)用，首先需得到Android Java Class，然后得到Android java Object就是當(dāng)前Activity的對象在上面創(chuàng)建的Main Activity.java。拿到后jo.call()函數(shù)完成調(diào)用，最后完成在虛擬現(xiàn)實場景中調(diào)用訊飛語音進(jìn)行語音識別的人機交互功能[10]。

3 VR人機交互技術(shù)的應(yīng)用

在醫(yī)學(xué)移動軟件VR人機交互的研究上，越自然的人機交互方式越能被人們所接受[11]，能在虛擬環(huán)境中對虛擬世界物體直接操作，能聽懂操作命令是該技術(shù)的研究方向，這些功能的實現(xiàn)可為醫(yī)生、患者帶來很多有益的幫助。在醫(yī)學(xué)軟件的開發(fā)中，隨著VR技術(shù)的快速發(fā)展，新的人機交互方式已被越來越多的研究者所關(guān)注，除應(yīng)用手勢識別、語音識別進(jìn)行人機交互外，還可應(yīng)用移動設(shè)備的陀螺儀、智能手套等設(shè)備在VR環(huán)境中進(jìn)行虛擬手術(shù)的人機交互，也取得了較好的成果[12-14]。

4 結(jié)語

醫(yī)學(xué)移動軟件VR人機交互技術(shù)方案的研究，有利于在VR環(huán)境中更好的實現(xiàn)人機交互。在醫(yī)學(xué)移動軟件的開發(fā)上，通過利用Leap Motion能夠?qū)崿F(xiàn)手勢捕捉的實時交互、利用訊飛語音實現(xiàn)語音的交互，實驗證明，相比原有人機交互方式在VR環(huán)境中表現(xiàn)更好。在下一步的研究中，計劃在VR環(huán)境中繼續(xù)優(yōu)化現(xiàn)有交互方案，并研究其他適用于VR環(huán)境中新的人機交互方案。

[1]Pelliccia L，Klimant P，Schumann M，et al.Energy Visualization Techniques for Machine Tools in Virtual Reality[J].Procedia CIRP，2016，41(2)：210-214.

[2]Lopez Ma?té C，Gaétane D，AxelC.Ecological assessment of divided attention：what about the current tools and the relevancy of virtual reality[J]. Revue Neurol(Pans)，2016，172(4-5)：270-280.

[3]Minzhi LU，Abdelkader EL，Guanghong NG.Simulation of natural environment impacts on intelligent vehicle based on a virtual reality platform[J].IFAC Proceedings Volumes，2012，45(24)：69-70.

[4]Yang YJD，Allen T，Abdullahi SM，et al.Brain responses to biological motion predict treatment outcome in young adults with autism receiving Virtual Reality Social Cognition Training for children with high functioning autism[J].Behav Res Ther，2017，93(1)：55-66.

[5]Farra SL，Miller ET，Hodgson E.Virtual reality disaster training：translation to practice[J].Nurse Educ Pract，2015，15(15)：53-57.

[6]Chang TP，WeinerD.Screen-Based Simulation and Virtual Reality forPediatric Emergency Medicine[J].Clinical Pediatric Emergency Medicine，2016，17(3)：240-243.

[7]Vaughana N，Gabrysa B，Dubeya VN.An overview of self-adaptive technologies within virtual reality training[J].Computer Science Review，2016，36(7)：12.

[8]Chalil Madathil K，Greenstein JS.An investigation of the efficacy of collaborative virtual reality systems for moderated remote usability testing[J]. Appl Ergon，2017，pii：S0003-6870(17)30037-30046.

[9]Roy E，Bakr MM，George R.The Need for Virtual Reality Simulators in Dental Education：A Review[J].Saudi Dent J，2017，29(2)：41-47.

[10]Hsuan J，Lin T.Fear in virtual reality(VR)：Fear elements，coping reactions，immediate and nextday fright responses toward a survival horror zombie virtual reality game[J].Computers Human Behavior，2017，72(1)：23-25.

[11]Zhihan Lv，Xiaoming Li，Wenbin Li.Virtual Reality Geographical Interactive Scene Semantics Research for Immersive Geography Learning[J]. Neurocomputing，2016，65(3)：11.

[12]Dong-Hee Shin.The Role of Affordance in the Experience of Virtual Reality Learning：Technological and Affective Affordances in Virtual Reality[J]. Telematics and Informatics，2017，21(12)：45-49.

[13]Higuera-Trujillo JL，López-Tarruella Maldonado J，Llinares Millán C.Psychological and physiological human responses to simulated and real environments：A comparison between Photographs，360°Panoramas，and Virtual Reality[J].Appl Ergon，2017，pii：S0003-6870(17)30117-30125.

[14]Innocenti A.Virtual reality experiments in econo-mics[J].J Behavi Experimental Economics，2017，51(4)：21-25.

Research on human-computer interaction scheme of VR in medical mobile software/

MENG Xiang-jun, ZHAO Wen-hua, MA Zhi-qing, et al//China Medical Equipment, 2017,14(8):112-114.

Objective: In the development of medical software, to research new humancomputer interaction scheme based on wearing virtual reality (VR) helmet so as to change former scheme which using mouse, keyboard and other tools. Methods: LeapMotion, a kind of gesture recognition tool, was used in medical simulation scenes of virtual environment to simulate movement trajectory of real person's gesture. The speech recognition of iFLYTEK, which could implement speech control for developmental medical mobile software, was used to realize new human-computer interaction scheme. Results: Usability of gesture recognition and voice control in medical virtual real software was obviously higher than that of traditional human-computer interaction scheme which adopted button, mouse and keyboard. And its feedback was better than that of traditional scheme. Besides, it verified the effectiveness of new human-computer interaction scheme and enhanced usability and flexibility of software. Conclusion: After human-computer interaction scheme of virtual real is applied, the medical software was developed by adopting virtual reality technique of immersion, and it can obtain better application experience.

Medical mobile software; Human computer interaction; Virtual reality

College of Science and Engineering, Shandong University of Traditional Chinese Medicine, Jinan 250355, China.

1672-8270(2017)08-0112-03

R-058

A

10.3969/J.ISSN.1672-8270.2017.08.031

孟祥軍,男,(1990- ),碩士研究生，山東中醫(yī)藥大學(xué)理工學(xué)院，研究方向：醫(yī)學(xué)圖像處理、醫(yī)學(xué)增強現(xiàn)實與虛擬現(xiàn)實。

2017-05-28

山東省研究生教育創(chuàng)新計劃(SDYY16069)“基于《生物醫(yī)學(xué)圖像處理與分析》課程群移動學(xué)習(xí)資源的研究與設(shè)計”

①山東中醫(yī)藥大學(xué)理工學(xué)院 山東 濟南 250355

②中國海洋大學(xué)信息科學(xué)與工程學(xué)院 山東 青島 266100

*通訊作者：mazhq126@163.com