基于MR與云端的醫療信息可視化交互系統

陳丹鳳

基于MR與云端的醫療信息可視化交互系統

陳丹鳳

（武漢理工大學 信息工程學院，湖北 武漢 430070）

在這個信息技術飛速發展的時代，互聯網、物聯網相繼出現，可以使用戶端延展至任何物與物之間，從而進行信息交換與通信，這帶動了遙控式機器人的快速發展。為了解決傳統就診中醫生工作時無法即時顯示病人信息、異地或被隔離時無法完成遠程就診的弊端，提出了基于MR與云端的醫療信息可視化人機交互系統，可以使醫療信息的交互變得更加準確、迅速，可以幫助原有的異地醫療設備更加準確地傳遞信息，使醫生與患者不會再因為距離遠、數據不準、難以接觸等問題而影響了最佳救治時間。

人機交互；Microsoft HoloLens；云共享；混合現實技術

1 概述

1.1 設計背景

人機交互越來越受到社會各界關注，又隨著混合現實技術（Mixed Reality，MR）的出現與不斷成熟，適應這種新型技術的新的交互方式日漸發展起來。從學習、研究，到娛樂、生產、營銷等各個領域都可以找到這種新型交互方式的發展方向與利益需求。本系統主要從醫療輔助設備的角度出發，利用Microsoft HoloLens將應用程序、信息以及多維視頻等數字內容融入周圍的物理空間，直接將醫療工作者、患者的各項數據具象化，拓展醫療工作者的工作環境，方便工作者操作，同時還能避免大型機械發生意外事故。

1.2 概要設計

如今是一個機械化生產的信息時代，各種功能的機器人已經成了各個領域上必不可少的重要工具，醫療領域也是如此。傳統醫療器械與儀表盤與人分離造成的數據顯示延遲、知名醫院一號難求、偏遠山區就醫不便等問題卻仍層出不窮，面對這種醫療資源普遍緊缺的局面，想做到顯示實時數據并實現精確性是困難的，但隨著時代的發展，人們對信息交互的即時性、準確性卻有著越來越嚴格的要求，這種要求在此次疫情期間尤為突出。在疫情期間，患者信息傳遞不及時、無法實現即時接觸診病、醫生被隔離無法增援等問題都突顯了出來，嚴重影響了醫護人員的工作進程，減緩了抗疫的速度。

本交互系統的主要功能是在佩戴HoloLens的情況下，通過控制HoloLens界面中的機器人來使實際中的機器人做出對應的動作，同時在用戶的視野中實時呈現相關數據（機器人狀態、病人體溫、病人心跳等），從而實現脫離操控臺的人機分離的操作或實時數據變化顯示，最大程度上保證了醫生與患者的安全，拓展了醫生的行醫環境，并使機械臂有了更大的移動空間，可以更好地完成其相關工作，而每次工作積累下的數據可形成歷史記錄，存入云端進行簡單的處理與分析。信息可視化交互系統工作流程如圖1所示。

圖1 信息可視化交互系統工作流程圖

2 詳細設計

2.1 控制面板

為了更好地實現與遠程醫療設備的對接，借助已有機械臂進行了產品設計，在本系統中設置了虛擬控制面板，使用戶可以通過視野中的虛擬按鍵對儀器圖像進行操控，從而控制實際中的醫療器械，實現遠程操控。模式中控制機械臂的方式，達到減少醫生來回走動以觀察病人與醫療器械情況次數的效果，并實現了在近距離觀測工作情況的同時，遠離機械臂的工作范圍，最大程度上保證了醫生與患者的安全，并使機械臂有了更大的移動空間。系統控制面板如圖2所示。

圖2 系統控制面板

在將本系統部署至HoloLens完成后，直接啟動HoloLens。在Hololens的菜單頁找到名為AR_HRI的應用，點擊即啟動。通過移動視線使光標移動至各個按鍵，光標到達按鍵位置時，將使用者的手置于視線當中，做捏合動作。

2.2 實時數據界面

數據顯示界面如圖3所示。

圖3 數據顯示界面

在作品設計過程中，針對已有設備，搭建了一套基礎的實時數據顯示界面，其包括控制面板、機器人實時數據顯示面板，在技術上已可以實現對常規機器人的各項數據進行實時顯示，并已有如下功能：該界面顯示的為工作中機器人的實時數據以及機器人的全息圖。該面板有鎖定鍵，綠色表示已解鎖，白色表示未解鎖。將光標移至鎖定鍵，捏合手指鎖定鍵變綠后移動光標至機器人圖像，捏住不放即可拖動。控制面板可直接通過捏合手指不松開進行移動。

2.3 部分關鍵算法

本系統在設計過程里，在Visual Studio 2017中使用C#進行編譯，在其環境中下載并安裝了Unity 5.6版本的Vuforia，然后進行系統的開發與測試，所寫部分源碼如圖4所示。

圖4 醫療信息可視化交互系統部分源碼

系統設計中的gaze、gesture、voice三種交互方式的添加與懸浮數據顯示窗口的設計，實現了以HoloLens為主體在Wi-Fi環境下人機通信，實現人與設備、人與實時數據的交互，從而有了較強的實時性與便捷性，所以對其在醫療領域的應用進行了拓展與探索。

3 系統優勢

本設計從此次疫情角度出發，系統利用現今受到廣泛關注的混合現實技術實現醫生與醫療信息、醫療器械的共融交互，較傳統醫療設備有許多優勢，應用前景光明。本系統可使用戶在同一位置以全息圖的方式完成對被檢查者的大致了解，有效提高了工作效率。改變了近距離控制搖桿或按鍵以移動機器人來工作的控制模式，實現了便捷的遠程操作，在保護醫生與患者安全的同時提高了信息交互的效率。

3.1 醫療設備與信息的MR顯示

在設計系統功能的過程中，本系統的交互模式借助MR技術，打破了傳統工作狀態下必須近距離觀察機械臂各方位情況的限制，使醫生可以在同一位置以全息圖的方式完成對醫療器械的檢查、對病人大致情況的了解，有效提高了工作效率。

3.2 可調節的實時數據懸窗

本系統的控制面板、儀器實時數據顯示界面、患者狀態實時數據顯示界面，均脫離了傳統儀表盤式顯示的束縛，借助HoloLens的界面以懸浮窗口的形式顯示在使用者的視野前方，且由于本系統自主設計了非嵌入的窗口模式，所以，各個數據窗口可以隨使用者的視野移動固定或移動，保證了使用者可以有選擇地看到所需要的控制面板與數據。

3.3 虛擬按鍵的使用

本系統設計了較為完善的虛擬按鍵與面板，降低了使用者對實際器材的依賴，改變了原有的近距離控制搖桿或按鍵以移動機械臂、電子針筒的控制模式，實現了令醫生遠程操作，在保護使用者安全的同時擴大了機械臂的工作空間，降低了購置大型控制臺、儀表盤的成本。

3.4 云端信息處理

在完成了整體系統的脫機設計之后，利用阿里云服務器，自主搭建了醫療信息處理平臺，可以對使用者的歷史使用記錄進行分類存儲、處理與分析，方便醫生的后續工作，也有利于患者對自己歷史就診數據的了解。

4 發展前景

如今，許多醫療機器人已投入了使用，人機共融交互系統可以使醫生在長時間手術過程中遠離感染病病人，且無需一直操縱實體遙控設備，減少醫生的疲勞感，進而提高手術的安全性。而由于該系統在借助HoloLens與PC連接后可控制各類機器人，結合設計的組合式數據顯示窗口，可以實現在不同應用場景下各種數據的實時顯示，所以，其功能可擴展至工業、科研等更多領域。

4.1 工業領域

工業機器人已廣泛應用于工業制造的各流水線中，而該系統的出現可以使制造工人全方位了解機器人的工作情況，及時并準確地進行操作，可以有效提高工作效率。

4.2 軍事領域

遠程操控的軍事機器人、無人機已經出現，但在高科技戰爭、精兵對抗的時代，原有遙控設備既不方便攜帶又易被發現，該系統則只需以HoloLens為載體，即可實現對不同設備的控制，可在戰斗中取得奇效。

4.3 科研領域

大型產品的研制往往涉及成千上萬的系統或者零部件，他們之間的關系單憑想象無法梳理清楚，借助該系統可以真實地呈現某個設計環節，而不用完成整個設計后才發現問題，有效節約了科研成本與時間。

現階段，本系統已借助HoloLens實現了在無線局域網范圍內對工業機械手臂的操控與實施數據顯示，實現了顯示人體體溫這一基本數據。隨著后續的開發與設計，本系統將可以實現更多醫療信息的顯示，幫助醫生與患者營造一個更安全、更便捷的醫療工作生態，盡其所能，從而使此次疫情的醫療資源短缺問題不再出現。

5 可行性分析

就技術層面而言，AR技術出現30余年，已經可以通過增強見、聲、聞、觸、聽來實現模糊真實世界與計算機所生成的虛擬世界之間的界線。可以將真實世界信息和虛擬世界信息“無縫”集成，這促使近年來虛擬現實領域出現了一個新的方向——混合現實（MR）。

混合現實的出現，為人機共融交互系統提供了思路與技術支持。微軟推出了首款運行Windows 10的全息計算機HoloLens，它是完全獨立的，不需要線纜或手機，也無需連接計算機。Microsoft HoloLens可以將全息影像融入物理環境，使人有觀察周圍世界的全新方式，且有對應的SDK支持程序開發，使得該系統可以將HoloLens作為載體。在設計本系統時，借助unity開發平臺導入RAPID語言編得的工業機器人ABB IRB1200模型，以TCP/IP通信方式連接HoloLens與PC，最終實現運用MR技術來實現人機共融交互，達到用HoloLens直接控制機器人的目的。這一技術已經完善至可以通過改變視線中HoloLens操作界面來直接命令現實世界中的機器人做出對應動作。

就工業生產層面而言，該系統建立了現實中ABB IRB1200與HoloLens界面中ABB IRB1200之間的通道，使該系統可以精確地觀測到機器人實時移動距離與位置，使操作更加精準，以減少誤差。可通過hologram技術實現全角度觀測并檢查機器人與患者的實時情況。且HoloLens是現有的所有HMD中唯一在開發、配置和使用時完全不需要插上傳輸數據線/充電線的產品，所以HoloLens可以直接通過WiFi連接，這一遠程操控的特性可有效保護醫患雙方的安全，并使醫療器械在工作過程中只與患者接觸，從而減少意外事件與不必要的傳染。

因此，筆者認為，本系統在未來的醫學領域有較高的實用價值。

［1］蔣紅衛，張樹興.機器視覺的人機交互系統的設計分析［J］.現代工業經濟和信息化，2020，10（3）：52-54.

［2］王素麗.基于人機交互的界面故障數據屬性識別方法［J/OL］.沈陽工業大學學報：1-5［2020-05-25］.http: //kns.cnki.net/kcms/detail/21.1189.T.20200515.0957.012.html.

［3］楊麗梅，李致豪.面向人機交互的手勢識別系統設計［J］.工業控制計算機，2020，33（3）：18-20，22.

［4］易敏哲.基于視覺信息設計的人機交互界面設計［J］.科技與創新，2020（5）：126-127.

TP391

A

10.15913/j.cnki.kjycx.2020.13.015

2095－6835（2020）13－0040－03

陳丹鳳（1999—），女，本科在讀，通信工程專業。

〔編輯：張思楠〕