基于“互聯網+”的高清醫學遠程示教與會診綜合云平臺的研發及應用

陳 劍，李力強，黎 祺，張貴鋒，溫鴻源，何啟雄，伍乙生

（肇慶醫學高等專科學校，廣東肇慶526020）

0 引言

臨床見習是臨床實習的實踐基礎[1]，但受限于客觀因素[2]，大批學生集中觀摩的傳統組織方式教學效果不佳。為滿足醫學生現場教學、同行學術交流和專家會診等需求，一些醫院開始采用5G通信和虛擬現實（virtual reality，VR）等最新技術開展遠程示教和會診平臺的研究和建設[3-5]，并取得了顯著的成效。但目前還普遍存在以下問題：（1）音、視頻互動性差，遠程無法和現場實時有效互動；（2）音、視頻信號的采集設備欠缺隱蔽性，容易使患者產生緊張和抵觸情緒；（3）平臺可移動性差，不能應對突發情況；（4）不能根據需要將全景視頻信號、術野視頻信號、監護設備視頻信號和教師PPT自動生成微課或課件；（5）缺乏可以實現直播、儲存、切片加工處理和點播等多功能的綜合視頻資源管理系統。

我校及附屬醫院每年組織約4 000名醫學生開展臨床見習和實習。為解決學生在術野狹窄科室難以多方位完整觀看手術操作的精細過程、可能增大污染無菌環境的風險、影響主刀醫生操作等問題，我校及附屬醫院共同探索并設計了基于“互聯網+”的高清醫學遠程示教與會診綜合云平臺，以切實提高臨床見習效果。

1 平臺設計

1.1 需求分析

本平臺針對國內現有遠程示教平臺的不足，重點關注口腔科和手術室等術野狹窄科室的視頻信號采集及便捷移動式示教平臺的搭建，具體實現以下功能：

（1）支持實時高清音、視頻直播和互動。平臺能對相關科室的診療或手術進行實時全局視野和術野等多角度可變焦的高清音、視頻直播；增設藍牙通信裝置，臨床醫生操作時不干擾患者即可與遠端示教室師生進行實時語音互動[6]，并和示教室教師進行現場雙向講解。

（2）支持專家遠程會診。在相關科室遇到復雜、疑難病例時，平臺可邀請異地高水平專家，通過互聯網將低延時的高清音、視頻信號傳送到異地專家的IP終端，使現場醫生和異地專家可通過平臺進行病例討論和實時技術指導，提高醫療效率[6]。

（3）支持同步采集各種主流專業醫療設備的信號。平臺能對接高清晰度多媒體接口（high definition multimedia interface，HDMI）、視頻圖形陣列（video graphics array，VGA）接口、數字視頻接口（digital visual interface-integrated，DVI-i）、數字分量串行接口（serial digital interface，SDI）、高清數字輸入與輸出端口（high definition-serial digital input，HD-SDI）和復合視頻接口等各種常用信號接口，接收內鏡、心電監護儀、麻醉機、呼吸機以及影像歸檔和通信系統（picture archiving and communication systems，PACS）等各種主流專業醫療設備的顯示輸出[7]，以便可以多畫面、多角度、全方位地完整觀看和了解整個手術過程[8]。

（4）術野攝像頭可以實現最佳位置、最佳角度，達到最佳成像效果。術野攝像頭是整個平臺的技術難點。口腔科的術野攝像頭置于牙科綜合治療臺的LED燈罩內，手術室的術野攝像頭置于手術臺的無影燈內，不占用醫生有限的操作空間，避免患者緊張和疑慮[6]。

（5）具備視頻、微課制作等后期編輯功能。平臺可將示教過程中導播的全景視頻信號、術野視頻信號、監護設備視頻信號、教師PPT等自動錄播并合成一個視頻文件，再自動上傳到視頻資源管理系統。教師能在視頻資源管理系統中對視頻進行切片加工和后期編輯，生成微課和課件，學生可以通過互聯網在系統中收看直播或點播，可以對各類手術的實施細節進行反復觀察和模仿，從而為現場實操打下堅實基礎[9]。

（6）支持靈活多樣的示教和會診接收方式。除了在示教室和會診室通過高清大屏或投影儀觀看示教或參與會診外，師生或專家還可以使用計算機、手機和平板計算機等移動終端通過互聯網實時接入平臺。

（7）移動便攜式設計。平臺具有移動便攜式的直、錄播設備[10]，無需為醫院所有科室都安裝固定的示教和會診設備，就能滿足醫院所有科室多種情景的手術示教和會診的需要，實現醫院所有科室遠程示教和會診的全覆蓋。

（8）功能模塊化設計。平臺要逐步與醫院信息系統集成，醫生、護士或現場教師能在手術期間實時調閱患者的病歷資料，實現手術視頻資料的臨床、科研、教學、舉證的一體化，為全面數字化手術室的建設打好基礎[11]，同時也便于平臺后期整體的維護升級。

1.2 整體架構

平臺基于IP網絡，采用H.264 High Profile高清傳輸技術和AAC（advanced audio coding）音、視頻編碼技術的錄播主機，對手術過程的音、視頻信號進行雙向實時遠程傳輸和儲存，從而實現對手術過程的實時異地示教和會診[12]。平臺的整體架構分為前端節點、網絡層、主控層和用戶層4層，如圖1所示。

整個平臺由信號采集模塊、信號編碼及轉發模塊、信號控制模塊、信號顯示模塊和視頻資源管理系統[13]5個部分構成（如圖2所示），各手術室、診療室和示教室為信號顯示應用場所，通過互聯網實現診療、手術過程的示教和專家會診。

圖1 高清醫學遠程示教與會診綜合云平臺架構圖

圖2 高清醫學遠程示教與會診綜合云平臺構成圖

2 平臺實現

2.1 信號采集模塊

實現最佳前端術野視頻信號采集是平臺研發的重點工作，該模塊主要包括口腔科術野視頻信號采集模塊，手術室術野視頻信號采集模塊，可移動手術示教推車前端音、視頻信號采集模塊和名中醫診療室前端音、視頻信號采集模塊。口腔科術野視頻信號由自主研發的口腔術野攝像頭采集；手術室采用派可斯醫療全高清數字攝像LED手術無影燈實現術野狹窄環境下的視頻信號采集，根據示教需要，為學生在遠程端提供不同角度、不同視野范圍的實時清晰影像；可移動手術示教推車和名中醫診療室視頻信號的采集由總像素為274萬、分辨力可達1080P 60/50的奧威亞高清云臺攝像機HD-300S和20倍光學變焦的總像素200萬、支持1080P的科達IPC4X5全景攝像高清高速紅外球型網絡攝像機共同完成。

這四種方法從不同的角度研究了三道大題和整卷難度的關系，得出的結論也略有不同.綜合考慮來看，第三道大題與整卷難度關系相關性最高，對整卷難度的影響也較大，這也從基于數據的實證研究角度佐證了高考命題中對于解答題的定位，即解答題對高考數學整卷難度起到的決定性的作用.

（1）口腔科術野視頻信號采集模塊：高清攝像頭完全嵌入牙科綜合治療臺的LED燈罩中部（如圖3所示）[6]，在不影響醫生視線的前提下高清攝錄口腔內的操作情況，視頻信號能同時輸出到錄播主機和外置的高清顯示器。

（2）手術室術野視頻信號采集模塊：手術臺配備中置可330°旋轉的高清攝像系統的LED手術無影燈（如圖4所示），照明亮度和術野光斑大小可通過旋轉手柄進行調整，保證術野獲得穩定的照明并能拍攝到高清的術野畫面，最大程度還原現場手術情景。

（3）可移動手術示教推車前端音、視頻信號采集模塊：該模塊集成了高清云臺攝像機、麥克風、顯示器和無線路由器等設備，能在無線Wi-Fi網絡信號和運營商4G網絡信號覆蓋的區域內利用平板計算機進行無線導播。可移動手術示教推車（如圖5所示）自帶電源，移動靈活，可在各類手術室間進行移動示教部署，非常適合應用于遠程查房和各種突發的遠程急救會診和場景教學，解決了國內常規遠程示教平臺只能在固定場所應用、不具備可移動性、不適用于突發和應急環境等問題。

（4）名中醫診療室前端音、視頻信號采集模塊：該模塊采用高清高速紅外球型網絡視頻攝像機拍攝整個中醫診療室的全局情景，使用基于錄播主機的云臺可變焦高清攝像機近距離拍攝醫生對患者進行望、聞、問、切的整個診療過程，如圖6所示。音、視頻采集設備布局在診療室中較為隱蔽的位置，不會使患者緊張或抵觸。

圖3 帶高清攝像頭的牙科綜合治療臺實景圖

圖4 帶中置高清攝像系統的LED手術無影燈實物圖

圖5 可移動手術示教推車實物圖

圖6 名中醫診療室實景圖

2.2 信號編碼及轉發模塊

平臺采用基于H.264 High Profile高清傳輸技術和AAC音、視頻編碼技術的奧威亞錄播主機A6進行音、視頻信號的編碼、轉發及本地儲存。錄播主機采用嵌入式系統，一體式集成錄制，直播，導播管理，存儲，音、視頻編碼等功能，視頻輸入接口支持4個3G-SDI、2個HDMI、1個VGA、2個色差分量接口YPbPr、2個S-Video、2個復合視頻廣播信號接口CVBS，支持分辨力達1080P 50/60的高清視頻信號輸入。高清圖像信號傳輸到錄播主機后，經導播控制系統對各路圖像信號進行自動或手動導播處理，實現高清圖像視頻的錄制，并支持直接環出錄制畫面。錄播主機內嵌系統配置X264開源庫，以軟編碼方式對顏色編碼數據進行編碼，并對H.264數據進行實時消息傳輸協議（real-time messaging protocol，RTMP）的封裝和傳輸。

H.264是由國際電信聯盟電信標準分局（ITUTelecommunication Standardization Sector，ITU-T）和國際標準化組織/國際電工委員會（International Organization for Standardization/International Electrotechnical Commission，ISO/IEC）正式公布的新一代適用于低碼率傳輸的視頻壓縮標準，能在不降低圖像質量的情況下大幅度提高壓縮效率，在現代網絡視頻傳輸中占據主流地位[14]。平臺實現H.264編碼的核心代碼如下：

2.3 信號控制模塊

該模塊使用奧威亞錄播主機內嵌導播控制系統進行信號控制。導播控制系統基于瀏覽器/服務器（Browser/Server，B/S）架構設計，支持使用IE、360、Chrome等瀏覽器通過網絡直接訪問。系統支持對非云臺攝像機特寫畫面的電子云臺控制和數字變焦，支持iPad移動導播功能，可提供移動導播App應用服務。該系統還具有完善的錄課導播功能，包括畫面切換、場景布局、攝像機控制、添加LOGO與字幕、音量調節等功能，如圖7所示。

圖7 導播控制系統界面

2.4 信號顯示模塊

圖8 示教室口腔手術示教實景圖

2.5 視頻資源管理系統

視頻資源管理系統基于B/S架構設計，在Linux操作系統下基于開源流媒體服務器Darwin Streaming Server框架，使用Microsoft C和C++等編程工具實現。首先通過多線程技術接收來自錄播主機完成H.264編碼封裝的音、視頻數據，然后通過IP網絡接收各個客戶端的音、視頻數據流，通過緩沖機制保證媒體數據的連續性，再以滿足高實時性和有效性要求的RTMP直播給客戶端[15]。系統在客戶端和服務器建立網絡連接（如圖9所示）后發送播放指令，流程如下：

（1）客戶端向服務器發送“play”指令；

（2）服務器在收到“play”指令后，發送“SetChunk-Size”協議消息，目的是可以根據不同的網絡環境設置不同的“塊大小”，提高RTMP數據傳輸率和帶寬利用率；

（3）服務器發送用戶控制消息“streamBegin”，目的是告知客戶端使用的流ID；

（4）如果播放指令成功，服務器將發送NetStream.Play.Start和NetStream.Play.Reset等相應狀態。

（5）服務器按照RTMP向客戶端發送音、視頻數據。

系統支持不少于20路手術的直播，能自動獲取教學視頻的知識點，形成原始知識點切片，自動獲取示教各個環節的時間點，為學生提供特色課程的微課點播。且支持知識點搜索，學生可直接通過頁面搜索框找到視頻中某個相關知識點的片段即刻觀看。教師可在不破壞原視頻文件的同時，把自己錄制的優質教學視頻作為知識點虛擬切片插入，根據需要將全景視頻信號、術野視頻信號、監護設備視頻信號和教師PPT自動生成微課或課件。系統支持Flash+HTML5技術，無需安裝插件即可進行跨平臺（Windows、Linux、iOS）視頻點播觀看，實現直播、儲存、切片加工處理和點播等多功能的綜合視頻資源管理。同時系統提供移動端App，可與視頻資源管理系統對接，提供視頻在線直播、點播等功能，如圖10所示。

圖9 服務器和客戶端連接圖

圖10 視頻資源管理系統截圖

3 應用效果

2018年8月總體建成了基于“互聯網+”的高清醫學遠程示教與會診綜合云平臺，運行的2 a多時間里，平臺應用于口腔醫學43次、中醫及康復醫學52次、臨床醫學35次，其性能穩定可靠，錄制了大量高質量的微課視頻及多媒體課件，豐富了學校的專業教學資源庫，為學校臨床醫學系成功申報“國家級臨床醫學專業教學資源庫”及臨床相關專業的學科和專業建設提供了重要支撐。

3.1 學生滿意度調查

2019年從1 227名學生中隨機挑選200名學生對平臺的應用效果進行問卷調查，共發放問卷200份，回收有效問卷200份。采用SPSS 22.0統計分析軟件對收集的數據進行統計分析[16]，統計結果見表1。

表1 學生對示教平臺的滿意度調查結果

統計結果顯示，90.5%的學生認為平臺對臨床思維培養非常有幫助，88.0%的學生認為平臺呈現的教學信息非常豐富，且大部分學生認為無論是開放性手術還是微創性手術的視頻質量都是非常清晰的。

3.2 教師意見調查

對16位帶教和授課教師進行了走訪，教師普遍反映平臺的優點在于解決了傳統臨床見習教學中視野狹窄、不便觀看的難題，特別是在口腔科和手術室，能讓學生清晰看到口腔內部和腹腔內部的手術操作，明顯優于現場觀摩效果。另外，示教室和診療現場的互動講解能夠提高學生對見習知識的掌握程度。

4 結語

基于“互聯網+”的高清醫學遠程示教與會診綜合云平臺可以使學生以主治醫生的視野角度實時、高清地觀摩診療和手術全過程，并能與現場進行清晰的語音交互，給學生以具體、形象的感官刺激，讓其從視覺、聽覺等方面感知臨床實踐的場景和操作，強化認知能力[16]，有效解決了傳統見習教學的不足，同時為見習教學提供了一種新的方法和模式，能在一定程度上提高醫學人才培養的質量，具有積極意義。下一步將進行5G升級改造，實現低延時直播，同時進一步開發配套軟件，實現對整個平臺的觀摩/會診管理，并支持手術室批準觀摩、發起手術指導申請等功能，而且從技術上解決如何保護患者隱私的問題。