基于5G技術及4K/3D手術系統的顯微外科遠程手術會診平臺的設計及實踐

袁永一，劉威，邵航，王國建，趙超越，盛宏申，楊和強，趙星，胡鵬海，康東洋，戴樸

1.中國人民解放軍總醫院第六醫學中心 耳鼻咽喉頭頸外科醫學部，北京 100853；2.浙江清華長三角研究院，浙江 嘉興 314006；3.中國人民解放軍西部戰區總醫院 耳鼻咽喉頭頸外科，四川 成都 610083

引言

20世紀50年代，光學手術顯微鏡的發明使顯微外科得以迅速發展[1]。進入21世紀，高清三維（Three-Dimensional Imaging，3D）成像視頻手術系統應用于醫療領域，開啟了微創手術治療的新篇章[2]。4K顯像技術是由美國數字電影推進聯盟（Digital Cinema Initiative，DCI）修訂并推出的行業標準，DCI規定數字影院清晰度分為2級，其中較高一級即DCI 4K（4096×2160像素、24幀/s），其信息量是高清電視的4倍。實時4K/3D數字計算成像系統與手術顯微鏡的結合，改變了傳統光學手術顯微鏡的理念。其主要的優勢在于：借助3D顯示器取代傳統光學顯微鏡上的目鏡，使外科醫生手術過程中的坐姿更符合人體工程學，降低了醫生的疲勞度，進而提高了手術的安全性和質量；便于教學及實時分享顯微鏡下的影像[3]。2019年，主要面向顯微外科手術的國產4K/3D顯微手術成像系統面世，該系統保留了光學目鏡成像組件，實現了光學與4K/3D數字顯微成像的結合，在提高側顱底、神經外科、耳外科手術成像質量的同時，成本較進口設備大大降低。

1 需求分析

人體側顱底位置深在，解剖結構復雜，神經血管密布，病變切除及結構、功能重建均需在手術顯微鏡下完成。目前，針對側顱底外科的手術機器人研發緩慢，通信技術支撐下的遠程手術亦因此無法開展。而傳統2D視頻傳輸缺乏立體感，不利于準確判斷病變及重要解剖結構。因此，側顱底外科手術指導還需會診醫師親臨手術現場。針對側顱底外科遠程手術指導所需的術野畫面立體、實時、高清傳輸的難題，本研究設計并搭建了基于5G技術及4K/3D手術系統的顯微外科遠程手術平臺，以“端云端”的架構實現術野的高質量傳輸，以期使專家通過遠程手術會診、協同現場手術醫生完成疑難重癥患者的救治成為現實。

2 平臺設計及搭建

2.1 設計思路

超高清低延時3D手術視頻生成和傳輸是本手術會診平臺的核心任務。平臺圍繞“端云端”的設計架構進行軟硬件搭建，云的設計實現了平臺數據的轉發，使本地手術端和遠程會診中心間無須鋪設專網，對網絡要求較低。為獲得超高清手術視頻，首先針對顯微術野進行雙視點原始圖像采集，獲取術野數字圖像；然后基于智能測光算法進行曝光自適應調節，使用BT.200廣色域標準處理圖像色彩，實現精準測光以避免過曝和欠曝現象；最后通過3D最佳融像算法實現視差校正獲取最佳立體觀看。為獲得低延時手術視頻，系統采用片上硬交織方案，環路濾波算法保證了手術視頻的高質量傳輸，再通過直連方式進行實時3D顯示。系統關鍵技術設計示意圖如圖1所示。

圖1 系統關鍵技術設計示意圖

2.2 平臺搭建

遠程手術會診平臺包括本地顯微手術救治系統（本地救治系統）和遠程顯微手術指導系統（遠程指導系統）。為達到遠程手術指導的目的，平臺的功能設計分為術野線路和音視頻交互線路。術野線路為單向傳輸線路（圖2虛線），本地手術室作為視頻直播源，遠程會診中心進行接收；音視頻交互線路（圖2實線）為手術室到遠程會診中心的雙向傳輸線路。

圖2 顯微外科遠程手術救治平臺示意圖

顯微外科遠程手術救治平臺搭建在中國人民解放軍總醫院遠程會診中心（北京）和中國人民解放軍西部戰區總醫院手術室（成都），兩地相距約1815 km。在硬件組成上，本地救治系統包括手術顯微鏡、3D屏前可視化及錄播工作站（嘉興智瞳科技有限公司）、4K/3D視頻編解碼器、本地音視頻交互設備、本地會議系統和本地5G網絡終端各1套；遠程指導系統包括4K/3D視頻解碼器、3D屏前可視化及錄播工作站、遠程音視頻交互設備和遠程網絡會議系統各1套。此外，2套系統中間還有1套云網關設備，用于數據云轉發。在人員配置上，除了本地救治平臺的手術團隊和遠程指導平臺包括的會診專家，兩地各有設備保障人員2名，負責4K/3D顯微手術成像設備和通信設備。

3 遠程手術會診平臺成效評價

3.1 4K/3D視頻傳輸延時測試

對搭建好的平臺進行視頻傳輸延時測試，設備連接節點示意圖如圖3所示。

圖3 視頻傳輸延時測試節點示意圖

共進行5次測試，其中A-B段為術野視頻經過成像設備的采集延時（時延為101 ms）；節點B為4K/3D視頻編碼處理延時（時延為179 ms）；B-C段為編碼器到云網關服務器的接收延時（時延為296 ms），包括鏈路延時和網絡上設置的波動冗余時間；C-D為云網關的轉發延時（時延為304 ms），同樣包括鏈路延時和網絡波動延時；D節點為4K/3D視頻的解碼延時（時延為201 ms）；D-E段為視頻從解碼器到3D可視化屏幕上完成交織顯示的延時（時延為99 ms）。在成都北京兩地傳輸超高清立體顯微手術視頻整體延時1.18 s。

3.2 實際案例應用及遠程手術會診效果展示

3.2.1 病例分析

男性，50歲，四川人，身高173cm，體質量49 kg。術前診斷：顳骨鱗狀細胞癌，感音神經性耳聾，內聽道占位（左）；顳葉占位伴炎癥（左）；肺結核，結核性胸膜炎；中耳乳突術后（左）；下肢動脈血管擴張術后（左）；下肢骨折內固定術后（右）；輕度貧血。因該患者身體條件差、病情復雜、病變廣泛（累及耳、側顱底及顱內多部位），擬開展遠程實時協同手術會診。手術由耳外科醫生實施，擬一期先行顳骨次全切除術+自體脂肪取出+耳道封閉術，切除耳及側顱底腫瘤，探查腫瘤與顱內是否有溝通，封閉外耳道為二期開顱手術做準備。手術會診現場如圖4所示。

圖4 顯微外科遠程手術會診現場圖

3.2.2 遠程會診效果評估

招募包括遠程專家在內的27名耳顯微外科手術醫生，以問卷調查方式對4K/3D視頻傳輸前后的視頻質量進行主觀評測分析。27名醫生包括女性12名、男性15名，年齡分布為18～60歲，30歲以上及30歲以下各占50%左右，其中從事顯微外科手術2年以上的醫生占比62.96%。

選取側顱底腫瘤切除術中典型術野視頻片段8段進行測試。考慮手術主要在中倍率及中高倍率下實施，8段手術視頻片段的倍率分布設計如表1所示，包括低倍率1段、中倍率2段、中高倍率4段、高倍率1段。

表1 問卷調查涉及的手術視頻信息

問卷調查中，8段手術視頻上就畫質和舒適度評價分別產生了216（27×8）個統計樣本。其中，傳輸后術野視頻在畫質上與傳輸前毫無差異或基本沒有差異的樣本占比為65.74%（142/216），反映出現輕微差異但對觀看沒有影響的樣本占比為23.61%（51/216），反映畫質差異對觀看產生了輕微的影響、明顯影響的樣本占比分別為6.02%（13/216）和4.63%（10/216）；反映傳輸后的術野視頻在舒適度上與傳輸前毫無差異或基本沒有差異的樣本占比為77.78%（168/216），反映視頻傳輸前后舒適度有輕微差異但不影響觀看的占比為18.52%（40/216），僅有3.70%（8/216）的樣本表明傳輸后視頻舒適度明顯影響了觀看效果。此外，96.30%（26/27）的醫生認為在非專用5G組網環境下，遠程傳輸后的4K/3D視頻足以支撐顯微外科遠程手術指導。

3.2.3 4K/3D視頻傳輸質量測試

在本次顯微遠程手術直播過程中，成都手術室本地屏前播放碼率為62.9 Mbps，經編碼壓縮傳輸至北京遠程后的視頻碼率為20.4 Mbps。本研究采用反映圖像傳輸信息損失的最常用指標進行測算，具體包括峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結構相似性（Structural Similarity Index Measure，SSIM）[4]。

PSNR可以從圖像像素值差異上對傳輸前后的圖像進行評估，其計算方法如公式（1）所示。

式中，max表示圖像點顏色通道上的最大值，以8位YUV為例，max為255；MSE代表待評價圖像與參考圖像在圖像顏色上的均值平方差。

SSIM分別從亮度、對比度和結構3個方面度量圖像相似性，其計算方法如公式（2）所示。

式中，f和g分別表示需要進行相似度分析的兩張圖像，l(f,g)、c(f,g)、s(f,g)分別對應兩張圖像在亮度、對比度和結構上的比較結果。

本研究共測試了8段視頻的PSNR和SSIM，見表2。

表2 視頻傳輸后PSNR和SSIM對比

通常PSNR在8位YUV指標上的值在20～50 dB，PSNR在30 dB以下提示圖像質量有明顯差異，PSNR＞40 dB代表圖像幾乎無差異[5-6]。表2的測試數據顯示，除Y通道均值為37.082 dB，其他通道PSNR的均值接近或超過40 dB。因此，傳輸前后的視頻引起的視覺差異小。通常SSIM越接近1，2個圖像的差異越小，表2中SSIM均值為0.959，可見，傳輸后的視頻結構差異小。

4 討論

本研究采用的國產4K/3D手術系統應用了先進成像算法和超高清3D成像技術，如基于自動術中關鍵區域識別和精準測光的術野曝光補償算法、基于視差計算和統計的3D最佳融像算法以及基于硬件交織的低延時視頻傳輸技術。該設備對各種型號手術顯微鏡具有良好的兼容性；在顏色還原處理上，支持BT.2020廣色域色彩空間，對術中組織邊界可實現清晰分辨。在顯微外科領域，同類數字顯微成像產品在眼科領域曾有報道，但尚存在畫面分辨率低、畫面延時長、可視化效果差（如眩暈）等問題[7-9]，本研究中的設備解決了上述問題。近2年來，4K/3D手術外視系統在神經外科及脊柱外科顯微手術領域逐步被認可[10-15]。2022年，陳慧興等[16]量化評測了機器人4K/3D手術可視化系統（Zeiss，KINEVO 900），認為KINEVO 900輸出的4K/3D視頻數字圖像與以S7為代表的光學手術顯微鏡差別不大，可以滿足泌尿男科顯微手術的需求。2021年，意大利學者Colombo等[17]報道應用4K/3D外視系統進行顳骨解剖訓練有助于學習者理解顳骨的復雜立體解剖。值得注意的是，在耳顯微及側顱底外科領域，應用4K/3D外視系統開展手術且術者擺脫顯微鏡目鏡進行屏前操作的案例鮮見報道，本研究中術者實現了屏前手術操作。

對于病情危重或需行高難度手術患者，基層醫院因顯微外科手術水平及條件的限制，需要專家協助制訂手術方案或進行現場手術指導。在5G網絡下，專家可通過虛擬現實和增強現實等技術，遠程全方位評估患者病灶，并能實時指導手術方式規劃和進行手術操作指導。2019年3月和7月，位于北京的解放軍總醫院神經外科及骨科團隊為距離3000 km外的解放軍總醫院海南醫院的患者，進行了世界首例基于5G的帕金森病患者腦起搏器置入及Mako機器人遠程操控全髖關節置換術。2019年9月，解放軍總醫院劉榮團隊完成了全球首例多點協同5G遠程多學科機器人胃腸道及肝臟切除手術[18]。2019年4月，吉林首例“5G+醫療”遠程手術指導及遠程手術教學成功實施，遠程指導1例門靜脈高壓癥患者的“脾切除+賁門周圍血管離斷術”，實現了高清畫面、音質無延遲傳輸[19]。因對手術畫面傳輸及手術機器人的高要求，在顯微外科領域實施遠程手術指導及遠程手術尚未見報道。本研究借助4K/3D手術系統，在5G通信技術支撐下，首次實現了側顱底手術的遠程指導，精細結構，如側顱底的神經、血管及中內耳顯微結構顯示逼真、流暢，達到了會診專家與術者同一術野的要求。

需要指出的是，除了本研究中的組網方式，基于有線尤其是專網的遠程手術組網方式同樣也能達到遠程手術的要求，有線搭建方式要求運營商提供專線服務，搭建成本高，但具有更低的延時。本研究的組網搭建方式基于5G網絡，在邊緣端設備的聯網上具有較好靈活性，這種方式不需要提供專線網絡服務，具有較好的擴展性。

我國國土面積大，地域醫療發展水平參差不齊，邊遠地區的基層醫護人員缺少有質量的專業指導，新手術技術傳播受限。利用5G等先進的通信技術開展遠程手術指導、遠程手術示教是遠程醫療不可或缺的重要方面[20]，基于5G和顯微手術術野的實時高清傳輸，連線高水平外科醫師進行遠程手術指導，對于患者救治及醫生培養均具有實踐意義。現階段，在耳神經及側顱底手術機器人尚未研發成功的形勢下，這一模式為顯微外科的遠程協同手術提供了硬件條件，除了用于兩地日常手術會診，同樣適用于災難救援、戰場救護等特殊場景。

5 總結

在非專用5G組網方案下，4K/3D顯微手術系統產出的超高清立體視頻足以支撐遠程手術會診需求，這為遠程醫療及教學、災難及戰場手術救治提供了新方案。