基于強化學習的機器人眼科手術適應性虛擬夾具設計

摘要：虛擬夾具在提高人機協作手術的操作性能和安全性方面發揮著重要作用。然而，虛擬夾具一般是預先人工設計的，無法適應操作者指定的技能。基于對手術數據的學習，本文提出了一種基于強化學習策略訓練方法的機器人輔助眼科手術虛擬夾具控制的通用框架，來輔助醫生完成手術任務。虛擬夾具的執行模塊經過了重新設計，用來增強順應性阻抗而不是固定阻抗，并且在從端生成了動態笛卡爾力反饋。技能學習模塊基于強化學習方法進行虛擬夾具的調整以及配置優化。本文提出的強化學習策略訓練方法的有效性通過模擬白內障撕囊實驗進行評估。在所提出方法的幫助下，經驗豐富醫生的操作精度提高了50.3%，新手醫生的操作精度提高了45.5%。在不花費更多執行時間的情況下提高了性能，這表明了所提出的方法使虛擬夾具的冗余減少，并且提高了虛擬夾具對于經驗豐富醫生和新手醫生的適應性。

關鍵詞：強化學習；虛擬夾具；適應性；機器人輔助眼科手術

中圖分類號： TP242.3文獻標識碼： ADOI：10.3969/j.issn.1007-791X.2024.03.0030引言

機器人硬件機械臂和控制算法的進步極大地推動了醫療機器人的研究進展。機器人輔助手術系統結合了專門的靈巧機械手、手部震顫過濾和運動縮放技術，通過減少附帶損傷和患者術后恢復時間來改善患者預后[1]。根據醫療機器人自主性的程度[2]，醫療機器人被劃分為0～5級6個自主等級，其中1級稱為機器人輔助，手術機器人在執行任務時提供一些機械指導或協助，而手術的主動權由醫生全權掌握，微創手術一般采用1級的機器人系統和技術。在1級自主水平的背景下，虛擬夾具是提高輔助手術性能的主要控制方法。虛擬夾具是手術機器人系統中常用的一種人機協作方式，它可以通過提供虛擬力反饋來幫助操作員執行手術任務。虛擬夾具可以分為引導型虛擬夾具和禁止區域型虛擬夾具。引導型虛擬夾具將運動引導至預定義的路徑，而禁止區域型虛擬夾具將不希望的運動限制在禁止區域。虛擬夾具的有效性在鼻部手術[3]、小兒內窺鏡手術[4]、息肉解剖程序[5]、眼科手術[6]以及穿針和打結[7]中被證實。

在醫療機器人1級自主等級下，機器人輔助的性能取決于預定義的虛擬夾具模型的準確性以及它是否與醫生的任務特征和操作技能相匹配。目前的主要挑戰是設計一種具有高適應性和準確性的虛擬夾具生成方法。如今，無輔助遙控機器人手術的操作精度大于10 mm，虛擬夾具輔助遙操作機器人手術的操作精度為2～5 mm[5，8]。但是眼科手術所需的精度需要小于0.5 mm[9]，需要虛擬夾具來提供更具體和有效的幫助。利用虛擬夾具輔助醫生操作時，虛擬夾具的參數需要通過實驗進行手工調整，經驗不同的醫生有不同的操作習慣，每次重新調整虛擬夾具參數的任務量大且不準確。因此，賦予虛擬夾具以高度智能來自主適應環境和操作技能是可行的。強化學習是一種處理順序決策問題的方法，通過與環境的交互迭代來自動更新策略，能夠賦予虛擬夾具一定程度的智能性。

強化學習具有很大的環境適應性和自動學習能力，是用于描述并且解決智能體在與環境交互過程中獲得回報最大化的方法，因此在機器人領域的應用也越來越廣泛。在之前的相關工作中，Liu提出了使用虛擬夾具的靈活人機協作方法[10]、Huang提出了雙向連續樹搜索和神經網絡的路徑規劃方法[11]、Ni提出了一種用于手術器械語義分割的注意力引導網絡[12-13]來加強機器人輔助眼科手術的性能。

為了適應醫生的操作習慣，本文提出了一種基于強化學習的框架來生成虛擬夾具，此框架融合在線訓練的約束執行模塊，采用強化學習策略動態調整阻抗系數，代替傳統的彈簧模型和彈簧阻尼模型，能夠減少新手醫生和有經驗的醫生在手術過程中的操作誤差以及操作時間。

1問題描述

全世界對于醫療機器人硬件和智能控制算法研究的逐漸深入和相互交叉使機器人輔助醫生完成精細復雜的手術操作成為可能，虛擬夾具作為協作式協助手段在醫療機器人方向的研究也日益普遍。但是針對更精密的眼科機器人手術，現有的虛擬夾具模型和生成算法在輔助適應性方面存在巨大挑戰。利用虛擬夾具輔助醫生操作時，具體的模型參數通過實驗法手工調整，這種傳統方法一方面限制了虛擬夾具的參數空間和適應性，另一方面，對于不同醫生的操作習慣和肌肉阻抗特征，每次重新調整虛擬夾具參數的任務量很大，且不一定準確，不符合眼科手術的精準度要求。因此，本文提出了一種機器人手術約束控制通用框架和基于強化學習的策略訓練方法，以提取潛在的交互特征和操作技能，實現約束的自動配置，改善部分不良性能。

2基于強化學習的適應性虛擬夾具設計

2.1基于強化學習的虛擬夾具生成框架

2.1.1控制系統構成

基于強化學習的機器人手術約束控制通用框架如圖1所示，該框架的結構可以分為三部分，分別是包含主機遠程操作和交互模擬的用戶界面的機器人系統主端、執行操作命令的機器人系統從端和工作站。該工作站的主要任務是策略學習和約束渲染。由于醫學術式特征和用戶操作技能特征是影響約束有效性的潛在因素，強化學習模塊試圖通過配置柔順的虛擬夾具匹配這些特征，從而為不同經驗水平和操作習慣的醫生提供合適的輔助。為了實現這一點，本文通過對醫生操作數據的分析和學習，提出了機器人輔助眼科手術虛擬夾具控制的通用框架和強化學習策略訓練方法。在變阻抗控制的基礎上施加虛擬夾具。因此，虛擬夾具工作站主要由阻抗控制器、約束幾何、碰撞檢測與力合成模塊和基于強化學習方法的動態約束決策模塊組成。

2.1.2基于強化學習的約束決策模塊

本文將約束空間中的時序運算任務視為無后遺癥的隨機過程，簡化為馬爾可夫模型。笛卡爾任務空間對應狀態空間，阻抗配置的約束參數對應動作空間。在操作的過程中，約束Agent根據末端執行器的位置生成虛擬夾具配置。致力于眼科手術的應用，本文引入了改進的強化學習算法來訓練策略。基于SARSA算法和一些提高學習性能的有效技術，本文提出了Double Expected SARSA（lambda）算法，方法有更高的安全性。與動態規劃相比，SARSA算法不需要環境的狀態轉換模型，并且與蒙特卡洛方法相比，它不需要完整的狀態序列，因此更加靈活。

SARSA（lambda）是一種保守的同策略時間序列差分強化學習算法，專注于每一個行為決策，該算法對錯誤很敏感，可以防止其做出危險選擇。在懸崖測試中，沿著懸崖邊行走最省時間，相比于貪婪策略，同策略的SARSA方法在懸崖測試中避開了貪婪但危險的行為，取得了更好的表現。在眼科手術中，部分手術禁止區域等同于懸崖，例如眼底黃斑前膜的夾取和撕除需要盡量避免接觸視網膜。交互作業中緊貼視網膜操作可以節省手術時間獲得更多獎勵，但平移操作中力控制困難，貼近視網膜操作易造成組織損傷，以SARSA方法為基礎進行安全的虛擬夾具配置，可以抑制危險的手術操作。與單步策略更新方法不同，SARSA（lambda）更新策略是基于衰減參數更新路徑上采取的每一步驟。將路徑中較遠的步驟視為次要步驟，減少了冗余步驟的權重。因此SARSA（lambda）可以更快更有效地學習到最優策略。策略的更新如下：

δ←R+γQ（S′，A′）-Q（S，A），（1）

T（S，A）←T（S，A）+1，（2）

對于狀態集合中的每個狀態以及動作集合中的動作，Q表更新和T的更新形式如下：

Q（s，a）←Q（s，a）+αδT（s，a），（3）

T（s，a）←γλT（s，a），（4）

其中，T是資格跡，它用于存儲在路徑中執行的每個步驟，以便在每次更新時更新前一個步驟。S是狀態，A是動作，δ是策略更新的值，α是學習速率，γ是折扣因子，λ是衰減參數。

為了減少隨機行為選擇所產生的方差，對策略更新的形式進行了改進，并利用值函數的期望值進行策略更新。更新形式如下：

δ←R+γE［Q（S′，A′）|S′-Q（S，A）］，（5）

式（5）的等價形式為

其中，π是當前狀態轉移的策略。

上述策略更新的方法中，策略以Q值最大化為目標進行更新，導致值函數出現正偏差。本文結合雙學習機制的解決方案來克服這一問題。樣本被分成兩個單元，用來學習兩個不同的估計值函數Q1（S，A），Q2（S，A）。其中一個用于生成最大化行為，另一個用于更新最大化行為對應的行為值，以得到無偏估計。

δ1←R+γE［Q2（S′，Q1（S′，A））-Q1（S，A）］，（7）

Q1（S，A）←Q1（S，A）+αδ1T（S，A），（8）

δ2←R+γE［Q1（S′，Q2（S′，A））-Q2（S，A）］，（9）

Q2（S，A）←Q2（S，A）+αδ2T（S，A）。（10）

模擬白內障撕囊術中使用的獎勵函數設置如下：

其中，tf、tr表示一次操作的執行時間和預期執行時間。Rf是成功完成實驗收獲的獎勵，手術執行時間段tf接近預期時間段tr時，且累計操作偏差較小時，Rf取較大值。Ri是每一步的直接回報。er是最大允許運行偏差，e是偏離參考路徑的瞬時偏差。

按照公式約束控制策略的訓練的偽代碼如下所示：

2.2適應性虛擬夾具

2.2.1人體手臂動力學模型

觸覺指導的人機交互過程是虛擬夾具技術的主要研究方面。為了滿足日益精細的手術任務需求，虛擬夾具需要為用戶提供更有價值的指導信息，直觀地匹配協同過程中潛在的特征，包括醫學術式特征和用戶操作技能特征。綜合以上特征進行方法設計，本文利用阻抗函數來逼近虛擬夾具和人之間的理想交互動態，并替換靜態阻抗參數。

對用戶的操作技能評估和適宜其操作技能的約束評定主要基于如下場景。首先，在具體醫生操作技能薄弱區域，需要根據精度要求進行局部約束調整，這對于有固有操作難點的新手醫生來說十分有效。其次，對不同熟練程度的手術環節，靈活的約束調整既可以保證手術精度也可以降低手術操作負擔。顯微外科手術提高了受約束任務的精度要求，較高的機器人阻抗有利于提升精細操作的表現。然而，為了系統穩定，過度的約束阻抗必須加以限制。同時，對于大多數手術任務，高阻抗給操作人員帶來了額外的工作負擔，易導致操作疲勞影響手術狀態，也造成約束冗余。

研究表明人的手臂是一個無源阻抗系統，機器人系統的阻抗模式將直接影響操作。手握和手指結構的運動學模型可以簡化為7自由度模型。通過主動調整機器人系統中人機交互的阻抗方式，直接影響到人手的輸入，從而影響位置控制的精度和力的交互效果。另外，本文根據有經驗醫生和新手醫生對手術的熟練程度，研究制定了針對醫生肌肉阻抗的虛擬夾具方案。

在笛卡爾阻抗空間中，采用融入學習的虛擬夾具方案，人機交互過程的動力學公式可以表示為

式中，K（q）是剛度函數，D（q）是阻尼函數，q是約束空間位置向量，pe為末端執行器的位置向量，pd為末端執行器的期望位置向量，τu為執行器施加的參考力矩，τh為操作者施加的扭矩。

操作者所施加的力可以表示為

τh=KJ（p-pd），（15）

式中，KJ為關節剛度矩陣，可表示為

其中，τ是關節力矩矢量，q是關節角度矢量。

2.2.2約束執行模型

阻抗控制作為一類高效的人機協作柔順控制方案，一般可以通過靈活的阻抗調節來實現物理交互任務。本文基于該方法生成了虛擬夾具，以控制機器人在期望動態關系下的運動和接觸力。

為了建立動態虛擬夾具，并滿足全局約束幾何生成和阻抗調節，可將人機交互環境下機器人歐拉拉普拉斯動力學表示為

式中，M是慣性方陣，C是向心力和科里奧利力方陣，G是重力矢量，D是表示粘性摩擦力的方陣，τ是表示控制器施加的力的矢量，τc為機械手與環

采用彈簧-阻尼-質量系統對被動機械手進行簡化，模擬人與機械手柔性交互的期望動態阻抗：

其中，Md、Bd、Kd為正定方陣，表示期望系統阻抗的慣性、阻尼與剛度分量。

虛擬夾具控制器計算關節空間的力反饋，推導出系統動力學方程如下：

式中，τd為執行器施加的期望反饋力矩。

采用精簡的阻抗動態解析方法，式（19）可以表示為

3基于強化學習的機器人手術輔助控制實驗3.1實驗平臺

對比實驗由5名經驗豐富的醫生和5名新手醫生完成，實驗中每個基本測試執行3次。通過實驗前的操作訓練，使參與醫生基本熟悉手術訓練系統的相關操作。訓練過程顯示，經驗豐富的醫生對相應的手術過程掌握有熟練的操作技能，而新醫生對手術操作有習慣性操作失誤。機器人系統主側的觸覺裝置采用了Omega7，這是一種成熟的阻抗裝置，具有7自由度，滿足實驗的性能指標要求。它支持完成實驗中虛擬夾具的配置，支持工作空間160×110 mm，230×140×180 deg操作，剛度14.5 N/mm，傳導力12 N。Omega7用于采集實驗中用戶輸入數據，完成遙操作眼科機器人手術操作交互。另外，虛擬夾具施加在此設備上，用于指導醫生的手術操作。

如圖2所示，實驗基于模擬手術平臺進行，該平臺是為了測試虛擬夾具方案，并提供統一的觸覺信息接口而建立的。主界面包括可視化數據流和實時手術圖像。控制器采用多線程，包括執行虛擬夾具的觸覺線程和接收約束決策模塊的可變阻抗線程。數據更新頻率為觸覺渲染4 000 Hz，可變阻抗渲染10 Hz，圖像渲染60 Hz。觸覺裝置用于收集醫生手術的實時數據。然后工作站根據約束幾何形狀和約束執行策略計算觸覺力反饋。狀態空間對應于10×10×5 mm3的三維笛卡爾任務空間，動作空間對應于包含剛度和阻尼的虛擬夾具配置空間。剛度和阻尼限制在5 000 N/m和30 N/（m/s）。強化學習模型的訓練數據來自于模擬手術平臺，強化學習決策模塊輸入為手術機器人的位姿，輸出為虛擬夾具計算的阻抗配置。根據醫生在模擬手術平臺的操作數據在線訓練位姿-約束配置函數。

實驗的主要任務是通過模擬白內障撕囊來評價所提出的方法。任務過程是在眼球前囊膜上完成一次環形撕囊，實現直徑6 mm的撕囊孔。在此過程中，利用不同的虛擬夾具配置方案計算虛擬力反饋，各向異性地抑制不理想的運動分量，引導執行器沿參考路徑運動。操作觸點與手術器械的末端相對應。實驗中，通過比較操作偏差和執行時間的來評估不同虛擬夾具配置方法的性能。

3.2對比實驗設計

通過兩組對比實驗，分別評估提出方法對新手醫生和經驗豐富醫生完成模擬白內障撕囊手術的輔助效果。在每組對比實驗中，本文通過評估跟蹤軌跡和操作誤差，將所提出的基于強化學習的適應性虛擬夾具方法的性能與其他三種基礎方法的性能進行比較：

1） 僅運動縮放：操作者在10倍工作空間縮放的輔助下，通過手握Omega7觸覺設備運行完成模擬撕囊過程。

2） 結合運動縮放與區域限制型虛擬夾具：設計直徑是7 mm，高度是3 mm的圓柱體操作空間，外部為禁止區域。在禁止區域內通過各向異性的約束，對不利方向的運動分量進行限制。

3） 結合運動縮放與引導型虛擬夾具：一個預先確定的參考路徑被設置為引導模型。吸引型約束作用于觸覺設備，來輔助用戶跟蹤預定義的路徑。

4） 結合運動縮放與基于強化學習的適應性虛擬夾具：采用提出的約束執行模塊，并利用醫生操作數據訓練約束配置智能。在手術過程中，虛擬夾具的阻抗由智能決策模塊實時配置。

3.3實驗結果與數據分析

理想的撕囊手術表現為晶狀體前囊上完整的、精確的、位于中央的圓形孔，直徑為6 mm。因此，撕囊軌跡形成一個6 mm直徑的標準圓是模擬白內障撕囊手術的操作目標。平均偏差和執行時間是方法性能的評價指標。一方面，跟蹤誤差的大小是評價不同方案輔助性能的主要依據。另一方面，單次手術執行時間的延長提高了手術并發癥的風險，延長了術后恢復時間，執行時間同樣作為方案效果評價指標之一。實驗測試了4種輔助方案，每一種方案的數據由3次嘗試獲得。圖3和圖4整理了有經驗醫生和新手醫生在4種方案下實驗得到的跟蹤軌跡和操作誤差結果，它們代表不同虛擬夾具方案的輔助表現。

圖3是4種控制方案下經驗豐富醫生的模擬白內障撕囊手術的結果。引導型和提出的強化學習虛擬夾具方法有效地改善了手術表現。然而，引導型虛擬夾具導致了操作時間的顯著延長。由于引導型虛擬夾具在手術過程中對操作干擾度高，影響了醫生根據其熟練操作技能的正常操作。基于強化學習的適應性虛擬夾具對操作表現良好的區域，采用低水平約束輔助，從而縮短手術操作時間。

圖4是4種控制方案下新手醫生模擬白內障撕囊手術的結果。提出的強化學習虛擬夾具方法表現出最佳的輔助效果。新手醫生大多具有習慣性的操作弱點，如部分醫生在完成機器人輔助撕囊手術時出現九點鐘方向的操作偏差。如圖4所示，均勻的虛擬夾具不足以糾正新手醫生操作弱點帶來的偏差。基于強化學習的適應性虛擬夾具對部分區域的高操作偏差非常敏感，這會導致很高的負面回報。因此，硬虛擬夾具配置在高操作偏差處讓醫生感受到更強的約束反饋，這將減少新手醫生習慣性的誤操作，幫助新手醫生在固定操作弱點區域更好的完成手術操作。

圖3和4中所示的操作誤差示意圖直觀比較了4種控制方案下的跟蹤誤差和操作時間。該誤差是比較執行器末端位置到標準圓參考路徑的偏差來計算的。在沒有虛擬夾具輔助的情況下，自由操作的嘗試在手術操作中呈現高偏差，這將明顯增加后續撕囊手術的風險。區域限制型虛擬夾具的輔助，可以有效地抑制較高的執行偏差。此外，引導型虛擬夾具在花費更多手術時間的情況下，跟蹤結果顯示了較高的手術精度，但較長的手術時間提高了醫源性損傷風險，增長了病患平均恢復時間。基于強化學習的虛擬夾具方法較好地克服了新手醫生在撕囊術中的習慣性誤操作，提高了手術的安全性和穩定性。

4種控制方案下的模擬手術的平均操作誤差和手術執行時間的詳細數據，如表1和表2所示。在基于強化學習的虛擬夾具方法輔助下，熟練醫生的平均誤差從0.431 mm減少到0.214 mm，減少了50.3%，新手醫生的平均誤差從0.525 mm減少到0.286 mm，減少了45.5%。同時，采用提出的虛擬夾具方案縮短了手術執行時間，熟練醫生的執行時間從35.7 s減少到29.6 s，減少了17.1%，新手醫生的執行時間從38.7 s減少到34.5 s，減少了10.9%。

4結論

本文將人機交互過程中醫生的操作技能特點匹配于虛擬夾具的生成框架中，提出了一種基于醫生操作數據學習的機器人手術約束控制框架和強化學習策略訓練方法，能夠適應不同醫生的操作習慣和肌肉阻抗特征，經驗豐富醫生操作準確率提升了50.3%，新手醫生的操作準確率提升了45.5%，減少了手動調整配置參數的工作量，提升配置效率，擴展了約束的實際應用，實現智能化的操作偏差補償。

參考文獻

[1] BOWYER S A，DAVIES B L，Y BAENA F R.Active constraints/virtual fixtures：a survey[J].IEEE Transactions on Robotics，2013，30（1）：138-157.

[2] YANG G Z，CAMBIAS J，CLEARY K，et al.Medical robotics-regulatory，ethical，and legal considerations for increasing levels of autonomy[J].Science Robotics，2017，2（4）：eaam8638.

[3] ZHENG Q，HE Y，QI X，et al.Automatic tracking motion based on flexible forbidden virtual fixtures design in robot assisted nasal surgery[C]//2018 IEEE 8th Annual International Conference on CYBER Technology in Automation，Control，and Intelligent Systems，Tianjin，China，2018：271-275.

[4] MARINHO M M，ISHIDA H，HARADA K，et al.Virtual fixture assistance for suturing in robot-aided pediatric endoscopic surgery[J].IEEE Robotics and Automation Letters，2020，5（2）：524-531.

[5] MOCCIA R，SELVAGGIO M，VILLANI L，et al.Vision-based virtual fixtures generation for robotic-assisted polyp dissection procedures[C]//2019 IEEE/RSJ International Conference on Intelligent Robots and Systems，Macau，China，2019：7934-7939.

[6] DRAELOS M，KELLER B，TANG G，et al.Real-time image-guided cooperative robotic assist device for deep anterior lamellar keratoplasty[C]//2018 IEEE International Conference on Robotics and Automation，Brisbane， Australia，2018：4013-4018.

[7] CHEN Z，MALPANI A，CHALASANI P，et al.Virtual fixture assistance for needle passing and knot tying[C]//2016 IEEE/RSJ International Conference on Intelligent Robots and Systems，Daejeon， Korea，2016：2343-2350.

[8] QUINTERO C P，DEHGHAN M，RAMIREZO，et al.Flexible virtual fixture interface for path specification in tele-manipulation[C]//2017 IEEE International Conference on Robotics and Automation，Singapore，2017：5363-5368.

[9] NAGY Z Z，KRNITZ K，TAKACS A I，et al.Comparison of intraocular lens decentration parameters after femtosecond and manual capsulotomies[J].Journal of Refractive Surgery，2011，27（8）：564-569.

[10] LIU W，SU Y，WU W，et al.An operating smooth man-machine collaboration method for cataract capsulorhexis using virtual fixture[J].Future Generation Computer Systems，2019，98：522-529.

[11] HUANG R J，BIAN G B，XIN C，et al.Path planning for surgery robot with bidirectional continuous tree search and neural network [C]//2019 IEEE/RSJ International Conference on Intelligent Robots and Systems，Macau，China，2019：3302-3307.

[12] NI Z L，BIAN G B，ZHOU X H，et al.Raunet：residual attention u-net for semantic segmentation of cataract surgical instruments [C]//International Conference on Neural Information Processing，Sydney，Australia，2019：139-149.

[13] NI Z L，BIAN G B，HOU Z G，et al.Attention-guided lightweight network for real-time segmentation of robotic surgical instruments [C]//2020 IEEE International Conference on Robotics and Automation，Paris， France，2020：9939-9945.

Design of adaptive virtual fixture for robot-assisted ophthalmic

surgery based on reinforcement learning

Abstract： Virtual fixture plays a significant role in enhancing manipulation performance and safety for man-machine collaborate surgery.However，the virtual fixture is pre-fixed and hand-designed，unable to adapt to the operator-specified skills.Based on the learning of surgical data，a general framework for virtual fixture control of robot-assisted ophthalmic surgery based on reinforcement learning policy training method is proposed to assist doctors to complete surgical tasks.The virtual fixture enforcement module is redesigned to reinforces compliant impedance rather than a fixed one and generates dynamic Cartesian force feedback on the client side.The skill learning module is carried out the virtual fixture adjusting and configuration optimization based on reinforcement learning method.The proposed method is evaluated by simulated cataract capsulorexis experiments.With the assistance of the proposed method，the performance of experienced doctors is enhanced in precision by 50.3%，to fresh doctors the precision is increased by 45.5%.The performance is enhanced without spending more execution time，which shows the proposed method enables the cutback of virtual fixture redundancy and the improvement of adaptability of virtual fixture to both experienced and fresh doctors.

Keywords： reinforcement learning;virtual fixture;adaptability;robot-assisted ophthalmic surgery