醫療機器人雙目視覺硬件系統設計與實現

呂家國，蔣曉瑜，張鵬煒*，胡 磊

(1.33393部隊博士后科研工作站，河北保定071000;

2.裝甲兵工程學院信息工程系，北京100072;

3.北京航空航天大學機器人研究所，北京100191)

1 引言

三維定位是醫療機器人進行外科手術的關鍵。手術導航定位就是通過確定手術空間坐標系、圖像坐標系和導航工具坐標系之間的映射關系，獲得手術區域中目標點和手術器械的空間位置，其定位精度直接影響到手術的成敗?，F有的導航定位方法主要有機械定位、超聲定位、電磁定位和光電定位等，其中光電定位是精度最高、使用最方便的方法，而雙目視覺又是發展前景最好、應用最廣泛的光電定位方式。目前，用于外科手術導航的立體視覺產品主要有Claron Technology Inc.的 主動 式 可 見 光 光 學 定 位 儀［1］(Micron Tracker，MT)和加拿大 Northern Digital Inc.的被動式紅外光學定位儀［2］(Passive Polaris Spectra，PPS)，以及美國 Medtronic Inc.的 Stealthstation TriaTMPlus(STP)手術導航系統［3］。3種儀器雖然定位精度高(0.2 mm)、性能穩定，但價格昂貴、技術封閉，不便于二次開發。另外，MT定位儀工作范圍小，PPS定位儀和STP手術導航系統輸出的視頻信息單一、反射紅外光標志物手術時消毒困難，不能更好地滿足某些外科手術需要。國內雖有對立體視覺定位技術研究的報道［4-10］，但多數是集中在特征點提取、相機參數標定和立體匹配等方面的算法研究。如北京工業大學于乃功教授等人針對雙目視覺測量以顯著性標志物的關鍵點為目標，提出了基于顏色閾值分割的關鍵點實時檢測和定位方法［4］;北京交通大學阮秋騎教授等人針對相機外參數標定的反復性，提出了一種基于云臺轉角的外參數估計方法［5］;浙江大學許允喜博士等人針對傳統的運動估計算法受噪聲影響很大，從而影響立體定位精度的問題，提出了基于Levenberg-Marquardt算法的運動參數優化算法，提高了匹配和定位精度［6］。在系統開發方面，四川大學、哈爾濱理工大學及西南石油大學等高校及研究機構近年來做過相關的研究［7，8，10］，但均處于實驗論證階段，至今未見有成熟產品應用。

針對當前國內用于手術導航定位技術的現狀，以及外科手術對手術器械和病灶點定位精度的要求，本文提出了一種雙目視覺硬件設計方法。該設計根據系統工作的技術要求，充分考慮器件的性價比、供貨渠道、產品售后服務及產品性能升級等綜合因素，選取合適的光學鏡頭、攝像機和雙目視覺結構。最后，在自行編制軟件的驅動下，實現了醫療機器人手術導航的跟蹤定位。

2 硬件設計方案

2.1 光學鏡頭的選取

光學鏡頭選型是雙目視覺系統從圖像獲取直至目標定位與跟蹤的最重要的環節之一，鏡頭質量的好壞直接決定和影響了視覺系統的性能與精度［11-13］。因此，根據視覺系統的性能指標，分析、計算光學鏡頭的指標要求，選擇滿足使用要求、價格合適的鏡頭，是整個視覺系統成功與否的重要步驟。

圖1 手術導航的視覺工作范圍Fig.1 Visual range of surgical navigation

根據手術導航定位精度和工作范圍要求，假定實驗樣機的工作范圍為圖1所示的灰色圓環區域。對于左右對稱結構的雙目視覺系統，其在OXZ平面內的投影如圖2所示［14］。圖2中，視覺系統的最近工作距離L、垂直工作范圍D和要求

圖2 平行光軸雙目視覺垂直視場Fig.2 Parallel binocular vertical field of view

根據視覺系統工作范圍要求:Dmin=60，Lmin=80，由式(1)求得β=41.1°。據市場調研，目前性價比較高的測量用攝像機，多選用光敏面為1.27 cm的CCD。因此，根據估算的垂直視場角β=41.1°，選用適于1.27 cm CCD的工業鏡頭。通過查詢市場上能夠購買到的標準C接口的鏡頭型號可知，日本KOWA公司設計并生產、適用于1.27 cm CCD的NCL系列的工業鏡頭應為首選［15］。其中焦距為 6 mm 的 LM6NCM［16］是一款百萬像素級的工業鏡頭，中心分辨率高達120 lp/mm，變形率僅為－0.2%，非常適合于機器人視覺視場大、分辨高、畸變小的要求，因此本系統選用了LM6NCM鏡頭。

2.2 攝像機的選取

選取攝像機時主要應考慮攝像機輸出圖像的信號形式、圖像格式、色彩、分辨率及幀頻等內容。

攝像機按輸出圖像信號的形式可分為模擬攝像機和數字攝像機兩大類［17］。模擬攝像機受圖像采集卡性能的限制，經過CCD所成的物理像元與傳送到計算機的數字圖像像元之間沒有嚴格的一一對應關系，因此，用作圖像測量時應盡可能選用數字攝像機;數字攝像機內部集成了A/D轉換電路，可以直接將CCD光敏元輸出的模擬圖像信號轉化為數字量，不受標準電視視頻格式的制約，物方像元與顯示的數字圖像像元之間具有嚴格的一一對應關系。因此，為了滿足手術導航定位的精度需求，本系統的攝像機應選用數字大陣列攝像機。

攝像機按輸出圖像的色彩分為黑白和彩色兩種。黑白攝像機輸出數字圖像的每個像素點對應一個感光像元，該像元對于各種波長的光具有較為一致的敏感度，輸出信號的大小對應于被采集圖像的亮度和色彩信息，但僅表現為圖像像素的灰度值。彩色攝像機根據其結構形式分為單片彩色攝像機和3片彩色攝像機兩種［18］。單片彩色攝像機的像素陣列按一定方式進行R、G、B顏色排列，其輸出信號在每一時刻也只有R、G、B三色中的一種，其它顏色需由鄰近像元的同顏色信號的垂直視場β三者之間滿足有如下關系式:通過插值計算得到，如圖3所示。

圖3 BAYER彩色攝像機原理圖Fig.3 Schematic diagram of BAYER color camera

可見，單片彩色攝像機輸出的圖像信號，不僅存在彩色失真，而且在R、G、B濾光時還會損失某些圖像信號，因此不適宜圖像測量的場合使用。而3片彩色攝像機輸出的每個像素的彩色信息(如圖4所示)，分別來自R、G、B3個光敏元的相應像元，輸出的圖像質量好、顏色真實、細節完整，但價格也較昂貴。

圖4 3CCD彩色攝像機原理圖Fig.4 Schematic diagram of 3CCD color camera

對于醫療機器人雙目視覺系統，其主要功能是跟蹤定位，精確攝取圖像位置信息是關鍵。而單片彩色攝像機存在圖像信號損失，3片彩色攝像機雖然以昂貴的價格保證了圖像信息的完整性，但其豐富的顏色信息對雙目視覺跟蹤定位標記物并沒有更多貢獻。因此，通過以上分析，綜合多種因素，應選用黑白攝像機。

圖像分辨率與幀頻是攝像機工作性能的重要指標，圖像分辨率越高，幀頻越高，視頻圖像的效果越好，相應的造價也越高。另外，受數字攝像機圖像處理器工作頻率所限，一般圖像分辨率越高，像素數越多，幀頻相對越低。因此，在選擇攝像機時不能盲目追求高分辨率，而要根據任務需求適當選取。根據手術導航目標跟蹤定位要求，在距

式中，Δu為單位像素邊長，f為鏡頭后焦距，ΔD為定位精度，L為物距。

由于鏡頭LM6NCM的后焦距f=8.2 mm，當L=1 500 mm、ΔD=1 mm 時，由式(2)可得 Δu=0.005 47 mm。

由于1.27 cm CCD傳感器的長寬比為4∶3，靶面的對角線長為l=8 mm，寬度w=6.4 mm，高度h=4.8 mm，則要求CCD面陣的水平像素數u=6.4/0.005 47≈1 170，垂直像素數為v=4.8/0.005 47≈877。

因此，根據系統的定位精度要求，攝像機的圖像分辨率(即傳感器敏感單元陣列)不得小于1 170×877。綜合考慮以上各種因素，結合滿足要求的工業攝像機產品的發展，系統可選用DHSV1420FM黑白CCD工業數字攝像機［19］。

2.3 雙目視覺傳感單位結構

為了方便左右攝像機對應像點匹配，選用如圖5所示的近似平行光軸雙目視覺結構。因此，系統還需確定雙目視覺結構兩攝像機之間的距離B(通稱基線)。根據立體視覺理論［20-21］，基線越長，立體視覺的計算誤差越小，但在攝像機視場角一定的情況下，兩攝像機的共同視野(即視覺系統的工作范圍)也越小。因此，對于平行光軸雙目視覺，在誤差允許范圍內基線的長度主要決定于視場。攝像機透鏡前端800～1 500 mm的平行平面內，定位精度要求達到1 mm。確定攝像機分辨率的過程如下:

根據光學成像原理有:

圖5 平行光軸雙目視覺水平視場Fig.5 Parallel binocular Horizontal field of view

由文獻［14］可知，當選用LM6NCM時，α=56.2°;由圖1手術導航的視覺工作范圍要求:D=650 mm，L=800 mm，由式(3)可解得B=199.36 mm。因此，樣機選用基線B=200 mm。

根據圖5所示結構，可得如下關系式:

3 手術導航模擬實驗

利用本方法設計的硬件結構，在自行編制的軟件驅動下，對前交叉韌帶重建手術導航進行模擬實驗，如圖6所示。該手術導航系統主要是為醫生提供一種基于X線圖像和視頻圖像的手術導航方法，能夠實時檢測手術器械、解剖目標以及C臂的精確位置，并顯示在術中X線圖像上，為醫生呈現良好的視覺判斷效果［22-23］。系統具備的基于股骨四分格的隧道入點規劃、手術器械實時跟蹤、撞擊檢測與手術過程仿真，以及規劃入點的不等距性評估等功能，均是在雙目視覺對標記物的實時跟蹤定位情況下實現的。

圖6 手術導航系統硬件平臺Fig.6 Hardware platform of surgery navigator

3.1 實驗平臺

圖6(a)所示，硬件平臺主要包括:雙目視覺及其跟蹤定位標記物、C臂及其標定板、模型骨等。實驗中，雙目視覺用于術前C臂標定和模型股三維重建，術中實時跟蹤手術環境中附加標記物的多個目標(C臂、手術部位、手術器械等)。此時標記物作為目標的參考坐標，被雙目視覺實時跟蹤定位，如圖6(b)所示。

軟件平臺集成了人機交互、雙目視覺控制［24-29］、手術規劃、術中跟蹤定位、計算機仿真等功能模塊，如圖7所示。

圖7 軟件平臺設計框架Fig.7 Framework of software platform design

3.2 實驗步驟

(1)分別在模型股、C臂和手電鉆上安裝跟蹤標記物，調整操作空間布局，標定雙目視覺參數;

(2)利用導航探針，在雙目視覺系統的最佳工作空間內，重建模型股三維表面;

(3)利用導航探針規劃脛骨和股骨的隧道入點;

(4)利用 OpenGL建立三維仿真環境，將規劃好的隧道入點映射到重建的個體化骨面上;

(5)導航鉆孔:用安裝有標記物的手電鉆，在雙目視覺檢測下鉆孔，此時鉆頭的路徑也會實時地顯示在圖像監視器上，這樣便于與規劃路徑比較，從而及時糾正鉆孔偏差;

(6)按常規方法植入移植物，完成后續操作。

3.3 實驗結果與分析

(1)利用安裝標記物的導航探針，在雙目視覺探測下，采集關節表面上的三維點坐標(點云數據)，可以重建出股骨和脛骨的三維表面，如圖 8(a)、(b)所示。

圖8 關節表面點云數據采集與重建Fig.8 Acquisition point cloud data and reconstruction

(2)在脛骨、股骨規劃操作中，導航探針在模型股表面滑動時，雙目視覺探測的探針末端能夠疊加顯示在規劃圖像上，如圖9所示。當導航探針末端圖像與術前規劃點重合時，導航探針末端所指模型股表面點與實際手術的隧道入點相符。

圖9 規劃圖像上的位置跟蹤Fig.9 Position tracking in the programming image

(3)在規劃結果進行不等距評估中，安裝標記物的股骨和脛骨從完全伸展位到完全屈曲位緩慢運動時，重建面同樣作隨動運動，如圖10所示。

(4)在模型骨的二維透視圖像與三維實物匹配時，記錄模型骨內嵌8個鋼珠標記點的三維坐標值，與匹配后探針末端實測的三維坐標值相比較，以確定系統的定位精度。測試結果如表1所示，距離誤差在2 mm以內。

圖10 視頻跟蹤與虛擬仿真Fig.10 Video tracking and virtual simulation

表1 精度測試數據Tab.1 Precision test data (單位:mm)

由(1)～(3)可知，該雙目視覺能夠檢測出C臂、模型股和手術器械之間的空間坐標轉換關系，實時跟蹤手術器械，可以重建出模型骨的三維表面，制定出合理的手術規劃方法(股骨、脛骨隧道入點位置和鉆孔路徑，移植物與髁間窩前緣的撞擊檢測)，完成手術過程的虛擬仿真和規劃效果的運動評估，從而輔助醫生完成鉆孔手術。分析(4)中的精度測試結果，該誤差主要由雙目視覺和C臂的參數標定誤差、導航探針標記物的識別與匹配誤差以及二維透視圖像與三維實物間的匹配誤差等多方面因素產生的。因此，減小誤差的產生，除進一步優化相關算法外，加強使用者的操作熟練程度也是至關重要的。

4 結論

本文在詳細分析雙目視覺硬件系統組成和結構的基礎上，結合交叉韌帶手術導航定位的實例，闡明選用本設計方案的理論及現實依據。運用該設計方案開發的雙目視覺跟蹤定位儀樣機，進行了手術導航系統模擬實驗。實驗結果表明:該樣機通過導航探針能夠實現模型骨的三維重建以及導航探針在規劃圖像上的位置疊加跟蹤，通過附加標記物坐標系能夠實現虛擬仿真視頻跟蹤;運用由該導航系統進行的模型骨的二維透視圖像與三維實物匹配，其匹配誤差在2 mm之內，達到了臨床手術的技術指標。

［1］ Claron Technology Inc.MicronTracker Developer's Manual:MTC3［EB/OL］.［2012-10-01］.http://www.clarontech.com.

［2］ Northern Digital Inc.Polaris Spectra Tool Kit Guide［EB/OL］.［2012-09-16］.http://www.ndigital.com.

［3］ 熊健斌，趙勁民，沙軻，等.計算機導航技術在后交叉韌帶重建脛骨隧道定位中的應用［J］.中國組織工程研究與臨床康復，2011，15(17):3139-3142.

XIONG J B，ZHAO J M，SHA K，et al..Application of computer navigation system in tibial tunnel positioning during reconstruction of posterior cruciate ligament［J］.Zhongguo Zuzhi Gongcheng Yanjiu yu Linchuang Kangfu，2011，15(17):3139-3142.(in Chinese)

［4］ 于乃功，馬春燕，林佳.基于雙目視覺的關鍵點的檢測方法及定位研究［J］.計算機測量與控制，2011，19(7):1565-1568.

YU N G，MA CH Y，LIN J.Study on key point detection and localization based on binocular vision［J］.Computer Measurement Control，2011，19(7):1565-1568.(in Chinese)

［5］ 尚倩，阮秋琦，李小利.雙目立體視覺的目標識別與定位［J］.智能系統學報，2011，6(4):303-310.

SHANG Q，RUAN Q Q，LI X L.Target recognition and location based on binocular stereo vision［J］.CAAI Transactions on Intelligent Systems，2011，6(4):303-310.(in Chinese)

［6］ 武學梅，劉奇.基于立體視覺的手術導航光學定位系統［J］.中國組織工程研究與臨床康復，2011，15(35):6584-6586.

WU X M，LIU Q.Optical localizer of surgical navigation system based on binocular stereo vision［J］.J.Clinical Rehabilitative Tissue Eng.Research，2011，15(35):6584-6586.(in Chinese)

［7］ 王剛，卿粼波，滕奇志.基于嵌入式平臺的實時雙目視覺測量系統［J］.通信技術，2011，44(10):55-60.

WANG G，QING L B，TENG Q ZH.Binocular vision and real-time measure system based on embedded system［J］.Communications Technology，2011，44(10):55-60.(in Chinese)

［8］ 尤波，李楠，沈愛華，等.基于雙目立體視覺技術的輪式機器人位姿測量方法研究［J］.機械設計與制造，2011，(8):173-175.

YOU B，LI N，SHEN A H，et al..Study of position and posture measuring method for wheeled robot based on binocular stereo vision technique［J］.Machinery Design Manufacture，2011，(8):173-175.(in Chinese)

［9］ 許允喜，蔣云良，陳方.基于2D-3D雙目運動估計的立體視覺定位算法［J］.光電工程，2011，38(9):104-109.

XU Y X，JIANG Y L，CHEN F.Stereo visual localization algorithm based on 2D-3D binocular motion estimation［J］.Opto-Electronic Eng.，2011，38(9):104-109.(in Chinese)

［10］ 秦大輝，毛婷，劉建軍.基于雙目立體視覺的手持式光筆三坐標測量系統［J］.制造技術與機床，2011(8):133-136.

QIN D H，MAO T，LIU J J.Study on 3D-coordinate measurement technology using handhold light-pen based on binocular stereoscopic vision system［J］.Manufacturing Technology Machine Tool，2011(8):133-136.(in Chinese)

［11］ 劉鈞，高明.光學設計［M］.西安:西安科技大學出版社，2006:164-184.

LIU J，GAO M.Optical Design［M］.Xi'an:Xidian University Press，2006:164-184.(in Chinese)

［12］ 李曉彤，岑兆豐.幾何光學·像差·光學設計［M］.杭州:浙江大學出版社，2007:231-254.

LI X T，CEN ZH F.Geometrical Optics，Aberrations and Optical Design［M］.Hangzhou:Zhejiang University Press，2007:231-254.(in Chinese)

［13］ 李蕊，劉永基，王肇圻.基于個體眼光學結構的波前眼鏡設計［J］.中國光學，2012，(5):512-519.

LI R，LIU Y J，WANG ZH Q.Design of wavefront-guided lens based on individual eye optical model［J］.Chinese Optics，2012，(5):512-519.(in Chinese)

［14］ 李林，黃一帆，應用光學概念題解與自測［M］.北京:北京理工大學出版社，2006.

LI L，HUANG Y F.Yingyun guangxue gainian tijie yu zice［M］.Beijing:Beijing Institute of Technology Press，2006.(in Chinese)

［15］ Shanghai Yinrui Information Technology Co.，Ltd..the Product Center for FA Lens of KOWA［EB/OL］.［2013-05-14］http://www.yinrui.net/product.asp?id=3＆pid=102.

［16］ Shanghai Yinrui Information Technology Co.，Ltd..the Product Manual of LM6NCM Lens［EB/OL］.［2013-05-14］.http://www.yinrui.net/pdf/kowa/LM6NCM.pdf.

［17］ 梁祖厚.數字照相機［M］.上海:上海科學技術文獻出版社，2001:28-37.

LIANG Z H.Digital Camera［M］.Shanghai:Shanghai Scientific and Technological Literature Publishing House，2001:28-37.(in Chinese)

［18］ 劉禾.數字圖像處理及應用［M］.中國電力出版社，2006:27-61.

LIU H.Digital Image Processing and Application［M］.China Electric Power Press，2006:27-61.(in Chinese)

［19］ China Daheng Group，Inc.DH-SV1420FC/FM digital camera instruction manual［EB/OL］.［2010-10-09］.http://www.daheng-image.com.

［20］ Hartley Zisserman.Multiple View Geometry in Computer Vision［M］.New York:Cambridge University Press，2000:237-360.

［21］ 全燕鳴，黎淑梅，麥青群.基于雙目視覺的工件尺寸在機三維測量［J］.光學 精密工程，2013，21(4):1054-1061.

QUAN Y M，LI SH M，MAI Q Q.On-machine 3D measurement of workpiece dimensions based on binocular vision［J］.Opt.Precision Eng.，2013，21(4):1054-1061.(in Chinese)

［22］ 張鵬煒，張智詮，胡磊，等.一種用于外科手術導航的雙目視覺簡化系統［J］.光電工程，2009，36(6):37-40.

ZHANG P W，ZHANG ZH Q，HU L，et al..A binocular vision simplified system for the surgical navigation［J］.Opto-E-lectronic Eng.，2009，36(6):37-40.(in Chinese)

［23］ 謝勁冰，胡磊，張鵬煒.雙目視覺技術在前交叉韌帶重建手術導航系統中的應用［J］.中國組織工程研究與臨床康復，2008，12(59):10297-10300.

XIE J B，HU L，ZHANG P W.Application of binocular vision technology in cruciate ligament surgical system［J］.J.Clinical Rehabilitative Tissue Eng.Research，2008，12(59):10297-10300.(in Chinese)

［24］ 田豐，汪浩，夏雪.基于視覺的觸控系統標定方法［J］.液晶與顯示，2013，28(4):561-566.

TIAN F，WANG H，XIA X.Calibration method for vision-based touch system［J］.Chinese J.Liquid Crystals and Displays，2013，28(4):561-566.(in Chinese)

［25］ 唐巍，葉東，袁峰，等.灰色關聯分析方法在雙目視覺測量系統誤差分析中的應用［J］.光學 精密工程，2013，21(2):503-513.

TANG W，YE D，YUAN F，et al..Grey incidence analytic method to error analysis of binocular vision measurement system［J］.Opt.Precision Eng.，2013，21(2):503-513.(in Chinese)

［26］ 黃新民，申靜，任亞杰，等.基于CRT顯示器的人眼彩色視覺特性數學模型研究［J］.液晶與顯示，2013，28(3):365-372.

HUANG X M，SHEN J，REN Y J，et al..Research mathematical model of human color vision characteristics based on CRT display［J］.Chinese J.Liquid Crystals and Displays，2013，28(3):365-372.(in Chinese)

［27］ 王曉紅，劉太慶.基于視覺灰平衡的LCD顯示器色彩校正［J］.液晶與顯示，2013，28(6):868-871.

WANG X H，LIU T Q.Color correction of LCD displays based on visual gray balance［J］.Chinese J.Liquid Crystals and Displays，2013，28(6):868-871.(in Chinese)

［28］ 郭杰，雷剛，陳健生，等.基于機器視覺的鋼包頭檢測系統設計［J］.液晶與顯示，2013，28(5):770-775.

GUO J，LEI G，CHEN J SH，et al..Design of steel toecaps inspection system based on machine vision［J］.Chinese J.Liquid Crystals and Displays，2013，28(5):770-775.(in Chinese)

［29］ 張來剛，魏仲慧，何昕，等.多約束融合算法在多攝像機測量系統中的應用［J］.液晶與顯示，2013，28(4):608-614.

ZHANG L G，WEO ZH H，HE X，et al..Multi-camera measurement system based on multi-constraint fusion algorithm［J］.Chinese J.Liquid Crystals and Displays，2013，28(4):608-614.(in Chinese)