跨尺度光學內窺成像技術

王子川，張 偉，郭 飛，賈志強，王立強 ，董文飛,4，楊 青

（1. 浙江大學 光電科學與工程學院, 浙江 杭州 310027；2. 之江實驗室類人感知研究中心, 浙江 杭州 311100；3. 長春理工大學 機電工程學院, 吉林 長春 130022；4. 中國科學院蘇州生物醫學工程技術研究所, 江蘇 蘇州 215163）

1 引 言

近年來，隨著光電技術、信息處理等技術的發展，成像技術的需求越來越大，光學成像技術在生物醫學成像[1]、遙感成像[2]、工業成像[3]、天文成像[4]等領域的運用日益廣泛。由于衍射帶寬和光電探測器帶寬的存在，光學成像技術的視場與分辨率總是相互制約的，通常只在單一尺度下進行成像[5-6]。

然而，對于許多具有跨尺度特征的成像目標，目標在多尺度下的變化以及單一尺度下的變化都需要進行觀測。為了解決這一問題，跨尺度光學與光子學成像技術逐步發展起來并發揮出越來越重要的作用。

在內窺鏡領域中，跨尺度光學成像一般是指能夠在一套光學系統實現對觀察部位的宏觀成像與微觀成像，例如對腸道進行140°大視場觀察后使用同一系統進行顯微觀察；或在食管中通過對顯微視場下的圖像進行跨尺度拼接得到宏觀圖像。為了實現跨尺度成像，一種方式是基于傳統的物像共軛成像方式進行變焦光學系統設計，通過對光學系統進行變焦，使得光學系統在不同狀態下獲得不同的視場和分辨率，從而實現對目標的跨尺度成像；另一種方式則是得益于信息處理技術、微納加工技術、人工智能技術以及高速計算能力的飛速發展而誕生的計算成像技術，在光學內窺鏡領域中的主要運用是各類光纖探針。與傳統的物像共軛成像技術相比，計算成像技術對于成像過程的分析角度不同，以信息的獲取與解譯為核心，顛覆了傳統物像共軛設計理念。例如，在傳輸介質層面，對傳輸介質進行計算，綜合考慮散射光對目標信息獲取和采集的作用，通過對相位、振幅和偏振進行聯合解算，得到更多維度的信息并為后續成像處理提供更多信息量；在光學系統設計層面，仿生光學技術[7-8]等突破了傳統物像共軛光學系統設計理念，解決了視場與分辨率相互制約的問題，通過將前端光學系統與后端圖像處理技術結合進行全局一體化設計，降低了對成像光學系統的要求，同時解決了光學系統體積、重量等制約光電設備發展的因素；在信息處理層面，將成像目標的特征納入考慮范圍，并引入其他有價值的先驗信息，而不是僅僅依靠圖像自身的信息量，借助圖像處理技術還原得到高對比度的清晰圖像，用于圖像的跨尺度拼接等方面。目前在跨尺度內窺成像方面，常用的圖像處理技術有圖像拼接[9-10]、圖像融合[11-13]等。如今，基于計算成像技術發展而來的各類光纖探針在內窺鏡領域的運用已成為國內外內窺成像領域學者們研究的熱點，在內窺鏡跨尺度成像中發揮了重大作用。

本文對目前的跨尺度光學成像技術在內窺鏡領域的運用進行了綜述，描述了它們的系統結構與成像特點，并對其進行總結與展望。

2 光學變焦系統在跨尺度內窺成像中的運用

對于采用傳統物像共軛成像方式的光學系統而言，若要實現跨尺度成像，需要該光學系統能夠實現變焦，能夠對不同的視場以不同的分辨率成像，從而獲取具有跨尺度特征的圖像。對光學變焦系統而言，假設光學系統有兩組元，其光焦度分別為φ1和 φ2，其系統的光焦度變化規律可表示為：

式中d為兩組元間隔。若想要改變整體光學系統的焦距，則至少需要改變組元的焦距或者透鏡組元之間的間距中的一項。對變焦光學系統而言，早期的變焦光學系統設計中受限于透鏡元件的制造方式，只能通過改變透鏡間距來實現變焦。近年來，隨著透鏡材料的開發以及透鏡加工能力的提升，焦距可調的新型透鏡如液體透鏡[14]、固體可調透鏡[15]以及液晶透鏡[16]等開始在變焦光學系統設計中得到廣泛應用。對內窺鏡而言，光學變焦內窺鏡具有很高的優勢，一旦醫生發現感興趣的區域，它能夠方便地從寬視場切換到近視場，實現跨尺度高分辨率成像。這極大地減少了手術過程中手術范圍的移動，從而減少了手術的復雜性和創傷的風險。更重要的是，光學變焦內窺鏡還能使醫生在保持高圖像質量的同時觀察放大后的圖像以便進一步檢查。這與標準的電子或數字放大內窺鏡不同，后者只是將圖像質量/分辨率降低的圖像放大。高倍率的光學變焦內窺鏡也能使一些異常組織的特異性表征足夠準確，進行活檢，以節省成本和提高效率。如圖1(a)所示，基于變透鏡組間距的變焦原理，王立強等[17]以光學補償方式設計了一款跨尺度超高倍率球面內鏡系統，通過鋼絲牽引變焦透鏡組實現系統變焦，對0～100 mm景深范圍內的染色病理組織進行高分辨率成像。在較遠距離觀察，如20 mm常規放大時做到了140°廣角大視場，可觀察病理切片到組織層次；同時0 mm顯微觀察時配合27 inch (1 inch=0.025 4 m)顯示器實現了500倍放大，物方分辨率達到181 lp/mm，觀察到如圖1(d)所示病理組織切片的細胞核。這款內鏡實現了幾十毫米視場的廣角觀察連續過渡，因此可以對細胞尺度進行顯微的跨尺度成像，這種內鏡也被稱作細胞內鏡。目前市場上較成熟的細胞內鏡產品只有日本奧林巴斯公司推出，奧林巴斯的細胞內鏡自第三代[18]開始具備連續變焦功能，其效果如圖2(a)～2(b)所示,第三代細胞內鏡可實現常規成像以及最高380×放大，可觀察到染色細胞核。其變焦過程示意圖如圖2(c)所示，通過機構移動系統中的變焦透鏡組G2來實現對不同物距下的跨尺度成像。現在奧林巴斯細胞內鏡已推出第四代[19]，同樣具備跨尺度成像功能，同時該系統能配合26 inch顯示器可實現500倍放大，但顯微視場縮小至570 μm ×500 μm。其他內窺鏡廠家也基于移動變焦鏡組的方式提出了一些跨尺度變焦內鏡，例如日本富士能的專利[20]中的實施例通過移動變焦鏡組的方式可實現從物距18.95 mm (140.4°視場角)到物距1.93 mm (58.2°視場角)的觀察，相對遠距離成像圖像放大倍率提高了144倍；日本Pentax的專利[21]中的實施例通過移動變焦鏡組的方式可實現遠距離觀察(170°視場角)到近距離觀察(80°視場角)的切換，相對遠距離成像，圖像放大了29倍。

圖1 大視場變焦內窺物鏡的設計。（a）透鏡結構示意圖；（b）變焦內窺鏡外觀；（c）內窺鏡直徑；（d）高倍視圖[17]Fig. 1 Design of zoom endoscopic objective lens with large field. (a) Schematic of lens; (b) view of zoom endoscope; (c) diameter of endoscope; (d) highmagnification view[17]

圖2 變焦內窺物鏡。（a）常規觀察視圖；（b）高倍放大；（c）變焦過程[18]Fig. 2 Zoom endoscopic objective lens. (a) Conventional endoscopic view; (b) high-magnification; (c) zoom process[18]

另一方面，也有研究團隊使用新型透鏡來實現內窺鏡的跨尺度變焦成像功能，如圖3所示，Zou[22]等人利用焦距可調的具有自由曲面的Alvarez透鏡開發了一款適用于內窺鏡的變焦透鏡，實現了光學系統的3×變焦，視場范圍由50°縮小為18°，Alvarez透鏡整個變焦過程中由壓電裝置推動在垂直于軸方向上的移動距離不超過110 μm。如圖4所示，郭鑫等[23]使用一種單液體電控型液體透鏡技術設計了一款膠囊內窺鏡，視場角達到110°，實現對景深范圍內3～100 mm的成像。這種液體透鏡的變焦由電壓驅動使得液滴的表面曲率發生變化，實現透鏡變焦。由于液滴體積一定，在施加電壓時，液滴的曲率與孔徑均會發生變化，且曲率越大、孔徑越大、厚度越小。因此，在進行設計前，必須對液體透鏡本身建立準確的數學模型，才能夠在光學設計軟件中準確模擬液體透鏡系統。與傳統球面透鏡系統相比，采用Alvarez這類變焦距透鏡有利于實現系統的小型化、緊湊化，但生產難度相對于球面透鏡系統高出較多。得益于新型透鏡的出現和制造工藝的提升，基于物像共軛原理的跨尺度變焦光學系統也得到了新的發展。受限于加工難度和成本等方面因素，液體透鏡等新型透鏡在跨尺度內窺鏡中的運用大多還停留在研究階段，沒有進入到臨床設備中。目前成熟的跨尺度內窺鏡產品中透鏡類型還是以球

圖3 YZ視角下內窺鏡的3種變焦配置[22]Fig. 3 Three zoom configurations of the endoscope optics under YZ view[22]

圖4 透鏡結構示意圖。（a）可調液體透鏡；（b）膠囊內窺鏡[23]Fig. 4 Schematic of lens. (a) Tunable liquid lens; (b) capsule endoscope optical system[23]

面透鏡以及非球面透鏡等傳統透鏡為主。與傳統透鏡相比，諸如仿人眼的液體透鏡等新型透鏡具有體積更小、變焦快、不需要移動透鏡組的機械結構等優點，是跨尺度內窺鏡進一步小型化的重要發展方向之一。若能將這些新型透鏡運用于基于物像共軛成像關系的跨尺度內窺成像光學系統中，伴隨著小型化帶來的體積小、重量輕等優點，在臨床運用中更適合醫生進行內窺手術。

3 結合計算成像技術和圖像處理技術的跨尺度內窺成像系統

以像差為驅動的傳統光學系統往往受限于視場和分辨率相互制約的矛盾，為了得到更遠的探測距離、更大的視場或者更高的分辨能力，往往會采用增加透鏡數量、系統焦距或者增大系統相對孔徑等方式。然而這些方式常常只能解決某一方面問題，并會引入其他問題。以信息傳遞為核心的計算光學成像系統則利用信息的獲取、傳遞及解譯來描述光場，從根本上改變以物像共軛為核心的傳統光學成像單一依靠有序信息傳遞的方式，增加了信息獲取模式，更充分地利用信息通道獲取信息量，從而突破傳統光學成像的瓶頸[24]。其中在內窺鏡領域中，運用最廣泛的計算成像光學系統就是各類光纖探針。在光纖成像中波前校正[25-26]以及基于像差和散射校正的無透鏡成像技術[27-28]是將光信息恢復成圖像的常見方式。另一方面，圖像拼接、圖像融合等圖像處理技術也為非變焦光學系統在跨尺度內窺成像中運用提供了條件，通過對多個光學系統捕獲的圖像進行拼接與融合，亦可實現跨尺度成像。目前，在跨尺度成像技術中，常用于內窺鏡的跨尺度成像技術主要通過將傳統光學成像系統或計算成像光學系統結合圖像拼接[29]與圖像融合[30-32]等圖像處理技術，實現內窺鏡系統的跨尺度成像。

時至今日，隨著光學成像技術的發展，激光共聚焦顯微成像技術[33]、熒光成像技術[34]、光學相干斷層成像技術[35]等在生物醫學成像領域得到了廣泛運用。

3.1 光纖掃描成像系統

在內窺鏡臨床運用中，光纖掃描成像系統的跨尺度成像通常是通過將光纖探針的掃描運動與相對于掃描平面垂軸方向的探針的機械運動相結合，在掃描平面上，探針通常能獲得μm級大小的圖像，通過圖形拼接等圖像處理算法可以獲得這個掃描平面的視圖，再結合探針cm級的機械運動，通過圖像算法復原出內窺鏡所觀察到的cm級通道的跨尺度立體圖像，并且能夠選擇其中需要觀察的部位進行微觀觀察。光纖掃描成像系統使用的光纖掃描成像技術是指通過控制光纖及其出射的光束偏折，使光纖按照預定的軌跡移動，在掃描的同時收集雜散光成像的技術?？刂乒饫w的方式通過壓電材料[36-37]、微機電[38]或電熱[39]等物理致動效應結合控制信號來完成的。單根光纖成像所得到的圖像分辨率高，但是視場范圍極小，這些高分辨率的顯微圖像通過使用光纖成像束和微透鏡在組織之間傳遞光來獲得，這使得一個緊湊的光纖探針設計不需要復雜的機械部件，在實際使用中通常通過對按照掃描軌跡移動光纖得到的多幅圖像進行圖像拼接來得到高分辨大視場圖像。

目前光纖掃描成像技術已經用于光學相干層析、共聚焦顯微、自發熒光等內窺成像系統中。根據掃描方式的不同，光纖掃描方式可分為螺旋掃描[40]、Lissajous掃描[37]以及光柵掃描[41]等。由于實現快速光柵掃描需要很高的驅動電壓，安全性較差，在臨床設備中不宜使用，所以目前在內窺鏡領域的掃描系統基本是基于螺旋掃描或Lissajous掃描的。螺旋掃描的運動是通過沿兩個方向具有相同頻率的振幅漸增的具有90°相位差的偏移量驅動得到。這種掃描模式是用共振光纖掃描儀獲得的[42]。這些掃描器被漸增的驅動振幅信號激活，直到達到最大半徑，然后經過回歸時間重置光纖到它的靜止位置，隨后開始下一次成像周期。如圖5(a)所示，螺旋掃描的缺陷在于圖像越靠近中心的部位光強越高，照明密度不均勻。Lissajous的掃描運動是兩個正交簡諧振動的合運動,其掃描軌跡形狀由兩個簡諧振動的初相位、振幅和頻率共同決定[43]。如圖5(b)所示，相對于螺旋掃描模式，Lissajous掃描具有更好的照明均勻性，但其填充率，即掃描填充面積與掃描區域的比值，高度依賴于用于驅動的信號頻率比。

圖5 掃描模式示意圖。（a）螺旋掃描示意圖[44]；（b）Lissajous掃描示意圖[37]Fig. 5 Schematic of scanning patterns. (a) Schematic of spiral scanning[44]; (b) schematic of Lissajous scanning[37]

Tsai等[45]研發了一種用于人體胃腸道超高速OCT(Optical Coherence Tomography)掃描內窺鏡，如圖6所示。可見，激光輸出的一部分耦合到馬赫-曾德爾干涉儀(Mach Zehnder Interferometer，MZI)上，以校準垂直腔面發射激光器(Vertical Cavity Surface-Emitting Laser，VCSEL)的掃 頻。MZI被設置為6.6 mm路徑差，條紋由一個1 GHz的雙平衡光學時鐘發生器以恒定頻率間隔對A/D信號進行處理。OCT系統有一個帶有兩個光循環器和一個50/50光纖分配器的邁克耳孫干涉儀。邁克耳孫干涉儀的樣品臂包括一個病人接口單元(Patient Interface Unit，PIU)。它可以使導管的遠端以最高2.8 mm/s的拉回速度平移。PIU連接到成像導管的近端，通過控制導管內的扭轉裝置產生垂直于回拉方向的位移，使光纖能夠進行螺旋掃描。Tsai等將所研發的內窺鏡用于拍攝正常食管，每次成像前獲取MZI的校準軌跡用于校準所有OCT數據，每次MZI掃描1 000個A/D(Analog to Digital)采樣點，通過快速傅立葉變換插值后進行逆傅立葉變化，然后通過希爾伯特變換提取插值MZI軌跡的相位信息。對OCT干涉信號進行相同處理后，利用MZI的相位校準信息進行重采樣得到OCT軸向掃描信號，并通過計算軸向掃描信號大小的對數計算出OCT圖像。探針每進行一次采樣可以獲得12 μm半徑光斑照射區域的OCT微觀圖像，通過密集高頻采樣獲取大量的OCT微觀圖像，然后對所有微觀圖像進行圖像拼接得到掃描平面對應的食管帶深度信息的跨尺度OCT圖像，再結合垂直掃描方向的回拉運動進行圖像拼接得到整個掃描長度的跨尺度宏觀管狀3D容積圖。實驗中對應掃描組織的體積為10 mm×16 mm×2.4 mm(旋轉×回拉×深度)，在旋轉×拉回×深度的各個方向，像素間距分別為6.7 μm×5 μm×4.8 μm，軸向分辨率達到8 μm。如圖7(a)(彩圖見期刊電子版)所示為在組織深度240 μm處的enfaceOCT圖像，對應240 μm深度時平行于食管表面的圖像，右上角插圖為在內鏡OCT成像之前獲得的白光內鏡下宏觀圖像，對應圖7(a)的食管實際位置。圖7(b)(彩圖見期刊電子版)顯示了圖7(a)中綠色（水平）虛線所示位置沿回拉方向的截面圖像，能夠看到整個回拉長度上正常食管典型的明確的分層結構。圖7(c)(彩圖見期刊電子版)所示為圖7(a)中藍色（垂直）虛線所示位置沿旋轉方向的截面圖像，圖7(c)為規則的分層結構。在高頻率拍攝速率下得到的圖7具有極高的像素密度，軸向分辨率為11 μm，橫向分辨率為11 μm，可用于全面OCT和橫切面成像，以及OCT血管成像(OCT Angiography，OCTA)，可實現亞表層微血管的三維可視化。Zhang等[46]通過OCT信號和馬赫曾德爾干涉儀信號的雙通道采集方式克服了固有的光時鐘限制，達到了2.4 MHz和3.0 MHz的軸向掃描速率，并將Tsai等[45]所研發OCT探針運用于超高速掃描源光相干層析成像研究，進一步展示了其在胃腸道OCT成像中的前景。此外，Zhang等還采用系線膠囊OCT內鏡和寬視場OCTA探針在豬的胃腸道中進行試驗，驗證了該超高速掃描源光學相干層析成像技術的實用性。

圖6 OCT內窺系統。（a）微機成像導管示意圖；（b）使用掃頻激光源和微機成像導管的內窺鏡OCT成像系統示意圖[45]Fig. 6 Endoscopic OCT imaging system. (a) Schematic of the micromotor imaging catheter; (b) schematic of endoscopic OCT imaging system using a swept source laser and micromotor imaging catheter[45]

圖7 正常食管OCT。（a）240 μm組織深度的en face OCT圖像；（b）沿回拉方向的橫切面圖像；（c）旋轉方向橫切面圖像[45]Fig. 7 OCT of the normal esophagus.(a) En face OCT image at 240 μm depth. The inset shows an endoscopic view of the esophagus obtained prior to endoscopic OCT imaging; (b) cross-sectional image along the pullback direction; (c) cross-sectional image along the rotary direction[45]

相對于較低掃描頻率的OCT系統，MHz級別的超高速OCT掃描內窺鏡系統依靠超高的采樣密度，在對微觀OCT圖像進行跨尺度圖像拼接和重建食管3D容積圖時具有比較低掃描頻率的OCT系統更高的圖像精度，是OCT探針在跨尺度內窺鏡中的一個重要發展方向。Antonio等[47]研發了一種系線電機驅動內窺膠囊用于食道OCT成像，如圖8所示。這款系線膠囊在設計上與傳統設計不同，沒有將微電機和光纖探針呈面對面放置，而是將微型電機與Grin透鏡并排固定在膠囊的遠端帽上。OCT光經過兩次偏轉，從而使光束轉像，最終落在安裝于電機軸的反射鏡上，通過這種設計，避免電機線穿過光路，避免OCT圖像中出現陰影效應。在通過調制驅動所用兩相四極同步電機的電流信號，該膠囊在無障礙周視掃描的基礎上，進一步地實現兩種先進的工作模式：精確定位模式和局部定位掃描模式。精確定位模式通過控制驅動電流的信號使電機的旋轉器保持在一個特定角度；局部定位掃描模式則是在精確定位模式的基礎上，使其在定位的特定角度的一定范圍內進行掃描。Antonio等將膠囊連接到一個使用1.5 MHz頻域鎖模激光器的OCT成像系統，對豬食管進行成像實驗，得到了如圖9所示圖像。在實驗過程中為了獲得體積數據集，以15 mm/s的速度將膠囊從食管下部拉到上部。該實驗中在可掃描深度范圍內光纖探針的光斑大小

圖8 系線膠囊示意圖和照片[47]Fig. 8 Schematic of the tethered capsule and photo of the capsule

圖9 食管OCT圖像。（a）豬食道代表性橫切面圖（剪去內壁）；（b）沿4.5 cm拉回距離進行3D重建；（c）（b）中虛線框的放大區域。比例尺為1 mm[47]Fig. 9 OCT imageof esophagus. (a) Representative crosssectional image of swine esophagus (inner wall of the tube is cropped out); (b) 3D reconstruction along a 4.5 cm pull-back distance; (c) zoomed-in area of the dotted box in (b). Scale bar is 1 mm[47]

介于34～39 μm之間，通過轉動獲得需要進行圖像拼接的OCT微觀圖像，結合回拉運動進行圖形拼接得到的橫斷面OCT圖像9(a)可以看到整個食管的管腔，無任何陰影偽影，證明膠囊可以提供通暢的OCT成像。對經過拉伸得到的圖像數據進行3D重建也顯示了4.5 cm長度的食管的跨尺度立體圖像(圖9(b))，沒有任何陰影偽影。放大的區域可識別食管的層狀結構，即上皮(E)、固有層(LP)、粘膜肌層(SM)、粘膜下層(MM)和固有肌層(MP)，如圖9(c)所示。

用于跨尺度內窺成像的OCT探針在臨床上已經取得了一些運用，由于OCT探針對組織的微觀結構觀察接近組織學水平，常用于組織進行原位跨尺度觀察。但是目前臨床上OCT探針對于胃腸部位還難以實現較好的成像，主要運用場景在于Barrett食管、膽總管和胰管腫瘤的鑒別和診斷。受限于組織結構特征，目前針對下消化道的OCT成像技術還處于研究階段，若能取得突破，高分辨的OCT探針將在輔助早癌診斷、在體原位檢測等方面發揮出其巨大的潛力。

3.2 多通道內窺鏡系統

多通道內窺鏡系統是指具備多個不同光學成像通道的內窺鏡系統。在實際醫療手術中，除了通過掃描這種方式獲取需要的醫學跨尺度影像外，醫生常常也需要使用內窺鏡在手術過程中對人體內部某一部位進行跨尺度觀察以及手術操作，這個時候為了獲取更精確的圖像信息，具備多個成像通道的內窺鏡系統被醫生廣泛使用，例如在內窺鏡手術中使用大視場內窺鏡觀察，在大視場內窺鏡引導下查找病變處并使用小視場內窺探針等光學成像系統獲取更小尺度的醫學圖像幫助醫生進行診斷和術中操作。

Yuki等[48]將探針式共聚焦激光顯微內窺鏡(Probe-based Confocal Laser Endomicroscopy，pCLE)與口腔膽管鏡(Peroral Cholangioscopy，POCS)結合，評估了在膽管鏡直視下引導探針式共聚焦顯微內鏡在膽道狹窄診斷中的運用。在體內實驗過程中，除膽道過于狹窄探針無法進入以外，操作醫師一共對30例病患進行內鏡逆行胰膽管造影，在造影后使用膽管內鏡進行膽管觀察。波士頓科學公司的POCS能夠提供120°廣角視場的彩色圖像，利用POCS可以將共聚焦微型探針精確地引導到醫生關注的位置。整個檢查過程中，醫生首先使用膽管鏡進行檢查，在大視場內窺圖像中找到病灶位置。進行膽管鏡檢查后，在膽管鏡直視引導下，直徑為0.94 mm、視場大小為325 μm、橫向分辨率為3.5 μm的共聚焦激光顯微內窺探針通過膽管鏡的工作通道輕觸膽管狹窄處并以12 frame/s的速率成像和記錄。在膽管鏡直視下共聚焦激光顯微內窺探針完成共聚焦成像后，使用器械在膽管鏡直視下對膽管狹窄處進行活檢取樣。在實驗過程中，兩名經驗豐富的內鏡醫師對記錄在每種成像模式下的病情做假定診斷。其中一個病例在實驗過程中所得圖像如圖10(彩圖見期刊電子版)所示，在圖10(a)和10(b)中，共聚焦探針通過膽管鏡通道伸出，在引導下對膽管成像，得到了膽管的跨尺度圖像。圖10(c)為白光膽管鏡下的圖像，圖10(d)為pCLE所拍攝圖像。

圖10 自身免疫性膽管炎。（a）膽管造影顯示膽道狹窄（粉紅色箭頭）；（b）POCS下的pCLE執行；（c）膽管鏡顯示微紅色乳頭狀顆粒狀表面；（d）pCLE顯示Paris分類增厚網狀結構[48]Fig. 10 Autoimmune cholangitis. (a) Cholangiography shows the biliary stricture (pink arrow); (b) pCLE under the direct view of POCS was performed; (c)cholangioscopy shows a reddish papillogranular surface; (d) pCLE shows a thickened reticular structure in the Paris classification[48]

圖中觀察到增厚的網狀結構。將假定診斷與病理診斷結果進行對比，30例病例中PCOS下的pCLE的診斷時特異性達到92.3%，準確度達到93.33%；另一方面，PCOS下直視的特異性為76.9%，準確率為90%；PCOS下組織活檢的特異性為100%，準確率為90%水平接近。Yuki團隊證明使用能夠實現POCS直視下的pCLE可以為膽道狹窄提供了高度準確和敏感的表征，并顯示出更高的診斷可靠性和減少診斷延誤的潛力。目前共聚焦顯微內窺鏡已經初步實現了實時組織病理成像與特異性功能成像。若結合造影技術，將對病灶的探測能力提高至分子水平，在早期癌癥檢測上具有良好的運用前景。

Julia等[49]探索了將小型熒光內窺鏡與普通商用內窺鏡結合，用于獲取在動物實驗中的圖像數據，在組織水平上實現腹部的多色成像。實驗中，Julia等以被標記綠色熒光蛋白的小鼠為對象，采用一個30°視場角的白光商用內窺鏡引導熒光內鏡活檢，在對腹腔進行初步檢查后，在距離普通商用內鏡約1 mm處的位置放置熒光內鏡的光纖束，這允許通過商用普通內窺鏡直接可視化地精確引導熒光內窺鏡，實驗過程如圖11(a)和11(b)所示。由于采用光纖成像的方式，其成像效果會受到離焦光線的影響而模糊。為了得到更好的圖像恢復效果，Julia等使用經過常規顯微鏡數據訓練的神經網絡對圖像進行改善。將一些共聚焦圖像作為訓練用的標準圖像，通過對標準圖像添加模糊、噪聲、強度降低等信號產生訓練圖像。訓練過程中，20%的輸入圖像作為檢驗數據，并采用計算絕對平均誤差的方式測量訓練數據與驗證數據的網絡性能。最后將該網絡用于拍攝的熒光圖像改善，在大視場白光內鏡的宏觀引導下，熒光內鏡到達藍光區域進行微觀觀察，對器官進行熒光素染色后，對圖11中藍光照射部位的成像結果如圖12所示，能夠清楚地分辨出不同細胞。Julia等搭建的熒光內鏡和普通熒光內鏡的區別在于其有4個熒光成像通道，可使用不同的染料，通過選擇適當的LED激發，在相同的成像過程中能激發許多熒光團，而熒光成像視場約為1 mm，分辨率足以分辨出單個細胞。這種跨尺度內窺鏡在臨床上可以在對疾病的特征特異性物質進行熒光標記后，進行即時診斷，進行體內活檢。

圖11 內窺鏡系統。（a）手術過程照：1. 商用內窺鏡；2. 具有用于光纖束的套管針的微操作器；3. 吹氣管。（b）在活體成像過程中，通過商業內窺鏡進行內窺鏡觀察：1. 用于光纖束和藍色照明光纖的套管針；2. 腸套；3. 胰腺；4. 肝臟[49]Fig. 11 Endoscope system. (a) Photograph of the surgical procedure: 1. commercial endoscope; 2. micromanipulator with the trocar for the fiber bundle; 3. insufflation-pipe. (b) Endoscopic view through the commercial endoscope during the imaging procedure in vivo: 1. trocar for the fiber-optic with fiber bundle and blue illumination; 2. intestinal loop;3. pancreas; 4. liver[49]

圖12 熒光圖像效果圖[49]Fig. 12 Image of a fluorescence channel[49]

目前共聚焦成像已經在臨床中得到實際運用，Igor等[50]將普通支氣管鏡與MKT公司的1.4 mm的pCLE探針結合用于觀察COVID-19確診陽性患者的肺組織，在進行支氣管鏡檢查中，雙側見適量液性粘液出血性分泌物，左3段支氣管閉塞有血塊，其他支氣管管腔正常。清除血塊后，沒有發現支氣管病變，隨后在支氣管鏡引導下對左肺葉的所有亞段進行觀察，得到如圖13(彩圖見期刊電子版)所示的pCLE圖像。圖像顯示肺泡的變化，隨著密度的增加，肺泡結構缺失，彈性纖維增厚，肺泡內分泌物大量出現。

圖13 左上葉肺組織的pCLE圖像。肺泡內纖維厚度（黃線），彈性結構密度增加（白箭頭），直至肺泡結構消失（黃箭頭），肺泡內分泌物大滴（*）[50]Fig. 13 pCLE images of lung tissue of the left upper lobe.Intra alveolar fiber thickness (yellow line), increased density of elastic structures (white arrow),up to disappearance of alveolar structures (yellow arrow), and large drops of intra alveolar secretions(*)[50]

在多通道內窺成像實現跨尺度成像這一方面，也有研究團隊采用雙模式切換的方式來實現這一功能。張朋濤等[51]設計了一種雙模切換顯微內窺鏡成像系統，該系統將熒光素鈉作為熒光分子探針；熒光激發光源選用高亮度的藍色LED，通過切換內窺成像探針，獲取兩種尺度下的圖像：寬場白光內窺成像模式下進行手術導航，利用熒光分子成像進行病變腫瘤邊界識別；顯微內窺成像模式下，進行在體顯微病理分析，確定腫瘤良惡性及其種類。

這種雙模切換顯微內窺鏡光學系統結構如圖14(彩圖見期刊電子版)所示，當系統連接寬場成像光纖內窺鏡(Surgery fiber)時，如果白光LED(W-LED)點亮，此時系統為白光寬場內窺成像模式，白光通過照明光纖照亮樣品，成像光被物鏡收集后經透鏡組聚焦在CCD靶面上成像，在白光照明下進行實時手術導航；如果藍光LED(B-LED)點亮，488 nm的LED光能量經過激發片濾光，通過耦合透鏡耦合進入光纖，傳輸到待成像組織，激發靜脈注射作為熒光分子探針的熒光素鈉，發出的熒光經過同光路返回，經過物鏡、成像透鏡組、發射片組成的光學系統后，在EMCCD(Electron-Multiplying CCD)形成熒光成像，通過腫瘤組織對熒光分子探針的特異性富集作用來分辨腫瘤邊界；當將系統切換為顯微成像光纖時，采用相同的熒光激發成像過程，通過顯微內窺探頭，觀察到細胞的形態信息，即獲得在體組織的病理學圖像，實現在體組織病理學檢查，顯微模式下系統的成像分辨率達到4.4 μm。張朋濤等[51]用該系統對人體組織活檢獲得的結直腸黏膜進行實驗，管狀腺瘤性息肉在雙模切換顯微內窺鏡下的實驗效果圖如圖15(彩圖見期刊電子版)所示，可以看出，圖15(a)顯微放大后的細胞形態與圖15(b)顯微鏡下病理切片的形態一致，表明了該系統可用于在體實時病理學診斷。受限于內窺鏡的應用場景，如何在臨床運用中實現良好的切換是此類模式切換式內窺鏡需要解決的關鍵問題，目前尚未有單通道模式切換型內窺鏡產品出現，若能實際運用于臨床手術中，對于實現跨尺度內窺鏡系統的手術導航將有重要的應用價值。

圖14 雙模切換顯微內窺鏡系統原理圖[51]Fig. 14 Optical path of dual-mode switching endomicroscopic image system[51]

圖15 管狀腺瘤性息肉。（a）普通電子內窺鏡下成像與顯微模式熒光成像；（b）病理切片成像[51]Fig. 15 Tubula radenomatous polyp. (a) Ordinary eletronic endoscopic image and microscopic fluorecent image; (b) pathologic slice image[51]

3.3 圖像融合內窺成像系統

在內窺鏡的發展過程中，出于醫師們的臨床需求，內窺鏡領域的研究人員對內窺鏡來自不同成像通道的圖像進行圖像融合開展了廣泛研究，用于補充單通道成像系統無法獲得的圖像信息，例如將熒光圖像與可見光圖像相融合，使醫生能在高分辨率的白光圖像上更清晰地區分出病患腫瘤分界線[12]；或者將白光圖像與近紅外圖像融合實時獲得組織的特征信息[52]；又或者使用圖像融合來提高圖像的質量[53]；將光成像與其他成像方式結合來獲取醫生需要的圖像信息[54]。在內窺鏡的跨尺度光學成像中，圖像融合技術的運用也取得了不少成果。

Andreas等[55]將熒光成像技術結合到OCT系線內窺膠囊上，開發出了一款可同時實現熒光(Fluorescence，FL)成像與OCT成像的系線內窺膠囊(Tethered Capsule Endomicroscopy，TCE)，其系統結構示意圖如圖16所示。雙模態OCT-FL膠囊內鏡成像系統由兩個直接接口的子單元(OCT成像系統和FL成像系統)和一個可連接的成像探針(OCT-FL TCE器件)組成，能夠同時實現兩種模態的微觀結構成像。其中OCT成像系統的分辨率達到5.5 μm。OCT技術作為一種強大的顯微、結構成像技術，能夠獲取胃腸道等部位的形態學圖像結構及特征，但僅通過形態學方法不能完全捕捉胃腸道所有可用的診斷特征，例如分子受體等特征信息。另一方面，熒光成像技術通過分子探針可與特定分子進行結合的特點，在激發光照射下獲取生物體內特異性分子的分布情況，再結合熒光成像技術進行多模態診斷可將分子信息置于微觀結構背景下，更好地輔助診斷。Andreas等將所研發的OCT-FL系線膠囊內鏡在活體豬食道內進行成像測試，獲得了如圖17(彩圖見期刊電子版)所示的圖像。實時圖像預覽以偽彩色顯示FL數據(從低到高：黑、藍、青色、綠、黃、白)。在實驗過程中采用的熒光染料為亞甲基藍。通過手動拉伸膠囊內鏡，利用定制軟件對圖像數據處理后，得到豬食管的OCT容積圖像；熒光圖像信息則經過軟件處理顯示于相應3D圖像外環。能夠在獲取OCT形態學信息的同時得到熒光分子的成像信息。這一研究成果為利用兩種成像技術的互補性診斷提供了新思路，結合最近引進和新開發的靶向分子藥物，可能顯著提高對一系列胃腸道疾病的診斷能力。

圖16 OCT-FL成像系統示意圖[55]Fig. 16 Schematic diagram of OCT-FL TCE imaging system[55]

圖17 活體豬食管代表性圖像的OCT-FL數據顯示。在同一橫截面掃描的極坐標表示（a）和笛卡爾表示（b），分別描述2D灰度OCT和1D假色FL數據。（c）沿食管軸向延伸的橫截面的OCT圖的3D表示（反轉灰度：從低到高對應從黑到白）。（d）沿食道軸向延伸的FL表面圖的3D表示。比例尺：1 mm。[55]Fig. 17 OCT-FL data display of representative images from swine esophagus, in vivo. (a) Polar and (b)cartesian representation of the same crosssectional scan, depicting 2D grayscale OCT and 1D false color FL data. (c) 3D representation of the crosssectional OCT map along the axial extension of the esophagus (inverted grayscale: low-to-high as black-to-white). (d) 3D representation of the FL surface map along the axial extension of the esophagus. Scale bars: 1 mm.[55]

高分辨率的pCLE和OCT可將細胞尺度的組織細節可視化，是實現光學活檢的一個發展方向，可作為傳統活檢和組織病理學的實時替代方法。但是采用pCLE在胃腸道中進行診斷，受限于視場大小，通常需要進行掃描，將對多幅圖像進行拼接，這一過程中實現探針的平滑可控移動以及保證控制精度非常重要。特別是對于需要直接與組織接觸的pCLE，既要確保圖像質量，又要限制掃描過程中發生的組織變形量。因此，手工控制下的圖像拼接極具挑戰性[56]。而OCT技術是一種不需要接觸組織的橫斷面技術，它能用來確定探針尖端與組織之間的距離?；谶@一思想，Zhang等[57]將手術機器人，pCLE與OCT技術相結合，研發了一種自主掃描顯微內窺系統，不僅使用pCLE圖像(橫向到組織表面的方向)，還使用OCT圖像(軸向的方向)，以直觀地指導掃描運動。采用這種方法，能夠確保機器人在pCLE探針和組織之間保持最佳的接觸力，協助平滑運動(避免粘滑)，并幫助形成連續的圖像，其系統結構和工作框架如圖18所示。

圖18 自主光學活檢探針掃描和多尺度融合的實驗裝置[57]Fig. 18 Experimental setup for autonomous optical biopsy probe scanning and multiscale fusion[57]

圖18中，在整個系統上配置了一款立體腹腔鏡，pCLE探針與OCT探針均配置于達芬奇手術機器人上，由達芬奇的患者端機械臂（Patient-side Manipulator，PSM）控制。由30 000芯成像光纖和一個微透鏡組成的pCLE探針可提供240 μm的視場和大約為2.4 μm的光纖采樣分辨率；OCT探針視場大小約為1 mm。通過頻域低相干干涉測量技術進行軸向掃描，產生二維圖像。在整個成像過程中，3D腹腔鏡可提供大視場的3D圖像信息，通過立體匹配方法進行組織表面3D重建；pCLE探針得到的圖像信息被成對輸入并通過歸一化互相關用于與3D腹腔鏡圖像配準，并采用枯葉模式進行組合。同時OCT圖像根據當前探針的位姿信息映射到3D體上并提供被掃描組織的3D信息。pCLE圖像、OCT容積圖像與重建表面通過圖像融合的方式，同時提供掃描區域的宏觀與微觀視野。機器人在預定義的區域軌跡上使用探針掃描，生成圖像，掃描軌跡同時映射在圖像的坐標系統中。視覺控制組件通過閉環檢測比較當前和期望的探頭姿態，驅動機器人使檢測誤差最小化。該系統拍攝的效果如圖19(彩圖見期刊電子版)所示。從圖中可以看到該系統跨尺度融合的效果。由此得到的顯微高分辨率組織圖可以與腹腔鏡圖像提供的宏觀立體重建結果進行實時融合，為外科醫生提供一個操作現場的跨尺度3D視圖。這種增強的可視化為術中組織表征和手術計劃提供便利，且提高了手術的精度。

圖19 跨尺度融合案例。（a）宏觀立體重建；（b）將拼接后的圖像疊加在立體圖像上，與微觀尺度圖像建立聯系；（c）自主光學活檢探針掃描和多尺度融合的實現步驟[57]Fig. 19 An example of trans-scale fusion. (a) A macroscale stereo reconstruction; (b) to link with the microscale, by adding the mosaic image to the stereo reconstruction; (c) implementation steps involved for autonomous optical biopsy probe scanning and multiscale fusion[57]

4 結束語

跨尺度光學內窺成像技術所面臨的挑戰來自于生物體內復雜的成像環境和臨床實際需求，通過探索光學成像的新機制與方法、光學標記技術，發展面向生物醫學共性問題的跨尺度成像技術、面向手術臨床應用的光學成像器件及相關機械儀器、融合日益強大的計算機技術與光學成像技術，都將進一步推動跨尺度光學成像在內窺鏡領域的發展。目前還有許多跨尺度光學內窺成像技術還停留在研究階段或者運用場景還比較受限，例如采用了液體透鏡這類新型透鏡的跨尺度變焦光學系統因加工工藝還未實現產業化；再如目前下消化道成像還有諸多問題需要解決的跨尺度OCT掃描內窺探針系統。隨著在生物醫學等基礎學科的深入研究、計算機科學與先進制造與加工工業的發展的影響，這些還處于研究階段的跨尺度光學內窺成像技術逐步成熟，以及現有跨尺度光學成像技術的進一步發展，內窺鏡跨尺度光學成像技術必然會有變革性的發展與更廣闊的運用前景。