






收稿日期:2023-11-23
DOI:10.19850/j.cnki.2096-4706.2024.05.029
摘" 要:光學相干斷層血管造影技術是一種基于運動對比的血管造影方法,盡管采集速度有所提高,但是眼球運動仍然是造成偽影的主要原因。文章描述了一個基于硬件的主動眼底跟蹤掃描激光檢眼鏡系統集成到OCTA系統的方法,在OCTA采集過程中SLO系統也同步啟動,同時成像并對SLO圖像引用GPU并行處理Frangi濾波和四象限角點匹配的偏移計算方法來進行實時的眼動矯正,可達到消除眼動偽影,視網膜眼底血流結構高精度成像的效果。
關鍵詞:OCTA;眼底跟蹤;Frangi濾波;四象限角點匹配
中圖分類號:TP391.4" " 文獻標識碼:A" " 文章編號:2096-4706(2024)05-0133-05
Design of Eye Tracking System Based on OCTA
CEN Yingshan1, HAN Dingan2, WU Nanshou2
(1.School of Mechatronic Engineering and Automation, Foshan University, Foshan" 528225, China;
2.School of Physics and Optoelectronic Engineering, Foshan University, Foshan" 528225, China )
Abstract: Optical Coherence Tomography Angiography (OCTA) technology is a angiography method based on motion contrast. Despite improved acquisition speed, eye movement is still the main cause of artifacts. The paper describes a method for integrating an active fundus tracking Scanning Laser Ophthalmoscope (SLO) system based on hardware into the OCTA system. During the OCTA acquisition process, the SLO system is also synchronously started, and the imaging is performed, and GPU parallel processing Frangi filtering and four-quadrant corner matching offset calculation methods is used for real-time eye movement correction, which can eliminate eye movement artifacts and achieve the effect of high-precision imaging of retinal fundus blood flow structure.
Keywords: OCTA; fundus tracking; Frangi filtering; four-quadrant corner matching
0" 引" 言
光學相干斷層血管造影成像(Optical Coherence Tomography Angiography, OCTA)是一種基于運動對比的血管造影方法,作為光學相干層析成像(Optical Coherence Tomography, OCT)技術的擴展[1],是臨床診斷眼底情況廣泛使用的成像手段,能提供視網膜和脈絡膜血液流動的深度分辨圖像,其詳細程度遠遠超過了舊形式的成像[2,3],也是鑒定眼科疾病的常用方法。然而,為了獲得眼底血管圖像,OCTA系統需要連續采集大量數據,采集過程時間也會拉長,在此過程中病人的呼吸及其眼睛的自然眨動都會引進無用的信號,使結果圖像產生血管錯位和血管重復虛影[4]等問題。目前進行眼動校正的方法主要分為數據校正和硬件校正兩種,前者已開發的后處理算法[5]對于大的眼動間隙無法進行糾正,校正效果不佳;基于硬件的校正系統主要有使用磁性搜索線圈來測量眼睛前段的運動[6],使用來自前光學系統的反射運動[7],這類硬件系統都是對眼前節部分進行運動監測,無法直接獲得眼底視網膜的運動情況,無法適用到OCTA成像系統的運動校正中。第一個基于視網膜圖像的跟蹤器使用簡單的線掃描相機測量血管的橫向運動[8]。SLO(Scanning Laser Ophthalmoscopy)的共焦性允許捕獲高質量的視網膜正面視頻,SLO在眼動追蹤方面的優勢很早就得到了認可,為本文提出的眼動跟蹤校正奠定了基礎。
為了提高OCTA成像的準確性和穩定性,本文提出了一個基于硬件的主動眼底跟蹤SLO光學系統集成到OCTA系統的方法,旨在實現實時的眼動矯正,從而消除由于外界環境或被測者的自然行為等因素對OCTA成像結果準確性的潛在影響。本文中所提出的方法還采用了多種關鍵技術。首先,采用了Frangi濾波和四象限角點匹配的方法進行偏移計算,以準確測量眼動引起的圖像偏移。其次,通過引入GPU并行處理的編程方法,實現了快速而高效的眼動矯正,從而提高了系統的實時性和性能。這一研究的結果不僅有望提高OCTA成像的準確性和可靠性,還可能在眼科臨床診斷、研究和治療中發揮重要作用。通過有效地消除眼動引起的偽影,該系統有望為眼科專業人員提供更清晰、更精確的眼底成像,有助于更準確地診斷和監測眼部疾病,為患者提供更好的視力健康護理。
1" 裝置系統
OCTA的成像系統主要基于邁克爾遜干涉儀成像原理搭建[9]。邁克爾遜干涉儀的原理是一束入射光經過分光鏡分為兩束后各自被對應的平面鏡反射回來,因為這兩束光頻率相同、振動方向相同且相位差恒定(即滿足干涉條件),所以能夠發生干涉。通過調節干涉臂長度或改變介質的折射率會形成不同的干涉圖樣。干涉條紋是等光程差的軌跡,因此通過分析干涉產生的圖樣可以獲得各段光程的信息,即對應樣品不同深度的信息。眼動跟蹤SLO成像技術[10]基于紅外光具有較強的組織穿透能力、對人眼是不可見的特性,紅外激光發出紅外光束透過眼球前部結構照射到患者眼底,眼底組織會吸收、反射和散射這些紅外光,此時使用一個專門的相機捕獲從眼底反射回來的紅外光,將其轉換為數字圖像,電腦再獲取數字圖像進行顯示就可以實時對患者眼底進行成像。
硬件系統主要分為兩個部分:OCTA成像系統和眼動跟蹤SLO系統,具體如圖1所示。
圖1" OCTA眼動跟蹤系統硬件光路圖
OCTA成像系統采用中心波長840 nm的寬帶光源,經過70:30光纖耦合器將激光分流到含參考反射鏡的參考臂一路和掃描眼底的樣品臂一路,加入二維XY掃描振鏡可以改變掃描樣品的光束方向,實現對眼睛的三維成像。二色鏡可將OCT光反射到眼睛,OCTA光路的激光經眼底和參考反射鏡的反射沿來路返回光纖耦合器,相遇并干涉,干涉光經過光柵,將干涉信號從位置空間轉變為波矢空間,被OCT線陣相機接收,轉換為數字信號到電腦進行處理從而獲得眼底血流信息。
SLO跟蹤系統采用940 nm激光光源,該波長的光源具有較強的組織穿透能力、對人眼是不可見,眼底成像效果更好且不會在OCTA采集過程中影響到人的注意力,不會造成多余的眼動干擾。激光光源經過柱面鏡變成線狀光,經反射鏡反射到Y振鏡,線狀光搭配Y振鏡的偏轉可實現對眼底的二維成像。引入反840 nm光透940 nm光的二色鏡可以將SLO系統的光路引入OCTA成像系統中,兩個光路共用眼前透鏡達到對眼底共焦的效果。激光被眼底組織反射,沿來路回到半反半透鏡,部分光線透過半反半透鏡,經過聚焦透鏡被SLO線陣相機接收,轉換為數字信號到電腦進行處理獲得眼底二維圖像。
2" 圖像處理方法
本文的圖像處理快速計算主要調用圖形處理器(Graphic Processing Unit, GPU)作為數據并行處理的設備,與中央處理器(Central Processing Unit, CPU)處理程序順序部分相互協作,可以彌補CPU在處理大規模數據上的不足,提高程序的運行性能[11]。SLO圖像跟蹤數據處理如圖2所示,其中粗黑箭頭代表數據在主機端和設備端之間的數據拷貝方向,細白箭頭代表數據分別在主機端、設備端的內部處理步驟。按照CPU-GPU混合硬件結構編程的方式,將SLO圖像跟蹤的處理過程所需的內存空間在CPU和GPU上進行分配,圖像預處理的濾波部分,四象限化特征角點匹配的圖像匹配部分均可進行并行處理,根據算法原理改為適合的并行函數,在GPU上運行,達到快速實時計算SLO圖像偏移量的效果。
圖2" SLO圖像跟蹤數據處理
圖像預處理部分,由于SLO眼底圖像中存在血管紋路不清晰、血管走向模糊的情況,需要先使用血管增強算法,提高SLO眼底圖中的血管信息。本文采用Frangi血管濾波是匹配濾波器的一種延伸,由于SLO眼底圖像上的血管信息具有高斯分布的特性,所以將高斯型濾波器與血管進行匹配,若二者匹配則輸出一個較大的值[12,13]。
Hessian矩陣表達式為:
(1)
其中,fxx、fxy、fyx、fyy分別表示像素P的灰度的四個二階偏導數。H具有兩個特征值,其中較大的特征值λ1,能夠很好的描述視網膜圖像的血管信息。Frangi等人利用Hessian矩陣特征值構造血管相似性函數:
(2)
式中,RB = | λ1 | / | λ2 |,,則表示矩陣的范數。c表示矩陣最大范數的一半。該算法求出的尺度因子具有特異性,不能適用于不同直徑大小的血管。為了使SLO眼底圖像上不同直徑大小的血管在控制引入新噪聲同時得到達到較好的增強效果,最后將濾波器的響應整合不同尺度下:
(3)
其中δmin表示相關結構最小尺度、δmax表示相關結構最大尺度,可以通過設置它們的值調整濾波核的寬度。
經過Frangi濾波處理后的獲取的血管圖像如圖3所示。本來包含組織信息和血流信息的SLO眼底圖像經過濾波處理后保留下了血管信息,組織部分的像素全部置為0。
圖3" Frangi算法增強后的眼底血管圖
四象限化角點匹配首先在模板圖像和實時圖像上進行上下左右靠近邊界的地方選取四個方形大小的窗口數據提取。通過四象限化提取窗口數據進行匹配計算的方法可以減少運算量,也可以細化區域提高匹配計算的準確性。
角點檢測是圖像特征提取的一種有效方法[14]。角點檢測中的角點指的是兩個方向的邊界的交點,因為是兩個不同方向的交點,所以該點在任意方向的變化都會使該點附近的梯度圖產生顯著的變化。本文使用的shi-Tomasi角點檢測算法對圖像進行角點匹配,該算法是Harris算法的延伸。Shi和Tomasi對Harris的算法中的閾值選取方式提出改進,若兩個特征值中較小的一個大于最小閾值,則會得到強角點[15]。Harris矩陣M表示為:
(4)
Shi和Tomasi提出的公式為:
(5)
具體算法步驟如下:首先,分別利用水平和垂直的差分算子對圖像進行濾波來求得Ix、Iy,根據(4)式求出矩陣M;第二,求出M行列式的兩個特征值λ1和λ2,根據Shi-Tomasi提出的判定方法,判斷該像素點是否為強角點;然后,為了平衡匹配點的數目和防止匹配區域發生重疊,設定兩個閾值分別約束特征點的數目和相鄰特征點的距離;最后,進行主模板角點和實時角點之間的迭代計算偏移量,作為實時SLO圖像的偏移量。
3" 系統工作流程
眼動跟蹤系統工作步驟如圖4所示。當OCTA開始采集時,SLO眼動跟蹤系統也會同時開始工作。
由于OCTA系統和SLO跟蹤系統都是采用振鏡偏轉完成紅外光對眼底的掃射成像,為了能夠達到快速跟蹤的效果,需要設計兩組振鏡對眼底的同時掃描。圖5為開始時OCTA和SLO跟蹤的同步驅動信號。振鏡的工作機制是輸入一個位置信號即圖5縱軸的振鏡電壓,擺動電機就會按照一定電壓與角度的轉換比例擺動一定角度。單次的OCTA斷層掃描周期信號如虛線框部分所示,需要進行兩次OCTAX振鏡的重復掃描,此時OCTAY振鏡停在同一偏轉角度,即對眼底的同一位置進行兩次斷層掃描。從圖中可看出在OCTA開始掃描前SLOY振鏡先進行一次掃描偏轉,目的是提前采集一張SLO眼底圖像作為模板,用于與后續SLOY振鏡與OCTAX振鏡同步掃描獲取的實時SLO眼底圖像進行匹配,計算偏移,快速完成跟蹤校正。
圖5" 同步驅動信號
4" 系統測試結果
通過實驗室內驗證該系統原理,充分證明了該系統的可靠性。以下圖像結果是將眼底跟蹤系統集成到OCTA系統中獲得的眼底血流圖像,如圖6所示。沒有使用眼動跟蹤功能的OCTA系統掃6 m×6 m范圍所得到的眼底血流投影圖像,如圖6(a)所示,使用了眼動跟蹤功能的OCTA系統掃6 m×6 m范圍所得到的眼底血流投影圖像,如圖6(b)所示。
(a)沒有打開跟蹤功能的眼底血流圖像
(b)打開眼底跟蹤功能獲得的血流圖像結果
圖6" OCTA實驗結果圖像
對比兩種結果,我們可以明顯觀察到右側使用了眼動跟蹤功能的圖像與左側圖像相比在多個方面都表現出了顯著的改善。首先,右側圖像中的血管呈現出更為連續和通暢的特征。這一改進是由于眼動跟蹤系統的實時監測和調整,以確保光束在成像過程中與感興趣的血管結構保持對準。相比之下,左側圖像中的血管顯示出不連續和不規則的特征,這可能是由于眼動引起的圖像偏移導致的。其次,右側圖像使我們能夠更清晰地分辨出毛細血管和大血管之間的區別。這種分辨率的提高對于定位潛在的病變位置和進行精確的診斷非常關鍵。在左側圖像中,由于眼動引起的圖像模糊和偽影,血管結構的細節可能會失真或模糊不清,這可能會導致醫生在診斷過程中遇到困難。相對而言,右側圖像的改善有助于醫生更準確地進行診斷和治療決策。眼動跟蹤功能提供了更高質量的成像數據,使醫生能夠更全面地了解患者的眼部情況,從而更好地選擇治療方案和監測疾病進展。
同時為了驗證跟蹤算法的快速程度,實驗過程中分別使用了基于CPU運算的Matlab平臺和基于CPU+GPU結合使用的CUDA(Compute Unified Device Architecture)平臺對SLO眼底圖像跟蹤匹配算法進行了編程和用時對比,時間對比結果如表1所示。
表1" Matlab(CPU)與CUDA(CPU+GPU)偏移量計算時間對比
SLO眼底圖偏移計算張數/幀 Matlab(CPU)平均用時/(秒/幀) CUDA(CPU+GPU)平均用時/(秒/幀)
1 0.833 0.137
10 9.123 0.839
100 98.935 8.533
從表1中得出,使用CPU+GPU的編程模式對計算SLO眼底圖像偏移更快速,以單次的偏移計算為例,CPU+GPU的計算時間更短,更符合在OCTA采集過程中快速偏移校正的要求,且隨著SLO眼底圖數據集的增加,CPU+GPU模式的計算效率明顯提高,也更加凸顯了并行計算的優勢,對于OCTA眼動跟蹤過程中持續采集SLO眼底圖像進行偏移計算的要求也能輕松完成,提高了OCTA的數據采集效率。
5" 結" 論
在進行OCTA成像時,將眼底跟蹤SLO成像系統集成到OCTA系統的方法對于提高成像質量和臨床應用的準確性至關重要。通過實時監測和校正患者的眼球運動,眼動跟蹤系統顯著改善優化了OCTA成像系統的多個方面。第一、在開始采集前起到輔助眼底定位作用。因為SLO系統和OCTA系統公用眼前的透鏡,兩者可以達到共用一個焦點的效果,所以只要在調試過程中觀察SLO眼底圖像的聚焦清晰程度就可以基本確定眼底視網膜位置,從而迅速確定OCTA掃描位置獲得斷層圖像;第二、提高了OCTA的成像質量。從上文可知OCTA數據和SLO眼底圖像都是同時連續獲取的,本文引用的GPU并行計算處理方法可以快速計算出相鄰時間SLO眼底圖像的偏移量,根據偏移量換算到OCTA系統中的振鏡進行校正補償和數據重采完成對感興趣部分的掃描,使OCTA圖像中的血管呈現更為連續和通暢,提高了分辨率,更方便醫生觀察血管的分布和形態,對于診斷和定位病變位置起到輔助作用,進一步地改進了醫生的診斷和治療決策的依據,從而更好地選擇適當的治療方案和監測疾病的進展。
綜上所述,眼動跟蹤系統的引入為OCTA成像提供了更高水平的準確性和可靠性。它通過實時消除外界環境和自然眼動對成像的干擾,提供了更清晰、更高分辨率的眼底圖像,為眼科臨床實踐和疾病診斷提供了重要的支持。這一技術的應用有望改善視力健康護理,為眼科領域的進步作出貢獻。
參考文獻:
[1] 王敏,周瑤.正確認識OCT血管成像技術的臨床應用價值 [J].中華實驗眼科雜志,2016,34(12):1057-1060.
[2] SPAIDE R F,FUJIMOTO J G,WAHEED N K,et al. Optical coherence tomography angiography [J]. Progress in retinal and eye research,2018,64:1-55.
[3] GAO S S,YALI J,LIANG L,et al. Compensation for Reflectance Variation in Vessel Density Quantification by Optical Coherence Tomography Angiography [J].Investigative Ophthalmology amp; Visual Science,2016,57(10):4485-4492.
[4] KLEIN T,WIESER W,EIGENWILLIG C M,et al. Megahertz OCT for ultrawide-field retinal imaging with a 1050 nm Fourier domain mode-locked laser [J].Optics Express,2011,19(4):3044-3062.
[5] KRAUS M F,POTSAID B,MAYER M A,et al. Motion correction in optical coherence tomography volumes on a per A-scan basis using orthogonal scan patterns [J].Biomedical Optics Express,2012,3(6):1182-1199.
[6] ROBINSON D A.A Method of Measuring Eye Movement Using a Scleral Search Coil in a Magnetic Field [J].IEEE Transactions on Biomedical Engineering,1963,10:137-145.
[7] CRANE H D , STEELE C M .Accurate three dimensional eye tracker:US06/206489[P].US04373787A.
[8] CORNSWEET T N. New Technique for the Measurement of Small Eye Movements [J]. J. Opt. Soc. Am.,1958,48:808-811.
[9] FERCHER A F. Optical coherence tomography [J].Journal of Biomedical Optics,1996,1(2):157-73.
[10] YAZAWA K,KOBAYASHI K,MATSUMOTO K,et al. Ophthalmologic apparatus having an examining system for examining the fundus of an eye:US08/023114 [P]. US05455644A,2023-09-22.
[11] 方旭東.面向大規模科學計算的CPU-GPU異構并行技術研究 [D].長沙:國防科學技術大學,2017.
[12] FRANGI A F,NIESSEN W J,VINCKEN K L,et al. Multiscale vessel enhancement filtering [C]//International Conference on Medical Image Computing and Computer-assisted Intervention.Berlin:Springer,1998:130-137.
[13] 張夢達.改進 Hessian 增強的自適應閾值水平集肝臟血管分割方法研究 [D].秦皇島:燕山大學,2019.
[14] 章為川,孔祥楠,宋文.圖像的角點檢測研究綜述 [J].電子學報,2015,43(11):2315-2321.
[15] WU S,OERLEMANS A,BAKKER E M,et al. A comprehensive evaluation of local detectors and descriptors [J].Signal Processing:Image Communication,2017,59:150-167.
作者簡介:岑穎珊(1999—),女,漢族,廣東佛山人,碩士研究生在讀,研究方向:光電信息工程;通訊作者:韓定安(1976—),女,漢族,湖南湘潭人,教授,博士,研究方向:物理光學。