基于深度學習的淚河高度檢測

王崇陽

關鍵詞：淚河高度；干眼；深度學習；卷積神經網絡

1引言

如今，越來越多的人受到干眼癥的困擾，相關流行病學調查[1-2]表明，國外30-40歲的人群中，患干眼癥的比例超過20%，而70歲以上高齡人群的患病率高達36%。干眼癥是一種眼表受到損害且眼部出現不適的疾病，主要病因是淚液分泌不足或淚液蒸發過度。并且干眼癥可分為“淚液缺乏型干眼”“蒸發過強型干眼”以及混合型干眼三類[3]。淚河高度是評估患者是否患有干眼癥的一個可靠指標，與患者主觀感受、淚膜破裂時間、淚液分泌試驗等具有良好的相關性。在人眼圖像中，由淚液與上下眼瞼和結角膜形成的平面高度稱為淚河高度，它可以反映淚腺的分泌量。更重要的是，它能夠為眼表淚膜的更新提供需要的淚液，且能夠調節淚液排除功能障礙引起的淚液過多的問題[4]。因此，為了診斷病人是否患有干眼癥，對淚河高度進行準確測量是十分必要的。

常見的淚河高度檢測可分為基于淚河圖像的純人工手動測量以及基于數字圖像處理技術的淚河高度測量。其中，人工手動測量采用裂隙燈檢查法，首先進行熒光染色劑染色，然后利用裂隙燈觀察在角結膜表面的光帶和下瞼瞼緣光帶的交界處淚液的液平面高度，且該高度可以在某種程度上反映淚液的分泌量。通常而言，高度小于0.35毫米的可以診斷為干眼癥[5]。文獻[6]使用視頻形式將淚河記錄下來，然后通過研究人員的手動標記去進行淚河位置的對齊，最終采用離線分析的方式測定淚河高度。此外，DOUCHTY等[7]在實驗過程中，從具有停幀功能的視頻錄像機中提取視頻，再通過純人工找出淚河圖像，之后由研究人員手動測量淚河高度。基于淚河圖像的純人工手動測量的方法，存在增加人力和時間成本的問題，影響工作效率，并且測量精度會因檢測人員的操作而出現誤差。

近年來，隨著數字圖像處理技術及光學成像技術的發展，醫學領域的影像技術應用愈來愈成熟。通過使用數字圖像處理技術對淚河圖像進行分析，可以降低使用人工帶來的附加成本．同時能提高淚河高度檢測的準確性和魯棒性。針對基于數字圖像處理技術的淚河高度測量方法，首先需要獲取由測量儀器得到的人眼淚河圖像，然后利用相關數字圖像處理技術對此進行分析，進而得到人眼圖像的淚河高度。其中，數字圖像處理技術在淚河高度檢測過程中，常應用自適應平滑濾波增強圖像，提取淚河邊緣，最終得到淚河實際高度。文獻[8]為了測量淚河高度，先使用灰度相關性配準法對在視頻序列中得到的圖像參考幀進行圖像配準，然后基于色彩空間轉換進行淚河圖像處理，使用k-means算法和Otsu法得到淚河對應的分割部分，最終估算人眼圖像中的淚河高度。盡管基于數字圖像處理技術的淚河高度檢測方法可以一定程度上降低人工因素的影響，提高檢測準確率以及實驗結果的魯棒性。但是，這種方法仍存在易受其他眼睛組織干擾、拍攝角度、光源、眨眼等因素影響的問題。

為了更準確地檢測淚河高度，考慮到上文所提方法的缺點和劣勢，本文提出一種基于深度學習的淚河高度檢測方法。深度學習技術是在機器學習的基礎上發展而來的，因其在人工智能領域中取得了巨大的進展和成果而受到越來越多研究人員的關注。隨著深度學習技術在圖像識別、目標檢測[9]、機器翻譯等多個領域的成功應用，近年來在醫學領域中，深度學習模型也得到了更多的研究與應用[10-12]。HOWARD等[13]提出MobileNetV3版本的卷積神經網絡，該網絡是MobileNet網絡系列的最新之作，主要用于解決深度模型在移動端部署時，因參數量大以及與模型性能精度權衡的問題而提出的輕量化骨干網絡。MobileNetV3網絡在物體識別、目標檢測等領域不僅有著優異的網絡性能精度，而且在移動端部署時更能滿足實時的要求。DFANet是LI等[14]于2019年提出的，用于實時語義分割的卷積神經網絡。DFANet由一個輕量化骨干網絡以及子網絡和子階段級聯聚合判別特征模塊組成，并且在公共數據集上取得了優異的網絡性能以及更快的語義分割速度。

本文提出的淚河高度檢測方法充分利用了MobileNetV3和DFANet兩個深度卷積神經網絡的優勢和優異的網絡性能，并基于深度模型設計了一種新的淚河高度檢測方法。該方法通過輸入人眼圖像自動識別判斷圖像是否有效，并能夠對有效圖像自動檢測淚河高度。具體而言，基于深度模型的淚河高度自動檢測算法包括基于MobileNetV3的睜閉眼識別網絡、以MobileNetV3為骨干網絡的淚河區域粗定位網絡、基于DFANet的淚河區域快速分割網絡、淚河邊緣修正模塊以及淚河高度計算模塊。相較于傳統數字圖像處理方法，這種方法對眨眼、變形、光照、噪聲等情況魯棒性更強，且可代替人工自動檢測淚河高度，大大提高了算法的執行效率。本文方法在實驗測試中取得了優異效果，并且實驗結果顯示，無論在時間還是算法方面，各模塊的指標性能均優于傳統方法。

2方法

本節主要介紹本文提出的基于深度卷積網絡的淚河高度檢測方法，其中包括由睜閉眼分類識別網絡、淚河區域粗定位網絡、淚河區域分割網絡、淚河邊緣修正模塊和淚河高度計算模塊組成的總體框架及各組成部分的細節描述。

2.1淚河高度檢測的總體框架

本文提出的基于深度模型的淚河高度檢測方法的總體框架如圖1所示。獲取到的人眼圖像，首先輸入到基于MobileNetV3的睜閉眼識別網絡，通過分類網絡對人眼圖像進行篩選，篩選出有效的睜眼圖像，從而用于下一步淚河區域粗定位。為了能更加準確分割出淚河區域，對有效人眼圖像先用以MobileNetV3為骨干網絡的淚河粗定位網絡進行回歸定位，之后裁剪出淚河區域圖像，隨后將裁剪圖像輸入基于DFANet的快速分割網絡，得到更加精細的淚河區域分割圖。最后，利用淚河邊緣修正模塊和淚河高度計算模塊，對淚河區域分割圖進行后處理，并結合原人眼圖像檢測淚河實際高度。

2.2睜閉眼分類識別網絡

由于待檢測的人眼圖像分為閉眼和睜眼兩類，因此在檢測淚河高度之前，需有效識別睜眼圖像，從而降低不必要的無效操作，提高算法執行效率。考慮到MobileNetV3深度網絡的輕量化以及網絡性能與速度之間的權衡，本文利用MobileNetV3深度網絡來設計睜閉眼分類識別網絡。睜眼圖像如圖2所示，閉眼圖像如圖3所示。因本文針對睜眼和閉眼進行二分類識別，所以在MobileNetV3網絡結構的基礎上，將使保持骨干網絡不變，修改最后的輸出層，即將全連接層的輸出結點數設為2。故本部分使用的睜閉眼識別網絡，使用具有3通道的人眼彩色圖像作為輸入圖像，通過基于MobileNetV3的深度卷積網絡，最終有效識別是否為睜眼圖像。

2.3淚河區域粗定位網絡

為了更加準確地分割出淚河區域圖像，從而便于計算淚河高度，先對有效人眼輸入圖像進行淚河區域的粗定位，之后進行圖像裁剪。得到的淚河區域不僅可以提高分割網絡輸入圖像的有效區域占比，減少分割網絡的輸入分辨率，也可以使分割網絡的樣本空間更小，所需訓練樣本更少，從而使分割網絡參數學習更充分高效，達到快速推理的目的。

粗定位網絡所實現的功能是通過對淚河區域的左右兩端進行回歸定位，定位結果如圖4所示。之后，通過左右兩端位置分別由水平方向以這兩端點為起始位置和終止位置，豎直方向以兩端點向上擴30個像素，向下擴70個像素為基準，最終裁剪出淚河的粗定位圖像。其中，回歸定位網絡仍然以MobileNetV3為主干網絡，將網絡最后輸出層的輸出結點數修改為淚河圖像左右兩端的位置坐標，最終定位網絡可以實現自動對有效人眼圖像進行裁剪，裁剪示意圖如圖5所示。

2.4淚河區域分割網絡

相較于傳統淚河高度檢測方法，本方法基于深度分割網絡，輸入裁剪后的淚河區域有效占比的更小圖像，進行淚河的自動分割。此方法實行逐像素自動分類，可以避免人工識別帶來的人為誤差，同時使用深度網絡充分學習訓練樣本的屬性特征，可以快速而準確地分割出期望的淚河二值圖。本文采用用于實時語義分割的DFANet模型搭建所需的淚河區域分割網絡，如圖6所示。

正如圖6所示，將定位網絡輸出裁剪后的淚河區域圖像作為DFANet網絡的輸入對象，DFANet由單個輕量化骨干網絡、用于聚合判別特征的子網絡以及子階段級聯構成，最終輸出淚河二值化圖像。由于DFANet將輸入的圖像進行多尺度特征傳播，因此大幅減少了參數量，同時仍獲得了足夠的感受野，增強了模型學習能力，并在速度和分割性能之間有更好的平衡。考慮到本文的設計要求，將DFANet網絡的輸出通道設置為2，最終獲得基于背景和淚河的二值化圖。其中，“conv”指卷積核大小為3的卷積；“enc”指卷積層塊：“FC attention”指獲取語義信息和類別信息的注意力模塊：“C”指按通達維度進行拼接：“xN”指N倍數的上采樣操作。

2.5淚河邊緣修正模塊

為了能通過淚河分割圖準確地計算淚河高度，邊緣修正模塊將淚河區域分割網絡輸出的淚河二值化圖利用Canny算法提取淚河區域的邊緣。對于獲取到的淚河上下邊緣，在每個位置豎直方向的10個像素范圍內尋找梯度最大的位置，并用此位置修正原淚河邊緣。修正后的淚河邊緣如圖7所示。

2.6淚河高度計算模塊

本模塊用于計算人眼圖像中的淚河高度，得到的人眼圖像淚河高度如圖8所示。淚河邊緣經過修正后，可以得到更準確的邊緣界限，該模塊會計算淚河下邊緣的每個位置和徑向方向，并尋找此方向與淚河上邊緣的交點。如此，淚河高度便定義為下邊緣位置點與上邊緣交點之間的距離。

2.7損失函數

對于本文所設計的睜閉眼分類識別網絡、淚河區域粗定位網絡以及淚河區域分割網絡，為了優化深度網絡中的模型參數，本文引入了二分類交叉熵損失函數用于分類網絡和分割網絡，又引入了均值平方差函數用于粗定位網絡中的回歸損失計算。

3實驗和分析

為了驗證本文提出的基于深度學習的淚河高度檢測方法，本節進行對比實驗和分析以驗證本文方法的優勢和有效性。此部分先介紹本文使用的數據集以及相關預處理等操作，之后詳細介紹基于深度模型的超參數設置以及運行環境，最后進行實驗分析與討論。

3.1數據集及預處理

為了搜集人眼數據集對本文深度學習模型進行訓練，采集機器選用上海美沃精密儀器股份有限公司的裂隙燈顯微鏡S390，該設備具有寬動態范圍、高分辨率、高靈敏度、自動曝光、自動白平衡等特點，能夠很好地拍攝高畫質圖像。搜集到人眼圖片總共7470張，其中睜眼圖像有5790張，閉眼圖像有1680張，分辨率達到2592x1944。

淚河區域粗定位網絡使用平移、縮放、灰度拉伸、隨機模糊等預處理，而睜閉眼分類識別網絡和淚河區域分割網絡在預處理的基礎上，另外加上旋轉操作，構成了實驗中使用的數據增強操作。

3.2訓練參數設置和評價指標

睜閉眼分類識別網絡和淚河區域粗定位網絡使用相同的實驗設置：將搭建的MobileNetV3模型在IMAGENET數據集上的訓練權值作為初始權值，然后做微調訓練。數據集按6：2：2比例分成訓練集、驗證集和測試集，迭代訓練60輪，初始學習率0.01，在第20輪、第40輪分別將學習率降低10倍。最終選取訓練集和驗證集loss值相差最小的訓練權值作為訓練結果。淚河區域分割網絡所使用的實驗設置：DFANet在Cityscapes數據集上的訓練權值作為初始權值，然后做微調訓練。數據集按6：2：2比例分成訓練集、驗證集和測試集，迭代訓練80輪，初始學習率為0.01，在第30輪，第60輪分別將學習率降低10倍。最終選取訓練集和驗證集loss值相差最小的訓練權值作為訓練結果。所有實驗均運行在單卡GTX2080TI CPU上。

考慮到算法的實效性，實驗對睜閉眼分類識別網絡、淚河區域粗定位網絡和淚河區域分割網絡均使用了時間指標。此外，睜閉眼分類網絡使用睜眼的精度、召回指標；淚河粗定位網絡使用歐式距離指標；淚河分割網絡使用交并比即IOU指標。所有評價指標是在測試集上運行統計的。

3.3實驗結果和分析

睜眼閉眼分類評價結果如圖9所示，橫坐標為概率閾值，縱坐標為百分比，一條線是精度曲線，另一條線是召回曲線。最終睜眼閉眼概率閾值選取0.7，睜眼概率大于0.7則判斷為睜眼，否則為閉眼。當閾值為0.7時，睜眼類的精度為99.5%，召回為99.1%。通過這兩個指標可知，該分類模型能夠準確地分辨出是否為睜眼狀態。并且該分類器在一般Intel 15處理器上的單張圖像運行時間為25ms。

對睜眼圖像，淚河區域粗定位網絡預測淚河左右兩個端點，計算預測點和真值點的平均歐式距離，該值為5.3個像素，說明預測點能夠很好地指示淚河左右兩個端點，滿足實際使用需求。該粗定位模塊在一般Intel 15處理器上單張圖像運行時間為23ms。

對粗定位裁剪的淚河區域圖像，淚河區域分割網絡會對圖像中淚河區域進行預測。計算得出預測區域和真值區域的IOU為91.6％，說明預測區域和實際位置基本一致，可以滿足淚河高度計算要求。該粗定位模塊在一般Intel 15處理器上的單張圖像運行時間為31ms。

最后，對淚河修正后的淚河邊緣，淚河高度計算模塊得到邊緣上每個點的徑向高度，通過比較淚河圖像中間位置處的計算高度和人工手動測量高度，平均絕對誤差為0.8個像素，該結果和人工測量結果基本一致，說明本文方法的準確性高。所涉及的計算模塊在一般Intel 15處理器上單張圖像運行時間共為90ms，說明了本文方法時效性較好。

4結束語

本文應用先進的深度學習方法分析計算淚河高度，并將其作為干眼癥的重要評價指標之一。通過睜閉眼分類識別網絡、淚河區域粗定位網絡、淚河區域分割網絡、淚河邊緣修正模塊和淚河高度計算模塊等系列的操作，得到的計算結果和人工手動測量結果只相差0.8個像素，并且總運行時間只有90ms，驗證了本文方法的準確性和時效性。本文基于深度學習的淚河高度計算方法實現了全自動輔助測量，可替代人工手動標記，提高工作效率。