基于卷積神經網絡的左右眼識別

鐘志權 袁 進 唐曉穎

1(廣東順德中山大學卡內基梅隆大學國際聯合研究院 廣東順德 528300)2(中山大學電子與信息工程學院 廣州 510006)3(眼科學國家重點實驗室(中山大學) 廣州 510060)4 (南方科技大學電子與電氣工程系 廣東深圳 518055) (zhongzhq9@mail2.sysu.edu.cn)

左右眼識別是一個基本的二分類問題.一般來說，臨床上左右眼圖片的分類是由醫生的視覺判斷來完成，在得出檢查數據或拍攝眼睛圖像后，人工填寫當前檢查眼睛是左眼還是右眼，這是主觀和定性的，比較容易出現人為錯誤，同時費時費力.2012年，魏悅等人[1]提出一種基于光學儀器的左右眼識別裝置，避免了人為錯誤，但是結構較為復雜，存在成本高、安裝復雜、不易實現等問題.2017年，代黎明等人[2]利用數字圖像處理技術，提出一種基于眼底圖像特征的左右眼識別方法.該方法是根據視盤和血管的不同特征來聯合進行左右眼的判別，克服了以往通過單一判定視盤位置方法可能存在判定錯誤的不足，具有較高的準確性，但容易受到視盤和血管形變、圖像本身的亮度、對比度及其他病變區域的影響.

最近，隨著深度學習[3]的發展，尤其是卷積神經網絡(convolutional neural network, CNN)在圖像識別中表現的優越性能，使得越來越多的人嘗試著將卷積神經網絡應用于各種各樣的圖像識別及分類領域.傳統的識別方法是基于特征的匹配技術，使用較為廣泛的特征方法包括SIFT[4]，BRISK[5]等.卷積神經網絡與之相比可以避免對輸入圖像做比較復雜的特征提取，從而節省了人工、半自動或者自動提取特征的大量工作.龔丁禧等人[6]將卷積神經網絡用于植物的葉片分類，林升等人[7]將卷積網絡用于機場圖像目標識別.在左右眼識別領域，尚沒有深度學習方面相關的應用.本文在深度學習的基礎上，首次在左右眼識別的問題上引入卷積神經網絡，讓網絡在大量的訓練樣本數據中自主學習眼底圖像[8]特征，同時通過改變圖像的亮度和對比度的方法擴充訓練數據集來消除拍攝眼底照時光照等環境因素的影響，大大提高了分類識別的速度和準確率.在訓練過程中，本文采用五重交叉驗證的訓練方法，避免了學習模型的過擬合，魯棒性好.在分類器的選擇上，本文在薛迪秀[9]提出的CNN-SVM結構的基礎上比較了分類器softmax和SVM[10]對左右眼識別的不同效果.

基于以上分析，本文主要做了4方面工作：收集大量的臨床眼底圖像資料構建數據集；對圖像進行預處理和數據擴充，提升神經網絡的性能；選擇合適的框架結構和網絡，并在其模型基礎上調整網絡權值參數、網絡深度，選擇不同的分類器，設計適合左右眼識別的學習模型；驗證測試識別效果.

1 方 法

1.1 數據集

本文收集了一批來自不同醫院使用不同成像設備拍攝的眼底彩照，詳細的圖像數據信息如表1所示:其中，手持式眼底照相機所獲取的圖片中788張圖片由歐視博手持式眼底照相機所拍攝，圖片尺寸為1 536×1 152，其余297張圖片由蘇州微清手持式眼底照相機所拍攝，圖片尺寸為1 920×1 088.臺式眼底照相機固定在桌子上，拍攝的圖像分辨率更高；手持式眼底照相機由醫生手持移動拍攝，由于受操作人員穩定性和設備傳感器的限制，在圖像質量和清晰度方面都不如臺式眼底照相機.為了驗證模型在實際應用時的正確性和魯棒性，本文還從kaggle網站①下載了一批公共眼底圖像數據集用于最終模型的測試.所有圖片都是JPG格式的RGB圖像.所有左右眼的類別都經過了人工識別，保證了其類別標簽的可靠性.

Table 1 Introduction of Image Data Sets表1 圖像數據集介紹

1.2 數據集分類

我們將數據集分為：訓練集、驗證集、測試集.

1) 訓練集.是指在訓練過程中實際使用的數據.訓練集參與了模型普通參數的優化，起到了擬合模型的作用.本文以肇慶市高要人民醫院的8 243張眼底彩照作為模型的輸入，由于采用了五重交叉驗證的訓練方式，所以實際使用的訓練集只有輸入圖片的五分之四.

2) 驗證集.是指在每個epoch完成后，用來測試當前模型準確率的那部分數據集.驗證集沒有參與梯度下降的過程，即沒有參與普通參數s的優化.驗證集的作用是調節迭代數、學習率等超參數.本文使用的驗證集為上述8 243張眼底彩照的五分之一.

3) 測試集.是指在通過訓練集和驗證集得出最優模型后，用來進行模型測試的那部分數據集.本文用到的測試集為肇慶市高要人民醫院的1 085張手持式眼底照和中山大學附屬第三醫院的903張眼底照.公共圖片數據集存在的目的是為了進一步驗證模型的泛化能力，以保證模型在實際應用時的有效性和正確性.

1.3 數據預處理

圖像的預處理主要包括圖像的裁剪、圖像亮度和對比度的隨機調整、圖像的標準化處理.

1) 圖像的裁剪

所獲取的眼底彩照中包含圓形視網膜區域和黑色背景區域，如圖1中左圖所示.我們只對視網膜區域信息感興趣.為了消除黑色無效區域對圖像識別的干擾并減少數據量，需要對圖像中的有效區域進行提取.這里通過設置閾值的方法獲取有效區域的4個邊緣(圖1左圖中的A，B，C，D)，然后通過自動算法可以直接得到裁剪后的圖像，如圖1中右圖所示：

Fig. 1 The schematic of image cropping圖1 圖像裁剪示意圖

2) 對圖片進行亮度和對比度的隨機調整來擴充數據

在基于深度學習的圖像識別中，圖像的亮度和對比度的差異會影響模型的識別效果，為了消除這種影響，需要通過調整圖像的亮度和對比度來擴充訓練集的數據量.我們使用式(1)改變圖像的亮度和對比度擴充訓練數據集：

g(x)=a×f(x)+b,

(1)

其中,f(x)表示原圖像像素；g(x)表示輸出圖像像素；參數a被稱為增益，常常被用來控制圖像的對比度，我們設置a的取值范圍為[0.5,1.5]，每次對圖像操作時從該范圍中隨機取值；參數b被稱為偏置，常常被用來控制圖像的亮度，我們設置b的取值范圍為[-50,50]，每次對圖像操作時從該范圍中隨機取值.本文通過改變圖像的亮度和對比度，將訓練集擴充至原來的4倍.

3) 圖像的標準化處理

由于特征的差異，當不同的特征組合在一起時，會導致各個特征對模型識別效果的影響程度不一致.圖像的標準化處理可以使得不同的特征具有相同的尺度.這樣，在使用反向傳播算法學習參數時，不同的特征對參數的影響程度一致[11].同時，對圖像進行標準化處理可以加快神經網絡的訓練和測試速度.

1.4 模型的設計

傳統的神經網絡主要是點對點的全連接層，卷積神經網絡與之最大的區別是加入了卷積層和池化層.圖像識別常采用卷積神經網絡.我們的目的是設計合適的卷積神經網絡結構和選擇合適的分類器.

1) 網絡結構

本文以常用的Alexnet和Resnet兩種經典網絡結構為基礎進行網絡的設計.

① Alexnet網絡

經典的Alexnet網絡包含5個卷積處理操作以及某些處理操作后連接的最大池化層和3個全連接層，最后一個全連接層的輸出被送到一個n維的softmax層，從而輸出一個n類標簽的概率分布.左右眼識別作為一個二分類問題，其相應的Alexnet網絡結構如圖2所示:

Fig. 2 The network structure of classical convolutional neural network Alexnet圖2 經典卷積神經網絡Alexnet的網絡結構示意圖

卷積處理操作Conv用于提取特征，其中最重要的卷積核設計一般涉及卷積核的大小、卷積核的數量以及卷積核的步長[11].Pooling層的作用是基于局部相關性原理進行亞采樣，通過在小領域內下采樣得到新的特征，不僅減少了數據量，同時還保留了某些特征不變性.全連接層Fc是傳統的神經網絡層，上一層的所有輸出節點和下一層的所有輸入節點兩兩相連，網絡參數量在全連接層處大大增加[12].

② Resnet網絡

與Alexnet網絡相比，Resnet增加了殘差結構.殘差結構通過在輸出和輸入之間引入一個快捷連接通道，解決了網絡在很深時出現的梯度彌散的問題，從而可以在有需要時把網絡做得足夠深.殘差結構如圖3所示.本方案選擇的Resnet有50層，深度是Alexnet(8層)的6倍多.

Fig. 3 Residual structure圖3 殘差結構

③ 左右眼識別網絡

我們所設計的左右眼識別卷積神經網絡包含4個卷積層和2個全連接層，每一個卷積層后都接了一個最大池化層.前2層卷積層的卷積核的大小為5×5，后面2層卷積層和所有的最大池化層統一采用3×3大小的核.考慮到左右眼識別只是一個二分類問題，我們將全連接層的節點數大大減少，尤其是最后一層全連接層的輸入節點數.具體的網絡參數配置如表2所示:

Table2NetworkParametersoftheProposedLeft-vs-RightEyeDiscriminationModel

表2 所設計左右眼識別模型的網絡參數設置

2) 分類器的選擇

CNN具有優異的特征表達能力，在很多圖像識別任務中可以直接采用CNN網絡作為一種特征提取器，這時分類器則可以不限于CNN中的softmax[9].本文對softmax和支持向量機(support vector machine, SVM)分類器進行了比較.

① softmax

卷積神經網絡一般采用的分類器是softmax，softmax層接在全連接層后.softmax層的輸出為一個概率分布，可以得到輸入屬于每一種類別的概率，且輸出概率總和為1，輸出概率的計算為

(2)

② SVM

SVM是一個分類算法，通過找到一個分類平面，將數據分隔在平面兩側，從而達到分類的目的.SVM的求解實際上就是構建一個數學問題：y=wx+b，即求解參數w和b.

對于本文中左右眼識別的二分類問題，通過最后一層全連接層后，每一張圖片都轉變成了尺寸為2×1的logit，我們將logit導入到SVM模塊，計算得到線性分離器的函數模型為

y=0.929 3x-1.112 3.

(3)

3) 模型細節說明

一個完整的模型除了基本的結構和分類器外，還需要對優化函數、激活函數、學習率等參數進行配置，這里將模型訓練時的細節說明列舉如下：

① 訓練數據集為8 243張眼底彩照，包括左眼眼底照4 166張、右眼眼底照4 077張.

② 對輸入的每一張圖片都進行縮放，縮放至512×512的大小.

③ 設置學習率為0.001，每個batch的大小為32，正則化系數為0.001.

④ 訓練過程采用GPU的訓練方式.

⑤ 使用AdamOptimization優化函數進行權值參數的優化.

⑥ 使用relu激活函數.

⑦ 使用五重交叉驗證來判斷何時終止訓練.

本文使用的深度學習框架是TensorFlow，這是一個神經網絡開源庫，它使用數據流圖的形式進行網絡張量的計算.TensorFlow還支持GPU的運算，本文使用的GPU型號是Quadro K2200.

2 結 果

基于第1節介紹的3種網絡結構和2種分類器，我們通過五重交叉驗證訓練完成后，將獲取到的學習模型對測試圖片(包括醫院圖片數據和公共圖片數據)進行測試，所得到的測試結果如表3所示:

Table 3 The Recognition Rate of Different Network Models表3 不同網絡模型的識別率

從表3可以看出，對于左右眼識別，以50層Resnet為基礎的學習模型的綜合識別率為98.11%，經典的Alexnet模型和我們設計的網絡的識別率均達到了99%以上.而且從表3中最后2個網絡還可以發現，以SVM為分類器的學習模型的識別率與以softmax回歸為分類器的學習模型的識別率基本沒有差別，所以選擇分類器為softmax回歸還是SVM對左右眼的識別率基本沒有影響.但是，通過softmax分類器，可以得到圖片屬于每個類別的概率.所以，本文最終選擇的分類器為softmax.

雖然表3中我們所設計的網絡和經典的Alexnet網絡相比在左右眼識別率上差別不是很大，但是，我們所設計的網絡只有6層網絡，減少了一層卷積層和一層全連接層，精簡了網絡結構，大大減少了參數量和計算量.在同等的硬件條件和同樣的測試情況下，耗時大大降低，訓練時每輪batch的迭代時間約為1.09 s，測試一張圖片耗時約為0.04 s.而經典的Alexnet網絡訓練時每輪batch的迭代時間則約為20.60 s，測試一張圖片的耗時約為0.30 s.因此，在速度上，所設計網絡的訓練速度是經典的Alexnet網絡的訓練速度的約20倍，測試速度則約為7.5倍.

在訓練的過程中，每個batch的大小為32，每經過一個batch的訓練對權值系數進行優化，并計算相應的損失函數loss和相應的準確率accuracy.我們所設計的網絡的loss與accuracy的變化曲線如圖4所示.可以看出，在經過約1000輪的迭代后，loss與accuracy的變化幅度已經很小，系統基本趨于穩定.

Fig. 4 The changing trend of loss and accuracy of the proposed network model during training圖4 所設計網絡模型在訓練時相應的loss和accuracy的變化曲線

綜合以上分析，本文最終選擇使用了softmax分類器并經過優化精簡后的6層網絡結構對實驗中的眼底圖像進行訓練和分類，分類的錯誤率不到1%.識別錯誤主要是因為干擾性亮斑和圖像模糊2類原因.部分識別錯誤的眼底彩照如圖5所示.圖5(a)和圖5(b)是2張患有糖尿病視網膜病變的眼底彩照，由于硬性滲出或棉絨斑癥狀的原因，圖像中含有許多干擾性亮斑，導致算法將它們識別錯誤，即算法將圖5(a)識別成左眼，但實際上圖5(a)是右眼，圖5(b)實際是左眼，算法將它識別成右眼.圖5(c)和圖5(d)是2張左眼眼底彩照，由于圖像比較模糊，導致算法最終將它們都識別成了右眼.

Fig. 5 The samples of some representative misclassified images圖5 部分識別錯誤的代表性圖片

3 討 論

本文在收集大量的臨床眼底圖像資料構建數據集后，利用一個深度卷積神經網絡提出并驗證了一種能自動判別左右眼的新方法.該方法首度將深度學習應用于左右眼識別領域，最高識別率達到了99%以上.與以往的左右眼識別方法相比，該方法具有更強的可操作性和實用性，用戶只需要進行簡單的操作就可以得到想要的結果.而且本文基本對網絡模型進行了精簡的最大化，識別的反饋速度快，實時性強.在基礎網絡模型上本文首先選擇了2個常用的卷積神經網絡Alexnet和Resnet，Resnet的深度更深，但是在本文的左右眼識別效果上卻不如Alexnet，可能的原因是對于本文這種特征明顯的簡單分類問題，類似Alexnet這種不太深的網絡就能起到意想不到的效果.其次，本文用到的Alexnet網絡使用了dropout來防止過擬合，而采用的Resnet-50并沒有使用dropout.還有，深度神經網絡中權值參數的初始化特別重要，初始化不好也很容易陷入局部最優.所以在以后的研究中需要特別重視這些問題，盡量減少可控因素對實驗結果的影響.

4 結束語

左右眼識別是一個基本的二分類問題，本文在TensorFlow深度學習框架上，首次利用卷積神經網絡用于左右眼識別，測試準確率達到99%以上.與經典的Alexnet網絡相比，在保證精度的同時，大大減少了計算量，加快了模型的訓練和測試速度.除此之外，本文通過現有的圖像數據發現softmax和SVM分類器對左右眼的識別效果基本沒有影響.本文實驗結果也表明，對于簡單的圖像分類問題，只需要少數幾層卷積神經網絡就可以達到不錯的識別效果.這對未來深度學習方面的研究提供了一個很好的借鑒.

ZhongZhiquan, born in 1994. MSc candidate. His main research interests include data mining and machine learning.

YuanJin, born in 1977. PhD and professor. His main research interests include diagnosis and treatment of corneal, and ocular surface diseases.

TangXiaoying, born in 1988. PhD and professor. Her main research interests include medical image analysis, computational neuroinformatics, and machine learning.