基于全卷積神經網絡的空間植物圖像快速識別①

樊 帥,王 鑫,閻 鎮

1(中國科學院 空間應用工程與技術中心 中國科學院太空應用重點實驗室，北京100094)

2(中國科學院大學,北京 100049)

隨著人類空間活動越來越頻繁,人類在太空中的活動時間也越來越長.因此,在空間環境下研究植物生長規律,建立人類空間生存的生態支持系統以解決人類在太空長期生存的自給自足或部分自給自足問題具有重要的意義[1].在空間植物培養實驗中,培養箱為植物提供生長所需的環境條件,同時通過相機拍攝空間植物生長的圖像,然后人為觀測空間植物的生長過程,分析植物生長狀態[2,3].但是,隨著更多空間實驗的進行,圖像數據量增長,使得人工判讀效率低、誤差較大.因此,基于計算機視覺技術的空間植物自動識別成為當前研究的熱點[4].

早先圖像識別的方法利用淺層特征對圖像進行識別,淺層特征有圖像灰度特征、顏色特征、紋理特征、梯度特征等[5].淺層特征提取的方法主要包括主成分分析方法[6]、流行學習方法[7]、基于核的方法、基于字典的方法等[8].然而,這些方法只能提取淺層特征,難以從復雜圖像場景中學習出穩定性好且不變性好的深層特征.

深度學習方法[9]的提出以及在圖像領域的廣泛應用,使得圖像識別的精度顯著提高,并逐漸成為主流圖像識別方法[10].卷積神經網絡(Convolutional Neural Network,CNN)是近年來興起的一種人工神經網絡與深度學習理論相結合的模式識別方法,目前已經成為圖像領域中的研究熱點之一[11–13].但是,空間植物圖像干擾因素多且數據量大,而卷積神經網絡方法在進行圖像識別時,耗用時間長且精度不高.全卷積神經網絡(Fully Convolutional Networks,FCN)方法是基于CNN的改進模型,能夠實現多類別的同時分類和密集的語義分割,分類精度很高而且速度快[14].

因此,本文所提出的基于全卷積神經網絡的空間植物圖像快速識別的方法能夠很好的解決上述存在淺層圖像識別方法難以提取空間植物圖像分層特征,以及深層卷積神經網絡方法識別時間較長、精度不高的問題,取得了較好的識別效果.此外,本文將以某航天器上的空間植物擬南芥圖像為例對提出的方法進行驗證.

1 本文方法

本文所提出的基于全卷積神經網絡的空間植物圖像快速識別方法,主要包括以下三個步驟: 1)構建全卷積神經網絡結構; 2)學習全卷積神經網絡參數; 3)基于全卷積神經網絡的空間植物圖像快速識別.

1.1 構建全卷積神經網絡結構

如圖1所示,是本文所構建的全卷積神經網絡的層次結構圖.為了有效表示空間植物圖像,除了輸入層外,本文選擇卷積層來提取空間植物圖像的多層特征,引入歸一化層對數據進行規范化處理,增加上采樣層實現像素級識別分類結果輸出.基于上述層類型,排布輸入層、多個卷積層、Relu激活函數、歸一化層和上采樣層,以構成全卷積神經網絡的層次結構.

圖1 全卷積神經網絡結構

圖1所示的網絡結構中,conv1到conv6都是卷積部分,conv1到conv5包含卷積層的個數都是4個,conv6包含2個卷積層.conv1到conv6中的卷積部分選擇卷積核為3×3的卷積層來提取空間植物圖像的多層特征.與一般的網絡結構不同的是,本文并沒有使用pooling(池化層)進行降維,而是在每一個卷積部分的最后一個卷積層采用步長為2進行降維,這樣做可以減少位置信息的損失.conv1到conv6每一個卷積部分都采用歸一化層使得輸出轉化為一個標準正態分布從而加速網絡結構的學習.

采用卷積核為1×1的卷積層conv7、conv8、conv9,分別將conv6、conv4、conv3卷積部分的輸出轉化為N通道的特征圖像,N表示最終輸出的類別數目,本文中類別數是5,分別是綠葉片、綠長莖、綠長莖葉、枯葉片和背景.采用上采樣層up1將conv7進行上采樣,同時采用剪裁層crop1將conv8的輸出剪裁成與up1輸出尺寸大小相同,再采用相加層sum1相加.對conv9、crop2、up2進行相同操作.卷積層conv7的輸出包含了空間植物圖像的深層特征,而卷積層conv8、conv9的輸出包含了空間植物圖像的淺層特征.

因此,本文的所構建的網絡結構能使網絡具備提取由淺層至深層的特征,同時融合深層、淺層多尺度的特征,實現空間植物圖像場景的有效準確表示,為實現空間植物的準確識別奠定基礎.

1.2 學習全卷積神經網絡參數

參數學習包含兩個步驟: 1)訓練一個初始網絡;2)在初始網絡的基礎上進行fine-tune.參數學習的第一步是訓練卷積層conv1到conv7的參數,從而得到一個初始網絡.為了訓練卷積層conv1到conv7的參數,本文先構建了一個VGGNet,如圖2所示.

圖2 VGGNet

在VGGNet中conv1到conv7網絡結構的設置與全卷積神經網絡結構中的設置相同.在VGGNet訓練之前,先將所得到的訓練圖像剪裁成為圖像尺寸為12×12大小的圖像塊,如圖3所示.

圖3 VGG部分訓練樣本

基于如圖3所示的訓練集,本文利用帶有動量的隨機梯度下降(SGD)方法學習網絡中權值參數.在訓練網絡之前,設置動量系數為0.99,權值衰退系數即懲罰因子被設置為0.0005.學習率被初始化為0.000 06,當驗證數據集的分類精度停止上升時以10為因子遞減學習率.通過VGG網絡訓練得到卷積層conv1到conv7的參數,從而得到一個初始的網絡模型.

參數學習的第二個步驟就是對初始網絡進行finetune.與VGG網絡訓練不同的是全卷積神經網絡FCN的方法能夠接受任意尺寸大小的圖像,不需要對原始圖像進行切塊.因此,在建立數據集時,選擇不同生長周期的空間植物圖像進行標注.如圖4所示的是FCN的訓練樣本,對圖像中所需要識別的類別進行標注.

圖4 FCN訓練樣本

基于所得到的初始網絡和訓練集對網絡進行finetune.與VGG網絡訓練相同,FCN訓練利用SGD方法進行參數學習.在參數學習之前設置一個固定的學習率10–10,動量系數為0.99,權值衰退系數為0.0005.當fine-tune完成之后就可以得到一個有效的網絡模型.

1.3 基于全卷積神經網絡的空間植物圖像快速識別

利用上述所得到的網絡模型對空間植物圖像進行有效的識別.選擇不同生長周期的空間植物圖像輸入網絡模型中,經過一次前向計算產生密集的識別結果,從而實現了空間植物圖像的快速識別.

2 實驗結果

利用訓練樣本進行模型訓練之后,利用測試樣本對模型進行驗證.選擇部分不同生長周期的測試樣本進行測試,識別結果如圖5所示,a、b、c是擬南芥的幼苗期,d、e、f是團簇期,g、h、i是長莖期.如圖6所示,分別是強光干擾、鏡像干擾、水霧干擾條件下的空間植物局部識別圖像.如圖7所示的是本文方法與VGG方法的對比結果圖.其中,GroundTruth中的不同顏色區域代表空間植物不同類別的真實區域.

圖5 不同生長周期識別結果

同時,本文對識別的pixel accuracy(像素精度)和mean accuracy(平均精度)以及識別一張圖像的時間Rtime進行測試.像素精度是指正確識別的像素占總像素的比例; 平均精度是指計算每個類別被正確分類像素的比例,之后求所有類的平均值.兩者的計算公式如下:

選擇500張不同生長周期的擬南芥圖像利用本文方法和VGG方法進行測試,所得到的圖像的像素精度、平均精度和識別時間如表1所示.

此外,從表1可以看出,本文所構建的基于全卷積神經網絡的方法所識別出的圖像的像素精度和平均精度值都要比VGG方法的高.本文方法的像素精度高達到96.58%,而VGG的方法為78.42%; 本文方法的平均精度值為85.63%,而VGG的方法為60.73%.同時VGG方法平均識別時間長達668.253 s,而本文方法平均識別時間僅僅為0.156 s,兩者的識別速度相差非常大,本文方法識別速度非常快,因此可以處理大量的數據.由此可以看出,本文方法能夠準確、快速的實現空間植物圖像的識別.

圖6 干擾條件下的局部識別結果

圖7 實驗對比結果

表1 像素精度、平均精度和識別時間

3 實驗結果分析

圖5展示了擬南芥在不同生長周期的識別效果,在a、b、c中,此階段擬南芥處于幼苗期,只有綠葉片,識別難度較小; d、e、f中,此時,擬南芥處于團簇期,有綠葉片和枯葉片,同時由于鏡像的影響,在培養箱壁上也出現了擬南芥的影像,識別難度增加; g、h、i中,擬南芥處于長莖期,有綠葉片、綠長莖、綠長莖葉、枯葉片,其干擾因素主要是強光以及鏡像影響,同時i中還有水霧的影響,此時識別種類多、干擾因素多,識別難度很大.在圖5中,對照Ground Truth,從最終的識別結果可以看出,本文所提出的方法對于不同生長周期的空間植物的各個類別都能準確的識別出來.在圖6中,紅色標記出來的分別是圖像中的強光、鏡像、水霧干擾的區域.對照Ground Truth可以看出,對于培養箱中的干擾因素,強光、鏡像、水霧干擾因素,本文所提出的方法能夠很好的排除這些干擾因素,實現空間植物的準確識別.圖7展示的是在強光、鏡像干擾因素下本文方法和VGG方法的識別結果,對照Ground Truth可以看出,本文方法能夠不受這些干擾因素的影響,將空間植物準確識別出來,而VGG的方法雖然能夠將植物識別出來但是受鏡像干擾因素的影響將培養箱玻璃壁上的植物鏡像誤識別為空間植物.而且在強光干擾條件下VGG的方法雖然能夠將植物基本識別出來,但是也存在誤識別的問題.

4 結論與展望

本文提出的一種基于全卷積神經網絡的空間植物圖像快速識別的方法,很好的解決了目前淺層圖像分割方法難以提取空間植物圖像分層特征以及深層卷積神經網絡方法識別時間較長的問題.通過對實驗結果的分析,可以看出本文提出的基于全卷積神經網絡的空間植物圖像快速識別的方法,能夠對空間植物圖像實現高精度、快速的識別.此外,結合圖像的語義解譯技術,基于計算機視覺技術的空間植物圖像自動識別及語義解譯也將會是一個有價值的研究方向.