基于卷積神經網絡的生菜多光譜圖像分割與配準

黃林生 邵 松 盧憲菊 郭新宇 樊江川

(1.安徽大學農業生態大數據分析與應用技術國家地方聯合工程研究中心， 合肥 230601；2.國家農業信息化工程技術研究中心， 北京 100097； 3.數字植物北京市重點實驗室， 北京 100097)

0 引言

生菜是世界上廣泛種植的一種重要的經濟蔬菜作物，美國、歐洲和中國產量較高[1]。生菜富含維生素、類胡蘿卜素、抗氧化劑和其他植物營養素[2]，是常見的蔬菜之一。生菜葉片是生物量累積的主要器官，其在營養生長過程中可多次收獲[3]，因此如何無損地監測生菜生長狀態和確定其采摘時期具有重要意義。

現階段傳感器技術和圖像分析技術快速發展，在獲取豐富數據的同時，可挖掘的圖像信息也越來越豐富。拼接、配準、融合、語義分割和目標識別等技術是圖像挖掘的基礎。多光譜成像技術因其具有無損、快速、高效等優點，在對作物表型[4]以及生理狀態的監測和分析中具有廣闊的應用前景。其中，如何快速、精準地通過多光譜圖像對作物進行感興趣區域(ROI)提取是數據分析的前提，具有重要的意義。

光譜成像技術因其具備能夠同時表征作物生長狀態及生理生化信息的圖像和光譜特征，近年來已被廣泛應用于農業領域，如作物的品質檢測、長勢檢測等領域。Pix4D軟件、ENVI軟件在處理離地面較近，如地面表型平臺或者近地使用多光譜相機對作物進行拍攝分析表型(一般多光譜相機與地面距離1～3 m時)，并不能解決5通道引起的相位差，導致在分析光譜時產生較大誤差。根據已有的研究，常用的匹配算法可以歸納為：像素匹配[5]、區域匹配[6]、特征匹配[7-9]、相位相關匹配[10]等。但采用單一的匹配算法進行圖像匹配，往往難以達到理想的匹配結果。Canny算法[11]是一種高效的邊緣提取算法，對噪聲具有較強的抗干擾能力，提取的邊緣只有一個像素，準確度較高。因此使用Canny邊緣提取算法與相位相關算法結合的方法對多光譜圖像進行配準，可以大幅度降低圖像配準時間。

從農業場景分割問題的大量研究成果來看，目前常用的一些圖像分割算法主要可以分為4類：基于閾值的分割算法[12-13]，基于聚類的分割算法[14-16]，基于分類的分割算法[17-18]，以及基于圖論的分割算法[19-20]。傳統分割算法大多基于人工提取圖像的灰度、顏色、紋理和空間等特征，利用增強前景和背景區域的差異性來實現圖像前景的分割，因此在圖像處理過程中往往存在大量欠分割和過分割的情況。隨著深度學習技術的發展，其在自然語言處理[21]、圖像識別[22]、視頻跟蹤[23]等領域的應用和推廣均超越了傳統的機器學習算法。2015年美國笛卡爾實驗室宣布開展深度學習在農業上的應用，此后卷積神經網絡因其較強的圖像特征提取能力開始廣泛應用于農業領域，越來越多的學者開始將深度學習應用于作物表型信息獲取分析[24]。文獻[25]提出的全卷積神經網絡(Fully convolutional neural networks，FCN)因其可以針對任意尺寸的輸入圖像并且實現端到端的像素分類，成為解決圖像分割問題的重要方法。當前多數先進的語義分割框架均基于FCN實現且被應用于農業的各個領域。然而，FCN的分割精度并不能滿足細粒度表型提取的要求。UNet是一種基于全卷積網絡擴展的圖像分割算法[26]，其通過對圖像進行下采樣后再進行上采樣，跨連接層實現上下文信息融合，從而擁有更加豐富的語義特征和更加精準的分割效果。VGG16[27]卷積神經網絡是牛津大學視覺幾何組提出的深層特征提取網絡，增加網絡深度能夠提升網絡的最終性能，在圖像領域獲得了廣泛應用[28-29]。UNet語義分割模型因其網絡結構在對圖像進行分類時取得較好的效果得以在農業上廣泛應用，但因其特征提取網絡深度不夠，無法提取圖像更深層次的語義特征，不能滿足精細化表型的提取要求。使用VGG16網絡進行圖像特征提取，加深網絡深度，同時結合UNet語義分割模型網絡結構可對多光譜生菜圖像進行精細分割。

目前應用于農業領域的語義分割模型多因細粒度程度不夠且分割精度無法滿足需求而難以實現生菜多光譜圖像精細化表型信息提取。針對這些問題，本文提出基于VGG特征提取網絡的UNet語義分割模型來對生菜多光譜進行精準分割，使用結合Canny邊緣提取算法的相位相關算法對生菜多光譜圖像進行精確配準，以期為后期分析多光譜圖像，提取生菜表型和生理信息提供參考。

1 實驗材料

1.1 生菜多光譜圖像采集裝置

實驗在北京市農林科學院聯合大溫室進行。生菜種植區尺寸為10 m×40 m，生菜采用盆栽，共計種植271個材料，每個材料有4株生菜，按2×2擺放，正常水肥管理，具體種植示意圖如圖1a所示。

種植區內部署了冠層圖像采集裝置，如圖1b所示。冠層圖像采集系統包括：植物表型平臺基礎結構、表型平臺控制機構、傳感器數據采集模塊、數據傳輸系統。圖像采集系統布設在種植區冠層頂部4 m高處，成像高度可以在1～3 m范圍內自由調節。圖像采集是由遠程控制端(移動端手機或者服務器端)發出圖像收集指令。圖像采集裝置收到遠程指令后按照設定好的路線和采集方式進行采集，采集到的圖像可以通過無線路由端實時傳輸到服務器端。常用多鏡頭多光譜相機如圖2所示，本研究采用MicaSense Altum 5通道多光譜相機，可以采集藍(B)、綠(G)、紅(R)、紅邊(Red edge)、近紅外(NIR)5個通道的多光譜圖像，Altum多光譜相機可以同時收集5個不連續的光譜波段，并且使用窄帶濾光片提供針對單一波段圖像大分辨率。相機參數見表1。

表1 MicaSense Altum相機參數Tab.1 MicaSense Altum parameters

1.2 多光譜圖像獲取及數據集構建

實驗圖像采集高度設定為1.5 m，圖像采集裝置移動速度設置為0.05 m/s，多光譜相機設定為4 s拍攝一次，拍攝完整各種植區共獲得1 200幅多光譜圖像。

經過篩選，剔除高重疊度圖像(縱橫重疊度在30%以上)，共獲得400幅有效多光譜圖像，并形成原始圖像數據集。為了減小圖像尺寸、提高后期模型訓練效率，將圖像尺寸從2 064像素×1 544像素縮放為512像素×512像素。由于CNN卷積神經網絡需要大量的訓練數據以避免數據分析過程中出現過擬合現象，使用旋轉、鏡像、縮放、添加高斯噪聲等方式進行標記樣本數量擴充。最終數據集包含2 310幅圖像，并以7∶3隨機劃分為訓練集和測試集，因此共有1 617個訓練樣本輸入UNet模型進行訓練，其余693幅圖像進行測試。

2 實驗方法

多光譜圖像配準與分割算法主要流程如圖3所示，第1階段對輸入的多光譜圖像使用Canny算法進行邊緣提取，將得到的邊緣提取圖像使用相位相關算法得到各通道圖像之間的平移參數，之后將各通道圖像配準到相同位置。第2階段將得到的配準后的生菜多光譜圖像進行前景像素提取，利用UNet架構的優點，使用VGG16作為主特征提取網絡，構造了生菜多光譜分割模型，將各通道的生菜多光譜圖像從背景中精確分離出來。

2.1 改進相位相關算法對多光譜各通道圖像配準

相位相關算法是將圖像變換到頻域，求得互功率譜，由峰值位置得到2幅圖像的平移參數，由于需要估計整幅像素精度的平移參量，算法耗時較長。本文使用Canny算法對圖像進行邊緣特征提取，將得到的邊緣圖像作為后續算法的操作對象，可以大幅降低相位相關算法的圖像配準時間。算法流程圖和示意圖如圖4所示。

2.1.1Canny邊緣檢測算法

本文Canny邊緣檢測算法的處理流程可以分為以下4個步驟：

(1)噪聲去除：由于邊緣檢測很容易受到噪聲影響，所以首先使用5×5的高斯濾波器來平滑和去除噪聲。

(2)計算圖像梯度：對平滑后的圖像使用Sobel算子計算水平方向和豎直方向的一階導數(圖像梯度Gx和Gy)，根據得到的這2幅梯度圖(Gx和Gy)找到邊界的梯度和方向，公式為

(1)

(2)

式中 Edge_Gradient(G)——像素點的灰度函數

Angle(θ)——像素點的梯度函數

梯度的方向一般總是與邊界垂直。梯度方向被歸為4類：垂直、水平和2個對角線。

(3)使用非極大值抑制(即尋找像素點的局部最大值，將非極大值所對應的像素點灰度設置為0)來消除邊緣檢測帶來的雜散響應。

(4)滯后閾值：需要通過設定2個閾值來確定真正的邊界，對于低于minVal閾值的像素點直接拋棄，高于maxVal閾值的像素點為真正的邊界。如果處于閾值之間的像素點與真正的邊界點相連便認為其也是邊界點，否則拋棄。

如圖5所示，D線段像素都處于minVal閾值外面，因此D直接拋棄；A是高于maxVal閾值的像素點，屬于真正的邊界點；B像素雖然處于2個閾值之間，但是沒有與真正的邊界點相連，所以也被拋棄；C像素與真正的邊界點相連，因此也得以保留。因此選擇合適的閾值點對于邊緣檢測非常重要。

本文中Canny算子的閾值設置minVal為0.2，maxVal為0.6，用來計算圖像梯度的Sobel卷積核的大小設置為3，使用L2gradient參數作為求梯度大小的方程。通過Canny算法得到的邊緣圖像作為后續進行相位相關算法的操作對象。

2.1.2相位相關匹配算法

圖像配準是圖像處理的基本任務之一，其主要用于將不同時間、不同傳感器、不同視角或者不同拍攝場景獲取的關于同一目標或者場景或者多幅圖像進行最主要幾何意義上的匹配過程。本文中室內冠層采集裝置使用MicaSense Altum多光譜相機進行多光譜數據采集，其采集到的數據是5幅不同波段的圖像，5幅圖像來自5個鏡頭拍攝，圖像之間具有水平偏移。圖像的平移運動可以通過傅里葉變換到頻域中相位的變化表現出來，所以本文采用基于相位相關的模板匹配方法精確計算不同波段之間圖像的相對平移量。

假設f1(x，y)和f2(x，y)為2幅圖像的時域信號，其滿足的關系(即f2(x，y)由f1(x，y)經過簡單的平移得到)為

f2(x,y)=f1(x-x0,y-y0)

(3)

根據傅里葉變換的性質可得

F2(u,v)=F1(u,v)e-j(ux0+vy0)

(4)

式中F1(u，v)——f1(x，y)的傅里葉變換

F2(u，v)——f2(x，y)的傅里葉變換

其互功率譜為

(5)

e-j(ux0+vy0)的傅里葉反變換為一個二維脈沖函數δ(x-x0，y-y0)。求取式(4)的傅里葉反變換，然后找到最高峰的位置，最高位置的坐標即是平移參數x0、y0。

圖6a～6c為多光譜3個通道圖像，分別對B通道與R通道、G通道與R通道進行相位相關算法計算求得互功率譜，再對其求傅里葉反變換，得到2個二維脈沖函數，對其定位峰值可分別得到B通道與R通道、G通道與R通道的位移偏差。將其配準后進行疊加融合得到圖6f的3通道真彩圖像。圖7為相位相關算法與本文算法在多光譜各通道上的匹配時間。

本文采用Canny算法與相位相關算法相結合對多光譜各通道圖像進行配準，如圖7所示，相較于傳統相位相關算法在各通道配準時間上均有大幅度提高。

為驗證本文算法，選取2個基于特征點匹配的經典算法SIFT(Scale-invariant feature transform)尺度不變特征變換算法和SURF(Speeded up robust features)加速文件特征算法作為對比，用單幅圖像的配準時間和匹配準確率作為評價指標，結果如表2所示。

表2 算法測試結果Tab.2 Algorithm test result

由表2可以看到，基于特征點匹配的SIFT算法雖然匹配精度很高，但是匹配速度太慢，SURF算法精度不高，本文算法相對于傳統單一相位相關算法在匹配精度上提升3個百分點，匹配時間上減少了0.61 s，效率提高了40%，本文算法在配準精度和速度上都有比較明顯的優勢。

2.2 基于UNet模型的生菜多光譜圖像語義分割

2.2.1UNet網絡結構

UNet是目前比較流行的用于語義分割的深度學習模型，它是在全卷積網絡(FCN)的基礎上做了改進，提高了傳統的CNN模型用于像素級圖像分類的性能。UNet的主要結構由卷積編碼單元和卷積解碼單元組成。重復的卷積運算在網絡的2個部分被一個矯正的線性單元執行。在編碼單元中，執行2×2的最大池化操作，將輸入的樣本降為2倍下采樣。在每個降采樣相位之后，特征數增加1倍以補償分辨率的損失。解碼單元由上采樣塊組成，通過使用卷積對輸入進行上采樣后，將上采樣的特征映射與編碼單元提取的相應特征映射連接起來，使網絡在下采樣過程中最大限度地保留最基本的特征信息。重復上采樣塊，直到網絡的輸出與輸入圖像的尺寸匹配。一般情況下，編碼單元主要用于捕獲圖像中的上下文信息，解碼單元用于精確定位需要分割的部分。UNet模型在語義分割方面有幾個關鍵優勢:首先，它結合了低層細節信息和高層語義信息，允許網絡在大空間尺度上利用信息，而不會丟失有用的本地信息。其次，它只需要少量的訓練樣本就可以獲得更好的分割性能。最后，端到端網絡處理整個圖像并直接產生分割圖像。

2.2.2VGG16特征提取網絡

目前研究人員開始應用UNet模型分割多通道遙感數據并提供了有效的解決方案。在本研究中，根據UNet模型的特點，采用VGG16作為主干特征提取網絡。結構如圖8所示，本文采用Imagenet上的預訓練權重進行遷移學習，來提高模型的泛化性。

當輸入的圖像尺寸為512×512×1時，VGG16網絡的具體參數配置如表3所示。

表3 特征提取網絡結構參數配置Tab.3 Configuration of network structure parameters for feature extraction

2.2.3整體網絡結構

本文使用的UNet網絡結構主要由主干特征提取網絡(VGG16)和加強特征提取網絡構成，其形狀可以看作U型。利用VGG16主干特征提取網絡可以獲得5個初步的特征層，在加強特征提取網絡里，利用這5個初步有效特征層進行特征融合，特征融合的方式就是對特征層進行上采樣并且進行堆疊。為了方便網絡的構建和更好的通透性，在加強特征提取網絡里，在進行上采樣時直接進行2倍上采樣再進行特征融合，這樣最終獲得的特征層和輸入圖像的寬高相同。具體示意圖如圖9所示。

2.2.4模型訓練

采用非線性函數ReLU作為模型隱藏層的激活函數，如圖10所示，ReLU由于非負區間的梯度為常數，因此不存在梯度消失問題(Vanishing gradient problem)，使得模型的收斂速度維持在一個穩定狀態。

(6)

使用UNet全卷積神經網絡進行圖像分割，目的是為了輸出一個分割精度較高，尺寸與輸入圖像相當的分割結果，本文所使用的損失函數主要由Cross Entropy Loss和Dice Loss組成。模型最終輸出一個二分類圖像，使用Softmax對像素點進行分類時使用Cross Entropy Loss 作為Loss損失函數。交叉熵主要是用來表達神經網絡輸入輸出的結果差異，一般來說，交叉熵越小，輸入和輸出的結果就越接近。分類的交叉熵損失函數為

(7)

式中x——輸入向量

C——當前樣本類別對應索引

x[C]——當前樣本預測函數輸出

x[j]——預測函數第j個輸出

Dice Loss將語義分割的評價指標作為Loss，Dice系數是一種集合相似度度量函數，通常用于計算2個樣本的相似度，取值范圍為[0,1]。越大表示預測結果和真實結果重合度越大，所以Dice系數越大越好，而Loss則越小越好，計算公式為

(8)

式中 Dice_Loss——損失函數

X——預測值像素點集

Y——真實值像素點集

模型訓練過程就是對損失函數進行優化的過程。本文模型訓練采用適應性矩估計優化算法(Adaptive torque estimation optimization algorithm，Adam)，和一般傳統的隨機梯度下降不同。Adam作為一階優化算法可以在迭代訓練數據時更新神經網絡權重，并且其實現方式更直接，可以解決大規模數據和參數的優化問題，計算高效且所需內存少。

2.2.5評價指標

為了量化本文語義分割方法對生菜冠層多光譜圖像的分割效果以及對比不同方法的分割性能，在此引入平均像素準確率[30](Mean pixel accuracy，MPA)、平均交并比(Mean intersection over union， MIoU)、召回率(Recall)、精確率(Precesions)和F1值(F1-Score)來進行評價。

考慮到實際使用中需要處理高通量的冠層圖像數據，本文利用平均處理時間來說明不同方法的時間性能。平均處理時間定義為某個分割方法對單幅圖像分割所需時間的平均值。

3 結果與分析

3.1 實驗參數設置及訓練過程分析

在軟件環境為Windows 10系統，開發語言環境為anaconda 3和Python 3.6，硬件環境為Intel(R)Xeon(R) CPU E5-2697處理器和NVIDIA GTX1070 Ti GPU的計算機上進行實驗，深度學習開發框架為Tensorflow_Keras。

本文模型訓練將初始學習率設置為1×10-4，衰減率設置為0.9，將訓練集的1 617個訓練樣本每2幅圖像作為一個批次(batch)輸入到模型中進行訓練，訓練一共進行300個epoch迭代循環。為了加快訓練速度和訓練初期防止權值被破壞，本文在訓練的前10個epoch凍結一部分神經網絡進行訓練，之后把所有神經網絡進行解凍訓練，同時將學習率調整為1×10-5，衰減率依然設置為0.9。

3.2 不同模型和網絡結構精度比較

為了測試和對比本文所提出模型的性能，對測試集693幅生菜多光譜冠層圖像采用傳統的UNet方法、本文方法UNet_VGG、一種編碼解碼語義分割網絡方法SegNet[31](A deep convolutional encoder-decoder architecture for image segmentation)、基于VGG特征提取網絡的SegNet方法、金字塔場景解析網絡方法PSPNet[32](Pyramid scene parsing network)以及基于VGG特征提取網絡的PSPNet方法進行語義分割并分析。

對比6個模型的精確率曲線和損失值曲線可以看出(圖11)，UNet模型比SegNet模型的收斂速度更快，并且分割的精度也更高。用VGG作為特征提取網絡的模型要比傳統語義分割模型的分割精度更高，隨著迭代次數的增加，模型分割精度不斷上升并趨于穩定，當迭代到300個epoch時，損失函數值基本收斂，表明模型達到了比較好的訓練效果。

表4顯示了本文所提出的模型UNet_VGG與其他語義分割模型在測試集上的性能對比，可以看到，相較于傳統的UNet模型，UNet_VGG的平均像素準確率和F1值得分均有不同程度的提高。其中PSPNet模型在測試集上的表現最差，表明在處理二分類分割問題時，UNet模型分割相較于其他語義分割模型具有很大的優勢。相較于原有模型，在使用VGG作為下采樣進行特征提取時，模型精度均有不同程度提高。本文模型UNet_VGG與其他模型的分割效果對比如圖12所示。

表4 不同分割方法測試集分類結果對比Tab.4 Comparison of classification results of samples for validation by different segmentation algorithms

4 結論

(1)針對多鏡頭多光譜相機在近距離拍攝時各通道圖像存在位移偏差，采用Canny算法與相位相關算法結合的方法對多光譜各通道圖像進行配準，結果表明結合算法有更高的配準精度，且相對于單一算法圖像配準時間減少0.61 s，效率提高了40%。

(2)為滿足對作物精確表型提取的需求，以配準后的生菜多光譜圖像構建圖像數據集。在UNet模型基礎上，特征提取網絡部分使用VGG網絡，構建了本文模型。該模型在測試集上的平均分割準確率為99.19%，平均交并比為94.98%，相較于傳統UNet模型分別提高0.52個百分點和2.07個百分點。本文方法單幅圖像平均處理時間為0.11 s，可以滿足對植物表型圖像實時分割的要求。

(3)實驗結果表明，本文方法可以對多光譜圖像進行精確配準和生菜前景的精確提取。