聯(lián)合光譜聚類和多尺度神經網絡的電池板圖像語義分割算法*

張 卓 黃俊凱 徐曉龍 胡金鵬

（河海大學物聯(lián)網工程學院 常州 213022）

1 引言

目前，在現(xiàn)存太陽能電池板的缺陷檢測上，針對使用中電池板的檢測系統(tǒng)較為罕見，檢測大多依靠人工物理檢測手段，效率低且效果差。而在電池板無人化檢測的任務里，首要任務是從拍攝的原圖像中準確分割出電池板區(qū)域。傳統(tǒng)的圖像分割算法一般根據(jù)圖像的相似性或不連續(xù)性等特點來實現(xiàn)分割任務，主要分為基于邊緣的分割算法［1］，例如梯度計算法［2］等；基于閾值的分割算法［3］，例如OTSU算法［4］等；基于區(qū)域的分割算法［5］，例如區(qū)域生長法［6］等；基于選擇性搜索算法，例如光譜聚類等。隨著深度學習算法的迅速發(fā)展，使用神經網絡進行語義分割的方式逐漸取代了傳統(tǒng)的方法，成為了當下主流的方法［7］。圖像語義分割是將圖像中不同意義的區(qū)域進行像素級區(qū)分，并對不同區(qū)域分配對應標簽。目前的難點主要在于兩個方面：一是如何將全局信息與局部信息進行融合的問題；二是如何權衡分割的精度與速度問題。語義分割網絡常采用編碼器與解碼器的結構，該方法在下采樣以及池化的步驟中獲取較為高級的語義信息，同時以損失圖像特征圖分辨率作為代價，因此在恢復語義圖的分辨率這項工作中出現(xiàn)了兩種主流的方案。

第一種方法是增加上采樣層，其最典型的代表為 全 卷 積 神 經 網 絡［8］（Fully Convolutional Neural Networks，F(xiàn)CN）。FCN使用反卷積層，使特征圖還原到源圖像的尺寸，解決低分辨率問題。例如Ronneberger等［9］設計的U-Net網絡模型，在FCN的基礎上將大量的特征通道用于解碼器，使上下文信息得到充分的解析。此外還有諸多FCN網絡的改進方案，例如RefineNet［10］以及SegNet［11］等。

第二種方法是通過空洞卷積（Dilated Convolutions）的方式［12］。空洞卷積利用系數(shù)濾波器，在計算量和參數(shù)量不變的情況下得到了更加豐富的全局信息。Chen等［13］使用空洞卷積構建了DeepLab系列的網絡模型；Mehta等［14］提出ESPNet網絡模型，使用空間金字塔的結構，利用多個不同分辨率的特征圖融合全局信息；Zhao等［15］提出了PSPNet網絡模型，使用空洞卷積獲取了大量的上下文信息，利用多種分辨率的特征圖有效的融合了局部信息與全局信息。

在室外電池板分割任務中，傳統(tǒng)的圖像處理算法難以完成對復雜環(huán)境中電池板圖像準確的定位；而深度學習語義分割存在邊界不清晰、不連續(xù)的問題。對此，本文提出一種聯(lián)合光譜聚類和多尺度神經網絡的漸進式圖像語義分割算法（Combined Spectral Clustering and Multiscale Neural Networks Image Semantic Segmentation Algorithm，CSCMISS），算法結構如圖1所示。CSCM-ISS算法在語義分割網絡中引入長短期記憶網絡（Long Short-Term Memory Network，LSTM），進行由粗到細的多粒度分割，從而提高分割的準確度；引入多尺度卷積塊，通過多尺度融合來提高算法的泛化能力；在傳統(tǒng)圖像分割模塊，使用光譜聚類算法對圖像進行分割，最終通過對兩模塊的賈卡德系數(shù)進行argmax運算，將深度網絡中的語義信息送入光譜聚類的分割片段中進行融合，實現(xiàn)對室外電池板區(qū)域圖像的精準分割。

圖1 聯(lián)合光譜聚類與神經網絡的語義分割算法結構

2 聯(lián)合光譜聚類和多尺度神經網絡的圖像語義分割算法

2.1 融合LSTM層

現(xiàn)有語義分割網絡FCN、GrabCut等在實際的應用中存在著各類問題，例如FCN的分割邊界不連續(xù)，分割結果粗糙，Hu等［16］構建了一種堆疊式FC網絡，成功地將粗粒度構建上下文指導引入到細粒度分割中。然而，堆疊式網絡不夠靈活，在修改分段層數(shù)時需要修改網絡結構；同時由于需要預先定義分割層次規(guī)則，使得分割過程更加復雜。

本文基礎網絡選擇使用RNN，該網絡具有遞歸處理歷史信息和建模歷史記憶的性質。算法在堆疊網絡結構中引入LSTM層，利用其輸出支持多粒度圖像分割，基于遞歸神經網絡的圖像語義分割網絡結構如圖2所示。與堆疊式相比，由于LSTM層環(huán)路數(shù)目不受限制，該結構可以靈活地支持多粒度分段，不需要在分段粒度發(fā)生變化時重新設計網絡結構；利用粗成分的分割結果指導細粒度部分的分割，提高了分割精度。

圖2 本文融合LSTM的RNN圖像語義分割網絡結構

算法使用ConvLSTM算法［17］實現(xiàn)LSTM層。其運算基于LSTM單元的計算公式，如式（1）所示：

其中，“*”表示卷積運算，“⊙”表示矩陣的Hadamard積。在首次循環(huán)中，是編碼器最后一層的輸出特征圖。當t＞1時，為通道串行融合后的特征圖，該特征圖融合了最后一層編碼器的特征圖和t-1次循環(huán)中FC模塊的特征圖。CSCM-ISS算法在網絡中使用了兩個ConvLSTM層。

網絡除了使用堆疊網絡中預定義的三粒度（粗、中、細）分割網絡訓練策略外，還支持按粒度自動分割，在每次循環(huán)之后使用ConvLSTM層的輸出來對某類對象部分進行分割，通過指定每個循環(huán)中需要分割的組件類別，可以逐步得到多粒度的分割結果。定義網絡總損失函數(shù)為所有循環(huán)過程分割結果損失的加權和，計算公式如式（2）所示：

其中，Lt是第t次循環(huán)中圖像分割結果的損失，λt是相應的權重。在CSCM-ISS算法中，不同次循環(huán)分割的結果使用的是相同的權重。選擇像素級交叉熵損失作為每個環(huán)路的損失函數(shù)。

2.2 引入多尺度卷積

CSCM-ISS算法對圖像中多尺度目標的編解碼結構分割網絡進行改進，將傳統(tǒng)卷積核大小不變的多層疊加法改為多尺度傳感場并行處理后拼接的方法。模型的總體框架如圖3所示。

圖3 引入多尺度卷積的網絡結構

在特征提取階段，受DeepLab結構的啟發(fā)，使用不同大小的卷積核分別對特征圖進行卷積，與其固定大小的空心卷積不同，本網絡中每行的卷積核大小不同，同時拼接后的每條路徑在特征圖中的深度也不同。

在空間信息恢復的過程中，采用非對稱設計的解碼結構。針對對稱解碼結構使網絡深度成倍增加，帶來梯度分散、訓練速度慢的問題，CSCM-ISS算法改進了卷積層的模型，其拓撲結構如圖4所示。相較于原始的單一尺度卷積層結構，該結構各分支中卷積核大小不盡相同，并將處理后的特征圖拼接并傳輸?shù)侥┪驳南乱粋€卷積塊；在計算時，每個分支的第一卷積核采用1*1的大小來降低特征圖的維數(shù)；在分支中添加平均池化層，以盡可能多地保留空間信息；對拼接結果不進行處理，使每個分支產生對齊的特征圖，該特征圖在進一步的訓練中將根據(jù)網絡的權重進行調整。

圖4 多尺度卷積塊拓撲結構

在像素級分類問題中，CRF［18］將分類器的輸出與圖像的局部信息相關聯(lián)，將標注問題轉化為最大后驗概率問題。后來一種基于平均場逼近理論的高效求解算法被提出，該方法很好地解決了CRF運算速度慢的問題。平均場計算公式如式（3）所示：

其中Q(X)表示概率分布，和最初的CRF方法不同，平均場不直接計算概率分布P(X)。式中Qi表示第i個隨機變量的獨立邊際分布。對于分布Q(X)近似真實分布P(X)，可以用Kullback-Leibler距離來度量分布之間的相似性，計算方式如式（4）所示：

2.3 聯(lián)合光譜聚類

本文使用超像素分割算法［19］以及光譜聚類算法［20］作為傳統(tǒng)圖像分割算法。首先，在超像素分割中，利用超像素表示圖像，使得在保持目標邊界清晰的同時降低處理的復雜度；其次，構造相似度矩陣，使用該矩陣對超像素圖像進行處理，并用于光譜聚類。相似度矩陣由相鄰超像素之間的5維歐幾里得距離［19］構成，其計算公式如式（5）所示：

其中l(wèi)、a和b是Lab顏色空間中超像素的顏色值，x和y是超像素的中心位置，p和q分別表示第p個和第q個超像素，γ為常量，用來控制緊湊度。在計算相似度矩陣后，利用相似度矩陣進行光譜聚類，得到該輸入圖像通過傳統(tǒng)圖像處理方式后的分割圖像。在最后的邊界合并步驟中，具有最小顏色距離的兩個相鄰聚類被迭代合并，直到該距離大于閾值T。相鄰聚類之間的距離D(Ωi,Ωj)，其計算公式如式（6）所示：

其中Ω表示簇域，i和j分別是第i簇和第j簇。p和q分別表示相鄰簇中的第p個和第q個超像素，Ep,q表示相鄰簇中相鄰超像素之間的色差，|E|表示相鄰簇中相鄰超像素對的個數(shù)。閾值T的計算公式如式（7）所示：

其中MaxEdges表示最大色差值。在最后的分割圖像融合模塊中，CSCM-ISS算法整合了前兩個模塊中的分割結果。設和…,Nn)分別表示由圖像處理和網絡模塊產生的分段區(qū)域，其中Nj和Nn表示從這兩個模塊獲得的分段數(shù)目。在開始的階段，每個段內的像素都標有段號，例如其中表示相應的標簽，而后圖像處理模塊每個段的標簽將被更新，更新方式如式（8）所示：

其中J(A,B)表示兩個區(qū)域A和B之間的賈卡德系數(shù)。通過該運算，在網絡模塊中獲得的圖像的語義信息被送入基于圖像處理的分割的片段中進行融合。

3 實驗結果與分析

3.1 數(shù)據(jù)集

針對文本應用場景，使用自建數(shù)據(jù)集，包含400多張室外太陽能電池板圖像，采集于房頂、屋頂?shù)燃矣脠鼍芭c山坡、庭院外等戶外場景。

對數(shù)據(jù)集的電池板圖像進行了粒度的標記，包含電池板區(qū)域、植物、建筑、屋頂、行人等10個粒度信息。對于多粒度的訓練，實驗中采用三粒度分割策略，不同的粒度信息在分割的每個循環(huán)過程中被劃分到不同類別。在數(shù)據(jù)集中根據(jù)各組的比例，生成按類別進行多粒度分割的真值標簽圖，作為遞歸網絡每一環(huán)輸出的監(jiān)督數(shù)據(jù)。

3.2 評價指標

本文主要從圖像語義分割精度的維度對算法進行評判。使用像素分類準確率（Pixel Accuracy，PA）、交并比（Intersection over Union，IoU）、平均交并比（Mean Intersection over Union，mIoU）作為評價指標［21］。

假設圖像中有k個種類的像素點，pij表示將第i類像素點判斷或預測為第j類像素點的個數(shù)，pii表示將第i類像素點判斷或預測為第i類像素點的個數(shù)。各評價方法計算公式如下：

3.3 對比實驗

1）引入LSTM層的CSCM-ISS網絡與堆疊式網絡對比實驗

網絡模型中首先使用預定義的三個粒度分割規(guī)則來訓練網絡，其次根據(jù)每個類別的比例生成構件分割監(jiān)督，對網絡進行訓練。實驗設置對照組，比較了RNN、使用堆疊網絡結構、使用本文循環(huán)網絡結構的三種粒度分割方面的效果。對于堆疊網絡結構，實驗中分別測試了無跳接模型和有跳接模型兩種方式，通過其mIoU值進行定量評估，實驗結果如表1所示。

表1 不同粒度下個網絡分割精度

可以看出，與基礎RNN網絡結構相比，堆疊式和遞歸式網絡結構在所有粒度上都有明顯的性能提升；堆疊網絡未添加跳接結構時，循環(huán)網絡結構性能更好；當向堆疊網絡結構添加跳接結構時，遞歸網絡結構的分割精度同樣可以與其效果相當。實驗結果證明，本文設計的基于遞歸網絡層的圖像分割網絡能夠支持更細粒度的分割，提高了分割精度。圖5顯示了堆疊式網絡結構和遞歸網絡結構的電池板圖像分割結果的比較。

圖5 堆疊式和遞歸網絡結構圖像分割結果對比

分割結果表明，有跳接的堆疊網絡可以準確地分割電池板背景與前景等細節(jié)，而沒有跳接的堆疊網絡和遞歸網絡對細節(jié)成分的分割效果較差，但后者效果仍然好于前者。在遞歸網絡中加入跳躍連接的難度較大，導致細節(jié)分量分割效果較差，如何進一步設計策略來優(yōu)化細節(jié)部分的分割效果是一個重要改進方向。

2）融合多尺度卷積的漸進式CSCM-ISS與多網絡對比實驗

在上述精細粒度分割的基礎上，實驗加入多尺度卷積塊進行對比，將SegNet、UresNet、DeepLabV3網絡與本文中提出的網絡進行橫向對比，實驗結果如表2所示。

表2 幾種指標下的分割精度

在實驗中選定的圖像具有小對象、大對象和邊緣不均勻的區(qū)域。如圖6所示，雖然UresNet等更深層次的網絡可以檢測到這些目標，但不能很好地切割邊界。兩者識別目標的能力相近，邊界處理的CRF過程效果非常顯著。

圖6 UresNet網絡結構和多尺度網絡結構圖像分割結果對比

3）CSCM-ISS與RefineNet對比實驗

最后將上述神經網絡模塊與圖像處理模塊結合，使用RefineNet算法作為對照組，比較最終分割圖像的IoU，部分實驗結果如表3所示。

表3 融合網絡與RefineNet網絡分割精度結果

圖7顯示了兩種算法的對比結果圖像。第一列和第二列分別為輸入圖像和真實分割圖像。第三列為RefineNet的結果，該算法語義對象提取成功，但邊界提取不準確。通過綜合圖像處理的分割方式產生了邊界更精確的語義對象分割結果，如第四欄所示。通過對100張圖像的測試，RefineNet的平均交并比為0.8925，而本文所提出的方法將得分提高了3.5%。

圖7 RefineNet網絡結構和本文網絡結構圖像分割結果對比

4 結語

本文研究并分析了室外太陽能電池板圖像語義分割的需求與任務，針對分割圖像邊界不清晰、復雜背景分割效果差、網絡泛化能力與魯棒性不足的問題，提出一種聯(lián)合光譜聚類與多尺度神經網絡的漸進式圖像語義分割算法。CSCM-ISS算法基于層疊網絡結構，首先，通過引入遞歸處理層實現(xiàn)了粒度由粗到細的漸進式、多粒度圖像語義分割。其次，引入多尺度卷積塊，提升了模型泛化能力。實驗表明上下文相關的多尺度卷積對提高分割精度有很大的貢獻。最后針對邊界清晰的語義分割問題，提出了一種聯(lián)合光譜聚類和神經網絡的圖像分割算法。實驗結果表明，算法有效地對室外光伏電池板區(qū)域圖像進行了高精度分割，為后續(xù)圖像增強以及電池板缺陷檢測提供了良好的條件。