系留球載光學影像的草原牲畜數量自動核算方法

汪 琪，馬靈玲*，王 寧，王宇航,2，黎荊梅，騰格爾，歐陽光洲，張遠平，敖 磊，牛沂芳，鄭青川,李子揚

(1.中國科學院空天信息創新研究院 定量遙感信息技術重點實驗室，北京 100094；2.中國科學院大學 電子電氣與通信工程學院，北京 100049；3.內蒙古北方重工業集團有限公司，內蒙古 包頭 014033)

0 引言

草地載畜量是草地畜牧科學管理的核心指標之一，開展草原放牧型牲畜數量的精準分類核算是評估草地實際載畜能力、評估草原資源風險的重要前提。傳統基于地面調查的牲畜核算方式工作量大、耗時長、準確度低[1-3]。遙感手段具備“站得高，看得遠”的優勢，為區域和全國尺度的草原資源快速、高頻次普查提供了有力支持，也是未來生態草牧業發展的重要方法[4-5]。

星載觀測是理想的數據來源，但其數據分辨率通常與大型放牧型牲畜的尺寸在同一量級[6-8]，導致基于此類數據獲取牲畜數量的可靠性不高，相應模型驗證不足，在實際推廣與應用中存在著較大局限性。以無人機為代表的機載觀測手段可以根據需求來獲取高分辨率的牲畜影像[9]，但無人機獲取數據的效率較低，無法持續觀測。

系留氣球可提供定點駐空的觀測平臺，具有載重量大、駐空時間長的特點，可對部署地的周邊區域進行持續監測，在800 m駐空高度理想條件下，監控范圍可覆蓋周邊約100 km2的區域，對于重點地區的草地載畜量監測具有重要應用價值[10-12]。對無人機影像中的動物檢測與數量核算，研究人員已開展了相關的研究[13-15]。然而，與垂直或近垂直下視的星載及機載成像不同，系留氣球載荷通常是以較大的傾角斜視觀測，獲取的目標特征與垂直下視時具有較大差異；同時，由于不同區域成像距離的不同，獲取圖像的分辨率也存在差異，對基于影像的牲畜信息提取算法帶來了較大挑戰，特別是對于聚集度高的牲畜群，在影像分辨率不高時出現明顯的模糊與粘連現象，常用的目標個體檢測識別方法難以適用。

本文針對基于系留氣球觀測平臺下的草原牲畜數量核算需求，為解決球載成像載荷獲取的牲畜影像分辨率不足及成像環境干擾下導致的目標模糊與粘連效應對牲畜檢測帶來的困難，提出基于異常檢測與模糊均值聚類的球載可見光影像牲畜數量核算方法，首先通過異常檢測算法區分牲畜目標與草地背景，然后采用形態學方法去除噪聲點，最后利用模糊均值聚類算法計算目標的中心位置并進行數量統計。基于2種球載光學相機載荷獲取的牲畜影像的試驗表明，本文方法牲畜數量核算準確度達到90%以上，且對不同觀測角度具有良好的適應性，相比基于深度學習算法的牲畜檢測與數量核算，在精度上具有明顯提升。

1 異常檢測與模糊均值聚類算法

1.1 譜段擴展下的RX異常檢測算法

異常檢測是多光譜/高光譜影像中小目標檢測的經典算法，是一種無監督檢測方法，旨在將光譜響應曲線與周圍背景有差異的位置信息與背景和噪聲分離[16]。良好的異常檢測器可以有效地確定異常和背景之間的差異，同時抑制背景。抑制背景的關鍵過程是選擇合適的方法來有效地表示背景。異常檢測中經典的RX異常檢測器使用背景協方差矩陣表示背景信息，具有環境適應性強、檢測效率高的優點，適合不同傾角和分辨率下的球載影像目標檢測。

對于本文使用的3波段彩色影像，由于波段數較少，對異常檢測算法效果造成影響，因此本文采取波段擴展策略，將每個波段擴展成4個波段，具體方法為：將原波段劃分為2 pixel×2 pixel的小方格覆蓋，每個方格內的4個像素值依次作為新的4個波段中同樣位置的像素值，再將新的4個波段影像通過插值方法變換為與原波段同樣空間大小。通過該方法將3波段數據變換為12波段數據，再進行RX異常檢測。

RX異常檢測器基于以下假設：數據空間白化，異常目標和背景類別遵循具有不同均值向量和相同協方差矩陣的高斯分布，其中目標的光譜和背景的協方差未知。在RX異常檢測器中，背景協方差矩陣的逆用于測量觀察到的異常像素和背景之間的統計差異。該過程可以認為是具有橢圓分布的測試像素和背景的“球化”或“白化”，產生具有球形分布但具有不同中心的相應測試像素和背景。然后可以將RX異常檢測器建立為測試像素與白化空間中的背景之間的歐幾里德距離，實際是原始空間中的馬哈拉諾比斯距離。基于此，RX算法首先分析均值和方差的2個統計量，然后將其與設定的閾值進行比較，以確定是否是異常值。

設圖像數據總波段數為P，則包含M個像素點的背景數據可以表示為一個P×M的矩陣X=[x1x2…xM]，其中Xi=[X1i,X2i,…,Xpi]T，xi=[x1i,x2i,…,xpi]T，表示每一個像素點的光譜，設H0為目標不存在，H1為目標存在：

(1)

式中，x為待檢測點的光譜向量；n表示背景噪聲向量；s為目標光譜向量。RX算法的表達式為：

(2)

簡化得到：

(3)

式中，x為要檢測的像素的光譜數據；μb為背景窗口的平均值；Cb為背景窗口協方差矩陣；λ為判定閾值。可以看出，RX算子實際上計算了待檢測點的光譜與背景窗口的平均矢量之間的馬氏距離。

1.2 形態學處理算法

通過異常檢測提取出目標區域后，可能存在如下問題：① 將同一個目標分離成相近的多個目標，需要進行合并；② 檢測出小面積的孤立噪聲點，需要進行去除。因此使用形態學操作對圖像進行修正，對目標形狀進行一定程度的恢復。

形態學建立在數學格論和拓撲學上，是用于圖像分析的一種常用手段，其基本運算包括腐蝕和膨脹[17]。實際應用中很少單獨使用基本運算對圖像進行分析，往往使用腐蝕和膨脹運算的組合進行分析，其中開閉運算是形態學的一對有效的對偶運算。

設集合A與集合B，當A被B腐蝕，將其記為AΘB，腐蝕操作可以去除所有無法容納結構元素B的A部分，數學表示如下：

AΘB={x,y|(B)xy?A}。

(4)

設集合A與集合B，當A被B膨脹，將其記為A⊕B，膨脹操作可以連接A的可以被結構元素B擊中的部分，數學表示如下：

A⊕B={x,y|(B)xy∩A≠?}。

(5)

腐蝕與膨脹運算的常用組合是開運算與閉運算。開運算是對圖像先進行腐蝕后進行膨脹，可以消除圖像中小于結構元素的孤立部分，同時并不明顯改變其面積。閉運算是對圖像先進行膨脹后進行腐蝕，可以填充背景無法包含于結構元素的細小孔洞，同時并不明顯改變其面積。

1.3 基于模糊均值聚類的粘連目標提取算法

對于粘連區域，根據區域面積初步估計目標數量，通過模糊均值聚類算法提取每個目標的位置，統計目標數量[18]。模糊均值聚類算法是一個迭代尋優的過程，其模糊聚類的表達函數為對如下條件極值的求解：

(6)

式中，Z={z1,z2,…,zn}表示樣本總數為n的模糊集合；m為模糊集合中的元素分成的類別數；C={c1,c2,…,cm}為每個類別的聚類中心；U表示模糊隸屬度矩陣；s∈[1,∞)為模糊加權系數；uij表示第i個元素對第j類的隸屬度。

引入n個拉格朗日因子，利用拉格朗日乘數法將條件極值轉化為無條件極值問題，即：

?j=1,2,…,n。

(7)

對變量ci，uij分別進行求導，得到每個變量的極值點：

(8)

(9)

給出初始化聚類中心，對式(8)和式(9)進行反復迭代使式(6)中的目標函數達到最小值。算法具體步驟如下：

① 初始化聚類中心；

② 計算隸屬度函數uij；

③ 更新聚類中心ci；

④ 重復步驟②,③，直到uij收斂。

2 實驗結果與分析

2.1 實驗數據

實驗數據為呼倫貝爾特泥河農場系留氣球草畜觀測實驗中獲取的可見光牲畜影像數據，最大升球高度為300 m。試驗中基于系留氣球平臺獲取數據的位置與范圍如圖1所示。

圖1 試驗中獲取數據的位置與范圍Fig.1 Location and scope of the data obtained in the experiment

相機載荷有2種，分別為球載可見-紅外雙通道視頻相機與球載大幅寬可見光相機，如圖2所示。球載可見-紅外雙通道視頻相機圖像分辨率為1 920 pixel×1 080 pixel，最大地面分辨率為0.02 m@1 km，具有30倍變焦能力，獲取視頻的最大幀率為25幀/秒，共獲取視頻圖像30 610幀，圖3為拍攝的一幅包含羊群的影像。球載大幅寬可見光相機圖像分辨率為11 664 pixel×8 750 pixel，地面分辨率為0.04 m@1 km，共獲取圖像5 715幅，圖4為拍攝的一幅包含羊群的影像。獲取的圖像對應成像載荷傾斜角0°～85°不等(以垂直下視為0°)，目標距成像載荷距離300～2 000 m不等。

(a) 球載可見-紅外雙通道 視頻相機

圖3 球載可見-紅外雙通道視頻相機拍攝的牲畜影像 (傾斜角60.9°，距離約540 m)Fig.3 Livestock image taken by the visible-infrared dual channel video camera (tilt angle:60.9°, distance:about 540 m)

2.2 算法流程

本文提出的基于異常檢測與模糊均值聚類的球載可見光影像牲畜數量核算方法流程如圖5所示。

圖5 本文算法流程Fig.5 Flow chart of the proposed algorithm

首先對輸入的球載相機獲取的影像進行預處理，由于球載平臺在成像過程中存在平臺抖動、對焦不準等因素造成圖像質量的下降，影響牲畜目標提取，因此采用對比度拉伸、去噪、銳化等方法對圖像進行預處理，提升圖像質量，便于目標提取與數量統計。然后通過異常檢測算法對譜段擴展后的數據進行目標提取，將目標與背景進行區分，并使用形態學操作對圖像進行修正，對目標形狀進行一定程度的恢復。對于處理得到的二值目標圖像，統計每個連通區域的位置和面積大小，設置單個目標的面積范圍，對于目標區域面積在該范圍內的視為孤立目標，提取每個質心位置，計算孤立目標面積均值，統計目標數量；對于粘連區域，根據區域面積初步估計目標數量，通過模糊均值聚類算法提取每個目標的位置，統計目標數量，最終得到影像中的牲畜數量核算值。

2.3 基于譜段擴展的RX異常檢測算法效果對比

RX異常檢測算法探測的是基于光譜維度上的統計異常信息，具有效率高、不需要先驗信息的優點。對于高空間分辨率的3波段彩色影像，光譜維度信息不足，使用RX算法的效果不佳，本文采用波段擴展的方式通過犧牲部分空間分辨率的方式增加譜段信息。對于地物，一般空間相鄰像元的光譜信息具有高度相關性，這是應用該方法的理論基礎。為說明該方法的有效性，補充了對比實驗圖，對于同一幅牲畜目標影響，直接使用RX異常檢測方法與使用改進后的RX異常檢測算法得到的效果如圖6所示。

(a) 羊群圖像

由圖6可以看出，直接對原始3波段影像使用RX異常檢測方法會提取出大量偽目標，而改進后的方法提取效果有明顯改善。

2.4 實驗結果分析

基于球載觀測試驗中獲取的包含牛羊群的光學影像，對本文提出的自動牲畜數量核算方法進行測試驗證，將算法自動提取的結果與人工識別結果進行對比，計算提取精度：

(10)

由于牲畜群影像分辨率較低，存在明顯的遮擋和粘連現象，人工提取數量也存在一定的不確定性，采用多人獨立提取結果取平均的方式作為人工識別結果。球載可見-紅外雙通道視頻相機拍攝的一景牲畜影像提取結果如圖7所示，圖7中為聚集度較低的羊群目標，人工核算數量為199只，算法提取的數量為187只，數量核算精度94.0%。

(a) 羊群影像

球載大幅寬可見光相機拍攝的一景牲畜影像提取結果如圖8所示，圖8中為聚集度較高的羊群目標，人工核算數量為240只，算法提取的數量為217只，數量核算精度90.4%。由于該影像中羊群目標清晰度較低，粘連程度較高，核算精度較上一景影像有所下降。

(a) 羊群影像

對試驗區域周邊約3 km2范圍內獲取的球載2型相機影像中的牛羊目標進行數量核算，將算法提取結果與人工結果進行比對。為進一步說明本文算法的有效性，同時采用基于機載影像樣本構建的深度學習算法進行牛羊目標檢測并進行數量核算，對比數量核算精度[19]。該模型為利用無人機下視拍攝數據構建的草原牛羊檢測模型(http:∥218.202.104.82:5806/vid)，模型框架為Mask RCNN，訓練樣本為13 803 張影像塊中的4 229 頭牛、10 174 只羊目標。基于深度學習算法對羊群和牛群目標的檢測結果如圖9所示。

(a) 羊群影像

由圖9可以看出，基于個體檢測的深度學習算法，對于像素面積較大的牛檢測識別率高，而對于較小的羊檢測識別率低。

表1是采用本文算法以及深度學習算法得到的牛羊數量核算結果，所有影像中共計有羊1 376只，牛273頭；本文算法核算出羊1 245只，牛289頭，核算精度分別為90.5%，94.1%，總計核算精度93.0%；作為對比，深度學習算法對羊和牛的核算精度分別為71.5%，89.7%，總計核算精度77.9%。2種算法對于牛群的數量核算精度高于羊群，是因為牛群個體目標更大，且目標更為分散，有利于檢測識別。本文算法核算精度較深度學習算法有顯著優勢，特別是對于體型更小、聚集度更高的羊群目標，核算精度提升更為明顯。

表1 本文算法與深度學習算法對牛羊核算精度對比

隨著觀測角度的增大，目標距離更遠，目標在圖像中的分辨率降低，且目標的遮擋粘連現象更為顯著，對數量核算精度產生影響。為分析本文算法對不同觀測角度下牲畜目標核算的適應性，選取不同觀測角度下的羊群目標影像，采用本文算法與深度學習算法分別進行目標檢測與數量核算，結果如表2所示。

表2 不同觀測角度下本文算法與深度學習算法對羊群核算精度對比

對于60.9°，71.3°，83.9°三種觀測角度，本文算法對羊群目標數量核算精度分別為94.9%，90.9%，90.4%，深度學習算法的數量核算精度分別為83.7%，76.5%，62.9%。可以看出，隨著觀測角度的增大，深度學習算法的數量核算精度出現了較為明顯的下降，而本文算法精度下降較小，對于不同觀測角度顯示出較好的適應性。

相比于其他深度學習算法，本文方法的優越性主要體現在：① 深度學習方法需要大量的樣本庫支持，且對樣本的質量和屬性有較高要求，使用條件較為嚴格，如實驗中基于無人機下視拍攝數據構建的模型在傾斜角度下的球載影像中的效果不佳，本文算法不依賴于訓練樣本，具有較好的環境適應性；② 對于密集型目標的檢測，深度學習方法精度不高，文獻[10]中也進行了討論，本文算法更側重于目標密集粘連時的處理，在密集目標數量核算精度上具有更顯著的優勢。

3 結束語

本文面向草原牲畜數量核算需求，針對球載成像載荷獲取的牲畜影像分辨率不足及成像環境干擾導致的目標模糊與粘連效應對牲畜檢測與數量核算的問題，提出了一種基于異常檢測與模糊均值聚類的球載可見光影像牲畜數量核算方法。基于2種球載光學相機載荷獲取的牲畜影像中對1 376只羊與273頭牛的數量核算試驗結果表明，本文方法對羊和牛的數量核算精度分別為90.5%，94.1%，總計核算精度93.0%，比目前主流的深度學習目標檢測算法的核算精度(77.9%)有明顯提升；同時對不同觀測角度下的牲畜數量核算表明，深度學習算法在大觀測角度下出現了明顯下降，本文算法在較大觀測角(83.9°)下仍表現出較高的核算精度(90.4%)。因此，本文提出的基于異常檢測與模糊均值聚類的牲畜數量核算方法對不同大傾角觀測下的球載可見光影像具有良好的適應性，適用于球載平臺的牲畜數量核算，對草原牲畜數量核算與草地載畜量估計應用具有重要價值。本文算法側重于目標數量的核算，在計算時已經事先人工將牛群和羊群的影像進行了分類篩選，故未在算法中進行物種的自動區分。下一步工作將考慮利用檢測出目標的光譜、紋理及空間分布等特性在檢測目標的同時進行快速物種識別。此外，針對分辨率更低(亞米級)的光學衛星影像，研究本算法模型的可傳遞性，實現星空一體化草原牲畜的目標檢測與數量核算，在草牧業應用上發揮更大的作用。