基于Labelme 的遙感圖像地塊分割與提取

（西華大學 電氣與電子信息學院，四川 成都 610039）

1 問題重述

1.1 問題背景

耕地的數量和質量是保持農業可持續發展的關鍵，利用衛星遙感影像可以識別并提取耕地，并對耕地進行遙感制圖，準確的耕地分布能夠為國家決策部門提供重要支撐。目前高精度的耕地信息提取主要還是依靠人工解譯，耗費大量人力、財力且效率較低，因此，遙感圖像的耕地識別算法、研究將對耕地遙感制圖提供重要幫助。[1]

1.2 問題提出

1.2.1 問題一：耕地比例

計算十幅給出的耕地圖在各圖像中所占比例，并將得出數字，填寫到給出的表格（表1）。

1.2.2 問題二：制作耕地標簽圖

從給定的兩幅測試圖像(Test1.tif、Test2.tif)中提取出耕地，制作耕地標簽圖，并將標簽圖分別上傳到競賽平臺中。

1.2.3 問題三：快速、精準識別田塊

我國土地遼闊，地貌復雜，希望團隊尋找新的思路和模型，能夠快速、精準的識別出田塊。

2 問題一

2.1 工具介紹

我們通過Python 語言的：PIL、NumPy 等第三方庫完成了這個問題一的模型建立與求解。

PIL 是Python 的第三方圖像處理庫，這個庫的功能非常的強大，我們不僅能夠拿它來畫圖，PIL 還可以使圖像的對比度自動增強。

NumPy（Numerical Python）是Python 中科學計算的基礎包。NumPy 可以處理Python 里的數組和列，針對Python的各種數據進行數據分析，這樣的能力使其廣受眾多Python編程者的喜愛。

2.2 模型建立

首先運用PIL 中的核心類--Image 類，賽題圖像數據初始化。然后利用NumPy 庫的轉換矩陣功能，先將RGB 圖片轉為灰度圖片，再利用Numpy 庫的Where 函數功能的廣播機制統計圖像像素個數。

我們團隊通過將圖像的所有像素點的參數計算得到，然后再將黑與白兩種圖像的像素個數計算得到。然后通過白色（值為1）代表耕地的像素點與總像素點之比，得到耕地所占面積結果。

2.3 問題結論

表1 耕地在各圖像中所占比例

3 問題二

3.1 工具介紹

問題二是需要我們從給定的兩幅測試圖像(Test1.tif、Test2.tif)中取出耕地，制作對應的耕地標簽圖，并將標簽圖分別上傳到競賽平臺中。為此我們選擇了Python 中的Pyqt5和深度學習圖像標注工具Labelme 進行對耕地打上標簽的工作，其中關于Python、Labelme 和Pyqt5 的介紹如下：

Python：Python 由荷蘭數學和計算機科學研究學會的Guido van Rossum 于1990 年代初設計，作為一門叫做ABC語言的替代品。Python 提供了高效的高級數據結構，還能簡單有效地面向對象編程。Python 語法和動態類型，以及解釋型語言的本質，使它成為多數平臺上寫腳本和快速開發應用的編程語言，隨著版本的不斷更新和語言新功能的添加，逐漸被用于獨立的、大型項目的開發。

圖1 問題一模型流程圖

圖2 問題二流程圖

圖3 標注后的Test1

Labelme：LabelMe 是一個用于在線圖像標注的標注工具。我們可以使用該工具對圖像進行自己的規劃和標注，使得標注這件原本十分枯燥的事情變的十分的簡單。此外，它也可以幫助我們標注圖像，使得原本需要人工標注的東西變得十分簡單，節約了大量的人力物力。

Pyqt5：Pyqt5 是基于Digia 公司強大的圖形程式框架Qt5 的Python 接口，由一組Python 模塊構成。Pyqt5 本身擁有超過620 個類和6000 函數及方法。在可以運行于多個平臺，包括：Unix、Windows、MacOS。

3.2 模型建立

假設圖像中的耕地圖像都是準確的，其中的耕地面積無變化，假設通過模型得到的標注圖像準確，問題二的流程圖如上圖2 所示。

3.3 模型求解

我們想要通過標注工具Labelme 進行對耕地打上標簽，我們需要先將相關的軟件準備好，這里使用的是Python3.8，并且調用Anaconda prompt 對相對應的Labelme 與Pyq5 進行安裝，注意這里安裝的Labelme 版本為3.16.7，必須需要安裝對應的labelme 版本才可以。在Anaconda 安裝好了過后，需要在終端運行一下Labelme 接著就會出現的畫面[2]。

圖4 標注后的Test2

圖5 Test1 的標簽圖

接著我們打開上方的Open 選擇我們需要的圖片，并且對其進行標注，標注的方法為標點，將點連為線便可以得到一塊被標注后的圖形，再對這個圖形打上標簽，并且為這個標簽命名，例如本次命名為耕地那么圖片就算是標注好了。

接著將其保存，保存后再打開一個終端，也就是Anac onda prompt。首先利用cd 將路徑轉到你的圖片文件所對應的地方，接著在終端繼續輸入命令行：labelme_json_to_dataset<文件名>.json，接著就可以在相應的文件夾中找到標注好后對應的圖片。

但是在這里的Labelme 中的標注顏色為黑紅具體標注效果如下所述。所以我們需要改變其標注顏色，這里需要改一個文件，Labelme 是通過Anaconda 虛擬環境運行的，那么我們在修改Labelme 時，自然就要找到Labelme 所在的目錄，修改labelme 特定的文件才行。如下圖所示，在Anaconda 環境下的Lib/site-packages/目錄下可以找到該環境安裝的包。找到Labelme 后，進入Labelme 的Utils 目錄則可以找到配置文件Draw.py 進行修改。

將其改寫后再次運行labelme 就可以得到黑白的效果，接下來我們就可以看看改寫后得到的圖像。其中圖像3 和圖像4 分別為標注前后的Test1，Test2。

圖6 Test2 的標簽圖

圖7 模型流程圖

3.4 問題結論

最后通過Labelme 的一系列的操作得到了標簽圖如上圖5、圖6 所示。

4 問題三

4.1 模型建立

我們團隊在利用傳統分割方法和機器視覺進行田塊分割時，會造成邊緣出現許多非田塊的小塊區域，因而導致我們計算的數據和分割、識別的田塊有難以忽視的誤差。

我們考慮到，在一定氣候和區域內的田塊，所種植的植物的類型都會是相同的。這樣的特點既滿足種植者培育農作物的方便，也會帶來農作物收割的便利。

而我們的衛星遙感圖像技術，可以根據大面積農作物種植的分布特點，在對農田信息進行提取時，采用面向對象的圖像處理方法，對于田塊的農作物如大豆、玉米、大米等，能有效地利用不同農作物具有的圖像的光譜特征、結構信息和幾何信息，來進行對于田塊進行識別，能更準確地統計田塊面積。[3]

我們關于問題三的模型流程圖如上圖7 所示：

首先我們采用資料中查閱到的亮度均衡的圖像分割方法，去處理地物的光譜特征；再將亮度均衡和邊緣檢測算法的區域分割法有效地結合，可得到封閉的區域邊界，依據田塊邊緣和種植區域特征結合的不同，我們可以將圖像特征和光譜特性結合的分割方法和邊緣檢測的后處理方法一同結合，完成類矩形引導的圖像分割與識別，對田塊的分割與識別形成了閉合且有效的區域；最后將算法的分割結果與人工解釋的分析結果進行對比，得出結論。

4.2 模型求解

4.2.1 農作物圖像、光譜特征提取

圖8 植被反射曲線圖

圖9 冠層反射示意圖

從農作物植被角度來看，植被遙感特征主要基于植被與光（輻射）的相互作用，而我們已知植被冠層的形狀大小和空間結構是比較復雜的，不同種類的植被冠層的葉片大小，形狀和密度均不相同。因此在植被遙感中，很多時候我們會對植被的葉片、冠層做一些簡化，如將葉片簡化成某種簡單幾何形狀，將冠層分層處理，甚至將單獨一株樹木看作某個簡單幾何體。

從遙感原理角度來看，在可見光-近紅外區域內，近紅外波段對于植被遙感有重要作用，因葉片內部的結構影響，植被在近紅外區域的反射極為明顯。[4]植被的發射特征主要表現在熱紅外波段和微波波段，植被的理化反應和結構會對其發射能量造成影響。植被自身反射率曲線如上圖8所示。

大多數農作物植被冠層的多次反射（如上圖9）會對能量進行一定的散射透射，使得我們難以描述這種反射能量。

自然界中的許多自然地表的反射有一定的規律，這些地表面對太陽入射的反射具有方向性，這種方向性隨著太陽入射角和觀測角度的變化而有明顯的差異，類似于鏡面反射。

植被冠層反射示意圖如圖9 所示：

在不同波段的光譜信息受葉內不同結構（如葉綠素、細胞結構）和葉片狀態（如含水量）等條件控制。因此，對于復雜的植被遙感，我們常常利用多光譜遙感數據紀念館過一定的分析運算（加減乘除等線性或非線性組合方式）產生某些對植被長勢、生物量等具有一定指示意義的數值，即植被指數。

圖10 全色圖像

圖11 邊界提取效果圖

圖12 計算映像關系示意圖

下圖可見，健康植被的光譜曲線近似于數學中的根號，而干土的曲線則接近于一條傾斜線，不健康植被的曲線逐漸接近于干土。圖像和光譜特征包括4 個多光譜波段:藍(0.45～0.52μm)、綠(0.52～0.59μm)、紅(0.63～0.69μm)和近紅外(0.77～0.89μm)波段，分辨率均為8m；1 個全色波段(0.45～0.90μm)。我們假設模型運用地點的地勢較為平整，對研究類似玉米與水稻的農作物特征曲線查到了光譜曲線。

4.2.2 特定田塊邊緣區域特征提取

我們選擇了一些網絡上的資源資料，試著用我們獲取的處理模型和方法去獲得區域特征提取數據，下圖就是我們選擇的一處田塊覆蓋區域的圖像數據。

該地區是我們選取的氣候較為適宜，圖像也較為工整，整個地區都比較適合用于我們本次模型的使用，并且我們對其也已經進行了一些處理。

圖10 就是通過GS 算法處理過后的全色圖像：

在基于圖的分割算法中，利用提取的邊界區域構建無向圖，采用本文的類矩形引導分割規則進行分割處理。如下圖邊界提取效果圖所示，檢測出的邊緣線細膩而光滑，有較好的連續性，有效地體現了玉米田地塊的邊緣特征，且定位精度較高效果很好。

分割提取的結果圖中可以看出，加入類矩形閾值函數的本文分割方法在有效區分不同地物的同時，減少了地塊邊緣的小塊區域，凸顯了特定田塊的類矩形的形狀特點。符合我們一開始預期結合的效果。

4.2.3 亮度均衡算法

我們所使用的亮度均衡算法，針對大小為的灰度圖像G，對于任意位置所對應像素灰度值大小為(指圖像灰度級總數)，不同灰度級出現概率可表示為：

統計原始圖像各灰度級的像素頻數并計算各灰度級的像素頻率以得到灰度級累計直方圖；之后取整計算并確定映像關系進行灰度變換作出新的直方圖。

為了檢驗類矩形引導的分割結果與實際農作物特征的符合情況，一般都會將算法與人工解譯的目標區域樣本進行比較。人工解譯樣本是由專業人員結合影像目視解譯與光譜特征分析獲取的。

4.3 問題結論

我們結合資料提出的類矩形引導的田塊分割方法，在對目標有效分割的同時，結合了田塊形狀特征和農作物的外形光譜特征，減少了邊緣小塊區域對田塊面積統計的影響。通過類矩形的引導，增強了特定形狀的分割，對含有大量類矩形地塊的大面積植被田遙感圖像有很好的分割效果。并且也與人工解釋的數據對比，發現效果符合預期，為我國耕地面積計提供了有效幫助的方法。