基于先驗知識的單幅圖像天空檢測算法

孟祥環，羅素云

（上海工程技術大學機械與汽車工程學院，上海 201620）

0 引言

地面機器人自主導航系統中最重要的問題是對周圍環境的感知與理解［1］。圖像中的天空區域為地面機器人提供了水平和背景信息，對于基于視覺的地面機器人導航具有重要意義。自主地面機器人中最常用的傳感器大致可分為兩類：主動式傳感器和被動式傳感器。主動式傳感器，如雷達、激光雷達和聲納等都已得到了大規模應用［1-2］。隨著電子技術的發展，攝像機等無源傳感器具有更小的體積、更低的價格及功耗，并且可以提供豐富的環境信息［3］，目前攝像機等視覺傳感器在自主地面機器人中也已實現普及［4-5］。天空區域是室外圖像的重要組成部分，對于室外機器人導航系統而言，對天空區域的檢測是非常必要的［6-9］，利用檢測到的天空區域可以在圖像中估計出地平線。由斯坦福大學開發的一種天空區域檢測算法，不僅可以改善道路檢測結果，還可以粗略估計機器人傾斜角度，搭載該算法的斯坦利無人駕駛車輛榮獲2005 年DARPA 挑戰賽冠軍。

Shen 等［10］對天空部分進行了研究，提出地面區域平均亮度比天空平均亮度暗，天空區域在圖像上側、地面區域在圖像下側，且天空區域比較平滑的假設。在此前提下對圖像的像素進行遍歷，通過不斷調整梯度閾值得到不同邊界，然后通過計算所有邊界的能量函數得到最優邊界，并進行優化，最終得到了天空區域。

目前天空識別方法主要分為基于閾值的分割方法、基于區域的分割方法和基于邊緣的分割方法［11-12］：

（1）基于閾值的分割方法。基本思想是根據圖像灰度直方圖的像素分布設定閾值，通過合理的閾值設置分割圖像中的物體和背景。該類算法在物體和背景灰度差異明顯的情況下分割結果準確，但對噪聲比較敏感，使用場景較為受限。

（2）基于區域的分割方法［13］。該方法通過使用區域生長和合并分裂兩類算法進行天空識別，將區域像素的一致性作為分割依據，滿足區域一致性的像素被認為是同一區域。該算法克服了閾值分割方法未考慮像素空間特征的缺點，但是計算成本太高。

（3）基于邊緣的分割方法。該方法考慮到圖像中景物邊界處灰度值變化較大的特點，利用Robert 算子、Canny 算子與Sobel 算子提取圖像梯度信息，通過設置閾值判斷區域是否屬于天空。但由于使用的邊緣檢測算子對噪聲比較敏感，識別出的結果常常包含大量噪聲。此外，對于一些濃霧場景和遠景物體，由于灰度圖不清晰，導致邊緣檢測結果不完整。

通過本文提出的天空區域檢測算法，可以準確識別圖像中的天空區域。相比傳統算法，本文通過分析天空區域的像素點特點，將天空先驗與像素偏轉模型相結合，不僅降低了計算量，而且能夠得到更加精確的天空邊緣，但也存在對一些非天空區域的白色物體錯誤識別的現象。

1 像素偏轉模型

計算機儲存圖像時以像素為基本單位，為了更好地描述BRG 三通道圖像像素灰度值特點，本文提出了像素偏轉模型（見圖1）。通過像素偏轉角可以簡單、快速地找到亮度值差異較大的像素點，這些像素點多代表天空、雪、河流等白色場景物體。

Fig.1 Pixel deflection model圖1 像素偏轉模型

BRG 三通道圖像單個通道的最大灰度值為255，圖1 將3 個通道的灰度值放在三維坐標系中表示，即x軸正方向代表B通道的像素值，y軸正方向代表G通道的像素值，z軸正方向代表R通道的像素值，則像素點三維坐標可表示為b(xb,0,0),g(0,yg,0),r(0,0,zr)。

3 個通道的最大灰度值點在三維空間構成了一個三角形，該三角形所在平面的法向量為=(1,1,1)，定義該向量為三通道像素平面的標準法向量，所有其它像素點構成的三角形都應該在空間體o-bgr 內部，其構成的平面法向量為=(yg xb,zr xb,zr yg)。

該三角形所在平面法向量為N，此向量即為三通道像素平面的標準法向量，所有其它像素點構成的三角形都應該在空間體o 內部，其構成的平面法向量為M。

設空間中有三點的坐標為：p1(x1,y1,z1)、p2(x2,y2,z2)、p3(x3,y3,z3)，則該平面內有向量=(x2-x1,y2-y1,z2-z1)=(x3-x1,y3-y1,z3-z1)。平面的法向量為：

將點b、g、r代入平面的法向量方程，得到像素平面的法向量為：

像素平面法向量與標準像素法向量的夾角為：

式中，θ 為像素偏轉角，atan2 為反正切函數。像素偏轉角可以反映某一像素在3 個通道的分布規律。當像素偏轉角較大時，3 個通道的像素值偏差較大。當像素偏轉角較小且接近于0 時，說明該像素點3 個通道的灰度值十分接近。

2 天空先驗理論

天空先驗理論是基于對大量無霧圖像統計后得到的結果。本文制作了一個包含3 231 幅天空區域的圖片樣本集，其中包含自然景觀、城市景觀等多種類型圖片。為了清晰、直觀地表現天空區域具有的統計特征，本文將樣本集中的圖片人工切割成天空和非天空部分，各得到3 231幅圖片，并用圖表統計了像素點概率分布情況。其中，圖2、圖3 統計的是圖像中非天空區域的像素特征。通過圖2非天空區域像素偏轉角分布直方圖可以發現，在圖像中的非天空區域部分，像素偏轉角數值分布范圍較廣，在5～55之間均有分布，5～20 區間像素偏轉角的占比遠小于區間20～54，絕大部分分布在20～54 區間。結合圖3 非天空區域像素最小灰度值分布直方圖可以看出，在非天空區域，像素點灰度的最小值主要分布在0～120 區間，并集中分布在0～50 區間；圖4、圖5 統計的是圖像中天空區域的像素點特點。通過圖4 天空區域像素偏轉角分布直方圖可以發現，在圖像中的天空區域部分，像素偏轉角數值分布范圍較窄，集中分布在0～20 區間。從圖5 天空區域像素最小灰度值分布直方圖可以看出，天空區域像素點灰度最小值主要分布在105～255 區間，其中集中分布在180～230 區間。

王維是盛唐時期的山水田園派詩人，也是一個做過官、會作畫的全能“佛系”大師。因為他的詩句非常富有禪意，所以后世也叫他“詩佛”。從他早期渾厚氣派的《漢江臨眺》《使至塞上》，到后期恬靜閑適的《辛夷塢》《鳥鳴澗》，我們會感到他在人生不同階段的經歷對藝術創作的影響。王維的另一個重要身份便是畫家，被稱為“南宗畫之祖”。無論寫詩還是作畫，王維都有著自己一以貫之的“佛系審美”：用簡單的語句和筆墨，去構造悠遠、遼闊的世界。

Fig.2 Histogram of pixel deflection angle distribution in non-sky region圖2 非天空區域像素偏轉角分布直方圖

Fig.3 Histogram of the distribution of the minimum gray value of pixels in the non-sky region圖3 非天空區域像素最小灰度值分布直方圖

Fig.4 Histogram of pixel deflection angle distribution in sky region圖4 天空區域像素偏轉角分布直方圖

Fig.5 Histogram of the distribution of the minimum gray value of pixels in the sky region圖5 天空區域像素最小灰度值分布直方圖

通過圖像天空區域與非天空區域像素特點的對比可以發現，天空區域相比非天空區域，像素的偏離程度較低，最小灰度值較大。低像素偏轉角和高像素灰度最小值將作為本文分割天空的基本依據，可總結公式如下：

其中，θ(x)為x像素點的像素偏轉角，S為天空區域像素偏轉角的最大值，Vmin為天空區域像素點灰度最小值，V(x)為x像素點處的灰度值。

3 基于先驗知識的天空區域識別

3.1 數據集制作

為了更好地驗證本文算法的可行性，使用合適的基準數據集評估天空區域的分割精度，本文制作了自己的數據集。該數據集由3 個子部分組成（數據集里的圖片來源于Corel1k 數據集、SVT 谷歌數據集、CityStreet 城市街景數據集與實景拍攝）。數據集每個子部分詳細信息如下：

（1）原始數據集。MSRC 圖像集來自微軟研究院，其中包含一個Sky 類。考慮到本文算法的使用場景，本文刪除了包含室內場景、特定交通標志和非常大面積水體的圖像。在此基礎上，增加了Corel1k 數據集中的部分圖片，并結合實景拍照，制作了一個包含3 231 個圖像的數據集。它們都是分辨率為320×213 的彩色圖像。

（2）天空數據集。本文在原始數據集基礎上，通過手動分割得到了一個只包含天空區域的數據集，數據集中有1 000 張圖片，可用來分析天空區域像素灰度值的特點。

（3）非天空數據集。本文在原始數據集基礎上，通過手動分割得到了一個不包含天空區域的數據集，數據集中有1 500張圖片，可用來分析非天空區域像素灰度值的特點。

3.2 算法對比

本文算法代碼是在ubuntu 系統上利用C++語言實現的，將本文算法與文獻［7］中提出的算法進行比較。選擇該算法作為本文的對比算法，是因為其在一次主流會議上發表，并具有較好的識別結果，且該算法所需參數是通過最大化測試數據集的性能進行設置的。

式中，p為天空檢測偏差，sky檢測為算法檢測到的天空區域像素點數量，sky圖像為檢測圖片中實際天空部分的像素點數量。

該公式將檢測到的天空部分像素點與標準圖像天空部分像素點進行除法運算，得到檢測精度，但該公式的檢測結果可能超過100%，這是因為檢測出的天空區域面積可能大于標準圖像的天空面積，因此本文對式（6）進行了修改。首先，對算法檢測到的天空區域與標準圖像的天空區域兩部分面積作差（這里將區域中的像素數量等效為區域面積），然后，對上一步結果取絕對值（定義為天空檢測偏差）。通過表1 可看出式（6）中分子與分母的數量級差別很大，天空檢測偏差的數值將會很小，不利于進行定量對比分析。

Table 1 Algorithm test results表1 算法測試結果

于是本文引入了指數函數，從而將天空檢測偏差集中在較小范圍內。天空區域精度公式如式（7）所示。

算法識別結果如圖6 所示。結合表1 和圖6，可看到本文算法表現良好，6 張圖片的識別精度均達到96%以上。橫向對比每張圖片的天空識別效果，本文算法均明顯優于文獻［7］的算法。

Fig.6 Algorithm recognition results圖6 算法識別結果

在圖片1 中，原圖中的天空部分顏色比較單一，兩種算法識別效果均較好，但是文獻［7］的算法對圖片中左側路燈區域的天空并未識別成功。而本文算法不僅對天空部分識別比較精細，在天空的整體觀感上也明顯好于文獻［7］的算法。其他圖片中天空部分的云層比較復雜，但沒有對兩種算法的天空識別造成太大干擾，證明了算法的有效性。在圖6 的所有圖片中，本文算法都能可靠地檢測到天空區域。在圖片2-圖片4 中，由于建筑物和樹木的影響，天空區域邊界十分復雜，文獻［7］的算法在這些區域存在較大的檢測誤差，而本文算法在這些天空邊界復雜的區域可以準確地檢測出天空。通過表1 可看出本文算法對圖片2-圖片4 的識別精度明顯高于文獻［7］的算法。在圖片6中，圖片右下角的天空區域與地面的邊界不明顯，而且天空區域的亮度跨度相當大。這些困難對本文算法的檢測結果沒有任何影響，但對文獻［7］的算法造成了較大影響。

另一方面，本文算法也有不足之處，本文算法依賴于對每個像素的數值進行分析，所以圖片中的明亮區域很容易被誤分類為天空區域。如在圖片1 中，右側窗戶上方白色墻壁附近的明亮區域被錯誤分類為天空區域；在圖片1-圖片3 中，可看到部分道路車道線被誤檢測為天空；在圖片4 和圖片5 中，汽車白色車頂的一部分被誤分類為天空區域。

3.3 參數選擇

以下將討論如何選擇本文算法中的參數：天空區域像素偏轉角的最大值S，以及天空區域像素點灰度的最小值Vmin。S 和Vmin的物理意義非常清楚，本文在保證其中一個變量不變的前提下，通過改變另一變量的值研究識別結果的變化。

為此，本文收集了不同于第3.1 節所述數據集的額外圖片進行測試，該圖片均為索尼XZP 相機（IMX400，底=1/2.3，像素1 900W，單位像素1.22，G 鏡頭，光圈2.0）拍攝的彩色圖片，且裁剪為640×480 像素大小。

從圖7（彩圖掃OSID 碼可見）中可以得出結論，當S=25,Vmin=180 時可以得到令人滿意的結果，天空檢測精度能夠達到98%。保持S=20，觀察Vmin的變化可以發現，天空檢測精度隨著Vmin的增大逐漸提高，當Vmin=180 時達到最高，然后逐漸降低；保持Vmin=180，觀察S的變化，天空檢測精度首先逐漸提高，直到S=20 后開始減小。在天空先驗中發現天空區域像素偏轉角集中在0～20 之間，天空像素最小值集中在105～255 之間。通過圖7 的實驗結果發現，實驗結果基本與本文提出的天空先驗理論吻合。

4 結語

本文提出一種基于先驗知識的單幅圖像天空檢測算法，該算法主要利用天空先驗知識和像素偏轉模型對天空像素進行識別，并提出一種可以定量分析天空檢測實驗結果的標準。與現有算法相比，該算法具有較強的魯棒性，不僅能夠識別邊界清楚的天空區域，而且對于邊界復雜的天空區域也有較好的識別效果。算法識別結果也證明了天空先驗和像素偏轉模型的正確性，但是依靠單一的天空特征對圖片進行識別，算法的適用性很難滿足要求，導致模型和算法的應用范圍受到很大限制。因此，將像素偏轉角和其它天空像素特征作為神經網絡的學習特征進行訓練，利用多種特征綜合識別天空將彌補單一特征帶來的算法適用性差的問題，將是下一步的研究方向。

Fig.7 Relationship of sky area detection accuracy with Vminand S圖7 天空區域檢測精度與Vmin和S 的關系