多云天氣天空偏振定向方法

張 然，蔡 弘，關 樂，萬振華，陳永臺，樊元義，褚金奎*

（1. 大連理工大學 機械工程學院，遼寧 大連 116023；2. 大連大學 機械工程學院，遼寧 大連 116622）

1 引 言

晴朗天空的偏振模式一般遵循瑞利散射模型。Ramón Hegedüs 發現在部分有云、多霧、煙塵的天氣下天空偏振方位角與晴朗天氣下也具有類似的分布規律［1］。天空光屬于部分偏振光，天空偏振光場的偏振度和偏振電矢量隨著太陽位置的變化發生穩定的變化，昆蟲正是利用天空偏振光的穩定分布，結合自身復眼的偏振敏感視覺實現了路徑導航和定位。

天空偏振導航系統可以分為點源式和圖像式。本課題組早期使用點源式導航系統，基于天空任意兩點偏振方向矢量叉乘來獲取航向角，在晴朗天氣下獲取航向角可以達到±0.2°［2-5］。由于點源式導航系統局限于測量天空幾個點的電矢量，天空中的云層會干擾測量。通過圖像式導航系統采集天空圖像可以獲得更多的天空點的電矢量［6-7］。王玉杰等使用分通道式圖像導航系統基于上述方法在晴朗天氣下的最大定向誤差可以達到0.5°［8］，但各相機采集的天空圖像不是同一區域，配準存在誤差。分焦面式導航系統解決了點源式導航系統和分通道式圖像導航系統存在的問題。在CMOS 圖像傳感器上集成4 個通道的焦平面，可以在同一時刻采集同一片區域的3 個或4 個角度的天空強度圖，從而獲取天空偏振場圖［9］。

利用天空偏振場圖獲取航向角的算法一般分為兩種：一種是基于瑞利散射理論的天空點的偏振方向矢量垂直于太陽方向矢量獲取太陽方向與載體體軸的夾角；另一種是識別太陽子午線，確定該線與載體體軸的夾角，然后通過查閱萬年歷獲取航向角。

根據第一種方法，張慧霞等設計了一款偏振光實時定位點源式導航系統，利用多方向的E矢量叉乘求解載體坐標系下太陽方位角［4］。王玉杰等基于支持向量機的分類器檢測天空區域，并利用隨機一致性方法和天空觀測點的偏振方向矢量垂直于太陽方向矢量理論獲取太陽方向與載體體軸的夾角，在被建筑物以及大量樹木遮擋的晴天下能夠提供準確的航向角，均方根誤差為1.58°［10］；隨后，胡小平等又提出了基于偏振度梯度消除圖像中的障礙物，設置閾值選取天空區域并基于E矢量叉乘求解載體坐標系下太陽的方位角［11］。

在晴朗天氣下偏振方位角圖中太陽子午線的對稱性非常顯著，人們開發了通過識別太陽子午線確定航向角的偏振導航方法。LU 等提出基于霍夫線變換的太陽子午線提取方法，精度達到0.313°［12］。ZHANG 等基于太陽子午線的對稱性使擬合的多條軸線兩側的偏振方位角分別相減，根據生成圖像中灰度的變化選取合適的對稱軸作為太陽子午線［13］。TANG 等提出了一種基于脈沖耦合神經網絡對偏振度圖濾波的方法，只保留對應的偏振方位角圖中的有效區域，并通過最小二乘法擬合太陽子午線。該方法在有少云、樹、建 筑 物 遮 擋 時 的 航 向 角 誤 差 小 于1°［14］。WANG 等提出了一種基于人工神經網絡（POLANN）計算太陽方向的模型，效率較高，但由于大量數據集由仿真圖片組成，在實際應用中不具有魯棒性［15］；此外，LIU 等還根據偏振方位角圖中∞特征，提出了一種改進的和聲搜索算法確定太陽位置［16］。ZHAO 等基于太陽子午線的對稱性，提出了一種與國防科技大學相似的算法，在其基礎上細分提高了精度［17］。LIANG 等利用支持向量機算法將太陽子午線兩邊二分類并擬合太陽子午線［9］。本課題組提出一種基于極坐標變換的方法，利用偏振方位角圖中偏振信息計算出太陽子午線的相對旋轉角度［18］，根據方位角梯度幅值和二項積分擬合太陽子午線，在視野中樹枝和建筑物遮擋超過80% 時該測量方法依然有效［19］。

上述方法多是在晴朗天氣下才有較高的精度，個別算法在多云天氣下可以識別出太陽子午線。當天空中有較厚的云層時，瑞利散射模型失效，需要用Mie 散射理論來描述［20］。云層中大量的水滴或冰晶粒子對太陽光的多次散射和吸收造成該區域的偏振度降低，且偏振方位角出現異常［21］。此時，若對較多云層遮擋的目標空域偏振方位角異常像素直接擬合來提取太陽子午線特征，得到的是錯誤的載體坐標系下太陽方位角的基準信息。為了更準確地獲得太陽方向，必須去除云層影響空域產生的異常偏振方位角，再結合瑞利散射理論進行太陽方向矢量的提取。

云主要分為積云、層云和卷云等類型，通過傳統的閾值分割圖像處理方法很難將白云與藍天精確地分割，而利用卷積神經網絡模型進行地基云圖分割則具有很高的精度［22］。Soumyabrata等提出了CloudSegNet 輕量級神經網絡模型，并在公共數據集上獲得了較好的結果［23］。

本文針對較多云層分布的天氣情況，提出了一種利用改進的U-Net 深度卷積神經網絡并結合偏振度閾值進行云分割的方法。該方法可以在偏振方位角圖中去除有云區域對應的異常像素點，并基于瑞利散射理論提取太陽方向矢量實現天空偏振定向。室外實驗結果表明，該方法的偏振定向精度較高，驗證了本方法的可行性。

2 載體坐標系下圖像式太陽方位角計算模型

2.1 天空偏振場圖獲取

在實際導航中難免會存在多云厚云天氣，云層會占據較大視場，同時云層區域的像素點可能會失效。為了獲取更大視場的天空偏振光，選用魚眼鏡頭，有助于提取非云區域進行定向。

如圖1 所示，實驗中使用FUJINON 魚眼鏡頭，型號為FE185C046HA-1，視場角為185°，焦距為1.4 mm，光圈為F1.4～F16，相機采用基于Sony IMX250MZR CMOS 的偏振相機PHX050 S-PC。該偏振相機主要由微透鏡陣列、偏振片陣列和像素陣列3 部分組成。其中，偏振片陣列包含0°，45°，90°和135°共4 個角度，偏振片上每一角度所在區域對應一個像素點。

圖1 天空偏振光獲取實驗設備及原理Fig.1 Experimental equipment and principle for detection of polarization light of sky

用該偏振相機結合魚眼鏡頭采集4 個角度的天空光強圖，然后基于斯托克斯矢量公式獲取天空偏振場圖。I表示偏振光強度，Q表示水平直線方向的偏振光分量，U表示45°直線方向的偏振光分量。

其中：I'(φ)表示光強，即天空強度圖每一像素點的灰度值；φ表示入射光與參考軸（載體的體軸）的夾角，為0°，45°，90°和135°；AOP表示天空偏振角，為天空某點的偏振方向矢量與載體（相機）體軸的夾角；DOP表示天空偏振度；AOE表示天空偏振方位角，為天空某點的偏振方向矢量與當地子午線的切線方向的夾角；i，j分別為圖像中的行坐標和列坐標，h，w分別表示圖像的高和寬。

2.2 載體坐標系下太陽方位角計算

根據瑞利散射理論構建天空偏振模型如圖2上半部分所示。aE為P點在觀測點坐標系XaYaZa的偏振方向矢量，?為P點的天空偏振方位角，Xc為載體體軸，α，γ分別為天空觀測點的方位角和天頂角，方位角的取值為(－180°，＋180°)，天頂角的取值為(0°，90°)，α's表示載體坐標系下太陽的方位角（即太陽方向與體軸的夾角），取值 為(0°，360°)，γs表 示 太 陽 天 頂 角，取 值為(0°，90°)。圖2 下半部分中，Pi表示在針孔相機模型中天空觀測點P對應在CMOS 成像平面上的像素點，而實際上使用魚眼鏡頭的相機模型表現為其成像存在較大徑向畸變，Pd為P點實際對應的像素點。

圖2 天空偏振模型和魚眼鏡頭相機模型Fig.2 Sky polarization model and fisheye lens camera model

在相機坐標系OXcYcZc中，天空觀測點的電矢量cE表示為：

式中：cRa表示天空觀測點坐標系相對于相機坐標系的旋轉矩陣，(xPd，yPd)為像素點Pd在平行于相機坐標系的物理坐標系O'X'Y'下的坐標。

由于魚眼鏡頭采集的圖像存在較大的徑向畸變，實際天空觀測點對應的偏振方位角的位置發生徑向偏移，從而導致太陽方向獲取時有較大偏差，需要標定天空觀測點與相機光軸的夾角（天頂角γ）以及該觀測點實際對應的像素點與光軸中心點（圖像中心A'）的距離，即像素距離。

圖3 為魚眼鏡頭天頂角標定模型。固定偏振相機與魚眼鏡頭，將LED 點光源與魚眼鏡頭的光軸對齊，并繞鏡頭的光心逆時針旋轉，每旋轉一次對應的觀測點的天頂角γ累加10°并采集圖像，共旋轉9 次，旋轉角度為閉區間［0°，90°］，模擬得到半球狀的天空分布。每一位置的LED 點光源在圖像中對應一個像素點，圖中位置A處的LED 點光源在圖像中對應著像素點A'。將實際得到的觀測點的天頂角γ作為因變量，對應的像素距離作為自變量，得到9 個點：（36.0，10°），（73.0，20°），（110.0，30°），（146.0，40°），（182.0，50°），（219.0，60°），（255.0，70°），（291.1，80°），（327.1，90°）。用matlab 曲線擬合工具箱擬合觀測點的天頂角γ與像素距離d之間的映射關系，并將計算出的9 個點的天頂角與實際值的偏差取平均值（－0.016 8），作為偏置項ε，得到：

圖3 魚眼鏡頭天頂角標定模型Fig.3 Calibration model of zenith angle of fisheye lens

在相機坐標系OXcYcZc中天空觀測點P的偏振方向矢量cE垂直于由天空觀測點P、太陽S及地面觀測點O組成的平面，則cE垂直于OS。天空中所有符合瑞利散射的點在相機坐標系 下表示的電矢量組成矩陣cEsum=[cE1，cE2，...cEn]3×n。理想情況下，cEsumT·cOS=0n×1，但實際中由于存在誤差，需對太陽方向矢量cOS做最優估計，其最優估計為(cEsumcEsumT)3×3的最小特征值對應的特征向量［8］。

太陽方向矢量在相機坐標系OXcYcZc中表示 為(Sx，Sy，Sz)，則 載 體 坐 標 系 下 太 陽 方 位角α's為：

3 改進的U-Net 神經網絡結合偏振度閾值去云模型

3.1 改進的U-Net 神經網絡模型

參考Nabil 提出的MultiResUnet 深度神經網絡模型［24］，并改進了傳統Unet 神經網絡［25］，對偏振相機采集的強度圖中的云進行分割。如圖4 所示，本文的改進之處為在編碼結構和解碼結構之間添加了Respath 模塊，在編碼結構的最底層即圖像分辨率降維至25×25 后添加了MultiBlock模塊。

圖4 改進的U-net 神經網絡模型結構Fig.4 Structure of improved U-net neural network model

圖4 中的立體方框表示特征圖，特征圖上邊顯示的數字表示通道數，特征圖下邊顯示的數字表示圖的長寬。該模型左半部分為編碼結構，即對輸入圖像進行多次下采樣至某一尺寸特征圖；右半部分為解碼結構，即對特征圖進行多次上采樣至與輸入圖像相同尺寸時輸出。圖中，BN 操作通過規范化輸入數據改變數據分布，在前向傳播過程中消除梯度彌散；Dropout 操作通過舍棄部分特征，防止模型過擬合。使用該神經網絡進行去云分割的具體算法過程是：首先在該神經網絡中輸入600×600 的天空灰度圖，然后經過卷積池化等操作下采樣至尺寸為25×25、通道數為256 的特征圖，之后經過轉置卷積等操作上采樣至尺寸為600×600、通道數為16 的特征圖，最后使用一個尺寸為1×1、通道數為16 的卷積核卷積操作并用Sigmoid 激活函數將輸出響應的值域壓縮到［0，1］之間，得到圖中所示的輸出圖像，白色區域表示云層，黑色區域表示藍天。

神經網絡下采樣部分（編碼結構）的特征圖為圖像的低層次特征，包括亮度、紋理等特征；上采樣部分（解碼結構）的特征圖為圖像的高層次特征，人眼較難分辨。如果將兩者直接連接，可能存在語義差異，因此在連接路徑上建立了如圖5 所示的Respath 模塊。它包含3 個殘差結構，能使兩者更好的融合。同時，殘差結構有助于在后向傳播過程中解決梯度彌散問題，Add 操作為圖像特征層之間空間區域信息的疊加，使每一維度下圖像特征的信息量得到提升。

圖5 Respath 模塊Fig.5 Respath module

MultiBlock 模塊類似于DenseNet 中的DenseBlock［26］，如圖6 所示。采用密集連接方式，提升了梯度的反向傳播效率，Concat 操作為圖像特征層之間通道信息的融合，通過特征在通道上的連接實現特征重用，使維度得到了提升，將Add 操作與Concat 操作二者結合，能夠同時增加圖像的空間區域信息和通道信息。

圖6 MultiBlock 模塊Fig.6 MultiBlock module

3.2 數據集

數據集采用新加坡南洋理工大學公開的地基云圖數據集［27］，該數據集中包含1 013 組白天地基云圖。為了擴大數據量，以更接近偏振相機采集圖片的效果，通過旋轉、調整亮度、對比度均衡化和直方圖均衡化的圖像增強方式將圖片擴增到8 844 組。訓練集與驗證集的比例為7∶3。由于數據集圖片本身是RGB 圖，而用偏振相機采集的天空圖為灰度圖，所以在訓練時需把所有圖轉為灰度圖，并進行歸一化。由于偏振相機采集的天空圖以中間圓形部分為主要特征，所以對訓練圖片做裁剪至尺寸為600×600。圖7（a）為預處理后的新加坡天空灰度圖，7（b）為其對應的云和藍天的二值分割圖，用該組圖作為神經網絡預訓練的數據集。

圖7 數據集Fig.7 Dataset

用偏振相機采集600 張天空強度圖，并對每張圖手動分割了云和藍天的二值圖，構建一個小樣本數據集，樣例如圖7（c）和7（d）所示。通過旋轉、調整亮度和直方圖均衡化的圖像增強方式將該小樣本數據集擴增到7 000 組進行遷移學習。訓練集與驗證集的比例仍為7∶3。

3.3 參數設置及實驗效果

將卷積核的初始化權重設置為'he_normal'，損失函數設置為二值交叉熵損失與Dice 系數損失兩者結合的方式。訓練時，val_loss 連續6 次不下降則學習率降低0.1 倍，val_loss 連續10 次不下降則迭代停止，初始學習率設為1×10-4，優化器用“Adam”。

損失函數中二值交叉熵損失為：

式中：A表示理想的輸出值，B表示預測的輸出值。對A與B的交集、A和B均取絕對值，smooth設置為1，防止分母為0。B越接近A，dice_loss越小。

圖像分割的常用評價函數為Jacard 相似度，公式如下：

式中：A表示理想的輸出值，B表示預測的輸出值。

實驗所用網絡模型基于keras 深度學習框架，并 選 用CPU 為Core i9-9960X，GPU 為Ge-Force RTX 2080Ti 的服務器進行訓練。實驗中將損失函數設置為δ×binary_crossentropy＋(1－δ)×dice_loss，預訓練時δ=0.5，遷移學習時δ=0.85。神經網絡的訓練損失Training loss和驗證損失Validation loss 隨迭代次數的變化如圖8 所示，對訓練集的評價Training jacard 和對驗證集的評價Validation jacard 隨迭代次數變化如圖9 所示。

圖8 損失函數變化Fig.8 Loss function change

圖9 評價指標變化Fig.9 Evaluation index change

由圖8 和圖9 可知，迭代次數達到46 次時訓練終止，訓練損失為0.017，驗證損失為0.096；訓練集的評價指標為0.980，驗證集的評價指標為0.940。評價指標越接近1 表示預測的效果越接近真實情況。在實際測試偏振相機采集的天空圖時，設置神經網絡輸出圖像的閾值為0.5，即像素≥0.5 表示云層，像素＜0.5 表示藍天，如圖10（b）所示。

雖然神經網絡去云分割達到了很高的精度，但在云的亮度非常低時神經網絡的預測效果并不是很好，如圖10（b）中圓圈部分所示。在一張圖像中某部分云的亮度較其他部分云的低，可以認為該部分云較厚，因為云層越厚，散射越強，透過云層的光強越弱，該區域亮度也越低。通過大量實驗發現，該區域的偏振度一般低于0.1，即有：

因此，在中間圓形區域設置偏振度閾值為0.1，如圖10（c）所示，可以看到所標區域中的黑點為偏振度≥0.1 的云層，因此，直接設置偏振度閾值分割云和藍天，效果不佳，所以可通過將神經網絡預測的二值分割圖與設置偏振度閾值得到的二值圖進行或運算，最大限度地去除云層產生的干擾點，如圖10（d）所示。

圖10 去云算法處理效果Fig.10 De-cloud algorithm processing result

4 測量實驗與結果

實驗時間為2020 年7 月27 日下午和8 月28日上午，天空晴朗且有多塊厚云，在大連理工大學機械東樓樓頂，坐標為（121.538 857，38.886 469），將裝有魚眼鏡頭的偏振相機固定在三角架上采集天空圖像。如圖11 和圖12 所示（彩圖見期刊電子版），第一列為天空強度圖；第二列為神經網絡預測的二值分割圖，白色區域表示云層，黑色區域表示藍天；第三列為神經網絡預測與偏振度閾值結合得到的二值分割圖；第四列為偏振方位角圖，圖中標注了載體坐標系，黃線表示太陽矢量方向，黃色圓圈表示太陽，表示載體坐標系下的太陽方位角；第五列為將第三列取反作為mask 模板與第四列偏振方位角圖結合，得到最終的可用于計算載體坐標系下太陽方位角的偏振方位角圖。從圖中可以看到，云層對應的異常像素點被很好地去除。圖中的colourbar 對應第四列和第五列圖像。

圖11 7 月27 日下午的實驗效果Fig.11 Experimental results in afternoon of July 27

圖12 8 月28 日上午的實驗效果Fig.12 Experimental results in morning of August 28

實驗數據如表1 所示。為了驗證隨機時間的實驗效果，沒有設置固定的時間間隔；登陸SPA Calculator 網站，通過輸入經緯度和時間等信息獲得理想太陽方位角，然后計算得到相對轉角。未去云時和去云時的誤差如圖13 和圖14所示。將理想太陽相對轉角與實際太陽相對轉角（通過本文算法獲得）作為兩個變量計算其均方根誤差，設置該均方根誤差為載體坐標系下太陽方位角的評價指標。應用本文方法獲得載體坐標系下太陽方位角的均方根誤差為0.42°，而未去云測得的載體坐標系下太陽方位角的誤差最大超過了－140°，而且波動范圍很大，主要是較多云層產生的異常偏振方位角對獲取載體坐標系下的太陽方位角造成的影響。由此可見，本文方法能夠應用于多云天氣下的天空偏振定向。

圖13 7 月27 日太陽方位角和相對轉角的誤差曲線Fig.13 Error curves of solar azimuth and relative rotation angle on July 27

圖14 8 月28 日太陽方位角和相對轉角的誤差曲線Fig.14 Error curves of solar azimuth and relative rotationangle on August 28

表1 實驗數據Tab.1 Experimental data （°）

續表1 實驗數據Tab.1 Experimental data （°）

5 結 論

將改進的U-Net 深度神經網絡結合偏振度閾值去云，可以去除在偏振方位角圖中云層對應的異常像素點，并基于瑞利散射理論中天空點的偏振方向矢量垂直于太陽方向矢量，獲取太陽方向與體軸的夾角，實現天空偏振光導航定向。在實際多云天氣下，實驗獲取載體坐標系下太陽方位角的均方根誤差為0.42°，為實際的多云天氣下天空偏振光導航定向提供了解決方案。但本文提出的方法還存在一定的局限性，目標空域中只能有云和天空，因為訓練神經網絡只能用來分割云和天空，若圖片中存在房屋、樹木等則無法用神經網絡解決。所以，要解決更復雜的實際問題，后續工作中需將多種算法組合使用。