基于Retinex的低光照車位圖像增強 *

苗作華，朱良建，趙成誠，劉代文，李詒雯，陳澳光

（1. 武漢科技大學資源與環境工程學院，武漢 430081； 2. 冶金礦產資源高效利用與造塊湖北省重點實驗室，武漢 430081；3. 武漢光庭信息技術股份有限公司，武漢 430000）

前言

當汽車到達停車位附近時開啟自動泊車系統，其過程可以簡單歸納為車位感知、路徑規劃和執行控制。基于車載相機拍攝圖像進行車位識別有著高識別率、低成本、使用壽命長等特點，被廣泛應用于自動泊車系統［1］。但在如雨霧天氣、地下車庫等光照不足環境下，攝入圖像中的車位信息質量差，影響車位識別，導致整個自動泊車功能的癱瘓。在各種環境影響因素中，低光照環境較為常見且難以避免，例如陰天、夜晚或者是燈光不足的地下車庫等場景。低光照環境導致攝取圖像整體亮度過暗，車位信息不夠清晰，若能采用低光照圖像增強算法，凸顯車位線，則可以大幅提高車位線識別率，降低環境因素的影響。

姬偉等［2］在研究蘋果采摘機器人夜間環境下的檢測率時，提出一種基于引導濾波的Retinex 改進算法，采用具有邊緣保持功能的引導濾波來估計照度分量，但最終算法運行時間需要13 s 左右。Zhou等［3］提出一種低照度圖像的自適應增強算法，通過在HSV 顏色模型中增強V 通道，實現了低照度圖像的全局亮度提升和局部對比度增強，但算法自適應參數計算量較大，算法時間復雜度較高。江浩斌等［4］將車載魚眼相機圖片轉換為俯視圖，并利用梯度模板識別車位角，通過車位角還原出車位，但沒考慮魚眼相機拍攝成圖過程中，遠端車位角信息易丟失，且當光照不足時圖像過暗導致梯度下降，不易識別。黃晨等［5］使用去除背景光照的圖像二值化方法得到帶有車位信息的二值化圖像，以此進行車位識別，但在低光照環境中，圖像車位信息并不明顯，且背景光照嚴重不均勻，該算法在低光照場景下的適用性有待商榷。

如上述方法，常規低光照增強算法因時間過長無法應用于車位識別系統，而車位識別算法又極易在低光照環境下失效。鑒于此，本文中提出一種融合限制對比度自適應直方圖均衡化（CLAHE）和改進單尺度Retinex（SSR）的車位線圖像增強算法，滿足車位線增強的同時極大程度提高算法時間性能，為低光照環境下的車位準確識別奠定基礎。

1 車位圖像增強算法分析

自動泊車過程中，汽車低速狀態下駛過停車位，車載側面魚眼相機全程拍攝，車位識別系統對視頻幀圖片進行檢測。本文增強算法應用于車位檢測算法之前，可以理解為檢測算法中對輸入圖像的預處理過程。為了滿足泊車過程中車位實時感知，保障汽車泊車過程流暢行駛，對算法時間性能要求極高。參考30 fps 幀率視頻，想要實現單幀圖像實時處理則須控制算法時間在33 ms 以內，當增強算法加檢測算法總時間無法滿足逐幀檢測時限要求時，被迫對視頻幀采樣處理，而最終算法時間性能將決定采樣間隔。顯然，采樣間隔越小，泊車過程中檢測的圖像越多，車位被檢測概率和識別精準度就越高，故而時間性能是本文算法的核心訴求之一。

對于數據輸入，首先根據車載魚眼相機參數，畸變矯正后進行仿射變換，將魚眼圖轉換為鳥瞰圖；并提出一種融合限制對比度自適應直方圖均衡化（CLAHE）和優化入射分量的單尺度Retinex（SSR）增強算法，高效實現對低光照圖片中車位線增強；最后基于亮通道將圖像灰度化，凸顯車位，以灰度圖作為增強算法最終結果輸出。為了驗證本文增強算法效果，在實驗中加入車位線檢測模塊，本文使用自適應Canny 算子勾勒車位線，并通過Hough 直線檢測，檢測出近端橫向車位線和兩側豎向車位線，最后使用模板匹配劃定車位框，用檢測結果評定增強效果。文中算法如圖1所示。

圖1 本文算法示意圖

2 低光照車位圖像增強算法

2.1 魚眼圖轉鳥瞰圖

在自動泊車過程中，車輛緩慢駛過停車區域，由放置于汽車左右兩側后視鏡上的魚眼相機獲取帶有車位信息的魚眼圖像，如圖2所示。

圖2 車位識別過程

魚眼相機可以將很大角度范圍內的光線壓縮進一個相對較小的空間，生成的魚眼圖信息豐富，但會導致圖像產生桶形畸變。如圖3 攝取魚眼圖所示，除中心區域圖像保持正常，外圈原本水平或垂直的景物都發生形變。理論上本文增強算法可以應用于魚眼原圖，使車位線增強，但實驗中發現，僅針對車位檢測過程，魚眼圖中無效信息過多，像素量偏大，嚴重降低增強算法的運行效率，且畸變后的車位線沒有原本的平行和垂直關系，不利于后續車位檢測算法進行特征識別。鑒于此，本文對于不同型號車輛搭載的魚眼相機，使用棋盤標定法提前獲取相機參數［6］，經過畸變矯正［7］后進行仿射變換［8］，得到鳥瞰圖，限定鳥瞰圖作為本文算法的數據輸入。

圖3 魚眼圖轉鳥瞰圖

如圖3 所示，在光照充足時，轉換后的鳥瞰圖車位信息清晰，易于檢測，但在低光照場景下，魚眼圖與轉換后的鳥瞰圖整體偏暗且車位信息模糊，難以識別車位。

2.2 限制對比度自適應直方圖均衡化

低光照場景下的車位圖像整體亮度偏低，且光照不均導致局部車位線模糊。為了改善圖像質量，本文選擇限制對比度自適應直方圖均衡化（CLAHE）對原圖做預處理。CLAHE 不同于傳統直方圖均衡化，在全局亮度均衡化的同時，能進行局部對比度增強且圖像細節保留程度高［9］。

本文改進局部直方圖均衡化過程，選擇使用64×64窗口大小將圖像分塊，然后選擇每塊中心32×32 大小的像素計算映射函數，將此映射函數作用于該分塊內的限制對比度直方圖均衡化，此過程能降低映射函數統計像素點分布的運算量，加快局部直方圖過程。

限制對比度即使用閾值限制直方圖分布，如圖4 所示，用閾值裁剪直方圖中的峰值，被裁剪的像素均勻分布到每個灰度級，使直方圖的分布趨于平緩，實現直方圖均衡化的目的，且閾值設定越高，對比度增強越大。

圖4 直方圖閾值分割

閾值β設定計算公式為

式中：M是每個塊中的像素數量；N是該塊的動態范圍；Smax是最大斜率；α是裁剪因子，用來控制對比度強度，當α接近0時，裁剪點為M/N，當α接近100時，對比度逐漸增強。通過直方圖的累計分布函數（cdf），獲得像素點的映射函數：

式中：T（l）是重映射函數；l是像素灰度級；pdf（l）是對應像素級的直方圖值，即每個像素級內所包含像素點總數；lmax是塊內最大像素值。最終基于每個塊中裁剪后的cdf得到映射函數。

分塊處理能很好增強局部對比度，但對于整幅圖片也會產生塊效應，如圖5 所示，干擾直線檢測。故而對像素點采用雙線性插值的方法，修正映射函數，消除產生的塊偽影［10］。對于每個像素點，圖5 中點a、b、c、d 是4 個塊的中心像素，像素k是圖片上任意像素，通過雙線性插值獲得重新映射的像素K：

圖5 雙線性插值消除塊效應

式中：T（k（i））表示重映射函數；k（i）是具有坐標（x，y）的任意像素k的值；Ta、Tb、Tc、Td即對應4 個塊中心像素的映射值；xa、xb、xk、ya、yc、yk為對應像素點的坐標值。

經過雙線性插值后消除塊效應，圖像整體亮度有提升且不突兀，局部對比度增強，低光照區域車位線信息得到改善，CLAHE結果如圖5所示。

2.3 優化入射分量的單尺度Retinex增強

Retinex 理論是由Land 基于人類視覺系統提出的關于如何調整感知對象顏色和亮度模型的理論［10］。其中顏色恒常性理論指出，顏色恒常并不取決于外部光照環境的變化，而是取決于保持物體顏色感知恒定的心理傾向，即在光照變化時，人眼感知物體表面顏色趨于穩定的心理傾向。簡單概括，同一個物體表面在不同的光照條件下會有不同的反色光譜，體色系統能夠區分照明變化引起物體表面反射光譜變化的情況，但觀察物體表面顏色的人認為，只要物體表面顏色在一定范圍內，它是恒定的，并感覺物體表面顏色沒有變化。所以根據Retinex 理論可以認為低光照場景下，被光照影響的原場景顏色是恒定的、可被恢復的。

基于Retinex 理論，一幅圖像可以分解為反射分量和入射分量，反射分量代表了圖像的本質屬性，包含圖像的所有邊緣細節和顏色等；入射分量包含了圖像中景物的大致輪廓和亮度的分布。通過降低入射分量對原始場景的影響程度，盡量保持代表圖像本質的反射分量，使得低光照場景下的車位線顏色的恢復和邊緣細節的增強。圖像形成可以概括為入射光和反射光的乘積：

式中：I（x，y）是原圖；L（x，y）是入射分量；R（x，y）是反射分量。將相乘關系的入射分量和反射分量取對數處理，使得原圖在對數域表現為加性圖像，通過圖層加減即可獲得所需反射分量圖層。對數變換可以拉伸范圍較窄的低灰度值且壓縮范圍較寬的高灰度值，達到增強暗區域且抑制過亮區域的目的。Retinex算法流程如圖6所示。

圖6 Retinex流程圖

單尺度Retinex（single scale Retinex，SSR）是由Jobson 和Rahman 在1997 年提出的中心環繞算法發展而來的一種算法［12］，使用高斯環繞函數模擬入射分量。

首先對式（5）取對數處理：

其中入射分量L（x，y）由環繞函數F（x，y）和原圖的卷積獲得：

環繞函數F（x，y）為

式中：c為高斯環繞空間常數；K是一個尺度。K滿足：

從公式上理解SSR 算法，入射分量的計算是原圖與高斯函數的卷積過程，是對圖像中的像素點進行高斯加權所得。但是在實際應用中，二維高斯函數的時間復雜度高，其性能問題廣受困擾［13］，在本文算法對時間性能要求極高的條件下難以應用。

本文首先考慮二維高斯函數的可分離特性進行優化，使用一維高斯濾波在橫向和縱向兩個方向上分別平滑圖像，得到和二維高斯濾波一樣的擬合效果，如圖7所示，最終時間性能提升了4倍，但對單幅圖像處理，單步高斯過程仍需要70 ms 左右，仍不夠理想。鑒于此，在不影響車位線的增強效果前提下，本文提出對原圖進行遞歸方框濾波，高效實現對入射分量的擬合。

圖7 模擬入射分量

Retinex及其改進算法［3，14-16］基于顏色恒常性，其重點都在于更有效地估計入射分量的權重，針對不同場景，不同模擬函數產生不同的增強效果。在SSR 算法中，高斯函數作為中心環繞函數模擬入射分量，使用大濾波窗口對圖像濾波，使得圖像模糊，契合入射分量特征。而高斯函數本質可以理解為高斯加權后的均值濾波，相較于均值濾波，會使圖像濾波過程更加平滑［17］，卻也極大增加計算量。本文對原圖進行遞歸方框濾波作為對入射分量的模擬，圖像濾波后的模糊效果近似高斯模糊效果。經過實驗，在50×50 的濾波窗口下，對原圖兩次遞歸方框濾波即可模擬入射分量，達到車位線增強目的，且算法單步運行時間在28 ms左右。

對比3 種入射分量模擬情況，使用高斯函數模擬的入射分量在原圖輪廓和亮度分布情況上更清晰，但最終SSR 算法增強后，方框濾波模擬的入射分量并未影響整體車位線增強效果，且后續車位檢測算法也證明此種入射分量的模擬過程是可行的。

2.4 圖像濾波與灰度化

傳統的低光照圖像增強算法往往伴隨顏色失真、噪聲放大等一系列問題，導致增強后圖像視覺效果差，需要花費很長時間進行降噪和色彩平衡的恢復。而車位檢測過程運行于車載處理器后端，無可視化要求，故本文算法對噪聲與色彩失真問題遵循高效實用原則進行處理。本文使用對邊緣保持效果更好的中值濾波平滑噪聲，并使用形態學算法減小車位線中間的黑色空洞，且增強車位線邊緣。對于色彩失真現象，本文發現增強圖像中車位線與地面背景色的對比度大，且車位線一般為白色，少量為黃色，其像素值遠遠大于地面背景像素值，故本文基于亮通道先驗理論［18］，將增強結果灰度化，既實現了最大程度將車位凸顯于圖像中，又直接避免了圖像顏色失真的發生，同時以灰度圖作為后續直線檢測輸入也比RGB 圖像數據量更小，檢測算法運行更快。

2.5 增強結果檢測

根據上述原理，本文增強算法流程如圖8 所示，得到的最終增強結果如圖9所示。

圖8 增強算法流程

圖9 灰度化圖像與檢測結果

為了驗證本文提出的增強算法的增強效果，本文使用最基礎的車位檢測算法對增強結果進行檢測。檢測算法首先使用自適應Canny 邊緣檢測算法［19］在結果圖上勾勒車位線邊緣，然后使用Hough直線檢測算法［20］標記邊緣中的直線，最后對標記出直線的圖像使用矩形模板特征匹配算法［21］，在鳥瞰圖原圖上劃定最終的車位框，如圖9所示。

3 實驗結果與分析

3.1 實驗環境

實驗硬件環境：Intel（R） Core（TM） i7-10700F，2.90 GHz，RAM 16 GB，顯卡：GTX 1660 SUPER。

本文采集多組低光照場景下的實際泊車視頻，并且設定攝取的泊車過程視頻幀率為30 fps，其中單幀魚眼圖分辨率為1080×1920，轉換后的鳥瞰圖分辨率為800×900。

3.2 算法增強效果

本文算法增強結果如圖10 所示。由圖可見：原圖整體亮度過低，車位線僅隱約可見；經過本文算法增強后，圖中車位線很明顯的凸現，輪廓清晰，且與地面對比度高。經過檢測，可以標記出兩側和車位入口直線，最終成功匹配出矩形車位。

圖10 單幅圖像增強結果

同時統計單幀圖像算法運行時間，分模塊記錄單幅圖片的增強算法運行時間、檢測算法運行時間和總時間。本文統計算法3 次運行時間，計算平均值和標準差σ，最終算法運行時間在均值加減3倍標準差區間內，如表1所示。

表1 單幅圖像算法運行時間

3.3 圖像增強對比實驗

隨機從采集的泊車視頻中選取一張汽車駛過停車位時的單幀圖像，利用本方法進行圖像增強，并與直方圖均衡化方法［9］、HSV 空間亮度自適應增強方法［3］和傳統SSR 方法［12］進行增強效果對比。4 種方法的車位線增強效果通過直線檢測效果比較得出，如圖11 所示。由圖可見：原圖未經處理情況下，無法檢測出車位線；直方圖算法進行全局灰度值均衡化，有明顯亮度提升，但全局亮度提升突兀，且車位線與地面對比度一般，最終車位線檢測情況只比原圖稍有提升；HSV 空間亮度自適應增強方法亮度提升更均勻，且車位線與地面有一定對比度，但右側區域邊緣細節差；傳統SSR 算法使用高斯函數擬合反射分量，整體增強效果達到車位增強需求，但與本文改進算法對比存在左側高光區域抑制程度低，且左側車位線邊緣細節保留程度差，不夠平滑。

圖11 4種圖像增強結果對比

算法運行時間如表2 所示，直方圖方法有著最佳的時間性能，HSV 空間亮度自適應增強方法和傳統SSR方法都難以滿足算法實時性要求。

表2 各方法運行時間

通過對比，4 種方法都對低光照圖像有一定增強效果，但本文算法比其他3 種方法增強程度更好，且時間性能雖不及直方圖均衡化法，卻遠超過HSV空間亮度增強和傳統SSR 方法，滿足了隔幀采樣處理的實際需求。

3.4 多組數據測試結果

為進一步測試本文增強算法性能，本文貼合實際低光照車位檢測過程，采集了不同光照程度的泊車視頻，從泊車視頻中截取駛過停車位過程的2 s視頻共60 張視頻幀進行實驗。通過本文增強算法增強2 s視頻內的所有視頻幀，再使用本文提出的檢測算法進行檢測，統計2 s視頻中經過增強后可被劃定車位的視頻幀數量，實驗結果如圖12所示。

圖12 多組數據增強結果車位檢測

其中數據1和數據2是停車位有部分光源射入，停車位局部過暗的情況；數據3和數據4是無其他光源，僅車載燈光漫反射在停車位時的情況；數據5 是白天光照充足，但停車位在車庫深處，光照相對較弱時的情況。增強結果顯示，本文增強算法對不同程度的低光照場景都有足夠的增強效果，有較好的算法魯棒性。

60 張連續視頻幀增強后的檢測結果統計如表3所示，表中車位增強率表示單組數據輸入的視頻幀中，經過增強后可被檢出車位的數量。統計結果顯示，在低光照場景下，本文算法的車位增強率達到90%以上，保障了對視頻幀進行采樣檢測時的車位檢出率。

表3 車位識別情況

4 結論

（1）本文針對車位檢測算法受低光照環境影響，車位識別率低的問題，提出了一種融合限制對比度自適應直方圖均衡化（CLAHE）和優化入射分量的單尺度Retinex（SSR）增強算法，極大程度上增強低光照圖像中的車位信息，利于后續車位檢測，減小了低光照環境對車位識別系統的影響。

（2）算法應用于自動泊車過程中車輛側面魚眼相機拍攝的車位視頻，針對常規低光照圖像增強算法運行時間過長問題，減小CLAHE 中映射函數的計算窗口，使用遞歸方框濾波模擬入射分量，最后將增強結果基于亮通道灰度化，以灰度圖作為增強結果輸出。

（3）對比結果顯示，本文實現了對低光照場景下的車位圖像增強，增強效果遠超時間性能最佳的直方圖均衡化方法，滿足車位線檢測要求；運行時間又相較常規增強算法有極佳性能，單幅圖片增強處理僅38 ms，滿足了泊車視頻隔幀檢測時限要求。

（4）貼合實際泊車場景，采集多組低光照環境下的泊車過程視頻，使用最基礎的車位檢測算法對增強結果進行檢測。實驗結果表明本增強算法在低光照場景下的車位增強率達到90%以上，保障了采樣檢測時的車位檢出率。

實驗中發現，當車位線與地面對比度較低時，會導致本算法增強結果車位邊緣梯度較低，影響直線檢測，因此后續將就低光照環境下的低對比度車位圖像增強進行進一步研究。