嵌入式平臺下的兩級自適應動態調光方法*

劉 峰，霍文甲，王向軍

(1 天津大學精密測試技術及儀器國家重點實驗室,天津 300072；2 天津大學微光機電系統技術教育部重點實驗室,天津 300072)

0 引言

在變化的光照條件和場景，能夠進行快速調光，并且在各種環境下能夠完成準確、穩定的調光控制，對于探測器進行目標檢測和目標跟蹤具有重要的意義。

基于圖像灰度均值的算法在逆光或者其他復雜光照情況下，往往會使主體區域欠曝或過曝。通過控制曝光量來獲得一組不同曝光條件下的圖像，然后進行圖像融合來提高圖像的動態范圍會降低幀率，難以滿足實時性的要求[1]。利用圖像直方圖特征的方法難以區分順光和逆光，導致調光不準確[2]。通過閾值法提取目標主體對單一集中目標較為有效[3]。對于主體目標較為分散的情況，主動搜索主體區域并進行加權調光的方法很難滿足需求[4]。而對圖像區域劃分調節需要采集大量的實驗數據來確定權值[5]。控制相機的動態范圍增加場景中可感知亮度并不適用于像素光強響應特性固定的相機[6-7]。Mohammad T. Rahman等通過實驗證明圖像調光效果達到最佳時，圖像熵也達到最大值[8]。但是熵函數本身靈敏度不高，依據圖像區域內容不同容易出現和真實情況相反的結果[9]。

文中根據亮度直方圖和圖像熵與調光變量間的關系，針對傳統方法的缺點以及現代方法局限性，提出一種自適應動態調光方法。

1 自適應動態調光原理

因為相機不針對特定的目標拍攝，提出自適應調光算法思想的核心是通過分析亮度直方圖，完成理想灰度均值區間的選擇和調整，然后利用圖像熵模擬爬坡法找到圖像亮度最佳效果。

1.1 基于亮度直方圖的自適應調節

圖像的調光參數可以通過不同的快門速度和光圈大小等組合得到，圖像亮度和調光參數之間的關系為：

BV=k×Lm×G×T×F-2

(1)

式中：BV為圖像亮度；k為反應場景照明條件的常量；Lm為環境亮度，和T分別表示相機增益和曝光時間；F為相機鏡頭G的光圈數。這里光圈F保持不變，Lm和G一次只調節其中一個值，當前圖像亮度記為BVcur，圖像達到最佳時圖像亮度記為BVopt，BVopt表示為

BVopt=k×Lm×Gopt×Topt×F-2

(2)

BVcur=k×Lm×Gcur×Tcur×F-2

(3)

對式(2)、式(3)整理可得:

log2Topt=log2Tcur-log2Bcur+log2Bopt

(4)

log2Gopt=log2Gcur-log2Bcur+log2Bopt

(5)

通過分析當前圖像的亮度，對比理想區間圖像灰度均值，依據上式進行準確的調光。當調節完成得到圖像均值Vmean位于理想區間，接下來判斷圖像像素值是否溢出，若溢出則改變理想區間，然后重新調節圖像曝光增益使圖像灰度落入新的理想區間，再判斷是否溢出，如此往復直到圖像正常。這里設計了邊緣隸屬度函數H(i)，如圖1所示，同時結合統計直方圖，用于統計邊緣溢出概率。

圖1 邊緣隸屬度函數

因此，可以得到邊緣溢出概率：

(6)

(7)

式中：Plight、Pdark分別指亮部溢出、暗部溢出像素點占總像素比例，hist(i)指像素統計直方圖，M、N指圖像大小。

TPlight和TPdark是兩個預先設定的邊緣溢出概率閾值，其中滿足溢出條件是指：

TPlight

(8)

設定圖像灰度均值理想區域[Vlow,Vhigh],根據經驗值定義兩個極值Vmax、Vmin，理想區間位于兩極值之間，兩個極值確定曝光增益的優先調節機制。如圖2所示：當圖像灰度均值大于Vmax或小于Vmin優先調節曝光值，位于Vmax、Vmin之間優先調節增益，這樣可以防止多參數調節時導致的圖像跳閃現象。

圖2 圖像灰度區間劃分

1.2 基于圖像熵的爬坡搜索調節

圖像熵可以反應圖像的明暗程度，由于光照條件的不同其熵值大小也不同，所以依據圖像熵大小判斷光照條件具有可行性。

圖像作為一個二維信源，處于不同位置的像素有著不同的灰度，圖像熵用E來表示，k表示圖像的灰度級數；pi表示各灰度級出現的概率，則圖像熵為:

(9)

理想情況下，當所有灰度級概率是相同的，計算得到圖像熵的最大值，即

(10)

因此，圖像的最大熵值為:

(11)

當圖像背景占據整個相機靶面的絕大部分，那么取圖像熵的結果將以背景為主，目標無法達到最佳成像照度。在局部照度很高，對應信號的峰值很高，同樣會對熵值造成很大影響[10]。因此，在根據圖像熵進行反饋調節前，對圖像進行了粗調，若圖像光照條件沒有發生明顯變化，圖像灰度均值依然落在合理區間內，那么不進行調節，這樣保證了圖像熵提取大小和實際成像效果間的對應關系，同時也維持了成像的穩定性。

圖3標示了搜索的過程，由前一步粗調確定搜索方向：若調節方向沿著圖像灰度均值減少的方向使得圖像灰度均值進入區間[Vlow,Vhigh]，均值落在c點右側，則搜索方向為e-d-c-b；均值落在c點左側，則搜索方向為b-a-c-d；反之，亦然。可以用黃金分割法加速搜索過程，最終找到收斂極值點c。

1.3 整體算法設計

整體算法設計流程如圖4所示，其中灰度動態范圍Vrange由亮度統計直方圖中最大和最小灰度值之差確定，VTstd為預先設定好的灰度動態范圍閾值。

圖3 爬坡搜索示意圖

圖4 整體算法設計流程

2 時序控制電路設計和驗證

時序控制電路采用自頂向下的設計方法，系統采用嵌入式FPGA平臺實現[11]，芯片采用Altera公司EP4CE40F23C7，源碼使用Verilog語言設計，并用SignalTap工具進行時序驗證。系統軟件設計如圖5所示。

圖5 系統軟件設計

2.1 亮度直方圖自適應調光時序設計

相機工作過程中，亮度直方圖部分接收開始調節信號，采用同步有限狀態機設計，對CMOS芯片進行配置。溢出檢測模塊和直方圖統計模塊相互配合控制調光免于溢出；均值反饋模塊對比連續幀圖像均值變化控制調光參數的增減和步長；測光模式切換模塊結合直方圖統計模塊判斷采用全局測光模式或窗口加權測光模式。亮度直方圖調光時序如圖6所示，其中采集時鐘為CMOS相機的像素采集時鐘，I_cmos_pixel_in_fv為幀同步信號，在每幀同步信號的消隱區進行調光控制；S_avg_adjust_start為開始調節標志信號；O_gain_dec、O_gain_inc、O_exposure_dec、O_exposure_inc為增益值和曝光值的升高降低標志；S_model_style標志位信號切換測光模式；I_bit_dark_sig、I_bit_light_sig分別是暗部溢出和亮部溢出的標志位；S_range_ok用來判斷灰度動態范圍是否滿足要求，最終使得像素灰度均值I_pixel_data_cal_result(Vmean)落在I_average_l(Vlow)～I_average_h(Vhigh)之間；當S_avg_adjust_end拉高，如圖7所示，此時完成調節(粗調)。

圖6 亮度直方圖調光開始

圖7 亮度直方圖調光結束

2.2 圖像熵爬坡搜索調光時序設計

當亮度直方圖調光部分完成，如圖8所示，此時通過S_shang_open_exp和S_shang_open_exp信號判斷是否開啟圖像熵爬坡搜索調節。圖8中S_search_start為開始調節標志，S_inc_sign和S_dec_sign代表當前的爬坡方向為a-e和e-a；O_shang_data_inc信號表示計算當前幀圖像熵值與前一幀圖像熵值差值為正，則爬坡方向保持不變；O_shang_data_dec表示當前幀熵值與前一幀差值為正，則爬坡方向為相反方向；如圖9所示，當爬坡搜索完成，S_search_done拉高，O_shang_max_exp和O_shang_max_gain置位，完成調節(精調)。

圖8 圖像熵搜索調光開始

圖9 圖像熵搜索調光結束

3 實驗結果

為了驗證該方法的可行性，實驗開始我們先設定好用到的幾個控制參數：Vmax=220，Vmin=40，Vlow=103，Vhigh=154，VTstd=227，TL1=10，TL2=24，TL3=36，TH1=228，TH2=240，TH3=250，TPlight=0.15，TPdark=0.1。

圖10為使用該方法進行調光前后圖像對比。圖10(a)為調光前圖像，圖10(b)為粗調后的圖像，圖10(c)為精調后的圖像。自動調光前的圖像局部出現飽和現象，E=3.22；經過粗調后的圖像暗部特征明顯，但是亮部特征缺失，E=6.88；經精調后像灰度動態范圍大，灰度分布均勻，E=7.52。

圖10 調光過程中的圖像

選取同一物體不同光照條件下對比圖像，如圖11所示，從上到下分別為在順光、逆光和側光條件下的實驗結果，其中左側為未曝光圖像，右側為采用本實驗方法自動曝光的圖像。

圖11 不同光照條件下的調光前后圖像

由于該方法與光照條件以及目標個數、場景位置無關，采集代表性圖像進行調光前后的對比，以證明調光的適應性。圖12左側為自動調光前圖像，右側為使用文中方法進行調光后的圖像。圖12(a)為順光條件下的建筑，圖像對比度較小，圖像較為柔和；圖12(b)為典型逆光條件下拍攝的遠景，圖像灰度分布不均勻，背景和主體反差較大；圖12(c)為側光照射條件下的近處物體，圖像對比度大。

文中提出的方法對復雜光照環境下的場景有效，同時在正常光照下也可以得到很好的成像質量。

表1列出了不同光照條件下對圖像自動調光前后的實驗結果，其中序號1為自動調光前的圖像，序號2為自動調光后的圖像。為了更直觀反映圖像的紋理特性，引入了共生矩陣的兩個參數：ASM和IDM。ASM值大表明當前紋理為變化均一穩定的紋理；IDM值大表明紋理溝紋深，效果清晰；這里將這兩個值進行歸一化。從表1中可以看出，自動調光后圖像熵大于調光前圖像熵值；ASM值較自動調光前值減少，表明調光后圖像紋理變化較為復雜；IDM值較自動調光前值增加，表明調光后圖像反差較大，圖像效果清晰。

圖12 不同場景及光照條件下的調光前后圖像

表1 不同光照條件下自動調光前后實驗結果

光照條件序號均值圖像熵ASMIDM順光1146.056.911 50.223 10.239 22118.637.324 90.107 70.359 2逆光157.215.916 60.165 20.239 6293.497.055 60.110 40.273 1側光1203.055.106 40.271 50.310 12114.207.794 70.059 80.393 4

4 結論

文中提出一種基于亮度直方圖自適應調節和圖像熵搜索的動態調光控制方法。首先通過基于亮度直方圖的自適應調節確定圖像灰度均值分布的合理區間，再通過基于圖像熵的搜索區間找到最佳調光參量，最終完成準確的調光控制。時序驗證和成像對比實驗表明，該方法不受圖像中目標和光照條件的影響，具有很強的環境適應性，能夠滿足相機在場景變化條件下的調光需求，特別適合于小型化成像探測器數值孔徑較小的自動調光應用場合。