基于FPGA的光照不均水果圖像增強方法研究

栗文靜，梁 穎，周瑞云

（合肥城市學院 機械與電氣工程學院，安徽 合肥 230601）

隨著光學傳感技術和圖像處理技術的發展，及機器視覺、智慧農業、物聯網技術的應用；圖像處理技術可應用于自動采摘、水果分級、無損檢測等方面[1]；由于圖像拍攝受到光照條件和天氣等因素及由于光線遮擋造成光照不均的影響，采集的水果圖像可能出現局部區域對比度不足，由于光線不均，會造成背光側、向光側灰度值偏差過高，造成背光側圖像信息提取的偏差[2-3]。另外由于有些水果表面光滑、紋理致密，圖像上可能出現局部反光和高光現象破壞圖像信息。有些水果的生物特性會因自然光照的變化導致圖像顏色特征值的變化，以上都會造成特征提取、圖像分割、目標識別的誤差[4-5]，因此，研究光照不均圖像的有效增強方法，削弱光照條件的影響，具有重要意義。傳統伽馬校正對于光照均勻的圖像能取得較好的補償效果，但對于光照不均圖像易出現邊界不清晰的現象，且伽馬校正為全局處理，不可根據圖像的不同亮度區域自適應調節?；诖?，對伽馬校正算法進行了改進，驗證結果表明了方法的有效性。

1 伽馬校正

1.1 伽馬校正理論

人眼感知光源亮度信息是通過三種視錐細胞進行的，但視錐細胞并非線性感光，即如果均勻提高光的能量，人眼感知的光強并非均勻提高；另外，相機或顯示屏也存在非線性反應的現象，像素的亮度跟輸入的圖像電壓并不是成線性關系，而是冪指數關系。由以下公式表示：

其中，γ為伽馬校正值，通常A取1。這就導致人眼感知的圖像或顯示器顯示的圖像與攝像設備捕獲的實際圖像不一致，為了補償此差異，只需要進行上述非線性變換的逆變換即可實現校正，具體算法可通過對RGB每一個色彩空間進行伽馬校正來解決。

采用不同的伽馬校正值可以取得不同的效果，γ取不同值時的伽馬曲線如圖1所示。γ小于1時，伽馬校正可以提升圖像的亮度，γ大于1時則降低圖像的亮度，因此伽馬校正也?？捎糜谡{整圖像對比度，達到圖像增強的功能。

1.2 改進的伽馬校正

由以上可知，伽馬補償的校正值不可根據圖像對比度自適應調節，對于光照不均勻的圖像，在明亮部位和高光的處理效果欠佳，導致信噪比和動態范圍降低。對此很多研究改進了伽馬算法，提出了非線性伽馬校正，通過建立γ校正值和像素值間的關系，實現γ值依據不同像素值自適應校正[6]。分段伽馬校正，即按照灰度級范圍劃分成若干區域，在不同區域采用不同的伽馬校正值，但易造成區域邊界模糊。根據光照反射模型，圖像亮度由光照分量和反射分量共同決定，提取光照分量[7]，使光照分量參與γ值的產生，從而實現針對圖像本身不同亮度局域自適應地增強圖像，為達到更好的增強效果，在此基礎上提出了多尺度高斯函數分離光照分量的方法[8-9]，算法復雜、計算量大。

本設計對伽馬校正進行了改進：依據圖像對比度和亮度有關，和色度、飽和度無關的特點；而圖像亮度和灰度直接相關，因此可采用在HSV顏色空間下分離出亮度分量V，對整幅圖像像素的不同亮度級進行直方圖統計[10-11]。用函數表示如下：

其中，k為圖像中的k級亮度值；nk為第k級亮度值的像素個數。

之后，用每個nk除以像素總個數N，得到每一亮度級的概率統計：

其中，∑p(k)=1

利用p（k）調整伽馬校正值γ，改進的伽馬函數如下：

式中，o（x，y）為伽馬校正后輸出圖像的亮度分量，I（x，y）為原始輸入圖像的每個像素灰度值，γ為伽馬校正值，其中包含了圖像不同亮度級分量的概率。

2 圖像增強流程

基于以上改進方法，光照不均情況下的圖像增強[12-13]流程如圖2所示，首先對原始圖像進行RGB至HSV的色彩空間轉換，提取亮度分量V，之后對亮度分量V進行直方圖統計，利用不同亮度統計概率參與實現亮度分量的伽馬校正V’，之后V’再和之前的H、S分量合成完整的校正圖像，最后再進行一次色彩空間逆變換，轉回RGB色彩空間。

圖2 圖像增強流程

2.1 色彩空間轉換

HSV顏色模型反映了人類視覺系統觀察彩色的方式，H代表色度，S代表飽和度，V代表亮度，其反映了圖像的亮度和灰度。因圖像呈現出的光照不均現象反映了圖像亮度值的不均衡[14]；基于此，設計把采集的原始圖像從RGB顏色空間轉換HSV顏色空間，分離出V亮度分量。圖像增強處理后，還需要完成HSV轉RGB色彩空間。

2.2 自適應校正值的產生

在HSV色彩空間，保持H、S分量不變，只對提取的圖像亮度分量V的每個灰度級進行灰度直方圖統計[15]，灰度級數為256，計算每個灰度級的像素占整個圖像像素總數的概率[16]。此比值參與伽馬校正的校正值γ的產生，如公式（4）所示。

2.3 伽馬函數實現圖像增強

利用上述產生的伽馬校正值對亮度分量V進行伽馬校正，實現根據原始圖像亮度自適應的圖像增強；之后再將各分量合并形成新的圖像，把HSV顏色空間模型的圖像轉換回RGB色彩空間[17]。

3 圖像增強實現

3.1 FPGA的優勢

FPGA是一種可編程邏輯器件，具有豐富的邏輯存儲資源，處理速度快，動態配置靈活而應用廣泛；因其并行性、可編程性和高集成性的特點，在圖像數據實時處理領域有著獨特優勢，能夠大大提高圖像處理速度。目前，基于FPGA的數字圖像處理技術在圖像壓縮、拼接、分割、融合及視頻影像的實時處理、高速計算等方面有較大發展，特別是在對實時性要求較高的應用領域[18]。

3.2 基于FPGA的圖像增強平臺

利用FPGA平臺實現基于伽馬校正的圖像增強處理[19]。發揮FPGA在圖像處理方面的優勢，系統總體框如圖3所示。FPGA芯片為Xilinx Artix-7系列，系統時鐘為50MHz，圖像傳感器采用CMOS OV5640，軟件平臺為vivado2019.1，圖像處理結果通過VGA顯示。

FPGA對圖像傳感器寄存器進行初始化配置，CMOS傳感器即持續輸出圖像數據流，采集的數據先存入DDR3進行緩存，DDR3控制器通過例化IP核實現。為便于提取圖像亮度分量，需要進行RGB轉HSV色彩空間的轉換，隨后對圖像進行V分量的Gamma校正處理，降低外界干擾因素尤其是光線影響，提高圖像質量[20]，使整幅圖像亮度均勻，最后再從HSV轉回RGB色彩空間，處理后的圖像通過VGA模塊顯示。

4 實驗與分析

為驗證算法效果，先進行仿真測試，選取光照不均條件下的水果圖片利用matlabR2022a軟件讀取圖像像素數據文件后，在vivado 2019.1平臺采用改進算法進行圖像增強仿真，并將處理后的仿真數據文件導出，由matlab軟件進行圖像顯示，并繪制了校正前后的直方圖，便于對比校正前后效果，結果如圖4所示。

仿真結果表明，針對因樹葉、樹枝、果梗等遮擋出現陰影，引起圖像光照不均的情況，利用本方法進行增強處理，從處理前、后的圖像效果對比可知：經過校正處理的圖像高亮區域和陰影區域有明顯的改善，高亮區域的亮度有所降低，陰影區域亮度有明顯提升（如圖4a、4b葡萄、無花果圖像增強前后效果）；從處理前后的直方圖表明經本方法處理后直方圖分布也更均衡。

之后使用FPGA系統平臺，通過CMOS OV5640采集有陰影及高光情況下的蘋果、橙子圖像，采用改進的伽馬校正方法進行增強處理，OV5640的分辨率設置為640*480，幀率為45fps。采用改進校正方法與普通伽馬校正方法進行對比分析。圖像增強前后效果如圖5、6所示。

圖5 陰影和高光的蘋果圖像增強結果

圖6 陰影和高光的橙子圖像增強結果

實測結果表明，由于光照不均造成水果表面出現反光、高光、陰影的水果圖像利用本方法進行增強處理后，從處理前后的圖像效果（如圖5c、6c蘋果、橙子陰影增強圖像）可知，經校正后蘋果、橙子陰影區域亮度明顯提升，陰影范圍縮小，細節更清新，與普通伽馬校正效果（如圖5b，6b）對比，改進算法有更好的改善效果。高光圖像的處理結果表明：表面反光區域的亮度有所降低（如圖5f、6f蘋果、橙子高光增強圖像），整體圖片亮度更均衡。與普通伽馬校正效果（如圖5e、6e）對比可知，高光和其他區域都得到一定改善，整體亮度更均衡。本研究可為水果分級、無損檢測、自動采摘的目標定位等領域的應用打下圖像前期處理基礎。

5 結語

針對光照不均影響下的水果圖像質量不佳，影響特征值提取的情況，改進了伽馬校正算法，先完成RGB到HSV色彩空間的轉換，再提取亮度分量，并利用亮度分量占整幅圖像像素的比值參與伽馬校正值的生成，實現伽馬校正處理，使算法可依據不同像素亮度針對性地自適應增強圖像。系統采用FPGA平臺實現，利用其并行處理特性提高算法處理速度。實驗結果表明此方法有效地均衡了圖像亮度，可應用于光照不均情況下的水果圖像增強處理。