基于FPGA的紅外圖像非均勻性校正系統設計

馬欣慰++康國強++許杰++李業春

摘 要：針對紅外圖像成像的非均勻性分布特性，本文以FPGA為核心器件運用中值直方圖均衡算法對紅外圖像的非均勻性矯正。實驗表明該方法對紅外圖像的固定模式噪聲消減效果明顯，且具有實現速度快、實時性高的優點，利于系統小型化的實現。

關鍵詞：FPGA 紅外圖像 非均勻性校正 中值直方圖均衡化

中圖分類號：TP311 文獻標識碼：A 文章編號：1672-3791（2014）09（a）-0030-02

隨著科技的發展，在進行紅外圖像處理時對圖像處理系統的要求越來越高，因此系統處理數據的高效性、快速處理能力和大數據量的吞吐能力是系統選定時的先決條件。目前，大多紅外圖像非均性校正的研究都采用DSP+FPGA結合的方式[4]，先由DSP完成校正系數的計算，然后由FPGA完成非均勻性校正。研究對DSP的工作頻率要求一般為幾百兆赫茲，同時需要DSP與A/D轉換器、DSP與顯示模塊之間加上存儲器作為數據緩存，尤其是工作頻率的增高，導致系統高頻噪聲增加，從而使模擬部分的噪聲增大，降低了系統的溫度分辨率。本文采用Altera公司的Cyclone IV系列芯片FPGA（EP4CE115F29）單獨完成實驗，該芯片具有6K到150K的邏輯單元和高達6.3Mb的嵌入式存儲器，360個18×18乘法器，可以實現DSP處理密集型應用；高達3.125Gb的數據速率可以很好的對圖像進行實時性處理。

目前非均勻性校正算法主要分為兩大類：基于參考源的非均勻性校正[2]和基于場景的非均勻性校正[3]。第一類方法具有較高的校正準確度，且實時性高；但在標定過程中成像系統需要暫停工作，使系統處理速度降低；第二類類方法具有自適應性校正的特點，但絕大部分算法都需要估計真實場景值，增加了對具體場景的環境要求。本文針對紅外焦平面非均勻性成列分布的特性，采用中值直方圖均衡算法[1]對紅外圖像進行非均勻性行校正。

1 中值直方圖均衡算法

1.1 算法原理

基于紅外焦平面都采用行積分格式處理，而行積分處理導致圖像的非均勻性表現在列與列的響應差異上，假設紅外圖像間像素灰度是連續的，那么單幅紅外圖像中相鄰列之間的差別在統計意義上是很小的，這意味著兩個相鄰直方圖幾乎是相等的。根據這個假設，對紅外圖像列進行中值化直方圖均衡，使成像的連續圖像列直方圖相等。

1.2 算法流程

（1）計算圖像中每一列ci的累計直方圖Hi。

（2）對每一列ci采用高斯權重Φ=Φσ其中σ為標準差，計算下一列的直方圖Hmid（i）-1。公式如下：

Hmid（i）-1= （1）

（3）設每列ci的直方圖為中值直方圖Hmid（i）-1。

不同的紅外焦平面的非均勻性不同，而高斯權重標準差σ的選擇僅取決于探測器，與被觀察目標無關，因此該方法具有廣泛使用性。對單幅圖像進行的非均勻校正并不受運動或場景變化的影響，這就避免了“鬼影”的產生以及由于校正參數隨著時間漂移而產生的任何問題。

1.3 高斯權重標準差σ的選擇

1.3.1 最優自適應參數的選擇

紅外圖像的非均勻性的增加會導致圖像的全變分（Total Variation）模的增加，因此圖像的平滑性越小，非均勻性就越小。高斯權重的標準差σ自動選擇公式如下：

σ*=argminσ|| Iσ ||TV*（2）

公式Iσ為采用參數σ利用中值直方圖均衡化算法校正后的圖像，通過對σ進行兩分法搜索完成最優化參數的選擇。

1.4 算法收斂條件

如果hi，i1….N為N個單幀紅外圖像不同列的直方圖，且已求得中值化直方圖：

Hmid（i）-1= （3）

由公式（3）得：

||hmid-htrue||2（4）

假設探測器成像的N列所對應的hi是獨立同分布的，且以htrue為中心則：

0（5）

2 非均勻性校正的FPGA實現

中值直方圖均衡化算法的提出者在軟件仿真上證明了算法的可行性，但是在硬件平臺上算法能否滿足實驗要求有待考證，本文在FPG硬件平臺上驗證并改進算法的實用性。

圖1為FPGA進行非均勻性校正原理圖。視頻輸入信號經過模擬預處理，頻率調整到A/D轉換芯片工作范圍，經過A/D轉換之后，數據送到FPGA進行下一步處理。計算單元計算每列的灰度直方圖，計算結果存于SRAM1中。同時，控制單元發出指令，提取SRAM1中存儲的校正后的圖像傳入高斯權重系數計算模塊，計算出σ值，并存儲在SRAM2中。然后控制單元發出指令，提取SRAM2中存儲數據，傳輸到最后的非均勻性校正模塊，進行最后校正，校正結果存儲在SRAM2中，之后根據公式（4）、（5）判定結果是否滿足算法收斂條件，如果滿足條件，保存計算結果，否則，返回第2步，重新計算權系數σ。

3 實驗結果

本文設計的基于FPGA紅外焦平面實時數據處理系統，經過試驗取得了良好的效果。下圖中圖（a）為未進行校正的圖像，可以看到明顯的非均勻性噪聲，圖（b）為進行校正后的圖像，經過對比可以發現固定模式噪聲明顯減少。

4 結語

本文設計了一種基于FPGA的紅外圖像實時處理系統，高斯權系數計算，非均勻性校正，都在一片FPGA上實現，利用中值直方圖均衡化算法，有效的實現了對紅外圖像的非均勻性校正，而且該系統體積小，有利于實現系統的小型化應用。

參考文獻

[1] 賀明，王亞弟.中值直方圖的單幀紅外圖像非均勻校正算法[J].紅外與激光工程，2012，9.

[2] Hormans R， Hepfer K C，Zurasky M. Uniformitycompensation for high quantum efficiency focal arrays[J].Proc.SPIE，1996，2 744：154-164.

[3] Scribner D A， Sarkady K A，Caulfield J T， et al.Nonuniformity correction for staring IR focal planearrays using scene-based techniques[J].Proc.SPIE1990，1 308：224-233.

[4] Delon J.Midway image equalization [J].Journal ofMathematical Imaging and Vision，2004，21（2）：119-134.endprint

摘 要：針對紅外圖像成像的非均勻性分布特性，本文以FPGA為核心器件運用中值直方圖均衡算法對紅外圖像的非均勻性矯正。實驗表明該方法對紅外圖像的固定模式噪聲消減效果明顯，且具有實現速度快、實時性高的優點，利于系統小型化的實現。

關鍵詞：FPGA 紅外圖像 非均勻性校正 中值直方圖均衡化

中圖分類號：TP311 文獻標識碼：A 文章編號：1672-3791（2014）09（a）-0030-02

隨著科技的發展，在進行紅外圖像處理時對圖像處理系統的要求越來越高，因此系統處理數據的高效性、快速處理能力和大數據量的吞吐能力是系統選定時的先決條件。目前，大多紅外圖像非均性校正的研究都采用DSP+FPGA結合的方式[4]，先由DSP完成校正系數的計算，然后由FPGA完成非均勻性校正。研究對DSP的工作頻率要求一般為幾百兆赫茲，同時需要DSP與A/D轉換器、DSP與顯示模塊之間加上存儲器作為數據緩存，尤其是工作頻率的增高，導致系統高頻噪聲增加，從而使模擬部分的噪聲增大，降低了系統的溫度分辨率。本文采用Altera公司的Cyclone IV系列芯片FPGA（EP4CE115F29）單獨完成實驗，該芯片具有6K到150K的邏輯單元和高達6.3Mb的嵌入式存儲器，360個18×18乘法器，可以實現DSP處理密集型應用；高達3.125Gb的數據速率可以很好的對圖像進行實時性處理。

目前非均勻性校正算法主要分為兩大類：基于參考源的非均勻性校正[2]和基于場景的非均勻性校正[3]。第一類方法具有較高的校正準確度，且實時性高；但在標定過程中成像系統需要暫停工作，使系統處理速度降低；第二類類方法具有自適應性校正的特點，但絕大部分算法都需要估計真實場景值，增加了對具體場景的環境要求。本文針對紅外焦平面非均勻性成列分布的特性，采用中值直方圖均衡算法[1]對紅外圖像進行非均勻性行校正。

1 中值直方圖均衡算法

1.1 算法原理

基于紅外焦平面都采用行積分格式處理，而行積分處理導致圖像的非均勻性表現在列與列的響應差異上，假設紅外圖像間像素灰度是連續的，那么單幅紅外圖像中相鄰列之間的差別在統計意義上是很小的，這意味著兩個相鄰直方圖幾乎是相等的。根據這個假設，對紅外圖像列進行中值化直方圖均衡，使成像的連續圖像列直方圖相等。

1.2 算法流程

（1）計算圖像中每一列ci的累計直方圖Hi。

（2）對每一列ci采用高斯權重Φ=Φσ其中σ為標準差，計算下一列的直方圖Hmid（i）-1。公式如下：

Hmid（i）-1= （1）

（3）設每列ci的直方圖為中值直方圖Hmid（i）-1。

不同的紅外焦平面的非均勻性不同，而高斯權重標準差σ的選擇僅取決于探測器，與被觀察目標無關，因此該方法具有廣泛使用性。對單幅圖像進行的非均勻校正并不受運動或場景變化的影響，這就避免了“鬼影”的產生以及由于校正參數隨著時間漂移而產生的任何問題。

1.3 高斯權重標準差σ的選擇

1.3.1 最優自適應參數的選擇

紅外圖像的非均勻性的增加會導致圖像的全變分（Total Variation）模的增加，因此圖像的平滑性越小，非均勻性就越小。高斯權重的標準差σ自動選擇公式如下：

σ*=argminσ|| Iσ ||TV*（2）

公式Iσ為采用參數σ利用中值直方圖均衡化算法校正后的圖像，通過對σ進行兩分法搜索完成最優化參數的選擇。

1.4 算法收斂條件

如果hi，i1….N為N個單幀紅外圖像不同列的直方圖，且已求得中值化直方圖：

Hmid（i）-1= （3）

由公式（3）得：

||hmid-htrue||2（4）

假設探測器成像的N列所對應的hi是獨立同分布的，且以htrue為中心則：

0（5）

2 非均勻性校正的FPGA實現

中值直方圖均衡化算法的提出者在軟件仿真上證明了算法的可行性，但是在硬件平臺上算法能否滿足實驗要求有待考證，本文在FPG硬件平臺上驗證并改進算法的實用性。

圖1為FPGA進行非均勻性校正原理圖。視頻輸入信號經過模擬預處理，頻率調整到A/D轉換芯片工作范圍，經過A/D轉換之后，數據送到FPGA進行下一步處理。計算單元計算每列的灰度直方圖，計算結果存于SRAM1中。同時，控制單元發出指令，提取SRAM1中存儲的校正后的圖像傳入高斯權重系數計算模塊，計算出σ值，并存儲在SRAM2中。然后控制單元發出指令，提取SRAM2中存儲數據，傳輸到最后的非均勻性校正模塊，進行最后校正，校正結果存儲在SRAM2中，之后根據公式（4）、（5）判定結果是否滿足算法收斂條件，如果滿足條件，保存計算結果，否則，返回第2步，重新計算權系數σ。

3 實驗結果

本文設計的基于FPGA紅外焦平面實時數據處理系統，經過試驗取得了良好的效果。下圖中圖（a）為未進行校正的圖像，可以看到明顯的非均勻性噪聲，圖（b）為進行校正后的圖像，經過對比可以發現固定模式噪聲明顯減少。

4 結語

本文設計了一種基于FPGA的紅外圖像實時處理系統，高斯權系數計算，非均勻性校正，都在一片FPGA上實現，利用中值直方圖均衡化算法，有效的實現了對紅外圖像的非均勻性校正，而且該系統體積小，有利于實現系統的小型化應用。

參考文獻

[1] 賀明，王亞弟.中值直方圖的單幀紅外圖像非均勻校正算法[J].紅外與激光工程，2012，9.

[2] Hormans R， Hepfer K C，Zurasky M. Uniformitycompensation for high quantum efficiency focal arrays[J].Proc.SPIE，1996，2 744：154-164.

[3] Scribner D A， Sarkady K A，Caulfield J T， et al.Nonuniformity correction for staring IR focal planearrays using scene-based techniques[J].Proc.SPIE1990，1 308：224-233.

[4] Delon J.Midway image equalization [J].Journal ofMathematical Imaging and Vision，2004，21（2）：119-134.endprint

摘 要：針對紅外圖像成像的非均勻性分布特性，本文以FPGA為核心器件運用中值直方圖均衡算法對紅外圖像的非均勻性矯正。實驗表明該方法對紅外圖像的固定模式噪聲消減效果明顯，且具有實現速度快、實時性高的優點，利于系統小型化的實現。

關鍵詞：FPGA 紅外圖像 非均勻性校正 中值直方圖均衡化

中圖分類號：TP311 文獻標識碼：A 文章編號：1672-3791（2014）09（a）-0030-02

隨著科技的發展，在進行紅外圖像處理時對圖像處理系統的要求越來越高，因此系統處理數據的高效性、快速處理能力和大數據量的吞吐能力是系統選定時的先決條件。目前，大多紅外圖像非均性校正的研究都采用DSP+FPGA結合的方式[4]，先由DSP完成校正系數的計算，然后由FPGA完成非均勻性校正。研究對DSP的工作頻率要求一般為幾百兆赫茲，同時需要DSP與A/D轉換器、DSP與顯示模塊之間加上存儲器作為數據緩存，尤其是工作頻率的增高，導致系統高頻噪聲增加，從而使模擬部分的噪聲增大，降低了系統的溫度分辨率。本文采用Altera公司的Cyclone IV系列芯片FPGA（EP4CE115F29）單獨完成實驗，該芯片具有6K到150K的邏輯單元和高達6.3Mb的嵌入式存儲器，360個18×18乘法器，可以實現DSP處理密集型應用；高達3.125Gb的數據速率可以很好的對圖像進行實時性處理。

目前非均勻性校正算法主要分為兩大類：基于參考源的非均勻性校正[2]和基于場景的非均勻性校正[3]。第一類方法具有較高的校正準確度，且實時性高；但在標定過程中成像系統需要暫停工作，使系統處理速度降低；第二類類方法具有自適應性校正的特點，但絕大部分算法都需要估計真實場景值，增加了對具體場景的環境要求。本文針對紅外焦平面非均勻性成列分布的特性，采用中值直方圖均衡算法[1]對紅外圖像進行非均勻性行校正。

1 中值直方圖均衡算法

1.1 算法原理

基于紅外焦平面都采用行積分格式處理，而行積分處理導致圖像的非均勻性表現在列與列的響應差異上，假設紅外圖像間像素灰度是連續的，那么單幅紅外圖像中相鄰列之間的差別在統計意義上是很小的，這意味著兩個相鄰直方圖幾乎是相等的。根據這個假設，對紅外圖像列進行中值化直方圖均衡，使成像的連續圖像列直方圖相等。

1.2 算法流程

（1）計算圖像中每一列ci的累計直方圖Hi。

（2）對每一列ci采用高斯權重Φ=Φσ其中σ為標準差，計算下一列的直方圖Hmid（i）-1。公式如下：

Hmid（i）-1= （1）

（3）設每列ci的直方圖為中值直方圖Hmid（i）-1。

不同的紅外焦平面的非均勻性不同，而高斯權重標準差σ的選擇僅取決于探測器，與被觀察目標無關，因此該方法具有廣泛使用性。對單幅圖像進行的非均勻校正并不受運動或場景變化的影響，這就避免了“鬼影”的產生以及由于校正參數隨著時間漂移而產生的任何問題。

1.3 高斯權重標準差σ的選擇

1.3.1 最優自適應參數的選擇

紅外圖像的非均勻性的增加會導致圖像的全變分（Total Variation）模的增加，因此圖像的平滑性越小，非均勻性就越小。高斯權重的標準差σ自動選擇公式如下：

σ*=argminσ|| Iσ ||TV*（2）

公式Iσ為采用參數σ利用中值直方圖均衡化算法校正后的圖像，通過對σ進行兩分法搜索完成最優化參數的選擇。

1.4 算法收斂條件

如果hi，i1….N為N個單幀紅外圖像不同列的直方圖，且已求得中值化直方圖：

Hmid（i）-1= （3）

由公式（3）得：

||hmid-htrue||2（4）

假設探測器成像的N列所對應的hi是獨立同分布的，且以htrue為中心則：

0（5）

2 非均勻性校正的FPGA實現

中值直方圖均衡化算法的提出者在軟件仿真上證明了算法的可行性，但是在硬件平臺上算法能否滿足實驗要求有待考證，本文在FPG硬件平臺上驗證并改進算法的實用性。

圖1為FPGA進行非均勻性校正原理圖。視頻輸入信號經過模擬預處理，頻率調整到A/D轉換芯片工作范圍，經過A/D轉換之后，數據送到FPGA進行下一步處理。計算單元計算每列的灰度直方圖，計算結果存于SRAM1中。同時，控制單元發出指令，提取SRAM1中存儲的校正后的圖像傳入高斯權重系數計算模塊，計算出σ值，并存儲在SRAM2中。然后控制單元發出指令，提取SRAM2中存儲數據，傳輸到最后的非均勻性校正模塊，進行最后校正，校正結果存儲在SRAM2中，之后根據公式（4）、（5）判定結果是否滿足算法收斂條件，如果滿足條件，保存計算結果，否則，返回第2步，重新計算權系數σ。

3 實驗結果

本文設計的基于FPGA紅外焦平面實時數據處理系統，經過試驗取得了良好的效果。下圖中圖（a）為未進行校正的圖像，可以看到明顯的非均勻性噪聲，圖（b）為進行校正后的圖像，經過對比可以發現固定模式噪聲明顯減少。

4 結語

本文設計了一種基于FPGA的紅外圖像實時處理系統，高斯權系數計算，非均勻性校正，都在一片FPGA上實現，利用中值直方圖均衡化算法，有效的實現了對紅外圖像的非均勻性校正，而且該系統體積小，有利于實現系統的小型化應用。

參考文獻

[1] 賀明，王亞弟.中值直方圖的單幀紅外圖像非均勻校正算法[J].紅外與激光工程，2012，9.

[2] Hormans R， Hepfer K C，Zurasky M. Uniformitycompensation for high quantum efficiency focal arrays[J].Proc.SPIE，1996，2 744：154-164.

[3] Scribner D A， Sarkady K A，Caulfield J T， et al.Nonuniformity correction for staring IR focal planearrays using scene-based techniques[J].Proc.SPIE1990，1 308：224-233.

[4] Delon J.Midway image equalization [J].Journal ofMathematical Imaging and Vision，2004，21（2）：119-134.endprint