紅外與CCD圖像的融合及FPGA設計分析

吳文君

（廣州颯特紅外股份有限公司，廣東廣州 510000）

紅外和CCD（電荷耦合元件）圖像的融合過程中，CCD 圖像分辨率較高，信息量很大，紅外圖像能夠將溫度信息顯示出來。將兩種圖像相互融合，有助于提升信息顯示的多元化和準確性。而FPGA（現場可編程門陣列）則是實現紅外和CCD 圖像融合的重要算法，科學合理進行FPGA 的設計至關重要，因此，在紅外和CCD 圖像融合的過程中，需要注重FPGA設計，促使圖像融合效果的提升。

1 紅外與CCD圖像融合

紅外與CCD 圖像的融合是指將紅外圖像和CCD圖像進行融合，以提高圖像的質量和信息內容。此類研究在多個領域具有廣泛的應用，如軍事、安防、醫學等。通常情況下，紅外與CCD 圖像融合的原理如下。

（1）圖像采集。紅外圖像和CCD 圖像是通過不同的傳感器采集的，紅外圖像主要捕捉目標的熱輻射信息，而CCD 圖像則捕捉目標的可見光信息。因此，首先需要對兩種圖像進行分別采集。

（2）圖像預處理。紅外圖像和CCD 圖像在圖像質量和特征方面存在差異，因此需要對兩種圖像進行預處理，以消除噪聲、增強圖像對比度等。常見的預處理方法包括濾波、增強及幾何校正等。

（3）圖像配準。由于紅外圖像和CCD 圖像是通過不同的傳感器采集的，之間存在一定的幾何畸變和位置偏差。圖像配準是將兩種圖像對齊，使其在空間上一一對應，以便后續的融合處理。

（4）圖像融合。圖像融合是將紅外圖像和CCD圖像的信息相結合，生成一幅融合圖像。常見的融合方法包括基于像素的融合、基于特征的融合及基于深度學習的融合等。可以根據應用需求，選擇合適的融合策略。

（5）圖像評價。對融合圖像進行評價，以驗證融合結果的質量和效果。常用的評價指標包括結構相似性指標（SSIM）、峰值信噪比（PSNR）等。紅外與CCD 圖像的融合旨在綜合利用紅外圖像和CCD 圖像的優勢，提高圖像的識別和分析能力。通過融合，可以獲得更全面、更準確的圖像信息，為相關領域的應用提供更好的支持。

2 紅外與CCD圖像融合的FPGA設計

2.1 總體架構設計

紅外與CCD 圖像融合過程中采用FPGA 算法，整體架構如圖1所示。

圖1 紅外與CCD圖像融合的FPGA設計整體架構

其中，紅外傳感器主要用來進行灰度信息的讀取，科學合理進行信息的處理。而CCD 傳感器的功能在于進行彩色圖像信息的接收，直接進行圖像融合操作。對于紅外圖像而言，需要經過插值放大模塊進行放大，使其能夠和CCD 的圖像規格一致，然后經過彩虹編碼模塊將其轉變成為彩色圖像，傳輸到圖像融合模塊，以FPGA 算法為基礎，進行圖像的融合處理，最終FPGA 將完成融合的圖像輸送到顯示屏，使相關圖像快速顯示出來。

2.2 FPGA算法的應用

2.2.1 插值放大算法

通常情況下，在紅外與CCD 圖像融合中FPGA插值放大算法是常用的圖像處理算法，用于增強圖像的細節和對比度，具體應用措施為：①圖像插值計算。先將紅外圖像和CCD 圖像進行配準，確保兩幅圖像對齊。再使用FPGA 實現插值計算，將紅外圖像與CCD 圖像相減，得到插值圖像，該步驟可以通過像素級的減法運算實現。②插值放大。在插值圖像上應用插值放大算法，以增強圖像的細節和對比度。插值放大算法可以通過增加插值圖像中的像素值來實現，從而增強圖像的細節信息。FPGA 可以通過并行處理的方式快速實現插值放大算法，以提高處理速度和效率。③圖像融合。將經過插值放大的插值圖像與紅外圖像進行融合，生成最終的融合圖像。融合可以采用像素級融合或其他融合算法，根據應用需求選擇合適的方法。④實時性考慮。在設計FPGA 插值放大算法時，需要考慮算法的實時性。插值放大算法可能會引入一定的計算復雜度，因此需要對FPGA 資源進行合理分配和優化，以保證系統的實時性能。⑤性能評估。對使用FPGA 插值放大算法進行紅外與CCD 圖像融合的系統進行性能評估。可以使用常見的評估指標，如結構相似性指標（SSIM）、峰值信噪比（PSNR）等，來評估融合圖像的質量和效果。總之，FPGA 插值放大算法在紅外與CCD 圖像融合中的應用措施包括圖像插值計算、插值放大、圖像融合、實時性考慮及性能評估。這些措施可以提高融合圖像的質量和細節，并滿足實時性處理的需求。

從總體層面而言，紅外傳感器可劃分成為陣列和焦平面兩種類型。其中焦平面類型的設備分辨率很高，但是成本較大。而陣列類型設備的分辨率和成本都較低。綜合進行成本的研究，采用陣列類型的紅外傳感器，設備數量為3臺，紅外圖像為16×12 B，進行圖像放大，放大倍數為20，將其和CCD 圖像相互匹配，考慮當前紅外傳感器存在一定的限制，因此，在實際操作的過程中，結果是單個紅外傳感器的計算結果。目前經常采用的圖像插值放大算法，主要是雙線性類型和最近鄰域類型兩種。最近鄰域插值算法的應用便利，計算量很小，但是對圖像放大之后可能會發生鋸齒的現象。而雙線性插值算法的應用效果較高，計算量合適。因此，可按照具體的情況選擇相應的算法。例如，為避免圖像放大出現鋸齒的現象，預防發生算法應用問題，可將雙線性與最近領域兩種插值算法有機整合，達到圖像精準放大的目的。在此過程中，各個圓紅外像素點放大之后，處于中間的位置，算法應用期間，主要采用原像素點，左側和上方插入的像素點，實現圖像的放大處理。而圖像邊緣像素點，主要使用最近鄰域插值算法進行新增加插值點的計算，插值點數據值選取原像素點的數據值。而圖像內部的像素點，則使用雙線性插值法進行插值計算。

在紅外和CCD 圖像融合中FPGA 插值放大具體的計算公式為：插值放大：新圖像=原始CCD 圖像+放大倍數×（原始紅外圖像-原始CCD 圖像）。

其中原始CCD 圖像和原始紅外圖像是輸入的原始圖像。放大倍數是一個調節參數，用于控制插值放大的程度。通過調節放大倍數的大小，可以增強紅外圖像與CCD 圖像之間的差異，從而提高圖像的質量和可視化效果。需要注意的是，插值放大的計算公式只是一種常見的方法，具體的實現方式可能會有所不同，取決于具體的圖像融合算法和FPGA 設計。在實際應用中，可以根據需求和實驗結果，調整放大倍數，以獲得最佳的圖像融合效果。

2.2.2 彩虹編碼算法

在紅外與CCD 圖像融合中FPGA 彩虹編碼算法也屬于常用的圖像處理算法，能夠使紅外圖像和CCD 圖像進行融合和增強，具體操作方式為：①圖像輸入和采集。將紅外圖像和CCD 圖像輸入到FPGA，可通過適當的接口，如串行通信、并行接口或者幀緩沖器等方式實現。確保圖像數據在FPGA 中的正確接收和處理。②圖像配準。對紅外圖像和CCD 圖像進行配準，確保兩幅圖像對齊。這可以通過使用圖像配準算法，如特征點匹配、相位相關等方法實現。配準后的圖像可以減小紅外和CCD 圖像之間的幾何畸變和位置偏差。③彩虹編碼。使用FPGA 實現彩虹編碼算法，對紅外圖像和CCD 圖像進行編碼。彩虹編碼是一種將不同光譜信息編碼到一幅圖像中的技術，可以將紅外和CCD 圖像的信息融合起來。FPGA 可以通過并行處理的方式，快速實現彩虹編碼算法。④圖像解碼和融合。將彩虹編碼后的圖像解碼，并將紅外圖像和CCD 圖像進行融合。解碼可以通過使用彩虹解碼算法，將編碼后的圖像還原為原始的紅外和CCD 圖像。融合可以采用像素級融合或其他融合算法，根據應用需求選擇合適的方法。⑤圖像輸出和顯示。將融合后的圖像輸出到顯示設備或存儲設備上。這可以通過視頻接口、HDMI 接口、存儲器等方式實現。確保融合后的圖像能夠被正確顯示和使用。在進行彩虹編碼的FPGA 設計時，需要考慮算法的實時性和計算復雜度。合理分配和優化FPGA 資源，以保證系統的實時性能和效率。

對于彩虹編碼算法而言，能夠完成灰度圖像的偽彩色變換處理，使顏色單一的圖像被映射成為彩色類型的圖像，經常應用的顏色空間則是RGB 顏色空間，常規類型的偽彩色變換方式，就是將灰色圖像變換成為RGB 圖像，但是由于計算的流程較為繁瑣復雜，對FPGA 硬件的實現會造成不利影響，且在完成圖像映射后，溫度最高的位置是白色，和圖像融合的要求不符，所以需要進行算法的修改處理。例如，對彩虹編碼進行改進，使其變換曲線的灰度范圍為k0～k4，R、G、B 設定為彩色空間的不同通道，原本紅外圖像的灰度區，可劃分成為4部分，分別與偽彩色變換之后的彩色圖像相互對應，即k0～k1是低溫物體，顏色為藍色；k1～k2是中低溫物體，顏色是綠色；k2～k3為中溫物體，顏色是黃色；k3～k4是高溫物體，顏色為紅色。

2.2.3 圖像融合算法

基于FPGA 的紅外與CCD 圖像融合算法，主要的措施如下。

（1）圖像配準。對紅外圖像和CCD 圖像進行配準，確保兩幅圖像對齊，可以使用特征點匹配、相位相關等配準算法來實現。

（2）圖像融合。將配準后的紅外圖像和CCD 圖像進行融合。常用的融合方法包括加權平均、小波變換、局部對比度增強等。根據應用需求選擇合適的融合算法。例如，在采用小波變換法進行基于FPGA 的紅外與CCD 圖像融合的過程如下：①對配準后的紅外圖像和CCD 圖像進行小波變換。小波變換可以將圖像分解為不同尺度和頻率的子帶，提取不同的圖像特征。在FPGA 中實現小波變換可以使用快速小波變換算法。同時，需要選擇合適的小波基函數和分解層數。②子帶融合。對小波變換后的子帶進行融合。可以采用不同的融合方法，如加權平均、最大值選擇、局部對比度增強等。根據應用需求選擇合適的融合方法。③逆小波變換。將融合后的子帶進行逆小波變換，將其重建為融合后的圖像。在FPGA 中實現逆小波變換可以使用快速逆小波變換算法。

（3）圖像增強。對融合圖像進行增強，以提高圖像的細節和對比度。常用的增強方法包括直方圖均衡化、對比度拉伸、銳化等。在FPGA 中實現這些方法可以提高處理速度和效率。

（4）性能優化。對FPGA 算法進行性能優化，包括資源分配、數據流設計、算法并行化等。通過合理的優化可以提高算法的效率和性能。

（5）結果輸出。將融合和增強后的圖像輸出到顯示設備或存儲設備上。可以使用視頻接口、HDMI 接口、存儲器等方式實現圖像的輸出。

3 結束語

綜上所述，紅外與CCD 圖像融合，不僅能夠提升圖像處理的效果，還能改善圖像處理的精準度，具有重要意義。但是在紅外與CCD 圖像融合的過程中如果缺少精準的算法，將會導致圖像融合的效果降低。因此，建議在紅外與CCD 圖像融合期間，科學合理采用FPGA 算法，合理設計總體架構，應用FPGA 插值放大算法、彩虹編碼算法及圖像融合算法，為提升紅外與CCD 圖像融合效果作出貢獻。