面向弱光探測的實時像元合并

張 劉，王亞明，張 文，王文華

（吉林大學儀器科學與電氣工程學院，吉林長春130021）

1 引 言

基于光學圖像的粗避障作為探測器月球著陸中自主避障軟著陸系統的重要環節，其避障精度影響整個著陸過程，同時，月球著陸要在極短的時間內完成，提高粗避障環節的實現速度也十分重要。不充分的光照不僅會使探測器成像靈敏度下降，還會使目標信號因輻射亮度過低而被噪聲淹沒［2］。因此，在保障粗避障環節實現速度的基礎上，提高探測器成像的靈敏度和圖像質量是弱光下高精度深空探測成像的必要前提。

像元合并可以有效提高弱光下成像靈敏度和圖像信噪比，且易于硬件實現，滿足星上圖像實時處理的需求。文獻［2］為提高探測器的成像靈敏度提出了一種適用于互補金屬氧化物半導體（Complementary Metal Oxide Semiconductor，CMOS）傳感器的移位數字像元合并，由仿真結果可知，該方法對椒鹽噪聲具有較好的“去噪”能力，但會加劇黑白邊緣混疊的現象。文獻［3］為提高星載差分吸收光譜儀弱光下的探測能力，提出了一種基于光電耦合器件（Charge Coupled Device，CCD）傳感器的 4-Binning 像元合并方法，但存在時序控制復雜和像元滿阱容量限制的問題，且上述方法均未考慮圖像數據量，無法提高粗避障選取安全區的處理速度。

粗避障的具體任務是在擁有較大著陸范圍的光學圖像中剔除隕石坑和巖石等大尺度障礙，選取安全著陸區。隕石坑和巖石在光學灰度圖像中的主要特點為：巖石亮度大于背景亮度，坑位陰影暗于背景，形成明暗對比明顯的類圓形。因此，圖像的對比度也是影響目標識別的關鍵。文獻［7］指出弱光環境下，采用去除相機本底值的方式可在一定程度上去除暗電流等固定噪聲，但未考慮去除相機本底值對圖像對比度的影響，因此，難以定量化地分析去除相機本底值對成像質量的提升效果。

綜合上述問題，本文在不增加系統數傳負擔的基礎上，針對n_taps 成像數據格式，提出了一種適用于弱光下月球著陸粗避障的“區域”數字像元合并設計。該設計在提高成像靈敏度和信噪比的基礎上減少了圖像數據量，提高了后續目標識別的數據處理速度，同時，結合去除相機本底值的圖像預處理方法，提高了圖像對比度。整體設計由現場可編程門陣列（Field Programma?ble Gate Array，FPGA）實現，從工程角度出發，通過圖像預處理的方式改善成像性能，具有低成本、高效率等優勢。

2 數字像元合并設計

2.1 像元合并實現原理分析

像元合并主要分為CCD 的模擬像元合并和CMOS 數字像元合并兩大類［2］。兩類像元的合并方式是通過間接增大像元面積來提高探測器成像靈敏度的。典型的模擬像元合并過程如圖1所示，在電荷域中，將進行合并的電荷轉移到水平或垂直讀出寄存器中，做一次讀出操作，來提高單位像元信號的電荷量，進而提高成像靈敏度［12］。

圖1 模擬像元合并Fig.1 Simulate pixel binning

CMOS 傳感器直接輸出數字圖像信號，利用FPGA 外圍電路實現類似于電荷域中的模擬像元合并過程，不同之處在于CMOS 是在數字域以碼值的形式進行信號的疊加，不受像元滿阱容量的限制，可有效避免最后一行出現的電荷溢出；同時驅動時序簡單，易于硬件實現，可對局部圖像的像元隨機訪問編程，這是數字像元合并可實現“區域”像元合并的前提。

在傳統像元合并的基礎上，依據粗避障環節的具體任務是剔除隕石等大尺度障礙，對空間分辨要求不高的任務特點，通過改變傳統合并后像元的尺寸實現“區域”像元合并。具體實現過程如圖2 所示，圖2 左側圖為傳統數字像元合并原理，其中，小方格代表原始像元，圓圈代表進行合并的像元矩陣，圓圈中2×2 的像元矩陣以矩陣大小為步長進行合并，合并后的像元占原始四個像元大小并且光譜信息相同，在此基礎上，“區域”像元合并的實現原理如圖2 右側圖所示，依據傳統像元合并后，4 個像元的光譜信息相同的原理，“區域”像元合并合理調整像元尺寸，將合并后的像元調整為一個原始像元的尺寸，在不改變傳統像元合并功能的基礎上，使合并后的圖像數據量減少到原圖像的1/4，最大限度地提高了行間隔，為提高粗避障安全區的快速選取奠定了基礎。

圖2 傳統像元合并（左）與“區域”像元（右）Fig.2 Traditional pixel binning（left）and‘Region’pixel binning（right）

2.2 基于多種數據格式的像元矩陣構建

像元矩陣的構建是像元合并的關鍵。傳統像元合并通常是1_tap 成像數據格式下進行，為提高數據傳輸帶寬，成像數據格式可調整為n_taps，n_taps 的成像數據格式可提高n倍左右的帶寬。綜合考慮FPGA 的內部資源、讀出速率以及傳輸帶寬，本文選擇2_taps/10 bits 成像數據結構，帶寬相對1_tap 數據結構提高約兩倍。為提高“區域”像元合并的普適性，本文在基于2_taps/10 bits 成像數據格式構建像元矩陣的基礎上，提出了一種針對n_taps 成像數據格式的像元矩陣構建方法。首先，確定像元矩陣構建的一般方法，具體方法如圖3 所示，針對m×m的像元合并，行方向上利用m-1 個FIFO 按行緩存圖像數據控制像元矩陣行數，列方向上利用計數器控制像元矩陣列數。對得到的不同時刻的像元矩陣，利用累加器完成矩陣內像元值的“合并”，存儲器對“合并”后圖像數據的時序與數據進行重構。

圖3 像元矩陣的構建Fig.3 Construction of pixel matrix

然后，根據圖像數據不同的排列方式，將n_taps 成像數據格式大致分為“區排列”和“相鄰排列”兩大類。如圖4 所示，“區排列”可分區按照上述方法構建像元矩陣，而“相鄰排列”數據格式的像元矩陣構建受到數據排列格式的限制，需先根據像元矩陣的大小，將同一時刻成像數據中矩陣內的像元值先進行相應“合并”，再利用FIFO、計數器進行緩存、計數，完成矩陣內其余像元值的“合并”。如圖 4 左圖所示，2 taps/10 bits 的數據結構在進行2×2 像元矩陣合并時，先將同一時刻相鄰的像元值“合并”寫入FIFO，再利用計數器對矩陣內的其他像元值進行后續的合并。以此類推，針對n_taps 的成像數據結構，像元合并設計均可以分類構建合并矩陣。

圖4 區排列（左）和相鄰排列（右）Fig.4 Arranged by area（left） and adjacent arrangement（right）

2.3 去除相機本底值

CMOS 傳感器中各個像素之間放大器閾值偏差和暗電流偏差對成像的影響較大。由于暗電流的不均勻性，以及像素放大器偏差的存在，在沒有入射光的情況下圖像也會含有暗電流等固定模式噪聲，因此，本文通過去除相機本底的方式來提高圖像質量。

暗電流等固定噪聲主要與積分時間和溫度等相關因素相關。粗避障環節需要在短時間內實現，相對于積分時間等其他因素，引起溫度變化的不確定因素更為復雜，難以模擬和推測。為保證去除相機本底值的精確度和實時性，利用重復性實驗，在積分時間一定的情況下，獲取寬、窄視場相機工作在-5~60 ℃的相機本底值，通過多項式擬合法得到寬、窄視場兩款相機隨溫度變化的相機本底值的函數關系。表1 和表2分別為寬、窄視場相機不同次數多項式擬合的單數據平均殘差（vi）對比。綜合考慮擬合精度和FPGA 內部資源的占用情況，三次多項式擬合滿足平均殘差小于1 個碼值的精度要求，相對于四次多項式擬合占用更少的FPGA 內部資源，選擇三次多項式完成實驗數據的擬合。圖5所示為兩款相機的三次多項式擬合曲線，寬、窄視場的函數關系式分別為：

圖5 相機本底值與溫度的擬合曲線Fig.5 Fitting curve of camera background value and tem?perature

表1 寬視場相機不同次數多項式擬合殘差Tab.1 Fitting residuals of different degrees polynomial for wide field camera

表2 窄視場相機不同次數多項式擬合殘差Tab.2 Fitting residuals of different degrees polynomial for narrow field camera

采用硬件描述語言，將溫度與相機本底值的函數關系寫入成像系統，使成像系統實時讀取相機的工作溫度，去除相機本底值。為避免去除相機本底值對于圖像有效信號的損失，對去除的本底值做歸一化處理，如下：

其中a為某一溫度下相機的本底值。

2.4 整體設計

整體設計框圖如圖6 所示。首先，FPGA 主控單元利用SPI 接口配置CMOS 傳感器，完成CMOS 傳感器的初始化工作。然后，對傳感器采集的串行高速LVDS 圖像數據進行串行解串，并在成像模塊中通過SPI 接口讀取相機的工作溫度，根據相應溫度區間去除相機本底值，最后綜合考慮帶寬限制和FPGA 的內部資源，根據Cameralink 接口標準完成圖像數據時序的控制與數據格式調整，像元合并作為圖像預處理模塊置于上位機顯示之前，實時對采集到的圖像數據進行數字像元合并，上位機亦可通過通信接口控制像元合并的級數。

圖6 實時像元合并整體設計框圖Fig.6 Overall design framework for real-time pixel merging

3 實 驗

3.1 “區域”像元合并對圖像信噪比和數據量的影響

CMOS 傳感器的多級數字像元合并是在數字域內進行像元信號的“累加”。像元信號F（i）可近似表示為隨機噪聲N（i）與像元信號有效值A（i）的線性相加，即：

假設有m個像元進行像元合并，合并后信號的有效值近似增強了m倍，隨機噪聲按照矢量疊加，疊加后的強度和可近似為所以，合并后的像元信號為：

信噪比作為圖像質量評價的重要指標，其數學表達為信號與噪聲的比值，如式（6）所示：

圖7 2_taps_4×4“區域”像元合并仿真Fig.7 Simulation of 2_taps_4×4 pixel merger

3.2 去除相機本底對圖像對比度的影響

本文采用去除本底噪聲的方式提升圖像對比度，具體效果可由去除相機本底值前后圖像調制度的變化說明。調制度通常用來表示圖像的對比度，定義為：

式中：Imax為圖像最大光強，Imin為圖像最小光強。假設某一溫度環境下，相機的本底值為a，去除相機本底后調制度變為：

由式（8）可以得出，去除相機本底值后圖像最大光強和最小光強之間的差值不變，整體灰度值變小，兩者比值所代表的圖像對比度隨之提高。

3.3 實驗平臺的搭建

為驗證數字像元合并和去除相機本底值兩種圖像預處理方法對光學圖像質量提升的實際效果，進行了多次重復性實驗。實驗裝置如圖8所示，為更好地模擬弱光條件，選擇在室內無燈光環境，時間為 17：00 至 18：30，溫度為 17 ℃，實驗相機為窄視場相機（NOIP1SN012KA）和寬視場相機（CMV4000）。其中，窄視場相機的像元尺寸為 4.5 μm，成像分辨率為 4 096×2 896，實驗成像距離為30 m；寬視場相機的像元尺寸為5.5 μm，成像分辨率為2 048×2 048，實驗成像距離為10 m。

圖8 實驗成像裝置Fig.8 Experimental imaging devices

首先，分析去除相機本底值前后，成像信噪比和對比度的變化情況，實驗共進行5 次。表3為室內溫度為17 ℃，寬、窄視場相機本底值分別為27.3 與29.3 時，去除相機本底值的5 次實驗數據統計。由表3 可知，寬視場相機的信噪比平均提高0.703 8 dB，對比度平均提高0.229 0；窄視場相機的信噪比平均提高0.533 9 dB，對比度平均提高0.160 3，與上述理論分析結果基本一致。

表3 去本底實驗數據Tab.3 Experimental data of denoising

然后，在不去除相機本底的情況下，寬、窄視場相機分別在原圖模式、2_Binning 模式和4-Bin?ning 模式下進行5 次實驗，統計觀察成像的信噪比變化。圖9 為實驗測試樣圖，從視覺上可以看出像元合并達到了光信號“增強”的效果。合并前后信噪比的變化如圖10 所示，寬、窄視場相機2 合并前后的信噪比均提高近似2 倍，4 合并前后信噪比均提高近似4 倍，與上述理論分析結果一致。同時，由表4~表5 可知，在微弱光照下可通過像元合并達到SNR≥20 dB 的成像要求。

圖9 寬、窄視場相機像元合并成像對比Fig.9 Contrast images of pixel binning of wide and narrow field of view cameras

圖10 2×2 和4×4 像元合并5 次實驗信噪比變化Fig.10 SNR changes in 2×2 and 4×4 images of 5 experiments combining

表4 窄視場相機實驗數據Tab.4 Experimental data of N12K_camera

表5 寬視場相機實驗數據Tab.5 Experimental data of CMV4000_camera

最后，結合“區域”像元合并和去除相機本底值兩種方法進行5 次實驗，5 次實驗結果的平均值如表6 所示。寬視場相機2_Binning 結合去除相機本底值的模式下圖像信噪比可提高5.901 4 dB，圖像對比度提高了0.257 4，4_Binning 結合去除相機本底值的模式下圖像信噪比可提高11.698 8 dB，圖像對比度可提高0.210 2；窄視場2_Bin?ning 結合去除相機本底值的模式下圖像信噪比可提高5.764 4 dB，圖像對比度可提高0.265 4，4_Binning 結合去除本底值的模式下圖像信噪比可提高11.450 1 dB，圖像對比度可提高0.284 0。實驗結果表明，弱光環境下，“區域”像元合并和去除相機本底值兩種圖像預處理方法可有效提高探測器成像的信噪比和對比度。

表6 像元合并結合去除本底值的實驗數據Tab.6 Experimental data of pixel binning and removal of camera background

4 結 論

本文為提高弱光下月球著陸粗避障環節中探測器的成像靈敏度及圖像的信噪比與對比度，采用“區域”數字像元合并和去除相機本底兩種圖像預處理方法，實現了探測器弱光下的清晰成像。在“區域”像元合并的基礎上，提出了一種針對n_taps 成像數據格式的像元矩陣構建方法。通過實驗擬合了相機本底值隨溫度的變化曲線，去除了相機本底，但此溫度實驗是針對后端相機的溫度實驗，后續會進行整機的熱真空實驗，完善實驗數據。實驗結果表明：2×2“區域”像元合并可有效提高圖像信噪比2 倍左右；4×4“區域”像元合并可有效提高圖像信噪比4 倍左右；環境溫度為17 ℃時，寬視場相機的對比度近似提高了0.23，窄視場相機的對比度近似提高了0.16，滿足弱光成像的基本工程要求。