適用于晝夜視覺的微光CIS

潘京生，郭一亮，顧 燕，李燕紅，孫建寧，張勤東，蘇德坦

?

適用于晝夜視覺的微光CIS

潘京生1,2，郭一亮1,2，顧 燕1,2，李燕紅1,2，孫建寧1,2，張勤東1,2，蘇德坦1,2

（1.北方夜視技術股份有限公司，江蘇 南京 211102；2.微光夜視技術重點實驗室，陜西 西安 710065）

CMOS圖像傳感器（CIS）相比于CCD圖像傳感器具有可集成更多功能和集成度以及更小的系統尺寸、重量和功耗及成本（SWaP-C）的優勢，CIS技術的最新進步，特別在低讀出噪聲和高靈敏度的突破，使其不僅達到了相當于CCD圖像傳感器的圖像性能，同時也將其微光使用限定推進到了微光條件，介紹了一種高靈敏度低噪聲大動態范圍的微光CIS組件，具備從白天到多云殘月夜晚的實時單色成像能力，可作為一種在微光成像性能和SWaP-C優選的可見光近紅外（VIS-NIR）晝夜成像器件。

微光夜視；互補金屬氧化物半導體；有源像素傳感器；CMOS圖像傳感器；微光CMOS圖像傳感器

0 引言

雖然微光像增強器目前仍然是具有最佳微光探測能力的成像器件，增強CCD（ICCD）和電子轟擊CCD（EMCCD）（包括ICMOS或EBCMOS）也可直接提供視頻甚至數字信號，但基于像增強器的系統不能晝夜通用，且不能實現彩色成像，因此需要尋求一種具有可相當于像增強器的微光成像性能，并滿足晝夜通用彩色成像要求的固態成像器件。

CMOS圖像傳感器可集成更多功能并具有更小的系統尺寸、重量和功耗及成本（SWaP-C），特別是低于2e-RMS甚至是亞電子相當的低噪聲讀出電路的開發[1-3]，使微光CMOS圖像傳感器的使用限定推進到微光條件[4-7]。

介紹了一種可用于晝夜視覺的低噪聲高靈敏度大動態范圍的CMOS圖像傳感器，可作為一種在微光成像性能和SWaP-C優選的VIS-NIR晝夜通用成像器件。

1 夜視技術與夜天空輻射

夜視技術源于在夜晚為獲得戰術優勢而采用輔助視覺的需要。夜視技術分為紅外熱成像和微光像增強。熱成像能夠獲得遠距離的定點目標，具有穿透煙、塵、霧、霾和識別偽裝能力，但不符合人眼視覺習慣，對場景亮度變化不敏感，體積重量都很大，多用于戰車戰機。微光像增強符合人眼對亮度變化的感知習慣，可提供目標所在場景的細節信息，多用于單兵頭盔和武器槍瞄具，但相比于熱成像，視距較短，特別是在惡劣條件下，難以取得較好的觀察效果。

夜天空的輻射由各種自然輻射源綜合形成，月光、星光、氣輝及太陽光、月光和星光的散射光等是夜天空的主要自然輻射源。黃昏黎明時的暮曙光照度約在1lx左右。滿月在天頂時的晴朗夜晚，地面照度大約是0.2lx；多云殘月時地面的照度為2×10－3lx（night level 3），無月晴朗星光時降低到大約8×10－4lx，而在無月多云的夜晚時的照度僅相當于無月晴朗星光時的1/4。圖1所示的是不同夜天空在VIS-NIR光譜部份的光子立體角密度[8]。

圖1 夜天空的VIS-NIR光子立體角密度

無月夜晚的多色輻射組份除來自于星光或銀河、行星之間的粒子反射陽光，更多來自于稱之為夜氣輝的大氣層發光。氣輝的主要峰值在SWIR波段的1.3mm和1.6mm[9]。晶格區配的In0.53Ga0.47As靈敏于0.9～1.7mm波段，其可得到的信號相比于可見光信號高出180倍，相比于像增強器靈敏范圍信號也高出近20倍[10]。

新一代的步兵夜視頭盔系統，包括武器槍瞄具，將采用可見光近紅外（VIS-NIR）、短波紅外（SWIR）和長波紅外（LWIR）的多傳感器[11]，以確保在日光、夜間、惡劣天氣包括霧霾和塵土等多種環境條件，為士兵提供近和遠視的高分辨力的多光譜彩色融合圖像顯示，同時還可通過無線傳輸使班隊成員分享目標圖像，實現士兵間的視覺協作，提高士兵甚至班隊級戰斗單位的戰場環境意識及探測、辨別和確認戰斗威脅的能力。圖2所示的是無月夜氣輝下光子立體角密度與人眼及多種探測器的相應的靈敏范圍。

圖2 無月夜氣輝下的光子立體角密度及多種探測器的靈敏范圍

通過片上電路結合非均勻校正（NUC）的無熱電制冷（TEC）熱平衡工作，目前基于InGaAs焦平面陣列（FPA）的SWIR傳感器和基于VO微測輻射熱計的LWIR傳感器在功能性和SWaP-C都獲得了實質性突破[12-13]，InGaAs FPA在整個響應波段可具有超過70%的量子效率，和室溫工作下的極低的暗電流。并且SWIR成像具有與可見光相同的成像方式，可顯示景物陰影和對比度，在分辨率和細節方面可以與可見光圖像相媲美。因此需要尋求一種具有可相當于像增強器的微光成像性能并滿足SWaP-C及晝夜通用彩色成像要求的固態成像器件。

2 微光固體成像器件

2.1 CCD和CMOS圖像傳感器

CCD和CMOS圖像傳感器是固體成像器件的2個主要類型，兩者都是利用了硅的光電效應原理，不同點在于光敏單元光生電荷的轉移和讀出方式。圖3所示的是一個行間轉移結構CCD原理示意。入射光子由光探測器轉換成為電荷并在曝光時間內累積，在隨后的讀出時間，累積的電荷依次轉換進入垂直和水平CCD，最后轉移到芯片級輸出放大器，在這里被轉換成為電壓信號，并通過片外的相關雙采樣（CDS），以消除傳感節的復位噪聲[14]。

CCD的這種電荷包依次讀出方式限定了其讀出速度，并且CCD是一個高電容器件，而在讀出期間需要所有的像素在相同的時間全部高電壓的轉換，這意味需要消耗更多的功耗。進一步，在CCD上無法集成CMOS電路，相機的大部分功能需要在CCD芯片之外來實現。

圖3 行間轉移CCD結構

CMOS圖像傳感器通過反向偏置PN結在積分工作模式下的光電流收集[15]，采用CMOS電路來實現傳輸并進行處理，CMOS圖像傳感器克服了許多CCD圖像傳感器所無法克服的困難，像素的隨機存取成為可能，如圖4所示，從而實現快速讀出，并可選擇感興趣的窗口讀出，且僅消耗非常低的功耗。同時，可在相同的芯片基底上集成圖像傳感器的驅動電路以及模擬信號處理和模數轉換電路，實現單芯片圖像捕獲和處理的集成，甚至單芯片數字相機及圖像處理系統，顯著減少系統的SWaP-C[16]。

圖4 CMOS圖像傳感器結構

早期的無源像素傳感器（PPS）像素中僅集成了一個開關晶體管，而有源像素傳感器（APS）則在像素中引入了MOS源跟隨器[17]。隨著CMOS制程的進步，APS像素可集成更多的MOS管，從而在像素內直接進行更多的數據處理功能。但導致每個像素的電壓轉換機制難以保持一致。CMOS圖像傳感器相比于CCD存在較嚴重的固定圖案噪聲（FPN）。

隨著亞微米CMOS制作技術的進步，更多數量的晶體管集成進入像素以進行更多的處理，特別是像素中的CDS，和應用于APS CMOS的高量子效率低暗電流低讀出噪聲的Pinned photodiode（PPD）的開發成功和日臻完善，APS CMOS的圖像質量達到了CCD的水平[18]，成為目前稱為CIS的圖像傳感器技術和CCD的一個實用替選。

圖5所示的一個3T APS和4T APS，相比于3T結構，一個晶體管MX被增加進入串聯在4T APS的浮置擴散（FD）和PPD之間，隨著傳輸門TX合適的時序驅動，晶體管MX可從PPD轉移電荷到浮置節。在積分時間開始前，通過電荷轉移機制PPD被清空，通過MOSFET（命令信號RST）重置讀出節，經SF在參考通道的列讀出電路取樣和保持，在積分時間結束后，PPD的積分電荷轉移（命令信號TG）到讀出節。相應的積分電荷的電壓級別，通過信號通道的列讀出電路取樣和保持（命令信號SHS）。視頻信號電壓級別產生于2個取樣相減（參考和信號）即得到視頻信號電壓級別，由此實現真正的像素中的CDS，消除重置噪聲，同時也減輕了FPN[19-20]。

圖5 3T ASP像素和4T APS像素結構

APS CMOS因集成了多個晶體管導致的填充因子的損失，可通過采用微透鏡陣列將入射輻射聚焦到光二極管的光轉換區域來彌補，相似的方法也用于行間轉移CCD。而CCD和CMOS都是借助于在像素陣列上覆蓋一個彩色濾光片陣列來實現彩色成像，只是CMOS更多的采用CMYK補色分色法來替代Bayer模式的RGB原色分色法，以一定程度的改善量子效率和空間響應。

CCD和CIS一直致力于模仿人眼視網膜的光子收集和處理功能與習慣，其設計和制造工藝都盡可能的降低其對NIR的敏感程度，而要實現微光成像，在最小化器件暗噪聲的同時，優化靈敏度特別是NIR波段的靈敏度顯得尤其必要。

2.2 微光CCD和EMCCD

硅材料本身就是一個對NIR光捕獲的優選的材料，但在VIS-NIR不同波段上吸收深度的變化，限定了可同時利用VIS-NIR光譜兩端的硅探測器的設計。較長的波長的光子需要穿透更深的深度方能被吸收，同時，僅在耗盡層中的光生電子空穴對有一個較高的概率分離，而最大可能耗盡層的厚度是外延摻雜度和反向偏壓的關系。CCD在具有較厚外延層的同時，能夠很好地保持空間分辨能力，并且CCD還可通過像素偏壓和外延濃度的相應調整形成更厚的外延，而改變偏壓或外延摻雜度將會影響CMOS模擬和數字電路的運作，并且通過增加外延層厚度來改善NIR敏感度會導致CMOS圖像傳感器MTF的降低。

某些NIR CCD的外延厚可達100mm甚至更多，而CMOS成像器的外延厚度僅為5～10mm。圖6是一個200mm外延厚度的NIR CCD的量子效率。但CCD是一個串聯讀出器件，只有通過降低讀出速度或制冷來獲得低讀出噪聲特性，如果片上讀出放大器工作在高速度而不采用制冷，放大器產生的熱噪聲將嚴重的損害了CCD在微光級的靈敏度[21]。

圖6 近紅外CCD的量子效率

電子倍增CCD（EMCCD）通過在水平讀出寄存器和讀出放大器之間增加了一個具有增益可調的倍增寄存器，對信號電荷進行倍增放大，從而可使一個微弱的信號因此而被放大到放大器的讀出噪聲之上[22-23]，圖7所示的EMCCD基于幀轉移結構，在讀出放大器之前增加的倍增寄存器，通過碰撞電離在每個倍增單元產生額外電荷，僅有一個非常小的概率，通過幾百個倍增單元，并對每個單元提供一個較高的電壓，一個信號電子可產生數百上千個額外的信號電荷。

但倍增機制的統計分布和相聯變化導致EMCCD引入了由噪聲因子帶來的額外噪聲[24]。并且電荷倍增的概率隨溫度而變化，需要提供制冷，雖然制冷可進一步降低暗電流和讀出噪聲，實現對極微弱光的成像，甚至光子計數的能力，但卻導致系統功耗和體積的進一步增加，不適于便攜式和嵌入成像的應用。

2.3 微光CIS

CIS是一個并行讀出器件，可在很低的帶寬下把離散的電荷包轉換成電壓輸出，僅需在幀率下進行復位，由此提高信噪比，因而且可在適度的靈敏度下達到高的幀率。同時，通過大尺寸像素設計，結合積分時間的增加，以收集更多的光子，可更靈敏于微弱光強，但更長的積分時間或更大的像素尺寸都會導致圖像傳感器在時間和空間分辨力的損失，因而降低暗電流和讀出噪聲級別，對微光成像性能的改善尤為重要。

微光CIS通常基于一個4T或5T的PPD的大面積像素結構，大面積像素為優化微光性能的像素結構設計提供了很大的自由度，圖8所示的是一個典型像素簡要結構和布局[25]，PPD的n型擴散層的幾何和相對位置，以及轉移門的形狀和尺寸，是直接影響器件暗電流、讀出噪聲和圖像延遲等微光成像性能的關鍵。優化埋入二極管到STI邊緣（d1）的距離，和轉移門疊加臨界值調整注入，以及光電二極管的尺寸和形狀（d2），對轉移門下的電勢分布進行適應性調整，以在PPD和浮置擴散節之間建立合適的壁壘高度，實現電荷的完全轉移[25-26]。

圖8 像素橫截面及像素布局圖

微光CIS的像素陣列通常采用基偶列分離的各自從上下部份讀出，和圖9所示的雙列級放大器和雙ADC的讀出鏈結構[5]，每一個像素由高增益和低增益放大器同時取樣兩次，增益模式由內部控制，或最大化全阱容量即低增益模式，或最小化讀出噪聲即高增益模式，使最低噪聲和最大阱容可以兼得，提供最大可能的動態范圍和最小可能的探測閾值，同時在高增益和低增益間切換時最小化SNR的下降。放大器輸出和ADC輸出采用雙緩沖。每一列有一個參考輸入可多路傳輸進入電路以輔助校正列級增益，并抵消FPN。高分辨率ADC對微光成像性能至關重要，而每列像素都有一個單獨的ADC，縮短了模擬處理的距離，可確保在很高的信號轉換速度的同時，將模擬處理過程中產生的噪聲降到最低[5-8]。

圖9 微光CIS的雙列級放大器和雙ADC讀出鏈

CIS技術的最新進步，特別是低于2e-RMS甚至亞電子相當的讀出噪聲的讀出電路的開發[2-4,27]，使CIS的使用限定推到微光條件。

3 適用于晝夜成像的微光CIS

北方夜視最新推出的微光CIS相機是一個以小型化低功耗和低噪聲高靈敏度大動態范圍為特征的微光CIS組件，采用5V電源，在50Hz幀率下的功耗為850mW，提供LVDS數字輸出和PAL模擬輸出，和滿足一系列透鏡固定的CS接口。還可提供增加FPGA板和OLED微型顯示器的選項。微光CIS組件最小重量30g，最小尺寸28.2mm×10.9mm，如圖10所示，相比于其他器件及組件在SWaP-C上有著實質性的降低。

圖10 微光CIS組件

組件可提供自動增益控制（AGC），高動態范圍（HDR），非均勻校正（NUC）和超強光抑制（HSBLC）等圖像改善功能，AGC可根據外部環境照度變化自動調整增益。HSBLC可自動檢測超強光區域，計算畫面平均值自動將強光區域排除在外，從而提高其他區域的亮度。

組件采用0.18mm工藝的1/2微光CIS芯片，像元數752×582，像元尺寸8.6mm×8.3mm，采用PPD的4T像素前照結構，如圖11所示，采用一個FD阱容可由SSI控制以可在高靈敏度模式（低FD）和低靈敏度模式（高FD）自動切換的設計。量子效率峰值大于80%，840nm的量子效率不低于35%，如圖12所示。采用列并行讀出結構，PGA增益可通過寄存器來控制，最大PGA增益是32×。

圖11 微光CIS的4T PPD像素電路結構

圖12 微光CIS的量子效率曲線

表1 微光CIS性能參數

一個業界內可廣泛接受的用于評估一個圖像的質量的衡量標準是信噪比和MTF，標準ISO 12232定義可接受和極好的圖像分別是當SNR值相應為20dB（10:1）和32dB（40:1）時。而噪聲等效照度（NEI）表示圖像傳感器可能產生一個可用的圖像（SNR＝1:1）的最小照度或在表面的每單位面積光通量。

微光CIS組件在50Hz幀頻和高靈敏度工作模式，NEI為8×10－4lx，在2×10－3lx照度的信噪比SNR＝17dB(7:1)，在1×10－3lx照度下SNR＝14dB (5:1)。微光CIS組件可提供從白天到接近多云殘月（night level 3）的VIS-NIR光譜的單色實時圖像，接近了具備晝夜成像的能力。

最小可分辨對比度（MRC）是觀察者分辨一個線條圖像所需要分辨力靶的線條與背景間的最小對比度差與靶在不同光照級別下的靶的空間頻率的關系式。MRC被認為是用于長距離觀察的VIS-NIR相機最重要的特性，可用來計算對一些低對比軍事目標的探測、識別和確認距離。CIS組件測量的MRC列舉在表2中。微光CIS組件的MTF如圖13所示，極限分辨力48lp/mm。

圖13 微光CIS組件的MTF

表2 微光CIS組件的最小可分辨對比度（LED 50cd/m2，F值 2, 59mm焦距透鏡, 50Hz 幀頻）

從本質上講，微光CIS并不具有倍增機制，在微光條件下還遠不如EMCCD和像增強器那么靈敏，但當集成進入一個新一代的頭盔夜視系統，VIS-NIR通道的最低光級別的限定可由SWIR或LWIR通道增補。相同的道理，一個熱成像與微光CIS結合的武器槍瞄具相比于一個熱成像或微光槍瞄具更具優勢。下一步的工作將對CIS設計特征進行合適的選擇和優化，實現高分辨力高清彩色成像，但高分辨力高清彩色成像將將導致成像靈敏度相應程度的降低。

4 結論

微光CIS具備提供從白天到接近多云殘月夜晚的VIS-NIR單色實時視頻能力，并將升級到高清彩色成像。相比于EMCCD和像增強器，微光CIS在高集成度、低功耗和小系統尺寸上更具優勢，可作為一個微光成像性能和SWaP-C優選的VIS-NIR固體成像器件，理想于新一代的步兵頭盔和武器觀瞄具，以及與其它作戰平臺如無人機和地面車輛及固定監視系統的集成。

致謝

感謝波蘭Inframet公司提供的微光CIS組件部份參數的測試。

[1] Krymski A, Khaliullin N, Rhodes H. A 2e－noise 1.3 Megapixel CMOS sensor[C]//2003, http://www.alexima.com/pub/A%202%20e% 20noise.pdf, 2006-10-8.

[2] Lotto C, Seitz P, Baechle T. A sub-electron readout noise CMOS image sensor with pixel-level open-loop voltage amplification[C]//(), 2011, 2011: 402-404.

[3] Chen Y, Xu Y, Chae Y, et.al. A 0.7 e-rms temporal readout noise CMOS image sensor for low-light-level imaging[C]//, San Francisco, 2012: 384-385.

[4] Vu P, Fowler B, Liu C, et al. High-performance CMOS image sensors at BAE SYSTEMS imaging solutions[C]//, 2012, 8453: 84530D.

[5] Fowler B, Liu C, Mims S, et al. Low-light-level CMOS image sensor for digitally fused night vision systems[C]//, 2009, 7298: 7298-49.

[6] Fowler B, Liu C, Mims S, et al. Wide dynamic range low light level CMOS image sensor[EB/OL]. 2009 International Image Sensor Workshop, http://www.imagesensors.org/Past%20Workshops/2009%20 Workshop/2009%20Papers/080_paper_fowler_fairchild_hdr.pdf, 2009.

[7] Vu P, Fowler B, Liu C, et al. Design of prototype scientific CMOS image sensors[C]//, 2008, 7021: doi:10.1117/12.790229.

[8] Pierre Fereyre, Frédéric Devrière, Stéphane Gesset. L2 CMOS image sensor for low light vision[EB/OL]. http//www.imagesensors.org /.../ 2011Papers/P20_Fereyre_L2CMOS.pdf.

[9] Vastsia M, Stich U, Dunlap D. Night sky radiant sterance from 450 to 2000 nanometers[R]. NTIS, 1972.

[10] Richards A. Some thing in the air[J]., 2012, 46(7): 75-77.

[11] Curry D C, Harrington L K, Hopper D G. Dichoptic image fusion in human vision system[C]//, 2006, 6224: 622401.

[12] Kostrzewa J, Meyer W, Kraemer D, et al. Overview of the UL3 Omega? uncooled camera and its applications[C]//, 2002, 4719: 189-195

[13] Ettenberg M, Cohen M, Brubaker R, et al. Indium gallium arsenide imaging with smaller cameras, higher resolution arrays, and greater material sensitivity[C]//, 2002, 4721: 26-36.

[14] Bosiers J, Peters I, Draijer C, et al. Technical challenges and recent progress in CCD imagers[J]., 2006, 565(1): 148-156.

[15] Weckler G. Operation of p-n junction photodetectors in a photon flux integration mode[J]., 1967, 2(3): 65-73.

[16] 姚立斌. 低照度CMOS圖像傳感器[J]. 紅外技術, 2013, 35(3): 125-132.

YAO Libin. Low-light-level CMOS image sensor technique[J]., 2013, 35(3): 125-132.

[17] Noble P. Self-scanned silicon image detector arrays[J]., 1968, 15(4): 202-209.

[18] Eric R Fossum. A review of the pinned photodiode for CCD and CMOS image sensors[J]., 2014, 2(3): 33-43.

[19] Turchetta R. CMOS monolithic active pixel sensors (MAPS) for future vertex detectors[J]., 2006, 1(8): 436-444.

[20] Martin-Gonthier P, Molina R, Cervantes P, et al. Analysis and optimization of noise response for low-noise CMOS image sensors[EB/OL]. 10th IEEE NEWCAS, 2012, http://oatao.univ-toulouse. fr/6669/1/Martin_Gonthier_6669.pdf.

[21] Kozlowski, Luo J, Tomasini A. Performance limits in visible and infrared imager sensors[J]., 1999, 99: 867-870.

[22] Jerram P, Peter J Pool, Ray Bell, et al. The LLLCCD: low light imaging without the need for an intensifier[C]//, 2001, 4306: 178-186.

[23] Hynecek, Impactron J. A new solid state image intensifier[J]., 2001, 48: 2238-2241.

[24] Robbins M S, Hadwen B J. The noise performance of electron multiplying charge-coupled devices[J]., 2003, 50: 1227-1232.

[25] Liu Xinqiao, Boyd Fowler, Hung Do, et al. High performance CMOS image sensor for low light imaging[EB/OL]. http://www.imagesensors. org/Past%20Workshops/2007%20Workshop/2007%20Papers/084%20Liu%20et%20al.pdf, 2007-10-8.

[26] Eric R Fossum. Charge transfer noise and lag in CMOS active pixel sensors[C]//, 2003: 15-17.

[27] Pain B, Yang G, Ortiz M, et al. Analysis and enhancement of low-light-level performance of photodiode-type CMOS active pixel imagers operated with sub-threshold reset[C]//, 1999.http://www.forzasilicon.com/wp-content/uploads/Analysis -and-Enhancement-of-Low-light-level-Performance-of-Photodiode-Type-CMOS-Active-Pixel-Imagers.pdf.

[28] Bender E, Wood M, Hosek D, et al. Characterization of domestic and foreign image intensifier tubes[C]//, 2013, 8706: 870607.

Low-light-level CIS for Day/Night Vision

PAN Jingsheng1,2，GUO Yiliang1,2，GU Yan1,2，LI Yanhong1,2，SUN Jianning1,2，ZHANG Qindong1,2，SU Detan1,2

(1.,,211106,;2.,710065,)

CMOS image sensor (CIS), compared with CCD image sensors, has vastly increased functionality and substantial potential for superior integration, low power dissipation and small system size，and recent technology advances， especially the ultra low read noise and superior sensitivity which CIS technology achieved, led to that CMOS image sensor has image performance competitive with CCDs, while the low-light-level CIS is utilized under low light level condition. A low noise high sensitivity and large dynamic range low-light-level CIS camera module for day/night vision is introduced in this paper, which can provide real time digital monochrome video from daylight to cloudy quarter moon night condition (night level 3), and become a perfect cloudy quarter moon night choice of VIS-NIR day/night image device for low-light-level image performance and size, weight and power-cost (SWaP-C).

low-light-levelnight vision，complementary metal oxide semiconductor(CMOS)，active pixel sensor (APS)，CMOS image sensor(CIS)，low-light-level CMOS image sensor

TN223，TN215，TN219

A

1001-8891(2016)03-0181-07

2015-09-10；

2015-10-13.

潘京生（1965-），重慶巫山人，博士，研高工，從事微光成像探測研究。E-mail：pjs@nvt.com.cn。