一種應(yīng)用于高動態(tài)范圍CMOS圖像傳感器的曝光控制技術(shù)*

李曉晨 ，姚素英，黃碧珍，鄭 煒

(1．天津大學(xué)ASIC設(shè)計中心，天津300072;2．天津慧微電子研發(fā)科技有限公司，天津300204)

近些年來，CMOS圖像傳感器(CIS)在移動通信，電子競技，安防監(jiān)控和機(jī)器視覺等領(lǐng)域有著廣泛的應(yīng)用和良好的發(fā)展前景[1]。特別是在安防監(jiān)控領(lǐng)域[2]，相比于傳統(tǒng)的電荷耦合器件(CCD圖像傳感器)[3]，CMOS圖像傳感器有著更高靈敏度，從而可以在暗場環(huán)境下得到高質(zhì)量的圖像[4]。甚至可以預(yù)見在不久的將來，CCD圖像傳感器必將被CMOS圖像傳感器所取代。

但是，現(xiàn)有的CMOS圖像傳感器普遍采用光電二極管線性有源像素，其動態(tài)響應(yīng)范圍較小，遠(yuǎn)小于人眼100 dB～120 dB的動態(tài)范圍。圖1是當(dāng)今CMOS圖像傳感器系統(tǒng)中比較流行的4管有源像素結(jié)構(gòu)圖[5]。應(yīng)用這種結(jié)構(gòu)，在拍攝一些動態(tài)范圍很大的場景時，場景的亮度差異遠(yuǎn)遠(yuǎn)超過感光元件的寬容度，因此對于某一指定的曝光時間，很難得到包含所有細(xì)節(jié)的圖像。解決這一問題的方法無非是從像素本身和傳感器電路兩方面考慮，像素本身主要是設(shè)計寬動態(tài)范圍的像素結(jié)構(gòu)，例如對數(shù)像素等[6－7]。電路方面主要考慮采用多次曝光的形式擴(kuò)展其動態(tài)范圍。

目前一種可行的獲取大動態(tài)范圍圖像的方法是:針對場景中的某一部分而不是所有部分正確曝光，得到幾幅曝光參數(shù)不同的圖像重疊得到一幅圖像[8－9]。即使用短曝光獲取較亮的景物，使用長曝光獲取較暗的景物，多幅組合以彌補(bǔ)單純的短曝光造成的暗處細(xì)節(jié)缺失，和單純的長曝光造成的亮處細(xì)節(jié)缺失[10]。這種方法獲取的圖像擁有可以媲美人眼的動態(tài)范圍。本文在此基礎(chǔ)上提出了一種基于滾筒式曝光的直接高效地提高動態(tài)范圍的技術(shù)，它可以有效增大動態(tài)范圍到110 dB以上卻只消耗較少的硬件資源，而且不增加任何額外的處理時間。

圖1 四管有源像素結(jié)構(gòu)

1 四管像素工作原理

采用滾筒式曝光技術(shù)的CMOS圖像傳感器，如圖1所示，像素結(jié)構(gòu)為四管有源像素。PPD表示埋層結(jié)構(gòu)的光電二極管，它是主要的感光器件，實(shí)現(xiàn)光電轉(zhuǎn)換。四個MOS管分別為傳輸管 M0，復(fù)位管M1，源跟隨器 M2以及位線讀出控制開關(guān)管 M3。PPD二極管可以把外部的光信號轉(zhuǎn)換為電信號存儲在A點(diǎn)，所以A點(diǎn)又叫做存儲節(jié)點(diǎn)。當(dāng)M0的控制信號TX為高電平時，存儲在A點(diǎn)的信號將被傳輸?shù)礁庸?jié)點(diǎn)B上。當(dāng)M1的控制信號RST為高電平時，浮動節(jié)點(diǎn)B被復(fù)位到電源電壓VDD或者VDD-Vt(Vt為M1管的閾值電壓)。M2用作源跟隨器，在其柵極接收B處的電壓，且選擇管M3的柵極接收行選擇信號 SEL，輸出來自源跟隨器 M2的電壓。

滾筒式曝光是CMOS圖像傳感器普遍采用的一種曝光方式，以上面提到的四管像素結(jié)構(gòu)為例，其簡化的操作時序如圖2所示。假設(shè)幀頻為fps，則一次幀間隔時間為1/fps，每一幅完整的圖像包括0、1、2、3四行像素。首先，row_idx2指定曝光第0行(此處的“0”從次序來說相當(dāng)于第一行)，按照圖1中的電路，先將傳輸管M0和復(fù)位管M1同時開啟(圖2時序中ts2和rst2輸入高電平)，使得存儲結(jié)點(diǎn)A以及浮動結(jié)點(diǎn)B的電壓復(fù)位到VDD，然后再同時關(guān)閉傳輸管M0和復(fù)位管M1使A點(diǎn)開始積分電荷(ts2和rst2恢復(fù)低電平);經(jīng)過一段時間的電荷積累后(相當(dāng)于曝光時間texp)，同時開啟復(fù)位管M1和選擇管M3，(rst1和sel為高電平，此時的選擇管M3選擇的是第0行輸出)，通過源跟隨器M2，選擇管M3的輸出端先讀出復(fù)位電壓值VDD，然后關(guān)閉復(fù)位管M1(rst1恢復(fù)低電平)，保持選擇管M3導(dǎo)通，再開啟傳輸管M0(ts1為高電平)，通過源跟隨器M2，選擇管M3的輸出端讀出信號的絕對值并與先前的復(fù)位電壓值相減得到信號的真實(shí)值，如row_idx1顯示，也就是將第0行的曝光信號讀出。類似地，以同樣方式曝光讀取第1行像素，逐行進(jìn)行直到全部處理完畢，相鄰行開始曝光讀取的間隔時間為Trow。

圖2 四管像素滾筒式曝光時序

從時序原理可知，tx1、tx2、rst1、rst2、sel的周期均為一行像素的行處理間隔時間Trow，每行像素的曝光時間均為texp。各行像素按順序進(jìn)行曝光并讀取處理，并以單行像素為曝光信號的讀取對象，即在前一行像素的曝光信號讀出完成后再進(jìn)行下一行的讀取，這種逐行曝光并讀取方式即稱為滾筒式曝光。在需要多次成像同一張圖像時，重復(fù)以上過程即可。

在圖2所示時序中，因?yàn)橐粋€幀間隔時間內(nèi)只輸出一張曝光圖像，圖像的曝光時間參數(shù)是不變的，這樣單幀圖像內(nèi)只包含一次成像所得到的圖像。其幀、行同步示意圖如圖3所示。顯然，整張圖像每次成像的時間間隔等于幀間隔時間。

圖3 滾筒式曝光幀、行同步示意圖

2 技術(shù)背景及原理

現(xiàn)有的多次曝光方法，主要是利用不同的曝光參數(shù)分次獨(dú)立成像，然后再整合出一幅高動態(tài)范圍的圖像作為最后的輸出[11－12]。其基本原理是在需要多次曝光時，當(dāng)每一幀單張圖像逐行曝光結(jié)束后，需要改變曝光時間texp，再進(jìn)行下一次成像。如果需要加快輸出圖像的速率，則必須提高圖像傳感器的工作速率，但是只能通過提高圖像傳感器的工作頻率來壓縮行處理時間，效率低。這是因?yàn)槟繕?biāo)圖像的曝光時間texp是根據(jù)其場景情況所設(shè)定的，只要曝光時間不大于幀處理時間，其就不會直接決定幀頻。那么在像素陣列固定的情形下，圖像傳感器的幀頻只取決于最短行處理時間。在一般情況下，圖像傳感器的行處理總是在逐行進(jìn)行，在執(zhí)行某一行曝光讀取時，其他行對應(yīng)的像素單元處于空閑狀態(tài)，所以圖像傳感器電路總會存在大量的空閑電路未充分利用。所以這種獲取大動態(tài)范圍圖像的方式，會使得整個處理周期過長，造成系統(tǒng)反應(yīng)時間過慢，并因此可能影響動態(tài)圖像的實(shí)時性，而且在逐行曝光讀取時產(chǎn)生了大量的電路空閑，造成系統(tǒng)資源的浪費(fèi)。

本文所提出的一種新穎的組合滾筒式曝光控制方法就是要利用這個空閑時間，讓圖像傳感器電路系統(tǒng)資源得到盡可能利用。在一幀處理時間內(nèi)，將多次滾筒式曝光穿插進(jìn)行，實(shí)現(xiàn)對目標(biāo)圖像的多次成像。對于各次成像，間隔一個預(yù)設(shè)的行處理間隔時間，各行像素單元逐行進(jìn)行圖像的曝光和曝光數(shù)據(jù)的讀取。

以二次曝光為例，其基本原理為假設(shè)圖像傳感器每隔1/fps秒輸出兩幀圖像，其中一幀圖像frm1的曝光時間為texp1，另一幀圖像frm2的曝光時間為texp2，用以組合出一幀高動態(tài)范圍的圖像，組合的圖像的幀頻為目標(biāo)幀頻fps。相對于單次曝光，二次曝光的方法將行處理時間設(shè)定為2倍的Trow，這樣每行便會有一半的時間處于空閑，在frm1進(jìn)行曝光和讀出操作時可以在行空閑狀態(tài)穿插進(jìn)行frm2的曝光和讀出操作。因此這種二次曝光方法最大限度地利用了目標(biāo)幀頻指定的幀間隔時間作為曝光時間。并且frm1與frm2曝光開始的間隔時間僅受限于第一次曝光時間texp1的大小，而不需要等frm1全部行曝光結(jié)束后再開始frm2的曝光，大大縮短了兩幀的曝光間隔。

3 執(zhí)行方式

基于上述基本原理，在執(zhí)行的時候首先需要確定多次曝光次數(shù)m，以及各次的曝光時間texp1、texp2、……texpm。其中，對于背景比較亮的圖像的曝光時間要小于背景比較暗的圖像的曝光時間，且各次成像的次序按曝光時間長短排列。然后確定最短行處理時間，并將同次成像的行處理間隔時間設(shè)置為最短行處理時間的n倍，n不小于單幀時間內(nèi)一個多次成像周期的曝光次數(shù)，并以此為基礎(chǔ)設(shè)定圖像的幀頻fps。幀頻即幀間隔時間1/fps的倒數(shù)，關(guān)于幀頻的設(shè)置必須滿足以下兩點(diǎn):第一，幀間隔時間必須大于最短幀處理時間，即

其中最短幀處理時間Tfram_min為圖像傳感器的最短行處理時間乘以圖像傳感器的像素行數(shù)。第二，幀間隔時間須大于本幅曝光圖像的相鄰行處理時間Trow的m倍再加上各次成像時間總和。即

當(dāng)設(shè)置滿足上述條件后，就可以開始對目標(biāo)景物進(jìn)行逐行曝光，多次成像。

下面以一個二次曝光的簡單實(shí)例來說明，二次曝光分別對應(yīng)輸出一幀亮圖像fram1和一幀暗圖像fram2。以前所述，先進(jìn)行預(yù)先參數(shù)設(shè)定，假設(shè)亮圖像的曝光時間為texp1，暗圖像的曝光時間為texp2，其中texp1＜texp2。先進(jìn)行亮圖像曝光再進(jìn)行暗圖像曝光。假設(shè)CMOS圖像傳感器的最短行處理時間為Trow_min，則對于一個4行像素圖像，最小幀處理時間Tfram_min為4Trow_min。要在單幀時間內(nèi)實(shí)現(xiàn)兩次成像，假設(shè)在最苛刻的條件下，同次成像圖像的行處理時間Trow設(shè)定為兩倍的最短行處理時間Trow_min。這樣使得圖像傳感器在對每行像素的數(shù)據(jù)進(jìn)行讀取處理時，控制時序至少有一半時間處于空閑間隔，并以此為基礎(chǔ)設(shè)定圖像的幀頻fps，使得幀間隔時間滿足式(1)和式(2)的要求。由此例，將曝光次數(shù)2代入式(2)，可得式(3)，根據(jù)式(1)和式(3)完成曝光參數(shù)的設(shè)置。

曝光參數(shù)設(shè)置完畢后，可以開始逐行曝光，曝光時序如圖4所示，并結(jié)合圖1中的四管有源像素結(jié)構(gòu)進(jìn)行具體分析。由之前闡述的圖2所示的滾筒式曝光的時序原理可知，tx1、tx2、rst1、rst2、sel的周期均為同次成像行處理間隔時間Trow，曝光row_idx2指定行像素時，先產(chǎn)生tx2，rst2時序，在經(jīng)過亮圖像曝光時間texp1后，產(chǎn)生 rst1、tx1、sel時序，并隨之輸出row_idx1表征該行像素的曝光信號讀取。fram1的第0行在開始曝光讀取，并經(jīng)過一個行處理間隔時間Trow后，會開始進(jìn)行fram1的第1行的曝光，如此循環(huán)，進(jìn)行逐行曝光讀取。在fram1的第0行的tx1信號結(jié)束也即該行的fram1曝光讀取完畢之后，可發(fā)現(xiàn)，對于fram1而言，第0行所對應(yīng)的行像素電路已進(jìn)入空閑狀態(tài)，此時，可直接插入fram2的第0行執(zhí)行曝光操作，時序控制信號將開始產(chǎn)生fram2的tx2和rst2，并輸入第0行對應(yīng)的行像素電路中開始第0行的曝光(圖中的虛線信號)，這樣fram2便開始了曝光讀取。

以上過程，對應(yīng)至圖4的時序圖，實(shí)線信號對應(yīng)于亮圖像fram1的控制時序，而虛線信號對應(yīng)于暗圖像fram2的控制時序。由于事先已將行處理間隔時間Trow設(shè)定為兩倍的Trow_min，使得當(dāng)產(chǎn)生fram2的控制時序時，其tx2、rst2剛好處于fram1控制時序的空閑間隔中。這樣fram1和fram2各自逐行曝光讀取，穿插進(jìn)行，控制時序之間并未互相影響或者產(chǎn)生競爭關(guān)系，直至fram1與fram2先后完成成像。最終，從row_idx1所讀取到的行像素包含了fram1與fram2的信息。在fram2的曝光未完成之前，僅有fram1的數(shù)據(jù)讀出;在 fram2曝光完成部分行而fram1的數(shù)據(jù)未全部讀出之前，兩者交替輸出;fram1數(shù)據(jù)全部行讀取完畢后，僅有fram2的數(shù)據(jù)讀出。最后進(jìn)入下一幀，重復(fù)以上過程。

圖4 四行像素組合滾筒式曝光控制時序圖

在完整的曝光周期即一個幀間隔時間1/fps內(nèi)，實(shí)現(xiàn)了亮、暗兩次成像。如圖5所示，為二次曝光輸出的幀、行同步示意圖。通過四行像素二次曝光的實(shí)例分析，我們可以將這種方法延伸至多次成像的曝光控制要求，具體參數(shù)可根據(jù)圖像傳感器的性能要求以及圖像場景需要來決定。

圖5 四行像素組合滾筒式曝光幀、行同步示意圖

4 測試結(jié)果

BG0365是一款應(yīng)用了上述組合多次曝光技術(shù)的芯片產(chǎn)品，該技術(shù)在芯片的數(shù)字電路中得以實(shí)現(xiàn)，芯片外觀和數(shù)字電路部分版圖如圖6和圖7所示。

圖6 BG0365芯片外觀圖

考慮到對比動態(tài)范圍的需要，該芯片可以利用寄存器從外部軟件設(shè)置開啟和關(guān)閉組合多次曝光模式。對于動態(tài)范圍的測試，可以首先在暗場下用最短的曝光時間測出一組數(shù)據(jù)，這組數(shù)據(jù)即為該芯片的最小噪聲水平Vmin。然后，在亮場下再測出一組最大的輸出值Vmax。因此芯片的動態(tài)范圍可以由式(4)表示。

圖7 BG0365數(shù)字部分版圖

圖8為BG0365輸出飽和曲線圖。根據(jù)式(4)，通過計算，可得該芯片的動態(tài)范圍約為60．8 dB。如果開啟多次曝光模式，測試時以二次曝光為例。圖9為開啟二次曝光模式后的長短幀輸出飽和曲線，將兩者組合后得到的動態(tài)范圍可以達(dá)到100 dB以上，確實(shí)有效地提高了動態(tài)范圍。另外，合理地選擇曝光次數(shù)要根據(jù)場景的明暗程度和經(jīng)驗(yàn)，當(dāng)場景一定，并不是曝光次數(shù)越多越好，當(dāng)曝光次數(shù)達(dá)到一定程度時，動態(tài)范圍也會接近最大值附近。若再增加曝光次數(shù)，也只能增加操作的復(fù)雜度，對圖像質(zhì)量沒有明顯改善。

圖8 BG0365輸出飽和曲線

圖9 二次曝光模式下的長短幀輸出飽和曲線

圖10和圖11分別為同一場景下單次曝光和多次曝光的實(shí)景圖對比，可以比較直觀的看到，特別是在較暗的場景下，多次曝光可以帶來比較清晰的視覺效果。

圖10 單次曝光實(shí)景圖

圖11 多次曝光實(shí)景圖

5 結(jié)論

本文通過控制CMOS圖像傳感器在單幀圖像的時間周期內(nèi)，以不同的曝光參數(shù)進(jìn)行多次曝光，整合出一幀。對比現(xiàn)有的單幀曝光一次的多曝光控制方法，此方法可以有效的縮短相鄰次成像的時間間隔，并充分利用了逐行曝光讀取時，其他行電路的空閑時間。這樣相鄰次成像的開始時間僅僅局限于前一次的曝光時間長短，而無需等前一次的曝光所有行處理完全結(jié)束后才開始下一次成像。具有系統(tǒng)效率高，利用率充分，且輸出圖像反應(yīng)時間短等優(yōu)點(diǎn)，可以有效地提高動態(tài)范圍，無論在明或暗的環(huán)境下都可以得到令人滿意的圖像效果。

[1]裴志軍，國澄明，姚素英．CMOS圖像傳感器動態(tài)范圍擴(kuò)展技術(shù)[J]．傳感器技術(shù)，2003，22(6):1－3．

[2]Habibi M．A Low Power Smart CMOS Image Sensor for Surveillance Applications[C]//Machine Vision and Image Processing(MVIP)．2010 6th，1－4．

[3]胡琳．CCD圖像傳感器的現(xiàn)狀及未來發(fā)展[J]．電子科技，2010，23(6):82－85．

[4]Akahane N，Sugawa S，Adachi S．Wide Dynamic Range CMOS ImageSensorsforHigh Quality DigitalCamera，Security，Automotive and Medical Applications[C]//Sensors，2006．5th IEEE Conference，2006．396－399．

[5]于俊庭．4T有源像素圖像拖影消除的工藝模擬與器件仿真[D]．天津:天津大學(xué)，2010．

[6]劉激揚(yáng)，姚素英．一種高填充率的CIS有源像素結(jié)構(gòu)研究與設(shè)計[J]．傳感技術(shù)學(xué)報，2007，20(9):1987－1991．

[7]付賢松．CMOS圖像傳感器動態(tài)范圍擴(kuò)展技術(shù)的研究[D]．天津:天津大學(xué)，2006．

[8]朱良銷，余學(xué)才，陳濤．一種擴(kuò)展動態(tài)范圍的圖像處理算法[J]．傳感技術(shù)學(xué)報，2011，24(1):65－67．

[9]Schanz M，Nitta C，Bussmann A．A High-Dynamic-Range CMOS Image Sensor for Automotive Applications[J]．Solid-State Circuits，IEEE Journal，2000，35(7):932－938．

[10]Egawa Y，Koike H，Okamoto R．A 1/2．5 inch 5．2 Mpixel，96 dB Dynamic Range CMOS Image Sensor with Fixed Pattern Noise Free，Double Exposure Time Read-out Operation[C]//Solid-State Circuits Conference．ASSCC 2006．IEEE Asian．2006，135－138．

[11]張麗芳，周軍．利用多曝光對圖像進(jìn)行動態(tài)范圍增強(qiáng)[J]．?dāng)?shù)據(jù)采集與處理，2007．22(4):417－422．

[12]何烽，徐之海．一種基于數(shù)字圖像合成的擴(kuò)展動態(tài)范圍方法[J]．光電工程，2006，30(5):66－68．