基于FPGA的CMOS圖像傳感器LUPA-4000時序設計

陳彥 張宏偉 林宏宇

（北京空間機電研究所，北京 100076）

1 引言

近年來，隨著CMOS生產制造和工藝技術的不斷進步，CMOS圖像傳感器在系統功耗、體積、質量、成本、抗輻射性能以及可靠性等方面的優勢越來越明顯，這也使CMOS技術在空間成像領域得到了越來越廣泛的應用。LUPA-4000是CYPRESS公司基于N阱像素技術推出的一款全色大面陣CMOS圖像傳感器，相比于其它CMOS傳感器而言，LUPA-4000具有更高的響應性能。本文對LUPA-4000這款傳感器進行了分析研究，設計了其極限工作時鐘頻率66MHz下的驅動時序，并充分開發了該傳感器的輔助擴展功能。測試結果表明，本文提出的時序設計性能良好、工作穩定，能夠驅動LUPA-4000這款器件正常工作，并且能很好地實現該傳感器所具備的各項功能。

2 LUPA-4000 CMOS圖像傳感器

本文提出的時序是針對CYPRESS公司生產的高靈敏度芯片LUPA-4000而設計的，它的作用是給LUPA-4000這款芯片提供正確的時序信號，以驅動其在特定成像模式下完成光電轉換、模數轉換等過程并最終得到清晰正確的圖像。此外，該時序設計還正確實現了此芯片自帶的一些如多斜率積分等輔助擴展功能。

LUPA-4000是一款有源圖像傳感器，它采用改進了的6T式快照像素結構，具有全局同步曝光和流水線讀出的能力。該芯片集成了模擬圖像信號的獲取、模數轉換和數字信號處理等功能，最大分辨率可達2 048×2 048像元，在最大分辨率下的最大幀速率為15幀/s，可以通過亞采樣和取ROI（Region Of Interest）區域來提高幀速率。該芯片集成了兩個10bitADC（模數轉換器），傳感器可以選擇一路輸出，也可以選擇兩路同時輸出。具體指標如下：

1)2 048×2 048有效像元；

2)66MHz的像素輸出速率；

3)片上模數轉換器10位；

4)66dB的動態范圍（單斜率模式），采用多斜率工作模式可達到90dB的動態范圍；

5)集成2塊33MHz采樣率的ADC；

6)隨機編程窗口和亞采樣方式；

7)可編程像元讀出行列方向。

圖1 時序設計流程Fig.1 Timing flow diagram

3 LUPA-4000 CMOS芯片時序設計

如圖1所示，時序設計的整個流程為：系統上電后，產生內部復位信號給整個系統復位，然后配置CMOS芯片內部寄存器，判斷校時信號是否到來；如果到來，則根據串行接口發來的成像模式調整指令切換工作模式，并且產生每種成像模式下相應的驅動信號；接下來，輸出圖像幀頭和幀信息，最后輸出圖像數據。在整個過程中，程序隨時接收串行接口發來的控制指令來調整積分時間和成像模式，同時接收校時信號，并用該信號來校正系統時間。除了基本的驅動時序之外，本設計還具有系統校時、積分時間調整、并行操作、多斜率積分、NDR等功能，并通過模式切換來實現各功能的不同組合，增加了器件使用的靈活性，有效提高了該傳感器的成像品質。

3.1 系統校時功能設計

在某些對成像時間要求比較精確的場合，需要記錄成像開始的準確時刻，這就要求系統內部的時間和外部的基準時間保持嚴格同步。因此，需要給LUPA-4000 CMOS傳感器設計系統校時功能，即外部發送給系統一個時間同步信號，代表外部的基準時間。當該校時信號到來時，積分開始，同時FPGA內部用計數器開始計時。設定一約定時間（下次時間同步信號應該到來的時刻），該約定時間以系統內部時鐘計時，到達約定時間后FPGA內部計數器重新開始計數。如果外部校時信號提前于約定時間到來，說明系統內部時間慢于外部時間，則FPGA內部計數器提前清零并重新開始計數；但如果FPGA內部計數器到達了約定的時間而校時信號還未到來，則說明系統內部時間快于外部時間，則計數器停止工作，此時整個系統也停止工作，直到校時信號到來，計數器馬上從零開始計數，整個系統重新開始按照新的時間起點工作。如此往復，以達到校正系統時間的目的。

3.2 可調積分時間設計

為了提高CMOS相機對環境光照條件的適應能力，在程序中增加了積分時間調節功能。該設計設置了5檔積分時間，通過三線串行接口指令來完成CMOS傳感器5檔積分時間的切換。當成像目標較亮時，積分時間調節至低檔；當成像目標較暗時，積分時間調節至高檔，有效增大了相機的動態范圍。圖2為可調積分時間設計的仿真結果，圖中reset信號低電平的長度表示積分時間的長短，當積分時間調節信號interg_step_reg由“100”調節至“101”時，積分信號reset的低電平的持續時間變長，如圖所示，積分時間由t1增加至t2。

圖2 可調積分時間仿真結果Fig.2 The simulation result of adjustable integration time

3.3 積分、讀出并行設計

為了能夠觀測動態物體并追蹤其所在位置，時序對幀頻的要求比較高。本時序設計充分利用了LUPA-4000這款器件積分和數據讀出可以并行操作的特性來提高幀頻。LUPA-4000傳感器芯片的時序包括兩個獨立的部分，第一部分對像素進行操作，包括對像素積分時間和信號幅度的控制；另一部分是對像素信息讀出的操作，圖3是LUPA-4000積分和讀出并行操作示意圖。

圖3 圖像積分和讀出并行操作示意圖Fig.3 Image integration and data readout in parallel

3.4 多斜率積分設計

多斜率積分是LUPA-4000這款傳感器芯片自帶的輔助擴展功能，該功能可以有效增大圖像的動態范圍，從而使該芯片的成像品質得到提高。以雙斜率積分為例，圖4為雙斜率積分模式的原理圖，圖中的綠線表示像元的模擬信號，當像元達到飽和水平（saturation level）后，盡管曝光還在繼續，但像元信號已經不再變化。如圖中像元P3和P4所示，這兩個像元信號在讀出開始前已經達到飽和，如果不進行雙斜率積分的話，將讀出飽和信號，但如果在藍線時刻時序再給一個積分開始信號（Double slope reset pulse），模擬信號重新開始以第一次積分時的斜率積分，這樣，在像元讀出時，像元P3和P4的信號值就不再飽和，使得動態范圍有效增大。值得注意的是，在二次積分時刻沒有達到雙斜率第二次積分信號水平線（Reset level 2）的信號（如圖中P1和P2）不受雙斜率積分信號的影響。

圖4 雙斜率積分原理Fig.4 The principle of double slope integration

圖5為雙斜率積分時序仿真結果，雙斜率積分是通過reset_ds信號來實現的。圖中reset信號的下降沿所對應的T1時刻表示積分開始時間，當積分到T2時刻時，reset_ds信號的下降沿到來，此時如果像元信號達到了Reset level 2，則以Reset level 2為基準，以reset_ds信號的下降沿到來之前的斜率重新開始積分，否則，像元信號不受reset_ds信號的影響。

圖5 雙斜率積分時序仿真結果Fig.5 Simulation result of double slope integration timing

3.5 NDR設計

NDR（Non-destructive readout）功能也是LUPA-4000自帶的輔助擴展功能之一。reset信號下降沿到來表示積分開始，在reset信號積分的過程中可以分多次將圖像數據讀出，而不用等到reset信號的上升沿到來后再進行此操作。這樣，可以在一次積分過程中獲得像元在多個積分時刻的圖像，當物體較亮時，像素很快達到飽和，但較早時刻輸出的圖像積分時間較短，可以獲取到有用的圖像信號；當成像物體較暗時，選取輸出時間較晚的圖像，由于其曝光時間比較長，對暗物體的成像效果比較好。圖6為NDR時序的仿真結果，圖中reset每一次積分過程中，都有3次圖像讀出。如圖6所示，T1為積分開始時間，T2為積分結束時間。在這段時間中，積分時間為t1時，第一次讀出圖像；積分時間為t2時，第二次讀出圖像；積分時間為t3時，第三次將圖像讀出，因為本文3.3節的積分、讀出并行設計，所以第三次圖像讀出是可以實現的。

圖6 NDR模式時序仿真結果Fig.6 Simulation result of NDR

4 實現及測試

本時序設計用FPGA（現場可編程門陣列）實現，用Verilog語言編程。該時序設計采用自頂向下的設計方法，把整個程序劃分為功能獨立的各個子模塊，在頂層程序中對各子模塊進行調用。用Modelsim對程序進行了功能仿真和布局布線后仿真，仿真結果正確。另外，還對該時序設計進行了板級確認測試，用示波器對傳感器的各驅動信號進行了測試，測試結果滿足設計要求且性能良好。

另外，由于LUPA-4000這款傳感器芯片具有優良的響應特性，該時序設計下的傳感器已成功應用于某低照度條件下的成像相機，并對該相機進行了夜間外景成像試驗，拍攝到的圖像如圖7所示，從圖像可以看出，在本時序設計驅動下，相機工作狀態良好，可得到清晰且層次分明的圖像。

圖7 夜間外景成像圖Fig.7 Photograph taken in evening

5 結束語

本文提出的LUPA-4000傳感器芯片的時序設計包含了系統校時功能、積分時間可調功能、并行操作功能、多斜率積分功能和NDR（Non-destructive readout）功能，這些功能增加了器件使用的靈活性，有效提高了該傳感器的成像品質。該時序設計設計下的傳感器芯片適合空間暗目標探測，并適用于空間動態目標的跟蹤。系統測試結果表明，該時序設計性能良好、工作穩定。

（References）

[1] Cypress Semiconductor Corporation.LUPA-4000 datasheet[M].2007.

[2] SHANG YuanYuan,GUAN Yong,ZHANG Weigong,et al.A High Dynamic Range Complementary Metal-oxide-semiconductor(CMOS)Camera Using Multi-slope Response and An Image Reconstruction Algorithm[J].Measurement Science and Technology(S0957-0233),2009,20(10)∶104115.

[3] Jin H Z,Lu H,Cho S K,et al.Nonlinear Compensation for Non-contact Electronic Joystick with a Single Hall Sensor[J].Science,Measurement&Technology,IET,2008,2(1)∶9-17.

[4] Cho H S，Jeong M H，Han B S，et al.Development of a Portable Digital Radiographic System Based on FOP-coupled CMOS Image Sensor and Its Performance Evaluation[J].IEEE Transactions on Nuclear Science(S0018-9499),2005,52(5)：1766-1772.

[5] 劉靜,杜明輝.CMOS圖像傳感器關鍵技術及其新進展[J].傳感器技術,2004,3(1)∶9-1.LIU Jing，DU Minhui.The Key Technology and New Progress of CMOS Image Sensor[J].Sensor Technology，2004，3（1)∶9-1.(in Chinese)

[6] 孫航,胡靈博,于聯峰,等.Xilinx可編程邏輯器件應用與系統設計[M].北京：電子工業出版社，2008.SUN Hang,HU Lingbo,YU Lianfeng,et al.Xilinx Programmable Logic Device Application and System Design[M].Beijing∶Publishing House of Electronics Industry,2008.(in Chinese)

[7] 王軍,李國宏.CMOS圖像傳感器在航天遙感中的應用[J].航天返回與遙感,2008,29(2)∶42-47.WANG Jun,LI Guohong.The Application of CMOS Image Sensor in Space Remote Sensing[J].Spacecarft and Remote Sensing,2008，29(2)∶42-47.(in Chinese)

[8] 王慶有.光電傳感器應用技術[M].北京：機械工業出版社,2007.WANG Qingyou.The Photoelectric Sensor Applications Technology[M].Beijing∶Mechanical Industry Press,2007.(in Chinese)