基于ＣＭＯＳ圖像傳感器的嵌入式圖像采集與格式轉化

摘要：開發了一種基于CMOS圖像傳感器的嵌入式圖像采集系統。該系統實現了圖像有效采集傳輸的功能，將采集到的Bayer格式數據轉化為RGB格式，采用嵌入式系統有利集成化、小型化設計。

關鍵詞：CMOS圖像傳感器；DSP；Bayer格式；圖像采集

引言

圖像傳感器作為一種基礎器件，可以實現信息的獲取、轉換以及視覺功能的擴展，并且還可以給出直觀、真實、多層次、內容豐富的可視圖像信息。CMOS圖像傳感器自上世紀70年代開始研制，但由于工藝上的原因，一直因為光照度靈敏度低、噪聲高、圖像分辨率低等缺點而沒有得到發展，與CCD圖像傳感器比較可知，CCD圖像傳感器需要在外部配接放大器、模數轉換器等，因此會有體積大、讀出速度受限等缺點，而CMOS圖像傳感器則將整個圖像系統集成到同一塊芯片上，有集成度高、占用空間小、功耗小和造價低等優點。因此，隨著技術的進步，CMOS圖像傳感器得到越來越多的重視，成為研究的熱點。

在本系統的設計中，應用MICRON公司的MT9T001型CMOS圖像傳感器配合TI公司的DM642型處理器實現嵌入式圖像采集系統。該系統將采集到的圖像，經DSP進行格式轉化后傳輸到顯示器上進行顯示，具有體積小，成本低，可靠性高，安裝方便等優點。

系統設計

本圖像采集系統主要由CMOS圖像傳感器，DSP及處理電路組成。其采用的具體實現方案是當CMOS圖像傳感器被配置好，收到開始采集的信號后，開始圖像的采集，并將采集到的圖像信息送入DSP，為后面的圖像格式轉化、處理和顯示做好準備。DSP將CMOS圖像傳感器采集到的圖像數據存入片外存儲器SDRAM中，以便進行處理，并根據具體的圖像識別算法要求，進行數據的處理，并將結果傳輸到顯示器上進行顯示。其系統框圖如圖1所示。

CM08圖像傳感器

本系統選用的CMoS圖像傳感器是MICRON公司的MT9T001。這是一款1/2英寸、有效像素為300萬像素(2048×1536)的CMOS彩色圖像傳感器。

芯片可以在其默認的模式下工作，也可以由用戶自己編程設計幀大小、曝光時間、增益或者其他參數。在默認模式下，輸出一幅QXGA圖像(2048×1536)其速度可達12幀每秒，輸出一幅VGA圖像(640×480)其速度可達93幀每秒。片上集成10bit模數轉換器，行同步LINE_VALID和幀同步信號FRAME_VALID有專用的輸出引腳，同像素時鐘PIXCLK一樣，與有效數據同步。芯片內部還集成了放大器、時鐘控制電路(反相，相位調節)、圖像大小調節、圓點定位、白平衡調節、曝光調節、幀速率調節等眾多功能電路，并且所有這些控制都通過一個串行總線口進行操作(SCLK和SDATA)。

在本系統中選擇高像素的CMOS圖像傳感器，可直接將采集到的圖像信息轉換成數字信號輸出，省去了模數轉換器的使用，有效地簡化了系統的硬件設計，并且由于本系統應用于顯微圖像的采集，因此，高像素的CMOS圖像傳感器可以使拍攝的圖像更加清晰，有利于簡化后續的圖像處理。

DSP主處理器

在本系統設計中，采用嵌入式系統對傳統的光學顯微鏡的觀察方式進行一定的改進，采用高速數字信號處理器完成圖像的處理，傳輸等功能，有效的減小了儀器的體積，便于系統的集成化和小型化設計。在DSP的選擇上，本系統選用TI公司C6000系列的TMS320DM642型數字多媒體處理器。這是一款高性能DSP，基于C64x內核，擴展的高級甚長指令字體系結構，具有64個32位通用寄存器，8個獨立計算功能單元，其中包括兩個乘法器和六個算術邏輯單元，可以并行運行，因此可同時執行多條指令。DM642采用兩級緩存結構，64個獨立通道的EDMA控制器。此外，DM642還具有豐富的外圍設備接口。

在本系統工作時，DSP通過視頻口接收由CMOS圖像傳感器傳來的圖像信號，采用外部內存接口(EMIF)實現與F1ash和SDRAM的數據存儲，交換。同時，使用DSP作為處理器也可以為后續的識別算法做一定的準備。

系統采集程序

在本系統中，單幀圖像采集的過程如下：系統上電后，程序從Flash自舉，從而完成程序的導入及初始化工作。DSP通過FC總線發出信號，對CMOS圖像傳感器進行配置，當CMOS圖像傳感器開始工作后，將采集到的圖像信息轉化為數字信號，送入處理器DM642，圖像數據首先存入DM642視頻口的FIFO，當達到FIFO內設定的閾值時，DSP發出信號啟動EDMA通道，對FIFO中的圖像數據進行搬運，將其存入SDRAM中，再由DSP對SDRAM中的圖像數據進行進一步的處理，將處理后的圖像數據送入SDRAM的另一地址區域，發出啟動信號令EDMA將處理后的圖像數據運送到輸出視頻口的FIFO中，再經過圖像編碼芯片編碼后傳送到顯示器上進行顯示。

圖像格式式轉化算法設計

本系統所選用的是MICRON公司的MT9T001型300萬像素CMOS圖像傳感器，是通過彩色濾波陣列(CFA)獲得圖像的彩色信息，而這樣采集的圖像信息在每個像素的位置上只有一種顏色分量可以獲得，要復原另外兩種缺少的顏色分量，就必須通過相鄰的像素進行估算，這個過程就叫CFA插值。它所輸出的圖像格式為Bayer格式，即奇數掃描行分別采集和輸出R、G、R、G……，偶數行分別采集和輸出G、B、G、B……，其一般格式如圖2所示。

CMOS圖像傳感器光敏區域內的每個像素點對應一種色光，其中，R感應紅光，G感應綠光，B感應藍光。在這種Bayer格式的圖像中，圖像一半的像素分配給G分量，而R和B分量則占圖像的另一半像素。因為G分量是R、B分量的兩倍，所以如果G分量采用好的插值方法，不僅可以提高G分量的質量，還可以提高R和B分量的質量。

在本系統的設計中，是要將采集到的圖像傳輸到顯示器上進行顯示，因此需要將采集到的圖像信息轉化為便于顯示的RGB格式。在格式轉化方式的選擇上，使用雙線性差值法將CMOS圖像傳感器輸出的Bayer格式的圖像信息轉化為RGB格式。其基本原理是將每個像素位置上缺少的另外兩種彩色分量通過以它本身為中心的鄰域內具有相同分量的像素平均值獲得。

根據圖3所示的像素點編號，G1、R2兩個像素點的雙線性差值法的計算公式為：

式中，G^'1、B^'1、R^'1為格式轉化后G1點的RGB三種色彩的分量，G^'2、B^'2、R^'2為格式轉化后G2點的RGB三種色彩的分量，同理，B分量的格式轉化計算方法與R分量類似。采用此種方法的優點是運算簡單，易于實現，占用硬件資源比較少；但也存在著一定的缺陷，即在色彩轉化的過程中忽略了邊界的問題，在今后的算法設計中，可以加以改進。

實驗結果

根據系統的設計要求，搭建了實驗平臺，使用CMOS圖像傳感器采集到了圖像，并對Bayer圖像格式轉化算法進行了軟件仿真。為了能更直觀的檢測出實驗系統的性能，將系統采集到的圖像同數碼相機所拍攝到的圖像做了對比。數碼相機拍攝的圖片如圖4所示。依照系統的硬件和采集程序的設計，CMOS圖像傳感器采集到的圖像分辨率為2048×1536，如圖5所示。經雙線性差值法轉化為RGB格式的圖像如圖6所示。

由上述三幅圖分析比較可知，MT9T001型CMOS圖像傳感器可以采集到比較清晰的Bayer格式圖像，經雙線性差值進行格式轉化后，可以基本還原圖像的本來色彩。

結語

CMOS圖像傳感器是繼CCD圖像傳感器發展之后深受歡迎的多功能攝像器件，擁有集成度高、功耗低、成本低等優點，隨著工藝的發展，結構的改進，CMOS圖像傳感器的性能也將不斷提高，具有廣闊的發展前景。應用嵌入式系統進行圖像的采集，有利于系統的小型化設計，將灰度的Bayer格式圖像轉化為彩色的RGB格式，使圖像的可視性更好，應用范圍更廣。