視頻圖像數(shù)據(jù)采集的FPGA實(shí)現(xiàn)方案

雷妍

（西安石油大學(xué)電子工程學(xué)院，西安 710065）

0 引言

隨著電子科技的發(fā)展，視頻監(jiān)控技術(shù)已經(jīng)廣泛走入人們的生活，得到了各行各業(yè)的青睞［1］。視頻圖像采集的速度快慢和采集圖像分辨率大小的問題，都會(huì)直接關(guān)系到工業(yè)的生產(chǎn)效率。常見的圖像傳感器分為CCD圖像傳感器和CMOS圖像傳感器。雖然CCD圖像傳感器在成像方面要優(yōu)于CMOS傳感器，但CCD傳感器具價(jià)格昂貴、功耗大，不適合工業(yè)化大批量生產(chǎn)［2］。故CMOS圖像傳感器以其開發(fā)周期短、功耗小的特點(diǎn)成功進(jìn)軍工業(yè)、監(jiān)控、航天等領(lǐng)域。傳統(tǒng)的方法是對采集的視頻圖像進(jìn)行采樣處理，以犧牲圖像的分辨率為代價(jià)來換取較高的控制速度。這樣的方式顯然不適合與分辨率要求高的場合。近年來，隨著集成電路技術(shù)的發(fā)展，為現(xiàn)場可編程門陣列進(jìn)入現(xiàn)代電子舞臺(tái)開辟了新的路徑［3］。FPGA不僅具有靈活、方便的可編程能力，而且因其并行處理特性非常適合于高速控制場合［4］。

本文將視頻采集中的問題與FPGA自身的優(yōu)勢相結(jié)合，對圖像傳感器的工作原理進(jìn)行分析，介紹了一種CMOS視頻圖像數(shù)據(jù)高效采集的FPGA實(shí)現(xiàn)方案。該設(shè)計(jì)方案選用Intel公司的Cyclone IV系列EP4CE10F17C8芯片，和Omni Vision公司的CMOS圖像傳感器OV7670，在Quartus II開發(fā)環(huán)境下采用硬件描述語言Verilog設(shè)計(jì)了OV7670攝像頭驅(qū)動(dòng)電路，完成了攝像投的配置以及數(shù)據(jù)采集［5］。

1 圖像傳感器工作時(shí)序分析

OV7670傳感器內(nèi)部集成了SCCB接口、圖像陣列、時(shí)序發(fā)生器、A/D轉(zhuǎn)換器、DSP處理器等電路。光源信號照射到圖像陣列產(chǎn)生相應(yīng)的電荷，傳輸?shù)侥M信號處理器電路，再經(jīng)A/D轉(zhuǎn)換電路將模擬信號數(shù)字化，最后將數(shù)字信后傳送至DSP處理器變?yōu)镽GB信號輸出。在OV7670的視頻時(shí)序知，當(dāng)VSYNC視頻流的場同步信號有效，則表示一幀圖像的結(jié)束；當(dāng)HREF行同步信號有效時(shí)，在傳感器的工作時(shí)鐘驅(qū)動(dòng)下輸出圖像數(shù)據(jù)［6］。一幅圖像中每一行中有784個(gè)像素單位時(shí)間，共有510個(gè)行時(shí)間。而OV7670傳感器的輸出時(shí)鐘為24 MHz，因此幀率為60 Hz。計(jì)算方法見公式（1）。由于本設(shè)計(jì)輸出的視頻數(shù)據(jù)格式為RGB565，每個(gè)像素需要輸出兩個(gè)數(shù)據(jù)，因此行時(shí)間為原來的2倍，最大幀率只能達(dá)到30 Hz［7］。

2 圖像數(shù)據(jù)采集的FPGA實(shí)現(xiàn)

本設(shè)計(jì)采用自頂向下的設(shè)計(jì)思想，將焊縫圖像數(shù)據(jù)采集設(shè)計(jì)劃分為三個(gè)功能獨(dú)立的子模塊，分別為攝像頭工作時(shí)鐘產(chǎn)生模塊、攝像頭初始化模塊以及攝像頭數(shù)據(jù)捕獲模塊［8］。

2.1 OV7670攝像頭工作時(shí)鐘產(chǎn)生模塊設(shè)計(jì)

該模塊主要用于提供攝像頭的工作時(shí)鐘，以保證攝像頭準(zhǔn)確無誤的采集圖像數(shù)據(jù)。本設(shè)計(jì)在Quartus II自帶的MegaWizard Plug-In Manager中選擇I/O的ALTPLL，創(chuàng)建時(shí)鐘模塊，將50 MHz的晶振時(shí)鐘分頻為24MHz，用于驅(qū)動(dòng)攝像頭正常工作。

2.2 OV7670寄存器初始化模塊設(shè)計(jì)

本模塊主要負(fù)責(zé)攝像頭的初始化工作。在本設(shè)計(jì)中，將該模塊劃分為兩個(gè)子模塊，分別為config_data子模塊和i2c_byte_wr子模塊。前者主要輸出寫請求信號wr_req，和待發(fā)送的數(shù)據(jù)data_send；后者主要完成攝像頭內(nèi)部寄存器配置的工作。圖1為該模塊的RTL視圖，圖中詳細(xì)描述了兩個(gè)子模塊間信號的交互。

圖1 OV7670寄存器初始化模塊RTL視圖

在初始上電3 ms后，當(dāng)config_data子模塊輸出wr_req信號為高電平且待發(fā)送的數(shù)據(jù)未達(dá)到上限時(shí)，啟動(dòng)參數(shù)配置計(jì)數(shù)器進(jìn)行計(jì)數(shù)。根據(jù)參數(shù)配置寄存器的計(jì)數(shù)值輸出待發(fā)送的數(shù)據(jù)。當(dāng)待發(fā)送數(shù)據(jù)達(dá)到上限時(shí)，拉高init_done信號，標(biāo)志攝像頭初始化已完成，可進(jìn)行數(shù)據(jù)捕獲。

當(dāng)i2c_byte_wr子模塊檢測到wr_req為高電平時(shí)，使用SCCB通信協(xié)議傳輸寄存器的參數(shù)。根據(jù)SCCB協(xié)議特點(diǎn)，該子模塊采用狀態(tài)機(jī)的思想，進(jìn)行程序設(shè)計(jì)。圖2為OV7670攝像頭寄存器參數(shù)配置狀態(tài)機(jī)示意圖。

圖2 OV7670攝像頭內(nèi)部寄存器參數(shù)配置狀態(tài)機(jī)示意圖

當(dāng)系統(tǒng)復(fù)位結(jié)束后，該子模塊的狀態(tài)處于IDEL狀態(tài)，在此狀態(tài)檢測cofig_data子模塊輸出的wr_req是否為高電平，如果該信號為低電平，狀態(tài)不發(fā)生跳轉(zhuǎn)，否則在i2c_scl時(shí)鐘高電平期間狀態(tài)跳轉(zhuǎn)到START狀態(tài)。在START狀態(tài)，當(dāng)i2c_scl為高電平期間，將i2c_sda信號從高電平變?yōu)榈碗娖剑瑯?biāo)志著SCCB協(xié)議的起始位，同時(shí)狀態(tài)跳轉(zhuǎn)至CTL_WORD狀態(tài)，發(fā)送OV7670的器件地址，經(jīng)一個(gè)非應(yīng)答位，狀態(tài)跳轉(zhuǎn)到HIGH_ADDR狀態(tài)，傳輸攝像頭內(nèi)部寄存器的地址。同理狀態(tài)跳轉(zhuǎn)到HIGH_ADDR_ACK，經(jīng)一個(gè)非應(yīng)答位，狀態(tài)跳轉(zhuǎn)到WR_DATA狀態(tài)，完成參數(shù)傳輸，等待一個(gè)時(shí)鐘周期的非應(yīng)答位，狀態(tài)跳轉(zhuǎn)到STOP狀態(tài)，發(fā)送停止位，即在i2c_scl高電平期間將i2c_sda信號由低電平變?yōu)楦唠娖健Ｍ瑫r(shí)send_finish信號維持一個(gè)時(shí)鐘周期的高電平，并且狀態(tài)跳轉(zhuǎn)到IDEL狀態(tài)，等待下一個(gè)寄存器的配置。

2.3 視頻數(shù)據(jù)采集模塊

考慮到圖像數(shù)據(jù)采集的穩(wěn)定因素，該模塊丟棄前十幀圖像數(shù)據(jù)。從第十一幀圖像開始，對攝像頭輸出的8位位寬數(shù)據(jù)進(jìn)行數(shù)據(jù)格式的轉(zhuǎn)換。由于本次設(shè)計(jì)在攝像頭寄存器配置時(shí)，選擇RGB565數(shù)據(jù)格式進(jìn)行輸出，所以需要兩個(gè)時(shí)鐘周期進(jìn)行8位數(shù)據(jù)到16位RGB565數(shù)據(jù)格式的轉(zhuǎn)換。由時(shí)序可知，當(dāng)行同步時(shí)序開始有效時(shí)，首先輸出RGB565數(shù)據(jù)格式的高八位，其次輸出RGB565的低8位。根據(jù)這一時(shí)序特性，本模塊在程序設(shè)計(jì)時(shí)，設(shè)置了數(shù)據(jù)轉(zhuǎn)換使能信號。當(dāng)行同步信號有效時(shí)，該使能信號沒經(jīng)過一個(gè)時(shí)鐘周期進(jìn)行一次取反操作。當(dāng)其為低電平時(shí)，將攝像頭輸出的數(shù)據(jù)傳遞給RGB565數(shù)據(jù)的高八位，當(dāng)其為低電平時(shí)，將數(shù)據(jù)賦值給RGB565的低8位，最終可在兩個(gè)攝像頭工作時(shí)鐘周期內(nèi)輸出一個(gè)完整的RGB565圖像數(shù)據(jù)格式。考慮到視頻流的行同步信號于輸出的數(shù)據(jù)對其的情況，該模塊將行同步時(shí)序打拍操作，目的在于在攝像頭的工作時(shí)中下，將行同步信號與輸出的RGB565數(shù)據(jù)進(jìn)行同步。此外，該模塊在進(jìn)行兩個(gè)八位數(shù)據(jù)拼接時(shí)候，為表示有效的RGB565正常輸出，該模塊在數(shù)據(jù)拼接完成后設(shè)有數(shù)據(jù)有效標(biāo)志信號。

3 實(shí)驗(yàn)結(jié)果及分析

為保證本設(shè)計(jì)的可行性，對本設(shè)計(jì)進(jìn)行兩種驗(yàn)證方式,分別為基于Modelsim的仿真驗(yàn)證和基于SignalTap II的板級驗(yàn)證，并對兩者的實(shí)驗(yàn)結(jié)果進(jìn)行分析。

3.1 基于Model si m環(huán)境下的仿真結(jié)果及分析

圖3為OV7670內(nèi)部第一個(gè)寄存器配置的仿真結(jié)果。由仿真結(jié)果可知，上電3ms后，cofig_data子模塊拉高寫請求信號data_send，并發(fā)送寫入OV7670內(nèi)部寄存器的參數(shù)0X1204，0X12表示配置寄存器的地址，0X04表示寄存器內(nèi)部的參數(shù)。i2c_byte_wr模塊檢測到data_send（send_en）信號后，狀態(tài)跳轉(zhuǎn)到1狀態(tài)產(chǎn)生起始位。隨后狀態(tài)跳轉(zhuǎn)到2狀態(tài)發(fā)送攝像頭器件地址0X42，發(fā)送完成后跳轉(zhuǎn)到3，經(jīng)過一個(gè)非應(yīng)答位后，狀態(tài)直接跳轉(zhuǎn)到4發(fā)送寄存器地址0X12，隨后以同樣的方式發(fā)送寄存器內(nèi)的參數(shù)0X04，最后狀態(tài)跳轉(zhuǎn)到8狀態(tài)發(fā)送停止位，即證明地址為0X12的寄存器配置完成，繼續(xù)檢測data_send信號，進(jìn)行下一個(gè)寄存器的配置。

圖3 OV7670內(nèi)部第一個(gè)寄存器配置的仿真結(jié)果

圖4 為視頻采集模塊的仿真結(jié)果圖。仿真圖中的byte_flag為8位數(shù)據(jù)轉(zhuǎn)16位數(shù)據(jù)的標(biāo)志信號，從圖中可以看出，當(dāng)圖像傳感器的行同步信號cam_href有效時(shí)，byte_flag信號每經(jīng)過一個(gè)時(shí)鐘周期取反一次。當(dāng)byte_flag為高電平時(shí)，可發(fā)現(xiàn)圖像傳感器首先輸出的8位數(shù)據(jù)傳送至com_data_temp的高8位，即16位的RGB565數(shù)據(jù)的高八位，其次輸出的數(shù)據(jù)傳送給com_data_temp的低8位。故經(jīng)圖像傳感器的數(shù)據(jù)采集模塊電路后。可將兩個(gè)8位的數(shù)據(jù)轉(zhuǎn)化為1個(gè)16位的數(shù)據(jù)，如圖中圖像傳感器輸出的數(shù)據(jù)0X00和0X01被轉(zhuǎn)換為0X0001，即圖中的coms_frame_data寄存器中存儲(chǔ)的數(shù)據(jù)。coms_frame_valid表示RGB565數(shù)據(jù)有效標(biāo)志。為了滿足視頻流時(shí)序中行同步信號與圖像數(shù)據(jù)輸出對其的時(shí)序要求，本設(shè)計(jì)對行同步信號cam_href進(jìn)行打3拍處理，即處理之后的coms_frame_valid信號。

圖4 視頻采集模塊仿真

3.2 基于Si gnal Tap II的板級驗(yàn)證及結(jié)果分析

SignalTap II，是一款FPGA片上Debug工具軟件，用于捕獲設(shè)計(jì)中硬件與軟件之間的信號傳遞。圖5為OV7670硬件配置真實(shí)數(shù)據(jù)變化，從圖中i2c_sda由高電平變?yōu)榈碗娖娇雌穑琲2c_sda數(shù)據(jù)信號線上傳輸?shù)臄?shù)據(jù)為0100_0010，十六進(jìn)制的42，即FPGA選中OV7670攝像頭為從機(jī)，經(jīng)一個(gè)i2c_sda高電平后，i2c_sda上的數(shù)據(jù)信號為0011_1010，十六進(jìn)制的3A，實(shí)現(xiàn)OV7670內(nèi)部地址為3A的寄存器尋址。同理經(jīng)過一個(gè)i2c_sda的高電平后，其數(shù)據(jù)變化為0000_0100，十六進(jìn)制的04，實(shí)現(xiàn)的功能是將地址為3A的寄存器數(shù)據(jù)配置為0X04。

圖5 OV7670硬件寄存器配置

圖6 為OV7670視頻數(shù)據(jù)捕獲模塊的驗(yàn)證結(jié)果，從圖6可知該模塊在com_frame_href為高電平時(shí)，輸出有效數(shù)據(jù)，符合RGB565在行同步信號有效時(shí)輸出有效的圖像數(shù)據(jù)的時(shí)序要求。

圖6 OV7670視頻數(shù)據(jù)捕獲模塊的整體驗(yàn)證結(jié)果

圖7 為RGB565數(shù)據(jù)格式驗(yàn)證結(jié)果。該模塊實(shí)現(xiàn)了當(dāng)coms_frame_href為高電平時(shí)，將OV7670輸出的兩個(gè)八位數(shù)據(jù)轉(zhuǎn)化為一個(gè)16位的RGB565數(shù)據(jù)格式。

圖7 RGB565數(shù)據(jù)格式驗(yàn)證結(jié)果

4 結(jié)語

本文針對提高視頻控制的實(shí)時(shí)性的傳統(tǒng)方式，以圖像分辨率為代價(jià)換取控制實(shí)時(shí)性這一問題，提出了一種CMOS視頻圖像數(shù)據(jù)高效采集的FPGA實(shí)現(xiàn)方案。該方案利用FPGA的并行處理能力，提高了視頻控制的實(shí)時(shí)性能。通過上述仿真可證明，該方案邏輯的正確性。為保證該方案的硬件實(shí)現(xiàn)，本次實(shí)驗(yàn)在Intel公司的Cyclone IV系列EP4CE10F17C8 FPGA硬件開發(fā)平臺(tái)上進(jìn)行驗(yàn)證，并用在線邏輯分析儀對實(shí)驗(yàn)結(jié)果進(jìn)行采集和分析。結(jié)果證明，該方案具有硬件可實(shí)現(xiàn)性。