基于DSPF28335和OV7620的實時嵌入式機(jī)器視覺裝置

摘 要： 為了解決機(jī)器視覺中實時性差和成本高的問題，設(shè)計了以DSP28335芯片為核心，OV7620 CMOS彩色圖像傳感器的實時嵌入式機(jī)器視覺裝置。該裝置應(yīng)用于檢測液位，設(shè)計中以彩色圖像數(shù)據(jù)作為研究對象，通過顏色識別進(jìn)行定位；利用DSP28335的浮點運算單元進(jìn)行處理及其支持高達(dá)1 Mb/s的數(shù)據(jù)速率CAN模塊進(jìn)行輸出定位結(jié)果。測試表明該裝置具有實時性強(qiáng)、精度高、體積小、成本低、設(shè)計靈活。

關(guān)鍵詞： DSP28335； CMOS彩色圖像傳感器； OV76203嵌入式機(jī)器視覺裝置

中圖分類號： TN911?34 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2013）24?0136?04

Embedded real?time machine vision device based on the DSPF28335 and OV7620

LAI Hai?qing， ZHANG Qi， MEI Ping， ZENG Hao， ZHENG Si?kai

（College of Automation Engineering， Guangdong University of Technology， Guangzhou 510006， China ）

Abstract： To solve the problems of poor real?time machine vision and high cost， an embedded real?time machine vision device of OV7620 CMOS color image sensor was designed， which takes DSP28335 chip as the core. The device is applied to the liquid level detection. The color image data is take as a research object in the design. The positioning is conducted by color recognition. The floating point operation unit of DSP28335 is used to process and support the CAN module whose data rate is up to 1 Mbps to output the positioning results. Testing result indicates that the device has the characteristics of high real?time performance， high accuracy， small size， low cost， flexible design.

Keywords： DSP28335； CMOS color image sensor； OV7620； embedded machine vision device

0 引 言

目前運用于檢測液位的嵌入式實時機(jī)器視覺裝置要么是定點CPU，要么研究對象是黑白圖像，且定位與測量算法的數(shù)據(jù)運算量較大，難以滿足嵌入式機(jī)器視覺系統(tǒng)定位與測量功能的實時性和準(zhǔn)確性要求[1]，并且價格昂貴。

鑒于定位的精確度、自適應(yīng)性、實時性和成本問題。本文設(shè)計了基于由TI公司新推出的一款具有32位單精度浮點運算數(shù)字信號處理器TMS320F28335和CMOS彩色圖像傳感器OV7620所構(gòu)建硬件平臺的嵌入式機(jī)器視覺裝置[2]。設(shè)計中利用主頻高達(dá)150 MHz，指令周期為6.67 ns的DSP28335對CMOS彩色圖像傳感器進(jìn)行采集控制；并提出的液位檢測算法，是以彩色圖像數(shù)據(jù)作為研究對象，對液體顏色進(jìn)行識別，大大提高了采集速度和識別速度以及精確度，同時解決了在復(fù)雜的顏色環(huán)境下難以定位液位的問題。

1 系統(tǒng)硬件設(shè)計

1.1 系統(tǒng)硬件結(jié)構(gòu)

系統(tǒng)硬件結(jié)構(gòu)如圖1所示，包括圖像采集，圖像處理和圖像傳輸。圖像傳感器負(fù)責(zé)圖像的采集，采集的圖像數(shù)據(jù)由主控制器進(jìn)行實時的讀取和處理。主控制器總線接口可以把多個裝置連接起來組成一個總的系統(tǒng)。本文設(shè)計選用的是TI公司DSP中的TMS320F28335作為主處理器，為機(jī)器視覺裝置的CPU，用來進(jìn)行數(shù)據(jù)的采集和處理。TMS320F28335是TI公司新推出的一款浮點型數(shù)字信號處理器，集成32位單精度浮點運算單元（FPU），最高運算速度[3]達(dá)150 MIPS。指令周期為6.67 ns，集成了256K×16 b FLASH，1路I2C通信接口，3路異步串口，2路CAN總線通信接口等資源[4]。具有精度高，成本低，功耗小，外設(shè)集成度高，數(shù)據(jù)及程序存儲量大和A/D轉(zhuǎn)換更加精確快速等優(yōu)點，為工業(yè)視覺應(yīng)用提供更加優(yōu)秀的性能和更加簡單的軟件設(shè)計。

選用OV7620作為圖像傳感器，其是CMOS黑白/彩色圖像傳感器[5]。傳感器包括一個640×480分辨率的圖像陣列，內(nèi)置10位雙通道A/D轉(zhuǎn)換器，輸出8位圖像數(shù)據(jù)；具有自動白平衡和自動增益控制，能進(jìn)行對比度、亮度、γ校正、飽和度等多種調(diào)節(jié)功能；OV7620支持隔行和連續(xù)兩種掃描方式，QVGA與VGA兩種圖像格式；幀速率為30 f/s；數(shù)據(jù)格式包括RGB，YCrCb和YUV三種；內(nèi)部有I2C可編程，可以調(diào)整攝像頭的參數(shù)，比如最大灰度，對比度，曝光率控制等等。其本質(zhì)是SCCB協(xié)議的寄存器寫入，需要對攝像頭做跳線處理，并用MCU的I/O口模擬SCCB協(xié)議。本設(shè)計采用的是分辨率為640×480，RGB格式，8 b的數(shù)據(jù)輸出格式[6]。OV7620圖像傳感器提供信號包括：VSYNC（垂直同步脈沖幀信號）、HREF（水平有效數(shù)據(jù)輸出）、PCLK（像素時鐘）、16 b數(shù)據(jù)總線[7]。

圖1 機(jī)器視覺裝置原理圖

SRAM和FLASH分別選用IS61LV51216和SST39VF160，分別用作數(shù)據(jù)存儲器和程序存儲器，采用FIFO模式對緩存數(shù)據(jù)進(jìn)行讀取[8]。由于系統(tǒng)運行時，需要對SRAM進(jìn)行頻繁讀/寫操作，因此SRAM選用ISS的一個快速存儲器件IS61LV51216，它是一個8 Mb容量功耗低、集成度高，結(jié)構(gòu)為512K×16 b字長的高速率SRAM[9]。SST39VF160是SST公司的一個多功能FLASH存儲器，存儲容量為1M×16 b，工作電壓為2.7～3.6 V，14 MHz時等待電流為4 μA，；有效電流為12 mA，自動低功耗模式為4 μA；字編程時間14 μs，讀訪問時間90 ns，芯片擦除時間70 ms，扇區(qū)擦除時間[10]18 ms。

1.2 DSP28335與OV7620的硬件連接

通用I/O口GPIO71、GPIO70分別與SDA、SCL連接，作為I2C通信；通用I/O口GPIO67作為PCLK的I/O查詢；GPIO69捕抓HREF的上升沿；GPIO68捕抓VSYNC的下降沿；通用I/O口GPIO66作為OV7620的硬件復(fù)位；通用I/O口GPIO72～GPIO79作為OV7620的數(shù)據(jù)輸入。DSP28335與OV7620的連接圖如圖2所示。OV7620要連接相當(dāng)?shù)耐鈬骷拍苷９ぷ鳌Ｐ枰? V電源供電，27 MHz晶振，工作時功耗<120 mW，待機(jī)時功耗<10 μW；其中，晶振電路的設(shè)計中需要注意一個問題：必須在OV7620的XCLK1和XCLK2之間串聯(lián)一個1 MΩ的反饋電阻。否則OV7620有時會出現(xiàn)不能正常工作的現(xiàn)象，原因是OV7620不能正常起振。

圖2 DSP28335與OV7620的連接框圖

2 機(jī)器視覺裝置的軟件設(shè)計

2.1 機(jī)器視覺采集設(shè)計

如圖3為機(jī)器視覺裝置的采集程序流程圖。首先進(jìn)行系統(tǒng)的初始化工作，當(dāng)檢測到VYSN下降沿時，發(fā)出幀開始信號，檢測到HREF上升沿時，發(fā)出行開始信號。通過逐行掃描的方式，從y0～y7端口接收像素數(shù)據(jù)信息，其順序為B?G?R?G。其中GPIO68檢測到下降沿時意味著一幅圖像的開始，而GPIO69用于執(zhí)行一行圖像數(shù)據(jù)的開始。

圖3 數(shù)據(jù)采集流程圖

STMF28335通過對OV7620的PCLK計數(shù)，當(dāng)計數(shù)值到達(dá)640時，GPIO69計數(shù)溢出中斷發(fā)生，表示一行圖像數(shù)據(jù)采集時間到。而GPIO69用于對OV7620的HREF信號進(jìn)行計數(shù)，確定一幅圖像是否采集完畢[11]。OV7620的輸出分辨率可設(shè)置為640×480，DSP28335需要接收的數(shù)據(jù)就是307 200個8位的數(shù)據(jù)，為了提高實時性且不影響圖像處理數(shù)據(jù)和檢測要求。DSP28335選擇性地接收數(shù)據(jù)，利用程序編寫，每行每隔4個數(shù)據(jù)作為有效數(shù)據(jù)接收，因此每行的數(shù)據(jù)個數(shù)變?yōu)閇6404=]160，然后每隔4行作為有效行接收，因此行數(shù)變?yōu)閇4804=]120行，其分辨率變?yōu)?60×120，總數(shù)據(jù)為19 200；并且采用了FIFO模式對數(shù)據(jù)進(jìn)行緩存和讀取。這樣的做法既能達(dá)到圖像的清晰要求，同時很好地提高了實時性。

2.2 機(jī)器視覺圖像處理設(shè)計

圖4為機(jī)器視覺裝置圖像處理的流程圖。

圖4 圖像處理流程圖

測試中選用了裝液體的物體為杯子，設(shè)裝滿液體時，杯子特征為Tz（Tz為液體連續(xù)的最小和最大的區(qū)間寬度），液體的的彩色值范圍為Rp，Gp，Bp。

本系統(tǒng)處理的圖像為RGB格式，像素大小設(shè)定為640×480，采用8位的RGB原始視頻數(shù)據(jù)輸出，設(shè)置為Y通道（輸出序列為BGRG），UV通道關(guān)閉，以提高實時性，提高軟件效率。

通過DSP28335控制CMOS OV7620每隔4個點采集圖像數(shù)據(jù)，圖像數(shù)據(jù)從IS61LV51216緩沖區(qū)中讀取，將讀取的數(shù)據(jù)轉(zhuǎn)換為Bayer矩陣，再將Bayer矩陣轉(zhuǎn)換為RGB格式的彩色圖像；然后對彩色圖像進(jìn)行反畸變校正，將校正后的圖像進(jìn)行定標(biāo)。定標(biāo)后進(jìn)行初始化，獲得裝滿液體的Tz和Rp，Gp，Bp值；初始化后根據(jù)Tz和Rp，Gp，Bp值對目標(biāo)進(jìn)行檢測液位，最后將檢測的結(jié)果通過DSP283385的CAN輸出到應(yīng)用設(shè)備中。實際應(yīng)用中不通過上位機(jī)顯示圖像和處理結(jié)果，直接把處理結(jié)果通過CAN發(fā)送到PC機(jī)上對檢測結(jié)果進(jìn)行處理。

3 液位顏色識別算法

本文提出的液位顏色識別算法是基于行處理模式算法。行處理模式算法就是在讀取完一行數(shù)據(jù)后，把所在行中符合要求的連續(xù)點（即滿足Tz和Rp，Gp，Bp）的最左端和最右端坐標(biāo)保存下來，可分別記為（XnL，YnL）和（XnR，YnR）。

根據(jù)得到的數(shù)據(jù)，可以計算出關(guān)于液體的更多信息。為了提高識別準(zhǔn)確率和識別速度，本文設(shè)計作了一些改變，同時也采用了二分法查找。以下為本設(shè)計的處理過程：

（1）首先從圖像中間行（二分法）開始檢測，如果當(dāng)前行中有滿足Tz和Rp，Gp，Bp，則表示當(dāng)前位置可能是液位或者液位在更高處，需向上繼續(xù)二分法查找，同時記下滿足Tz和Rp，Gp，Bp當(dāng)前行連續(xù)點的最左端和最右端的橫坐標(biāo)為（XnL1，XnR1）；當(dāng)它的向上二分法查找行同樣滿足Tz和Rp，Gp，Bp時，則記下它的最左端和最右端的橫坐標(biāo)為（XnL2，XnR2）。

（2）若當(dāng)前行中沒有滿足Tz和Rp，Gp，Bp的，則表示當(dāng)前位置不是液位或者液位在更低處，需向下繼續(xù)二分法查找。

（3）設(shè)n為符合要求的第n行變量，當(dāng)它們滿足下式（1）時n置0，即液位為0：

[if（XnL1==0） （XnR1==0）n=0； ] （1）

當(dāng)滿足式（2）的條件時，對n值進(jìn)行更新。同時賦值新的迭代連續(xù)點的最左端和最右端的橫坐標(biāo)為（XnLx，XnRx）（其中XnLx，XnRx為全局變量）。XnLx，XnRx的值如式（3）所示：

[if （XnL1XnL2） （Tz Rp Gp Bp）n=n] （2）

[if （XnL2XnL1） （Tz Rp Gp Bp）{XnL1XnL1；XnRxXnRx} if （XnL1XnL2） （Tz Rp Gp Bp）{XnLxXnL2；XnRx=XnR2}] （3）

之后不斷重復(fù)上述步驟，直到找到那個臨界行為止，即此行（液位）滿足Tz和Rp，Gp，Bp，并且更高處的上一行不滿足Tz和Rp，Gp，Bp，以及更低處的下一行滿足Tz和Rp，Gp，Bp；此時，表示液位已經(jīng)檢測到。

4 液位檢測效果及分析

實驗中，選用了綠茶液體，冰紅茶液體及自來水作為實驗對象，分別對不同顏色的液體以及對不同液位高度同種液體進(jìn)行液位檢測，并對檢測過程進(jìn)行計時。其中杯子高度為160 mm，最大直徑為60 mm。

表1的檢測實驗為三種液體隨機(jī)加入的量。經(jīng)過大量的實驗，系統(tǒng)檢測與人工讀數(shù)結(jié)果之間的相對誤差在保持在0.0%～0.50%之間，具有較高的測量精度，定位耗時平均為320 ms。

表1 系統(tǒng)液位檢測結(jié)果與人工測量結(jié)果比較

5 結(jié) 語

本文提出了基于DSPF28335和OV7620彩色圖像傳感器的機(jī)器視覺裝置解決方案，克服了傳統(tǒng)機(jī)器視覺系統(tǒng)的定點運算，運行速度慢，高昂費用、高復(fù)雜性、體積龐大的缺點，與傳統(tǒng)模式的機(jī)器視覺系統(tǒng)相比，具有浮點運算、實時性強(qiáng)、體積小、成本低、設(shè)計靈活等優(yōu)點，從而可以有更強(qiáng)的拓展性與兼容性，性價比極高。

參考文獻(xiàn)

[1] 楊文浩，白瑞林，尚佳良.嵌入式機(jī)器視覺實時定位與測量 的方法[J].計算機(jī)工程與科學(xué)，2010，32（7）：140?142.

[2] 鄭紅，劉振強(qiáng)，李振.嵌入式DSP應(yīng)用系統(tǒng)設(shè)計及實例剖析[M].北京：北京航空航天大學(xué)出版社，2012.

[3] Texas Instruments. TMS320F28335， TMS320F28334， TMS320?

F28332， TMS320F28235， TMS32F28234， TMS28232 digital signal controller （DSCs） data manual [EB/OL]. [2013?07?10].http：//www.ti.com.cn/cn/lit/ds/symlink/tms 320f28335.

[4] 陵順，高艷麗.TMS320F28335 DSP原理及開發(fā)編程[M].北京：北京航空航天大學(xué)出版社，2011.

[5] 崔業(yè)梅.基于嵌入式系統(tǒng)的圖像采集系統(tǒng)[J].長沙航空職業(yè)技術(shù)學(xué)院學(xué)報，2011，11（1）：60?62.

[6] 宋海吒，唐立軍，謝新輝.基于FPGA和OV7620的圖像采集 及VGA顯示[J].電視技術(shù)，2011，35（5）：46?47.

[7] 江愛榮，王超榮，曾晰，等.低位機(jī)處理圖像識別技術(shù)的設(shè)計與實現(xiàn)[J].輕工機(jī)械，2011，29（2）：96?98.

[8] 賀璽，楊述斌，曹珩，等.基于DSP和FIFO信號采集系統(tǒng)硬件設(shè)計及實現(xiàn)[J].武漢工程大學(xué)學(xué)報，2011，33（1）：79?82.

[9] 劉煒.基于DSP的導(dǎo)航計算機(jī)硬件設(shè)計分析[J].計算機(jī)與數(shù)字工程，2013（2）：249?251.

[10] 鄧林玲，黃戰(zhàn)華.基于LPC2214的FLASH存儲器的應(yīng)[J].天津理工大學(xué)學(xué)報，2008，24（3）：52?54.

[11] 葛家斌.基于OV7620圖像傳感器的智能循跡系統(tǒng)的[J].人工智能及識別技術(shù)，2011，33（7）：8286?8287.