基于PXA270芯片的嵌入式數(shù)字視頻采集系統(tǒng)

李 偉，孫朝云，顏 鵬

(長安大學(xué)信息工程學(xué)院，陜西西安710064)

嵌入式系統(tǒng)因其具有體積小、價(jià)格低、性能高、穩(wěn)定性好等優(yōu)點(diǎn)，被廣泛地應(yīng)用于各個(gè)領(lǐng)域［1］。數(shù)字化視頻系統(tǒng)可以通過充分利用計(jì)算機(jī)的快速處理能力對視頻數(shù)據(jù)進(jìn)行壓縮、分析、存儲和顯示等處理。嵌入式數(shù)字視頻系統(tǒng)則能夠結(jié)合嵌入式系統(tǒng)與數(shù)字視頻系統(tǒng)兩者的優(yōu)點(diǎn)。PXA270芯片是基于XScale處理器芯片，它配合嵌入式Linux或Wince操作系統(tǒng)，理論上支持任何媒體格式，并且可以通過軟件升級來支持未來媒體格式［2］。但是媒體播放對硬件有極高的要求，因此需要用多媒體加速芯片來配合PXA270芯片進(jìn)行視頻加速與2D或3D加速。本文介紹了以PXA270芯片為核心配合SM502圖形加速顯卡芯片實(shí)現(xiàn)的嵌入式視頻采集系統(tǒng)［3］。

1 系統(tǒng)總體結(jié)構(gòu)

該系統(tǒng)由嵌入式端視頻圖像采集顯示與壓縮、壓縮視頻數(shù)據(jù)有線傳輸、PC端視頻數(shù)據(jù)的顯示與存儲3部分組成。系統(tǒng)采用PXA270核心芯片內(nèi)裝有Microsoft Windows CE 5.0操作系統(tǒng)。系統(tǒng)首先通過Camera采集現(xiàn)場實(shí)時(shí)視頻信息，然后在嵌入式平臺上對視頻信息進(jìn)行捕捉、顯示、壓縮。最后通過使用以太網(wǎng)線在嵌入式平臺與主機(jī)之間搭建一個(gè)有線局域網(wǎng)絡(luò)，壓縮的視頻數(shù)據(jù)可以通過該局域網(wǎng)絡(luò)可靠地傳輸?shù)街鳈C(jī)端，用戶可以通過流媒體播放程序在主機(jī)端對遠(yuǎn)程視頻進(jìn)行查看、存儲等處理。本文所設(shè)計(jì)的視頻采集系統(tǒng)總體結(jié)構(gòu)如圖1所示。

圖1 視頻采集系統(tǒng)總體結(jié)構(gòu)圖

1.1 系統(tǒng)硬件平臺的構(gòu)成

系統(tǒng)硬件平臺選用了PXA270芯片作為核心芯片，PXA270芯片是基于XScale處理器的芯片。該芯片具有支持高分辨力顯示、低功耗、高可靠性以及較強(qiáng)的多媒體功能等特點(diǎn)。PXA270支持Microsoft Windows CE操作系統(tǒng)。本平臺采用SM5022D圖形加速顯卡芯片，支持的分辨力可達(dá)1 024×768，在多媒體處理能力方面比較有優(yōu)勢。同時(shí)Video視頻接口(支持PAL制式的CVBS視頻信號輸入)和1個(gè)串口。可以在工業(yè)溫度范圍內(nèi)穩(wěn)定工作，特別適合工業(yè)控制、視頻監(jiān)視、遠(yuǎn)程監(jiān)控、現(xiàn)場通信等領(lǐng)域的應(yīng)用。硬件平臺系統(tǒng)如圖2所示。

平臺的核心是PXA270芯片，同時(shí)為了進(jìn)行多媒體播放，SM502圖形芯片配合PXA270進(jìn)行了視頻與2D加速。SM502圖形加速芯片連接了LCD接口進(jìn)行視頻的顯示，同時(shí)它還連接到了模擬視頻處理模塊，模擬視頻處理模塊接收到CVBS模擬視頻信號后進(jìn)行處理并其將轉(zhuǎn)換為數(shù)字信號傳入SM502芯片。音頻通過話筒等輸入設(shè)備進(jìn)行采集后經(jīng)過AC97編碼后輸入到PXA270中，同時(shí)音頻信號輸出時(shí)首先經(jīng)過AC97解碼然后輸出到音響設(shè)備。10 M/100 M以太網(wǎng)控制器負(fù)責(zé)把嵌入式端的視頻音頻信號傳到PC端進(jìn)行后續(xù)處理。通過COM口可以進(jìn)行程序的調(diào)試下載，以及通信等功能。

圖2 基于PXA270嵌入式平臺的組成

1.2 系統(tǒng)開發(fā)軟件環(huán)境介紹

嵌入式端程序使用eMbedded Visual C++4.0 with SP4開發(fā)，該程序運(yùn)行平臺為安裝在基于PXA270芯片構(gòu)成的硬件平臺的Windows CE 5.0平臺上。

PC端程序使用Visual C++6.0開發(fā)，該程序運(yùn)行平臺為Windows平臺。

1.3 嵌入式端視頻的采集與顯示

嵌入式端視頻捕獲函數(shù)庫由 Capture.h，Capture.lib，Capture.dll這3個(gè)文件組成。Capture.h為該庫頭文件;Capture.lib為靜態(tài)鏈接庫文件，在使用該函數(shù)庫編譯工程時(shí)，應(yīng)鏈接上它;Capture.dll為動態(tài)連接庫文件，使用本函數(shù)庫編譯生成的應(yīng)用程序需要該DLL文件才能正常運(yùn)行。嵌入式端提供了視頻輸入接口，可以通過對視頻采集芯片的操作進(jìn)行視頻采集編程。嵌入式端使用了顯卡芯片來加速圖像顯示，該顯卡還支持視頻輸入直接在顯卡上顯示，這樣就可以讓輸入的視頻不經(jīng)CPU處理直接通過顯卡顯示，從而實(shí)現(xiàn)本地視頻實(shí)時(shí)顯示。并且，這種視頻顯示方式也不消耗CPU資源。本地視頻實(shí)時(shí)顯示的原理如圖3所示。

圖3 嵌入式端視頻實(shí)時(shí)顯示原理

嵌入式端視頻實(shí)時(shí)顯示總體流程為：首先，系統(tǒng)中使用的ACE－371攝像頭輸出PAL制式的CVBS信號。當(dāng)攝像頭傳輸CVBS信號到嵌入式端時(shí)，在主板上對所傳入的數(shù)據(jù)進(jìn)行處理。處理過程包括模擬視頻數(shù)字化、視頻顯示以及視頻壓縮。在處理視頻數(shù)據(jù)過程中用到的主要的函數(shù)有：啟動視頻捕獲函數(shù)void CAP_Start(void)，停止視頻捕獲函數(shù)void CAPStop(void)，設(shè)置視頻壓縮品質(zhì)函數(shù)void APSetCompQuality(COMP_QUALITY quality)，獲取捕獲視頻位圖信息頭函數(shù)，CAPGetBmpHead(BITMAPINFOHEADER*pbmHead)獲取捕獲視頻位圖數(shù)據(jù)函數(shù)原型LPVOID CAPGetBmpData(LPDWORD pdwSize)，設(shè)置視頻顯示模式函數(shù)原型void CAPSetMode(int nMode)讀取壓縮后的視頻幀函數(shù)原型LPVOID CAPReadFrame(DWORD*pdwSize)。除以上函數(shù)之外，還有設(shè)置視頻捕獲的亮度、對比度、飽和度、顯示區(qū)域等函數(shù)。嵌入式端視頻采集界面如圖4所示。

圖4 嵌入式端視頻采集界面(截圖)

運(yùn)行嵌入式端程序后會顯示圖4所示界面，點(diǎn)擊Start開始視頻的顯示，點(diǎn)擊Stop則停止，點(diǎn)擊Snap進(jìn)行圖像抓取。嵌入式端在局域網(wǎng)中作為客戶端，傳遞視頻數(shù)據(jù)時(shí)只需要在界面中設(shè)置好Server IP然后點(diǎn)擊Connect按鈕。此時(shí)要注意PC的IP地址要與嵌入式端的IP設(shè)置在同一網(wǎng)段內(nèi)。

1.4 基于TCP/IP協(xié)議的嵌入式視頻傳輸設(shè)計(jì)

TCP/IP協(xié)議是在網(wǎng)絡(luò)編程中被廣泛采用的一種協(xié)議。它是一套把因特網(wǎng)上的各種系統(tǒng)互連起來的協(xié)議組，目前TCP/IP協(xié)議已成為最常用的網(wǎng)絡(luò)標(biāo)準(zhǔn)之一［4］。在本系統(tǒng)中數(shù)據(jù)傳輸部分采用TCP/IP協(xié)議進(jìn)行視頻數(shù)據(jù)傳輸。

在整個(gè)嵌入式視頻采集系統(tǒng)中，嵌入式端作為客戶端運(yùn)行WINCE5.0操作系統(tǒng)。在該操作系統(tǒng)上運(yùn)行的是客戶端軟件。局域網(wǎng)絡(luò)中的PC機(jī)作為服務(wù)器，服務(wù)器端可以運(yùn)行各種操作系統(tǒng)。本系統(tǒng)中服務(wù)器上運(yùn)行的是Windows操作系統(tǒng)，在該操作系統(tǒng)上運(yùn)行服務(wù)器軟件。

套接字是支持TCP/IP網(wǎng)絡(luò)通信的基本單元。套接字有3種不同的類型：流式套接字、原始套接字和數(shù)據(jù)報(bào)套接字。其中流式套接字和數(shù)據(jù)報(bào)套接字是最常用的，兩者的區(qū)別在于它們各自使用不同的協(xié)議。數(shù)據(jù)報(bào)套接字使用的UDP協(xié)議，UDP協(xié)議是無連接的，數(shù)據(jù)包以獨(dú)立包形式發(fā)送，不能保證數(shù)據(jù)無錯(cuò)傳輸，同時(shí)不能保證數(shù)據(jù)的有序傳輸［5］。流式套接字使用TCP協(xié)議，TCP協(xié)議是面向連接，保證數(shù)據(jù)不丟失、無差錯(cuò)、不重復(fù)地傳到接收方，同時(shí)保證數(shù)據(jù)的有序傳輸［6］。本系統(tǒng)中視頻數(shù)據(jù)的網(wǎng)絡(luò)傳輸部分軟件的編寫采用流套接字編程技術(shù)。首先在服務(wù)器端和客戶端分別創(chuàng)建本地套接字對象，然后通過調(diào)用套接字對象的方法進(jìn)行建立連接、發(fā)送和接收數(shù)據(jù)和關(guān)閉連接等操作。圖5展示了流式套接字編程的流程：首先TCP服務(wù)器端創(chuàng)建本地流式套接字對象，然后使用套接字對象的Bind方法綁定本地IP與端口號，接著套接字對象的Listen方法開始監(jiān)聽客戶端連接請求，當(dāng)服務(wù)器監(jiān)聽到客戶端連接請求時(shí)，服務(wù)器端的套接字對象將調(diào)用Accept方法接受客戶端連接請求的同時(shí)對客戶端進(jìn)行應(yīng)答，建立連接。此時(shí)服務(wù)器端獲得一個(gè)全新的與該客戶端通信的套接字。客戶端的編程首先建立客戶端的本地流式套接字對象，然后調(diào)用套接字對象的Connect方法向服務(wù)器端提出建立連接的請求，服務(wù)器進(jìn)行應(yīng)答后建立連接。然后服務(wù)器與客戶端進(jìn)行視頻數(shù)據(jù)的傳輸。

圖5 面向連接的TCP套接字編程流程圖

1.5 PC端視頻采集與顯示

PC端視頻捕獲函數(shù)庫由 TeleeVideo.h，TeleeVideo.lib和TeleeVideo.dll這3個(gè)文件組成。TeleeVideo.h為該庫頭文件;TeleeVideo.lib為靜態(tài)鏈接庫文件，在使用該函數(shù)庫編譯工程時(shí)，應(yīng)鏈接上它;TeleeVideo.dll為動態(tài)連接庫文件，使用本函數(shù)庫編譯生成的應(yīng)用程序需要該DLL文件才能正常運(yùn)行。Xscale處理器支持WMMX指令，該指令具有較強(qiáng)的多媒體數(shù)據(jù)處理能力，因此可以通過使用該指令對視頻數(shù)據(jù)進(jìn)行實(shí)時(shí)壓縮，并經(jīng)由以太網(wǎng)發(fā)送到遠(yuǎn)程主機(jī)上再解碼顯示，這樣便能實(shí)現(xiàn)遠(yuǎn)程視頻監(jiān)視。在VC++6.0中編程時(shí)用到的主要函數(shù)有用于獲取由下位機(jī)程序壓縮的視頻幀的有關(guān)信息函數(shù)CAPGetFrameInfo(CAP_FRAMEIN*pFrameInfo，void*pStream，DWORD dwSize)和用于對下位機(jī)壓縮的視頻幀進(jìn)行解碼。PC端視頻的捕獲與顯示的總體流程如圖6所示。

圖6 PC端視頻捕獲與顯示的總體流程

攝像機(jī)采集到的視頻信息傳入嵌入式端，嵌入式端進(jìn)行視頻信號的數(shù)字化后進(jìn)行壓縮，壓縮后通過以太網(wǎng)線發(fā)送到PC端。PC端捕獲到視頻數(shù)據(jù)后對視頻數(shù)據(jù)進(jìn)行解碼，然后進(jìn)行顯示視頻、保存視頻，以及截取圖像等處理。PC端視頻顯示程序界面如圖7所示。

運(yùn)行PC端程序，點(diǎn)擊Start啟動視頻顯示功能，同時(shí)界面中會顯示客戶端IP信息以及傳輸?shù)囊曨l壓縮幀率信息。點(diǎn)擊Recording會啟動錄制視頻功能，點(diǎn)擊Snap進(jìn)行截圖。

2 結(jié)論

該系統(tǒng)基于由PXA270芯片構(gòu)成的嵌入式平臺和WINCE5.0操作系統(tǒng)，通過攝像頭采集現(xiàn)場實(shí)時(shí)視頻信息，并對其進(jìn)行壓縮。然后使用實(shí)時(shí)流式傳輸方式將視頻數(shù)據(jù)在由嵌入式平臺與PC機(jī)之間構(gòu)建的有線局域網(wǎng)絡(luò)之間進(jìn)行傳輸。該系統(tǒng)具有高可靠性、高穩(wěn)定性、安裝容易等優(yōu)點(diǎn)。該系統(tǒng)可以應(yīng)用于工業(yè)控制、遠(yuǎn)程監(jiān)控、視頻會議等領(lǐng)域。

圖7 PC端視頻顯示程序界面(截圖)

［1］全青松，余厚全.嵌入式視頻監(jiān)控終端的設(shè)計(jì)與實(shí)現(xiàn)［J］.光電技術(shù)應(yīng)用，2010，25(6)：53－55.

［2］劉宇.基于ARM9的嵌入式可視電話終端的設(shè)計(jì)與實(shí)現(xiàn)［D］.大連：大連理工大學(xué)，2006.

［3］汪慶.基于Blackfin DSP的嵌入式數(shù)字家庭系統(tǒng)平臺的研究與實(shí)現(xiàn)［D］.武漢：武漢科技大學(xué)，2007.

［4］胡健生，臧曉昱.嵌入式多路視頻采集顯示系統(tǒng)設(shè)計(jì)［J］.液晶與顯示，2010，25(6)：831－835.

［5］曲宏明.基于嵌入式Linux的數(shù)字視頻監(jiān)控系統(tǒng)研究［D］.大連：大連海事大學(xué)，2008.

［6］羅翊.基于ARM平臺的嵌入式實(shí)時(shí)網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)［J］.中國科技信息，2010，22(45)：103－105.

［7］李岸，許雪梅，郭巧云，等.基于ARM11的視頻實(shí)時(shí)傳輸系統(tǒng)［J］.計(jì)算機(jī)系統(tǒng)應(yīng)用，2010，19(11)：15－18.