基于S3C2440處理器的嵌入式視頻采集系統(tǒng)

劉洋，潘青龍，郝帥

(西安電子科技大學(xué)電子工程學(xué)院，陜西西安710071)

隨著通信網(wǎng)絡(luò)技術(shù)的迅速發(fā)展，基于網(wǎng)絡(luò)的高質(zhì)量視頻傳輸已逐步取代傳統(tǒng)的文字語(yǔ)音交互模式，成為當(dāng)今數(shù)字通信的主要研究領(lǐng)域之一。而隨著嵌入式操作系統(tǒng)和集成電路設(shè)計(jì)水平的不斷提高，嵌入式技術(shù)與通信網(wǎng)絡(luò)以及多媒體技術(shù)的融合將成為未來(lái)數(shù)字視頻通信領(lǐng)域的主流發(fā)展趨勢(shì)［1］。

一直以來(lái)，針對(duì)網(wǎng)絡(luò)傳輸實(shí)時(shí)視頻對(duì)嵌入式軟硬件都有較高要求。本文利用基于ARM920T內(nèi)核的S3C2440嵌入式微處理器，采用壓縮比更高的H.264視頻壓縮標(biāo)準(zhǔn)和開源嵌入式Linux系統(tǒng)，設(shè)計(jì)了一款基于嵌入式視頻服務(wù)器的遠(yuǎn)程實(shí)時(shí)視頻采集系統(tǒng)。

1 采集系統(tǒng)平臺(tái)搭建

1.1 系統(tǒng)硬件平臺(tái)

該采集系統(tǒng)以PC作為客戶端，以廣東友善之臂計(jì)算機(jī)科技有限公司研發(fā)的ARM9開發(fā)板Mini2440作為視頻服務(wù)器，采用Samsung S3C2440為微處理器，用專業(yè)穩(wěn)定的CPU內(nèi)核電源芯片和復(fù)位芯片保證系統(tǒng)運(yùn)行時(shí)的穩(wěn)定性。三星公司推出的這款16/32位RISC微處理器S3C2440，采用ARM920T的內(nèi)核，典型主頻400 MHz，最高可達(dá)533 MHz，使用5級(jí)流水線技術(shù)，并采用豐富的控制模塊為各種應(yīng)用提供擴(kuò)展。該采集系統(tǒng)的結(jié)構(gòu)如圖1所示。

圖1 視頻采集系統(tǒng)結(jié)構(gòu)圖

1.2 系統(tǒng)軟件平臺(tái)搭建

PC機(jī)端使用內(nèi)核版本為2.6.18的Linux 5紅帽子企業(yè)版，由于后續(xù)需要在Windows平臺(tái)進(jìn)行FTP資料傳輸?shù)裙ぷ鳎圆扇×颂摂M機(jī)安裝Linux的方式，這樣方便Linux和Windows的數(shù)據(jù)網(wǎng)絡(luò)交互。虛擬機(jī)軟件版本為Vmware 6.5.1，采用的傳輸軟件為基于SFTP協(xié)議的FlashFxp。而交叉編譯工具主要為Binutils、Gcc和Glibc。

一個(gè)嵌入式系統(tǒng)軟件角度主要分為引導(dǎo)加載程序、Linux內(nèi)核和文件系統(tǒng)3個(gè)層次，其中引導(dǎo)加載程序是系統(tǒng)加電后運(yùn)行的第一段軟件代碼。BootLoader就是在操作系統(tǒng)內(nèi)核運(yùn)行之前運(yùn)行的一段程序。在負(fù)責(zé)引導(dǎo)用的Flash存儲(chǔ)器中，通常會(huì)按照?qǐng)D2的順序分布。

圖2 bootloader在Flash中的地址分布

因?yàn)楹笃谶M(jìn)行攝像頭驅(qū)動(dòng)編寫移植過(guò)程需要大量的調(diào)試，基于網(wǎng)絡(luò)的NFS根文件系統(tǒng)就比較合適。基于這種考慮，選擇了網(wǎng)絡(luò)功能強(qiáng)大的U－boot作為BootLoader。移植U－boot主要做了以下工作:(1)修改編譯條件，添加寄存器定義，修改時(shí)鐘。(2)修改中斷禁止部分，添加S3C2440的中斷禁止代碼。(3)在board目錄創(chuàng)建新開發(fā)板目錄。(4)以smdk2410.c為模板修改PLL以及UPLL的設(shè)置。(5)修改Makefile相應(yīng)配置行以支持該開發(fā)板。

修改完畢后進(jìn)入工作目錄進(jìn)行板級(jí)配置，通過(guò)交叉編譯工具鏈對(duì)改后代碼進(jìn)行編譯。利用H－JTAG軟件進(jìn)行燒寫，如圖3所示為燒寫成功并通過(guò)超級(jí)終端引導(dǎo)完成。

圖3 H－JTAG下載U－boot成功

根文件系統(tǒng)掛載方式主要有ramdisk，NFS和initramfs這3種。制作自啟動(dòng)的嵌入式設(shè)備需要用initramfs作為根文件系統(tǒng)的內(nèi)核進(jìn)行燒寫。先0地址處存放的是U－boot，約為100 kB;然后在0x30000～0x40000存放了約64 kB的環(huán)境變量。這兩項(xiàng)均固定，所以u(píng)Image的大小必須控制在1.75 MB以下，并從0x40000開始存放。uImage包括內(nèi)核和根文件系統(tǒng)兩部分，需要針對(duì)其進(jìn)行裁減，以符合項(xiàng)目要求。

在嵌入式系統(tǒng)中，BusyBox是構(gòu)造文件系統(tǒng)常用的一個(gè)軟件工具包。本文采用它來(lái)構(gòu)建根文件系統(tǒng)。本項(xiàng)目使用的目標(biāo)板內(nèi)核為L(zhǎng)inux2.6.29，但根據(jù)項(xiàng)目自啟動(dòng)需要進(jìn)行相應(yīng)裁剪，根據(jù)最小系統(tǒng)標(biāo)準(zhǔn)進(jìn)行裁減，串口、網(wǎng)口、根文件系統(tǒng)可用，并保留本文所要求的攝像頭驅(qū)動(dòng)，裁剪后的內(nèi)核大小為1.3 MB，滿足系統(tǒng)需要，如圖4所示。

圖4 裁剪完畢的內(nèi)核

2 視頻驅(qū)動(dòng)編寫以及C/S軟件設(shè)計(jì)

2.1 T.264編碼庫(kù)優(yōu)化移植

T.264為中國(guó)視頻編碼自由組織聯(lián)合開發(fā)的開源編碼器，它對(duì)H.264的特性支持單一，編碼器可輸出標(biāo)準(zhǔn)264碼流，解碼器能解T.264編碼器生成的碼流，它吸收了JM、X264和XVID的優(yōu)點(diǎn)，適用于網(wǎng)絡(luò)流媒體的傳輸。由于本文研究的視頻采集系統(tǒng)應(yīng)用于可視電話視頻會(huì)議等應(yīng)用中，對(duì)網(wǎng)絡(luò)傳輸?shù)囊筝^高，綜合比較后，選用T.264作為本系統(tǒng)的軟件編碼器。

采用H.264中的基本檔次，僅使用CAVLC熵編碼方式即可滿足應(yīng)用要求。綜合不同平均碼率下的編碼性能以及網(wǎng)絡(luò)傳輸能力的考慮，對(duì)于QCIF格式運(yùn)動(dòng)平緩的視頻序列，編碼輸出幀率為15 f·s－1時(shí)，設(shè)置平均碼率為128 kb·s－1是比較合適的選擇。使用T.264開源編碼器，并對(duì)T.264進(jìn)行代碼級(jí)優(yōu)化編譯。在編譯級(jí)添加了如下選項(xiàng):(1)－fomit－framepointer選項(xiàng)忽略函數(shù)中不必要的幀指針，節(jié)省指令開銷。(2)－O4幾乎打開了所有的優(yōu)化選項(xiàng)，以盡可能提高程序運(yùn)行效率。(3)－msoft－float:產(chǎn)生基于浮點(diǎn)運(yùn)算函數(shù)庫(kù)調(diào)用的軟浮點(diǎn)目標(biāo)代碼。

2.2 視頻驅(qū)動(dòng)編寫以及C/S軟件設(shè)計(jì)

采用目前國(guó)內(nèi)市場(chǎng)占有率較大的臺(tái)灣松翰SONIX 613a主控芯片的攝像頭，該攝像頭支持Jpeg格式和4∶2∶0采樣的YUV原始視頻數(shù)據(jù)輸出，數(shù)據(jù)量小，可直接作為H.264等視頻壓縮編碼標(biāo)準(zhǔn)的原始視頻數(shù)據(jù)源，避免了對(duì)圖像的重采樣和色彩空間的變換等復(fù)雜的數(shù)字運(yùn)算處理，適合嵌入式的實(shí)時(shí)視頻采集應(yīng)用。

2.2.1 驅(qū)動(dòng)程序Gspca的修改移植

Gspca/Spca5xx是自由軟件基金會(huì)發(fā)布的通用USB攝像頭驅(qū)動(dòng)程序。但由于該解決方案在Linux內(nèi)核中并無(wú)驅(qū)動(dòng)支持，所以必須針對(duì)其進(jìn)行驅(qū)動(dòng)的添加和修改［4］，如圖5所示。

圖5 針對(duì)專用攝像頭的修改

2.2.2 C/S軟件設(shè)計(jì)

出于對(duì)特定的應(yīng)用對(duì)象以及成本的考慮，本文采用基于有線以太網(wǎng)絡(luò)流媒體傳輸H.264視頻的解決方案。采用開源軟件VLC作為流媒體服務(wù)器與客戶端播放器，進(jìn)行單向點(diǎn)對(duì)點(diǎn)實(shí)時(shí)視頻通信。圖6為視頻采集系統(tǒng)工作流程圖［5］。

圖6 視頻采集流程

(1)服務(wù)器端軟件設(shè)計(jì)。

視頻采集系統(tǒng)的服務(wù)器端采用后臺(tái)控制程序video_server受理客戶端video_client對(duì)VLC視頻服務(wù)器的遠(yuǎn)程管理與設(shè)置，通過(guò)同一端口(3490)和同一套消息碼進(jìn)行通信。并在系統(tǒng)初始化腳本/etc/init.d/rcS中激活網(wǎng)卡后添加后臺(tái)運(yùn)行服務(wù)器控制程序Video Server的命令，使開發(fā)板啟動(dòng)后在后臺(tái)自動(dòng)運(yùn)行video_server，它首先創(chuàng)建服務(wù)器端的套接口描述符，并與服務(wù)器端口地址及與client端統(tǒng)一的通信端口綁定，接著進(jìn)入服務(wù)響應(yīng)的主循環(huán)體，偵聽套接口數(shù)據(jù)及連接，根據(jù)來(lái)自客戶端的消息請(qǐng)求提供不同服務(wù)。video_server軟件流程如圖8所示。

(2)客戶端軟件設(shè)計(jì)。

客戶機(jī)端程序Video Client的運(yùn)行于PC機(jī)平臺(tái)，用來(lái)向Server端發(fā)送遠(yuǎn)程控制命令。通過(guò)遠(yuǎn)程控制命令，可以配置服務(wù)器端的視頻格式碼率和傳輸協(xié)議、啟停服務(wù)器端VLC進(jìn)程、調(diào)本地VLC播放器接收并播放來(lái)自服務(wù)器端的視頻圖像等。

針對(duì)此程序利用跨平臺(tái)界面庫(kù)QT設(shè)計(jì)了GUI操作界面，有助于用戶的交互。

由于服務(wù)器端對(duì)CIF格式圖像采集及壓縮編碼速度較慢，因此程序僅支持這兩個(gè)檔次QCIF－64 kb·s－1、QCIF－128 kb·s－1。設(shè)置完畢，點(diǎn)Connect按鈕，Client向Server發(fā)送附帶服務(wù)器設(shè)置參數(shù)的連接請(qǐng)求，若從Server接收到OK消息，表明server端接受了本地的連接請(qǐng)求并啟動(dòng)了Server端的VLC服務(wù)器，這時(shí)客戶端將Connect按鈕置為Disconnect按鈕，同叫調(diào)用本地VLC播放器，接收并播放服務(wù)器發(fā)送的視頻數(shù)據(jù):若從服務(wù)器接收到NOK消息，則出錯(cuò)。服務(wù)器在正常接收和播放服務(wù)器發(fā)送的視頻數(shù)據(jù)時(shí)，若點(diǎn)Disconnect按鈕，則向Server發(fā)送SRV_QUIT請(qǐng)求，同時(shí)關(guān)閉本地的VLC播放器，Server接收到SRV_QUIT消息后，關(guān)閉Server端的VLC服務(wù)器。

整個(gè)系統(tǒng)PC機(jī)是客戶端，基于S3C2440處理器的Mini2440開發(fā)平臺(tái)是嵌入式視頻服務(wù)器，Client程序通過(guò)以太網(wǎng)連接服務(wù)器，服務(wù)器響應(yīng)請(qǐng)求后啟動(dòng)VLC進(jìn)行視頻采集并將視頻數(shù)據(jù)傳輸?shù)娇蛻舳耍驝lient程序調(diào)用VLC播放器窗口對(duì)接收到的碼流進(jìn)行實(shí)時(shí)播放，正常工作情況如圖9所示。

圖7 服務(wù)器端后臺(tái)服務(wù)程序流程圖

圖8 視頻采集系統(tǒng)正常工作圖

從視頻圖像幀率上看，經(jīng)過(guò)優(yōu)化的T.264編碼器對(duì)QCIF視頻平均碼率在128 kbit·s－1時(shí)，編碼速度能夠達(dá)到16 f·s－1，但由于USB攝像頭采集QCIF格式圖像在約13 f·s－1，因此需要在服務(wù)器端設(shè)置壓縮幀率為13 f·s－1，這樣可以保證客戶端以原有幀率解碼視頻流，從系統(tǒng)的整體性能考慮，這個(gè)碼率能夠滿足遠(yuǎn)程教育和視頻監(jiān)控等應(yīng)用。

3 結(jié)束語(yǔ)

研究了嵌入式Linux的開發(fā)技術(shù)，建立起基于Mini2440開發(fā)板的Linux開發(fā)平臺(tái)，包括搭建交叉編譯環(huán)境，設(shè)計(jì)裁減移植BootLoader和Linux2.6.29內(nèi)核，構(gòu)建基于BusyBox的根文件系統(tǒng)，開發(fā)針對(duì)視頻采集系統(tǒng)的專用攝像頭驅(qū)動(dòng)。研究了H.264視頻壓縮編碼標(biāo)準(zhǔn)，針對(duì)該視頻采集系統(tǒng)對(duì)開源的T.264編碼器進(jìn)行編譯和代碼級(jí)優(yōu)化，達(dá)到實(shí)時(shí)應(yīng)用要求。研究了基于UDP協(xié)議的網(wǎng)絡(luò)傳輸方案，修改設(shè)計(jì)服務(wù)器端的采集程序和客戶端的視頻解碼播放程序，最終實(shí)現(xiàn)嵌入式視頻采集系統(tǒng)的運(yùn)行。

［1］ 張大波．嵌入式系統(tǒng)原理、設(shè)計(jì)與應(yīng)用［M］．北京:機(jī)械工業(yè)出版社，2004．

［2］ 友善之臂計(jì)算機(jī)科技有限公司．MINI2440用戶手冊(cè)［R］．廣州:友善之臂計(jì)算機(jī)科技有限公司，2010．

［3］ 畢厚杰，王建．新一代視頻壓縮編碼標(biāo)準(zhǔn)H．264/AVC［M］．北京:人民郵電出版社，2009．

［4］ Corbet J，Rubini A，Hartman G K，et al．Linux設(shè)備驅(qū)動(dòng)程序［M］．3版．北京:中國(guó)電力出版社，2006．

［5］ 黃振華．基于H．264的嵌入式實(shí)時(shí)視頻采集與傳輸系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)［D］．上海:華東師范大學(xué)，2008．