基于DSP+ARM的音視頻同步壓縮存儲實(shí)時(shí)傳輸系統(tǒng)設(shè)計(jì)

閆亞玲， 李 博， 孟祥飛

(中北大學(xué) 儀器科學(xué)與動態(tài)測試教育部重點(diǎn)實(shí)驗(yàn)室， 太原 030051)

0 引 言

現(xiàn)代人對高清音視頻的需求與日俱增，業(yè)內(nèi)對音視頻處理方法的研究也從未停止。目前音視頻的處理基本都是以ARM, DSP, FPGA為核心，本文結(jié)合了DSP+ARM芯片，同時(shí)又通過FPGA芯片實(shí)現(xiàn)視頻的輸入輸出，同時(shí)利用3種芯片實(shí)現(xiàn)音視頻的采集壓縮存儲傳輸，使得處理速度大大加快，對音視頻質(zhì)量的損耗大大降低。該系統(tǒng)采用H.264/AVC壓縮方法[1]，目前音視頻的壓縮同步方法以分開壓縮后進(jìn)行同步處理為主，其實(shí)H.264/AVC也是可以壓縮音頻的，如果使用H.264/AVC對音視頻文件進(jìn)行同步壓縮，對壓縮之后的混合文件進(jìn)行存儲和傳輸可以大大減少工作量，免除壓縮傳輸之后的同步工作，且同步壓率也較高于異步壓縮，對音視頻質(zhì)量的影響也更少，故該系統(tǒng)選擇基于H.264/AVC的DCT系數(shù)奇偶性音視頻同步壓縮方法進(jìn)行壓縮[2]，在進(jìn)行H.264/AVC壓縮中將音頻信息隱藏在DCT變換系數(shù)中，因?yàn)樵贒CT變換的中頻段稍加修改對視頻的質(zhì)量不會有太大影響[3]，所以選擇中頻段進(jìn)行嵌入，壓縮完成的混合文件一方面通過RTP協(xié)議傳輸至目的IP進(jìn)行解碼觀看[4]；另一方面解碼后分出音頻信息通過SATA口寫入外接硬盤進(jìn)行存儲[5]。

1 系統(tǒng)設(shè)計(jì)

該系統(tǒng)在DSP+ARM開發(fā)板上完成設(shè)計(jì)，以CCD攝像頭作為視頻采集外設(shè)設(shè)備[6]，3.5 mm的麥克風(fēng)作為語音采集設(shè)備。系統(tǒng)的核心處理器TMS320DM6467T可實(shí)現(xiàn)多路H.264/AVC的編碼與解碼，故該系統(tǒng)采用以H.264/AVC為基礎(chǔ)的DCT系數(shù)音視頻同步壓縮方法，同步壓縮后的音視頻文件一方面通過板卡的以太網(wǎng)口傳輸至目的IP進(jìn)行實(shí)時(shí)播放；另一方面通過板卡的SATA口存儲至移動硬盤中。系統(tǒng)流程如圖1所示。

圖1 系統(tǒng)圖

1.1 硬件電路

為提高音視頻的處理效率，選用DSP+ARM的雙核處理芯片設(shè)計(jì)該系統(tǒng)。其中DSP的TMS320DM6467T 芯片實(shí)現(xiàn)H.264/AVC的音視頻壓縮，ARM11實(shí)現(xiàn)外圍電路[6]。DM6467T具有2個(gè)獨(dú)立的VICP視頻編碼協(xié)處理單元，很大程度上提高編碼實(shí)現(xiàn)的效率;達(dá)芬奇系列處理器提供了比較大的字節(jié)尋址空間，代碼和數(shù)據(jù)可以放置在任何未定義的地址空間，片上有兩EMIF，其中一個(gè)EMIF直接與DDR2相連，NAND FLASH映射到CS2空間，但CS2作為子卡接口時(shí)，子卡使能管要拉高。

硬件電路的工作流程如圖2所示，視頻的輸入輸出單元采用FPGA實(shí)現(xiàn)各類接口的的切換。芯片采用Xlinx公司V4的FPGA，DM6467T的兩個(gè)VP口經(jīng)過FPGA后，通過模式選擇寄存器可靈活與各類輸入與輸出模式相連[7]，完成各類不同視頻模式的兼容。該系統(tǒng)選擇的是CVBS輸入，由CCD攝像頭采集，tvp5150芯片解析,通過ADV7343輸出至LCD顯示器上顯示未經(jīng)壓縮的視頻；音頻選擇3.5 mm的麥克風(fēng)采集，AIC32芯片解析，連接器采用RCA方式;音視頻的壓縮通過系統(tǒng)核心處理單元TMS320DN6467T處理器完成。系統(tǒng)硬盤接口實(shí)現(xiàn)SATA模式，由ARC772-A進(jìn)行ATA到SATA的轉(zhuǎn)換。

圖2 硬件電路圖

1.2 軟件系統(tǒng)設(shè)計(jì)

相較于于Linux的操作復(fù)雜與難移植，Windows操作系統(tǒng)具有更好的兼容性、可操作性與移植性[4]，所以選用Windows操作系統(tǒng)作為軟件系統(tǒng)的開發(fā)平臺，在ccs3.3中進(jìn)行軟件編程[6]，通過XDS560PLUS仿真器實(shí)現(xiàn)操作機(jī)與目標(biāo)板相連[5]。系統(tǒng)的設(shè)計(jì)包括音頻采集、視頻采集、視頻播放、音視頻壓縮、音視頻存儲五部分[8]，如圖3所示。

圖3 軟件框圖

(1) 音視頻采集。 音頻信號通過MIC進(jìn)入板卡，通過TI立體聲編解碼芯片TLA320AIC32及周邊電路對輸入的音頻模擬信號進(jìn)行采樣，轉(zhuǎn)為二進(jìn)制比特位數(shù)字信號等待以I2S格式進(jìn)入DM6467T執(zhí)行同步壓縮處理，處理完畢后再通過編解碼芯片把數(shù)字信號轉(zhuǎn)換成模擬信號進(jìn)行播放[5]。AIC32編解碼接口如圖4所示。音頻信息的采集設(shè)備選用Takstar的PCM-5560麥克風(fēng)，該設(shè)備靈敏度高可達(dá)到-42 dB±3 dB；使用電壓為1.5 V，通過板卡可提供；等效噪聲級為S22dB(IEC581-5)，采集聲音效果良好。

圖4 AIC編解碼過程

采集到的音頻文件一方面進(jìn)入DSP等待混合壓縮；另一方面通過TVL320AIC32提供的立體聲輸出連接器上連接音響設(shè)備，實(shí)現(xiàn)音頻采集的播放功能，顯示未經(jīng)壓縮的原質(zhì)音頻信息。

視頻信息通過CCD攝像頭采集，采集到的BT.656格式的視頻數(shù)據(jù)通過TVP5150驅(qū)動芯片及周邊電路解碼成數(shù)字信號，通過板卡的VPIF視頻接口以I2C格式進(jìn)入緩存區(qū)等待進(jìn)一步的視頻處理。視頻采集過程如圖5所示。① 初始化采集設(shè)備，實(shí)現(xiàn)視頻解碼器TVP5150使能，完成TVP5150芯片的設(shè)置；② 完成視頻采集設(shè)置，選擇視頻采集格式，設(shè)置VPIF控制，配置控制寄存器CH0 CTRL；③ 配置存儲空間，在DDR中分配兩個(gè)存儲空間，用于存放采集到的視頻信息；④ 開始視頻采集，采集過程中對采集圖像進(jìn)行判斷，確保圖像完成1幀1幀采集，避免丟幀跳幀現(xiàn)象。

圖5 視頻采集流程

采集到的視頻一方面進(jìn)入DSP等待壓縮處理；另一方面通過VPIF輸出，經(jīng)過FPGA后,選擇開關(guān)連接到ADV7343處理后在于攝像頭相連的LCD顯示器上顯示出未經(jīng)壓縮的原始視頻圖像[4]。

(2) 音視頻同步壓縮。 由于H.264/AVC有更好的網(wǎng)絡(luò)適配性和更大的視頻壓縮率[9]，受到廣大的應(yīng)用和視頻實(shí)時(shí)通信等各應(yīng)用領(lǐng)域的共同認(rèn)可，并隨之發(fā)展為成為了最主要的視頻壓縮標(biāo)準(zhǔn)[10]。

該系統(tǒng)采用的是效果更好的基于DCT變換系數(shù)的音視頻同步處理方法，音視頻信息進(jìn)行同步采集，采集到的音頻信息通過AIC32芯片轉(zhuǎn)換成二進(jìn)制比特流進(jìn)入DSP等待處理，采集到的視頻信息進(jìn)入DSP進(jìn)行H.264/AVC壓縮處理的幀間預(yù)測編碼、DCT變換、量化處理，量化之后將音頻信號隱藏在DCT變換的系數(shù)中進(jìn)行重排序、熵編碼生成音視頻混合文件[2]。具體實(shí)現(xiàn)過程如圖6所示：① 通過System process配置好DSP和ARM的連接；② 通過H264 process設(shè)置壓縮過程的動態(tài)參數(shù),H264APP_create設(shè)置視頻分辨率、幀率、比特率，H264APP_encode進(jìn)行采樣；③ Mpeg 4 process調(diào)整圖像質(zhì)量，初始化圖像質(zhì)量后若初始圖像為0則提高圖像質(zhì)量兩個(gè)等級，若數(shù)據(jù)量過大圖像質(zhì)量良好，調(diào)整為最大值31，若前后對比后前對比大于等于3，取平均，若圖像質(zhì)量好數(shù)據(jù)量過大，調(diào)整圖像質(zhì)量，降低2個(gè)等級，若圖像質(zhì)量差數(shù)據(jù)量少，圖像質(zhì)量增加2個(gè)等級；④ DCT process進(jìn)行音視頻同步調(diào)整圖像質(zhì)量得到量化后的DCT系數(shù)g_u32Qlevel，同時(shí)通過fseek()和fread()讀取出音頻比特流；通過H264DCT_encode將音頻比特流嵌入到DCT系數(shù)中，形成音視頻混合文件。

(3) 實(shí)時(shí)網(wǎng)絡(luò)傳輸。 DM6467T整合了GMII/MII EMAC，板卡上使用PHY芯片為VSC8641,通過板卡的以太網(wǎng)接口根據(jù)RTP協(xié)議進(jìn)行傳輸[11]。傳輸過程中需要將板卡和接收機(jī)由路由器為媒介通過網(wǎng)線連接[12]，將接收機(jī)的IP設(shè)置為與板卡IP為同一網(wǎng)段[13]，配置好vlc腳本文件，就可實(shí)現(xiàn)網(wǎng)絡(luò)實(shí)時(shí)傳輸[14]。具體實(shí)現(xiàn)過程如圖7實(shí)時(shí)網(wǎng)絡(luò)傳輸流程所示。

先通過rtp_init對pcb進(jìn)行初始化，由rtp_inout讀入經(jīng)DSP處理后的PHY芯片寄存器的音視頻混合文件。ARM核在接收到編碼完成的數(shù)據(jù)后，先創(chuàng)建時(shí)間戳函數(shù)TSC()，加進(jìn)時(shí)間戳的文件UDPCtrl由init()、bind()和socket()函數(shù)完成數(shù)據(jù)打包處理，最后利用RTP sendH264()函數(shù)將編碼完成的數(shù)據(jù)通過網(wǎng)絡(luò)傳輸至目的IP，傳輸之后的音視頻文件在目的IP解碼分出音頻信號，實(shí)現(xiàn)在接收端音視頻的同步播放。

(4) 外接硬盤存儲。 SATA接口連接器位于板卡的背面，是一個(gè)連接硬盤的SATA接口，DSP處理之后的文件運(yùn)用ARM可通過SATA接口存儲到外接硬盤。具體存儲流程如圖8所示DSP壓縮完成之后，會發(fā)出DSP_CMD_H264_STREAM命令，之后再ARM中解碼分出音頻流[15]，通過DATA_SECTION創(chuàng)建寫棧程緩存區(qū)，利用write_videofile和write_audiofile將視頻文件和音頻文件輸入緩存區(qū)，進(jìn)而寫入外接硬盤中。

圖8 存儲流程

2 結(jié)果分析

設(shè)計(jì)的系統(tǒng)經(jīng)過測試完全可以實(shí)現(xiàn)音視頻的采集壓縮存儲傳輸功能，且采集的音視頻通過高達(dá)150的壓縮比壓縮后音視頻質(zhì)量仍可達(dá)到720P，存儲速度快，傳輸實(shí)時(shí)性好，有很大的實(shí)用價(jià)值。實(shí)驗(yàn)運(yùn)行結(jié)果如圖9所示。

圖9 實(shí)驗(yàn)結(jié)果展示

未經(jīng)壓縮的音視頻文件會在外接音箱和LCD顯示屏上顯示，壓縮后的音視頻文件經(jīng)傳輸至目的IP后在PC機(jī)上觀看。通過采集3 min 720P的音視頻文件進(jìn)行實(shí)驗(yàn)，壓縮前數(shù)據(jù)量為55 987 MB，壓縮后數(shù)據(jù)量為341MB,計(jì)算得出壓縮比可達(dá)164，通過與分開壓縮音視頻對比采用音視頻同步壓縮之后的音頻信息壓縮比提高10%。如圖10所示為實(shí)驗(yàn)結(jié)果對比，LCD顯示的未壓縮圖像與經(jīng)過壓縮的圖像對比視頻質(zhì)量保存完好，對未經(jīng)壓縮的音頻信息與經(jīng)過同步壓縮之后分出的音頻信息進(jìn)行處理，測出兩者的時(shí)域信號，根據(jù)信號波形圖顯示，音頻信息幾乎無失真。采用網(wǎng)絡(luò)傳輸進(jìn)行實(shí)時(shí)傳輸，每秒可傳輸50幀，雖有些延遲但不影響觀看且實(shí)驗(yàn)音視頻同步觀看，通過SATA接口傳輸至外接硬盤的音視頻傳輸速度較快，傳輸之后音視頻質(zhì)量完好，同步效果良好[11]。

圖10 實(shí)驗(yàn)結(jié)果對比

3 結(jié) 論

系統(tǒng)經(jīng)過測試，完全實(shí)現(xiàn)音視頻的同步采集壓縮存儲實(shí)時(shí)傳輸同步觀看功能，可推廣至視頻教學(xué)、視頻會議等多媒體行業(yè)使用。該系統(tǒng)設(shè)計(jì)有以下優(yōu)點(diǎn)。

(1) 音視頻壓縮比高，壓縮比可達(dá)160以上；

(2) 音視頻質(zhì)量較高，可達(dá)720P分辨率，滿足人們對音視頻質(zhì)量的要求；

(3) 采用直接寫入外接硬盤的方式，方便對文件的提取，有很大的便利性；

(4) 傳輸實(shí)時(shí)性好，基本解決延遲問題，這點(diǎn)很適用于視頻會議；

(5) 音視頻同步性良好，從根源上解決音視頻不同步的問題，帶給人們更大的音視覺享受。