音視頻嵌入式系統(tǒng)的處理

近年來(lái)，音視頻應(yīng)用不僅越來(lái)越廣泛，技術(shù)也得以飛速發(fā)展。作為基礎(chǔ)及應(yīng)用研究的重要陣地，不少高校都成立了實(shí)驗(yàn)室對(duì)此進(jìn)行深入研究，有效地促進(jìn)了音視頻創(chuàng)新應(yīng)用及發(fā)展，西安電子科技大學(xué)嵌入式系統(tǒng)與大數(shù)據(jù)研究中心就是其中一個(gè)。此實(shí)驗(yàn)室在2008年成立，主要研究目標(biāo)是音視頻的嵌入式系統(tǒng)的處理，重點(diǎn)研究方向是：計(jì)算機(jī)視覺(jué)、模式識(shí)別和人工智能（視頻智能處理算法）、嵌入式系統(tǒng)及和多核嵌入式系統(tǒng)。

重點(diǎn)研究方向與現(xiàn)狀

在計(jì)算機(jī)視覺(jué)方面，實(shí)驗(yàn)室目前主要在做基于手提攝像機(jī)（單目）和多目相機(jī)的標(biāo)定、三維重建和基于非線性RTCam相機(jī)模型的統(tǒng)一相機(jī)幾何模型研究。因?yàn)樵趯?shí)際視頻應(yīng)用中會(huì)出現(xiàn)各種各樣的非線性失真，不同的幾何模型在成像中有不同的原理，在航空、深海探測(cè)等專(zhuān)業(yè)領(lǐng)域這些模型都會(huì)用到，所以在視覺(jué)方面我們有必要做這個(gè)研究。這在投影應(yīng)用當(dāng)中也有用武之地，大屏幕投影是具有非線性失真的，如屏幕放不直會(huì)出現(xiàn)梯形投影，這個(gè)模型有望解決這一問(wèn)題。

模式識(shí)別和人工智能（視頻智能處理算法）應(yīng)用范圍很廣，其發(fā)展對(duì)國(guó)民經(jīng)濟(jì)建設(shè)和國(guó)防現(xiàn)代化建設(shè)有著廣泛和深遠(yuǎn)的意義。這也是當(dāng)前重點(diǎn)研究?jī)?nèi)容，為了適應(yīng)不同場(chǎng)合識(shí)別處理算法也不盡相同。實(shí)驗(yàn)室目前進(jìn)行研究和優(yōu)化的算法有：人臉檢測(cè)算法、火災(zāi)檢測(cè)算法、車(chē)牌識(shí)別算法、入侵檢測(cè)算法、流量統(tǒng)計(jì)算法、動(dòng)態(tài)跟蹤算法、人形檢測(cè)算法、去霧算法等，幾乎涵蓋了所有應(yīng)用。

基于非線性RTCam相機(jī)模型的統(tǒng)一相機(jī)幾何模型研究

關(guān)于嵌入式系統(tǒng)，既有基于TI-DAVINCI（DM6467、DM6437、DM365、DM368、DM647、DM648）、OMAP處理器、TI多核處理器系列的嵌入式軟硬件系統(tǒng)；還有基于ADI Blackfin（BF561、BF533、BF548）系列的嵌入式軟硬件系統(tǒng)和基于Freescale PowerPC系列的嵌入式軟硬件系統(tǒng)的研究。

其中TI-DAVINCI是一種嶄新的軟件架構(gòu)，我們的很多研究都在上面開(kāi)發(fā)，攝像機(jī)上用得也很多，但是能在攝像機(jī)里面真正把這種嵌入式系統(tǒng)應(yīng)用好的并不多見(jiàn)，如何在低功耗高性能方面增強(qiáng)嵌入式系統(tǒng)的能力是目前著力要做的功課。

對(duì)于嵌入式系統(tǒng)而言，多核技術(shù)較過(guò)去可以提供更高的處理器性能、更有效的電源利用率，并且占用更小的物理空間，具有許多單核處理器無(wú)法具備的優(yōu)勢(shì)。在高端通信和影像等計(jì)算密集型應(yīng)用領(lǐng)域，多核嵌入式系統(tǒng)已經(jīng)成為發(fā)展的必然趨勢(shì)。正是前瞻性地看到這種發(fā)展方向，實(shí)驗(yàn)室進(jìn)行了基于XILINX Microblaze、Tilera 64核處理器、TI多核DSP等各種多核嵌入式系統(tǒng)設(shè)計(jì)。

今后網(wǎng)絡(luò)服務(wù)器、媒體網(wǎng)關(guān)服務(wù)器、云計(jì)算中心、物聯(lián)網(wǎng)數(shù)據(jù)安全設(shè)計(jì)都會(huì)涉及多核技術(shù)，它成為一個(gè)必須研究的技術(shù)課題。

產(chǎn)品成果及方案

下面就實(shí)驗(yàn)室研發(fā)出的產(chǎn)品及方案向來(lái)賓進(jìn)行介紹。

高清智能IP相機(jī)是研究成果的具體應(yīng)用產(chǎn)品，融合了高清照相、智能處理和高速傳輸功能。它由CCD+FPGA組成前端AFE采集系統(tǒng)，當(dāng)然也可更換CCD，目前可支持200萬(wàn)、400萬(wàn)像素采集；DM368/DM365組成ENC編碼系統(tǒng)，負(fù)責(zé)進(jìn)行H.264、MPEG4、MJPEG編碼、支持多流同時(shí)編碼；DM6437組成VCA智能視頻處理算法系統(tǒng)，負(fù)責(zé)進(jìn)行各種智能處理算法識(shí)別，模塊功能可動(dòng)態(tài)配置，并且模塊數(shù)量可以根據(jù)需要進(jìn)行插拔實(shí)現(xiàn)。設(shè)備接口方面，具有視頻數(shù)據(jù)接口、以太網(wǎng)接口、USB接口支持（支持3G-WCDMA，可以進(jìn)行短信傳遞及視頻發(fā)送組成）、各種外部觸發(fā)接口及通信接口，并支持SD卡（最大16G）。同時(shí)此設(shè)備還內(nèi)嵌WEB服務(wù)器，并添加了人臉檢測(cè)及數(shù)量統(tǒng)計(jì)、火災(zāi)檢測(cè)、車(chē)牌識(shí)別、去霧算法等。適用于智能交通、航空航海、火災(zāi)檢測(cè)、公共安全等眾多領(lǐng)域。

傳統(tǒng)的相機(jī)都是由成像部分、圖像傳輸部分組成的，現(xiàn)在99%的相機(jī)都沒(méi)有智能處理部分。我們所做的相機(jī)不光要有傳輸，而且要有智能處理，例如火災(zāi)檢測(cè)可以檢測(cè)出火焰，在校園里面可檢測(cè)出自行車(chē)或行人。還有去霧的方法，考慮到速度問(wèn)題，進(jìn)行了基于DSP的優(yōu)化和相關(guān)改進(jìn)，這對(duì)于改善濃霧天氣的交通環(huán)境非常有用。

如果把這個(gè)IP相機(jī)和RFID（無(wú)線射頻識(shí)別技術(shù)）結(jié)合起來(lái)，還可以實(shí)現(xiàn)視頻定位跟蹤，當(dāng)你走到敏感區(qū)域的時(shí)候，它會(huì)自動(dòng)切換到這個(gè)位置。目前我們還做了安全預(yù)案及高清智能相機(jī)的物聯(lián)網(wǎng)結(jié)合方案，可以有效實(shí)現(xiàn)煤礦、煙花、危化行業(yè)的安全生產(chǎn)監(jiān)控，安全事件的提前預(yù)警、危險(xiǎn)事件的自動(dòng)報(bào)警（火災(zāi)、煙霧、入侵）及安全預(yù)案的自動(dòng)執(zhí)行。

當(dāng)音視頻數(shù)據(jù)上了物聯(lián)網(wǎng)之后，目前面臨的最大的問(wèn)題就是延遲，特別是在云平臺(tái)進(jìn)行數(shù)據(jù)分布式存儲(chǔ)以后，每當(dāng)檢索的時(shí)候就要預(yù)備數(shù)據(jù)，預(yù)備數(shù)據(jù)時(shí)延遲很長(zhǎng)，現(xiàn)在傳統(tǒng)的音視頻解決方案都不能很好地解決這個(gè)問(wèn)題。因此數(shù)據(jù)存儲(chǔ)機(jī)制和檢索機(jī)制，是我們下一步要攻克的方向。