基于SIC8008的VoIP原型系統(tǒng)中iLBC的應(yīng)用研究

許悅，李強(qiáng)

（重慶郵電大學(xué) 重慶 400065）

0 引言

隨著工信部表示三網(wǎng)融合在“十二五”期間將有實(shí)質(zhì)性的進(jìn)展，使用于廣電網(wǎng)絡(luò)的數(shù)字高清電視機(jī)頂盒所具有的功能也將越來(lái)越豐富。除了能支持接收電視節(jié)目外，還可以支持VoD、Web瀏覽器、DVD、可視電話、遠(yuǎn)程教育、遠(yuǎn)程醫(yī)療、會(huì)議電視等多媒體，其功能正在向高檔化多媒體終端發(fā)展。通過(guò)高清機(jī)頂盒的硬件擴(kuò)展接口（USB接口或RCA接口），結(jié)合軟件項(xiàng)目的開(kāi)發(fā)，從而實(shí)現(xiàn)VoIP技術(shù)在機(jī)頂盒方面的應(yīng)用。

1 數(shù)字高清電視機(jī)頂盒芯片SIC8008

SIC8008是重慶四聯(lián)微電子有限公司設(shè)計(jì)的一款高性能MPEG2/AVS/H264高清解碼芯片。SIC8008結(jié)構(gòu)框圖如圖1所示。主CPU主要用于系統(tǒng)(Linux OS)應(yīng)用，輔CPU實(shí)現(xiàn)音頻實(shí)時(shí)解碼功能及其它計(jì)算功能。

圖1 SIC8008結(jié)構(gòu)框圖

2 基于SIC8008的VoIP原型系統(tǒng)整體設(shè)計(jì)

2.1 VoIP原型系統(tǒng)實(shí)現(xiàn)方式

文獻(xiàn)[2]中指出，關(guān)于機(jī)頂盒實(shí)現(xiàn)VoIP功能，業(yè)界一般有3種方式：

STB通過(guò)USB接口外接USB話機(jī)，USB話機(jī)完成電話按鍵的輸入、聲音的采集和播放，機(jī)頂盒內(nèi)實(shí)現(xiàn)USB話機(jī)驅(qū)動(dòng)和其它協(xié)議，控制軟件，從而實(shí)現(xiàn)機(jī)頂盒VoIP功能。

VoIP的輸入輸出主要通過(guò)機(jī)頂盒的RJ11接口，機(jī)頂盒設(shè)計(jì)時(shí)已經(jīng)增加了RJ11電話機(jī)接口。電話機(jī)信號(hào)經(jīng)過(guò)語(yǔ)音接口單元，送入語(yǔ)音處理單元完成語(yǔ)音編碼壓縮與解壓縮，以及一些語(yǔ)音協(xié)議處理，如SIP、H.323等協(xié)議，再通過(guò)主控制器處理后傳送給輸入端。

VoIP的輸入輸出接口通過(guò)機(jī)頂盒的音頻輸出和MIC輸入接口完成。

SIC8008整機(jī)設(shè)計(jì)本身沒(méi)有實(shí)現(xiàn)RJ11和MIC輸入接口，因此，第一種方式可以直接應(yīng)用在VoIP原型系統(tǒng)。但是，由于市面上生產(chǎn)的USB話機(jī)不但價(jià)格很高，而且其驅(qū)動(dòng)程序并不具有兼容性，同時(shí)如果自行開(kāi)發(fā)SIC8008的USB話機(jī)驅(qū)動(dòng)程序，即提高了開(kāi)發(fā)成本，又延長(zhǎng)了工作周期。為了節(jié)約研究成本并提高工作效率，最后采用在SIC8008整機(jī)外接USB聲卡并連接耳機(jī)與話筒的方式來(lái)實(shí)現(xiàn)此原型系統(tǒng)。其中，USB聲卡必須符合標(biāo)準(zhǔn)的USB audio協(xié)議。

在軟件實(shí)現(xiàn)的方法上，將用于PC的語(yǔ)音實(shí)時(shí)流處理的開(kāi)源代碼經(jīng)過(guò)修改后移植應(yīng)用在SIC8008中，實(shí)現(xiàn)語(yǔ)音會(huì)話。采用的信令協(xié)議為SIP。VoIP原型系統(tǒng)結(jié)構(gòu)如圖2所示。

圖2 數(shù)字高清電視機(jī)頂盒芯片SIC8008 VoIP原型系統(tǒng)結(jié)構(gòu)

2.2 Linux內(nèi)核的剪裁

SIC8008所用的操作系統(tǒng)是經(jīng)過(guò)內(nèi)核剪裁的linux-2.6.30。主要做了以下修改：在arch目錄下只保留了arm子目錄，并根據(jù)SIC8008的各項(xiàng)參數(shù)對(duì)此子目錄下的各文件進(jìn)行重新定義，在內(nèi)核中加入符合SIC8008高清數(shù)字電視機(jī)頂盒相關(guān)的時(shí)鐘、器件以及配置文件等。在fs路徑下，根據(jù)NAND FLASH模塊添加了ysffs2文件系統(tǒng)。Yaffs（Yet Another Flash File System）文件系統(tǒng)是專(zhuān)門(mén)針對(duì)NAND FLASH設(shè)計(jì)的嵌入式文件系統(tǒng)，yaffs2是此文件系統(tǒng)的第二個(gè)版本，能夠更好的支持大容量的NAND FLASH芯片。

經(jīng)過(guò)對(duì)Linux內(nèi)核的剪裁，主要增添了針對(duì)SIC8008數(shù)字高清電視機(jī)頂盒SoC的ARM系統(tǒng)類(lèi)型SICMicro HDSoC。由于VoIP原型系統(tǒng)的需要，在對(duì)內(nèi)核進(jìn)行配置時(shí)，設(shè)備驅(qū)動(dòng)的聲卡支持選項(xiàng)中要勾選USB聲音器件選項(xiàng)。

2.3 Mediastreamer2

Mediastreamer2是由Simon Morlat開(kāi)發(fā)的一個(gè)輕量級(jí)的流技術(shù)引擎，可以對(duì)音頻和視頻進(jìn)行實(shí)時(shí)流的制作與處理。該引擎基于ortp庫(kù)，全部由C語(yǔ)言編寫(xiě)，完全符合SIC8008上VoIP原型系統(tǒng)處理聲音的需求。

正如在參考文獻(xiàn)[3]介紹，在基于Linux平臺(tái)的語(yǔ)音會(huì)話系統(tǒng)中，Mediastreamer2可以通過(guò)alsa或oss進(jìn)行語(yǔ)音的讀寫(xiě)，收發(fā)RTP包，完成語(yǔ)音編解碼，播放及錄制wav文件，利用FIR濾波器量化語(yǔ)音以及進(jìn)行自動(dòng)增益控制等[4]。其簡(jiǎn)單的設(shè)計(jì)思想，給利用Mediastreamer2開(kāi)發(fā)語(yǔ)音處理程序的工作提供了一個(gè)良好的平臺(tái)。

2.4 語(yǔ)音編碼方案iLBC

[3]中對(duì)主要的語(yǔ)音壓縮算法G.728、G.723.1、G.729.A和iLBC做了比較，最終選擇iLBC作為最終的語(yǔ)音編碼方案。在Mediastreamer2中，默認(rèn)的語(yǔ)音編碼方案為speex。iLBC和speex都是對(duì)CELP的發(fā)展，并且在算法復(fù)雜度及聲音質(zhì)量上都不相上下。但是，由于speex需要ogg作為其容器格式，在將其移植在SIC8008的過(guò)程中，還需要首先移植libogg庫(kù)，這反而大大增加了整個(gè)系統(tǒng)開(kāi)發(fā)的周期；而iLBC作為Mediastreamer2的默認(rèn)語(yǔ)音編碼算法，則只需要修改較少部分的代碼并添加一個(gè)ilbc.c的文件即可。因此，iLBC最終作為此VoIP原型系統(tǒng)的語(yǔ)音壓縮算法。同樣，文獻(xiàn)[3]為使iLBC作為默認(rèn)算法對(duì)Mediastreamer2的修改方法進(jìn)行了詳細(xì)介紹。

3 iLBC編解碼原理

iLBC是一種基于獨(dú)立幀的利用線性預(yù)測(cè)方法對(duì)殘差信號(hào)進(jìn)行編碼的算法，主要支持兩種幀長(zhǎng)格式：20 ms和30 ms。對(duì)于20 ms幀，每幀的位數(shù)為304 bit，共有160個(gè)采樣點(diǎn)，分為4個(gè)子幀；對(duì)于30 ms，每幀的位數(shù)為400 bit，共有240個(gè)采樣點(diǎn)，分為6個(gè)子幀。通過(guò)使語(yǔ)音信號(hào)通過(guò)LPC濾波器后得到殘差信號(hào)，之后對(duì)幀中殘差信號(hào)能量最大的部分進(jìn)行標(biāo)量量化，搜索到開(kāi)始狀態(tài)，建立動(dòng)態(tài)碼書(shū)，用動(dòng)態(tài)碼書(shū)對(duì)剩余的殘差信號(hào)進(jìn)行編碼。這種編碼方法即為獨(dú)立幀編碼，這種方法增加了幀與幀之間的獨(dú)立性，從而消除了傳輸時(shí)由于丟包而引起的感知下降。

iLBC編碼器的輸入必須是采樣率為8 000 Hz，16 bit的PCM信號(hào)。

3.1 iLBC編碼原理

iLBC的編碼過(guò)程如圖3所示。

在文中的VoIP原型系統(tǒng)中，經(jīng)過(guò)USB聲卡采集后得到的PCM信號(hào)首先通過(guò)高通濾波器，濾除直流分量和低頻噪音。用Levinson-Durbin算法求解LPC系數(shù)得到LPC-10的系數(shù)。每一次LPC分析，得到線性預(yù)測(cè)濾波器的系數(shù)之后都需要將其轉(zhuǎn)換為一個(gè)線譜頻率(LSF)的集合，量化內(nèi)插后得到線譜對(duì)(LSP)集合。因?yàn)榫€譜對(duì)系數(shù)更利于量化、內(nèi)插，其對(duì)量化誤差不敏感，具有良好的強(qiáng)健性[5]。得到PLC分析器后，計(jì)算出信號(hào)的殘差，從殘差中找到兩個(gè)能量最大的連續(xù)子幀，然后把能量值較小的首23/22個(gè)樣點(diǎn)(30 ms/20 ms)或尾23/22樣點(diǎn)從連續(xù)子幀中去除，剩余的57/58個(gè)被選定為本次處理的開(kāi)始狀態(tài)。之后對(duì)開(kāi)始狀態(tài)以基于DPCM的標(biāo)量量化進(jìn)行編碼[6]。已經(jīng)編碼的殘差信號(hào)再經(jīng)解碼得到的LPC激勵(lì)樣點(diǎn)集合作為自適應(yīng)碼書(shū)。對(duì)于剩余的殘差信號(hào)，矢量量化將按下面順序進(jìn)行：包含有初始狀態(tài)的兩個(gè)連續(xù)子幀中剩余的23/22個(gè)樣點(diǎn)；時(shí)間軸上在開(kāi)始狀態(tài)后的各子幀；時(shí)間軸上在初始狀態(tài)前的各子幀。對(duì)于此矢量量化，每次碼書(shū)搜索的范圍是動(dòng)態(tài)的，隨著最新的解碼結(jié)果，該動(dòng)態(tài)碼書(shū)被更新。最后將編碼的語(yǔ)音信號(hào)打包放入有效載荷中。

3.2 iLBC解碼原理

iLBC的解碼模塊的運(yùn)算量相對(duì)與編碼模塊要小。根據(jù)文獻(xiàn)[7]的介紹，解碼的主要過(guò)程如下：解包后提取參數(shù)。從得到的LSF參數(shù)進(jìn)行內(nèi)插，并轉(zhuǎn)化各子幀的LPC系數(shù)，以便進(jìn)行合成操作。對(duì)開(kāi)始狀態(tài)進(jìn)行解碼，解碼結(jié)果一方面作為激勵(lì)信號(hào)暫時(shí)儲(chǔ)存，另一方面存入碼本存儲(chǔ)區(qū)，以構(gòu)成動(dòng)態(tài)碼本的初始值。對(duì)剩余的子幀部分，按照與編碼相同的次序進(jìn)行殘差解碼，并用解碼結(jié)果更新動(dòng)態(tài)碼本，重復(fù)此步驟直到所有子幀完成解碼。對(duì)于解碼得到的殘差信號(hào)，進(jìn)行語(yǔ)音增強(qiáng)的操作。之后進(jìn)行語(yǔ)音合成，形成解碼后的語(yǔ)音。最后通過(guò)高通濾波器，消除合成后的低頻語(yǔ)音。解碼模塊的流圖如圖4所示。

圖4 SIC8008 VoIP原型系統(tǒng)iLBC解碼模塊流圖

4 SIC8008 VoIP原型系統(tǒng)中iLBC編碼模塊的實(shí)現(xiàn)與優(yōu)化

SIC8008是一套采用專(zhuān)用視頻硬件模塊處理高清視頻解碼的方案，并不是由嵌入式CPU或DSP加軟件的方式處理視頻編解碼，能夠有效降低芯片功耗。該高清機(jī)頂盒方案的視頻解碼核，在進(jìn)行高清H.264解碼時(shí)的工作主頻約為250 MHz，遠(yuǎn)低于CPU或DSP的600 M～1 000 MHz，可顯著降低功耗。釋放CPU的計(jì)算能力，用于實(shí)現(xiàn)其他功能。VoIP系統(tǒng)作為SIC8008數(shù)字電視高清機(jī)頂盒產(chǎn)品中的一項(xiàng)增值業(yè)務(wù)，要在不影響高清電視信號(hào)視頻解碼的情況下，來(lái)實(shí)現(xiàn)IP電話的應(yīng)用。該原型系統(tǒng)主要利用SIC8008的輔CPU計(jì)算功能來(lái)實(shí)現(xiàn)其功能。

4.1 iLBC編碼模塊優(yōu)化前的測(cè)試結(jié)果

文件xend.c是基于Mediastreamer2和oRTP開(kāi)發(fā)的功能測(cè)試文件，用來(lái)模擬語(yǔ)音信號(hào)從接收到iLBC編碼，之后通過(guò)RTP包發(fā)送的過(guò)程。其運(yùn)行結(jié)果如圖5所示。

有圖5中可以看出，在測(cè)試程序運(yùn)行過(guò)程中，延遲告警隨著運(yùn)行時(shí)間持續(xù)增大，并不能達(dá)到預(yù)期的效果。究其原因，參考圖6的輔CPU占用情況可以看出，是因?yàn)闇y(cè)試程序中PID為354的線程對(duì)CPU的占用率過(guò)高。此PID正是圖5中名為ms_ticker_run的線程ID，即語(yǔ)音處理時(shí)的線程。

PID為354的線程所實(shí)現(xiàn)功能主要是對(duì)語(yǔ)音進(jìn)行iLBC編碼壓縮及RTP打包發(fā)送(發(fā)送地址為127.0.0.1)。初步認(rèn)為是由于iLBC壓縮算法復(fù)雜度而引起的CPU占用過(guò)高。通過(guò)對(duì)iLBC庫(kù)中的編碼測(cè)試文件ilbc_encoder.c來(lái)進(jìn)一步試驗(yàn)，證實(shí)了上述判斷，測(cè)試結(jié)果見(jiàn)圖7。

圖5 由xend.c編譯生成的xend_original.elf運(yùn)行情況

圖6 xend_original.elf運(yùn)行時(shí)輔CPU占用情況

圖7 iLBC編碼測(cè)試

圖7中，第二個(gè)參數(shù)為iLBC編碼時(shí)使用幀長(zhǎng)的選擇；第三個(gè)參數(shù)為輸入文件，即采樣率為8000Hz，16bit的PCM信號(hào)；第三個(gè)參數(shù)為編碼后的輸出文件。從圖中可以看出，PCM輸入文件時(shí)長(zhǎng)30.24秒，經(jīng)iLBC編碼的時(shí)間為36.79秒，是實(shí)際語(yǔ)音時(shí)間的121.7%，超出了6.55秒，遠(yuǎn)遠(yuǎn)不能達(dá)到語(yǔ)音處理的實(shí)時(shí)性。

4.2 iLBC編碼模塊的優(yōu)化

為了使VoIP原型系統(tǒng)的編碼模塊在SIC8008上盡可能的降低其對(duì)輔CPU的占用率，在實(shí)際開(kāi)發(fā)應(yīng)用的過(guò)程中，對(duì)iLBC編碼算法代碼進(jìn)行優(yōu)化改進(jìn)。

文獻(xiàn)[8]針對(duì)編碼算法提出了三個(gè)改進(jìn)方案，并在Windows XP上驗(yàn)證了優(yōu)化的可行性。其中，文獻(xiàn)[8]中提出的減少自適應(yīng)碼書(shū)比較次數(shù)和搜索范圍是有效降低算法復(fù)雜度的方法，即考慮到擴(kuò)展碼書(shū)與基本碼書(shū)的相關(guān)性，在基本碼書(shū)中搜索時(shí)取定一個(gè)步長(zhǎng)跳躍式地搜索，并且在第一級(jí)搜索時(shí)，編碼的目標(biāo)向量具有較大能量，而第二、第三級(jí)搜索時(shí)的目標(biāo)向量能量逐級(jí)減小，可以將步長(zhǎng)繼續(xù)增大，節(jié)約編碼時(shí)間。

由于第二和第三級(jí)搜索時(shí)目標(biāo)向量的能量越來(lái)越小，和第一級(jí)搜索時(shí)相比處于次要地位，SIC8008上iLBC編碼模塊的實(shí)際應(yīng)用過(guò)程中，在基本碼書(shū)和擴(kuò)展碼書(shū)搜索中只保留第一級(jí)的搜索，同時(shí)使用步長(zhǎng)為2的跳躍式搜索。

4.3 優(yōu)化結(jié)果

根據(jù)上一節(jié)的優(yōu)化方法和文獻(xiàn)[8]中提到的其他方案，修改iLBC的代碼，在SIC8008上測(cè)試相關(guān)功能。

iLBC編碼模塊優(yōu)化后，其編碼測(cè)試結(jié)果如圖8所示。在參數(shù)不變的情況下，編碼時(shí)間為實(shí)際語(yǔ)音時(shí)間的57.5%，比優(yōu)化前縮短了19.39 s。

圖8 iLBC代碼優(yōu)化后的編碼測(cè)試

應(yīng)用于實(shí)時(shí)聲音處理并以RTP包發(fā)送的程序中，xend.elf測(cè)試結(jié)果如圖9所示。圖9中結(jié)果沒(méi)有延遲告警，正常顯示發(fā)送帶寬。

此時(shí)，輔CPU占用率降低了40%左右，如圖10所示。

最后，基于優(yōu)化后的iLBC編碼模塊將文獻(xiàn)[3]中提到的IP電話語(yǔ)音留言功能移植在SIC8008中，進(jìn)行語(yǔ)音留言測(cè)試，所得new message.wav聲音質(zhì)量略有下降，但是依然具有很強(qiáng)的可懂度和清晰度。

通過(guò)優(yōu)化，證明了iLBC編碼模塊在SIC8008芯片上開(kāi)發(fā)VoIP原型系統(tǒng)的可實(shí)現(xiàn)性，符合實(shí)時(shí)語(yǔ)音處理的要求；同時(shí)，證明了iLBC編碼優(yōu)化方案在嵌入式軟件開(kāi)發(fā)過(guò)程中的可行性。

圖9 iLBC代碼優(yōu)化后xend.elf的運(yùn)行情況

圖10 iLBC代碼優(yōu)化后xend.elf運(yùn)行時(shí)輔CPU的占用情況

5 結(jié)論

基于SIC8008芯片開(kāi)發(fā)的VoIP原型系統(tǒng)，在保證不能影響輔CPU進(jìn)行高清視頻解碼的情況下，盡可能的降低對(duì)其資源的占用。其中，對(duì)語(yǔ)音進(jìn)行實(shí)時(shí)編碼處理的模塊設(shè)計(jì)及優(yōu)化是解決問(wèn)題的關(guān)鍵所在。經(jīng)過(guò)對(duì)iLBC編碼模塊代碼的改進(jìn)與優(yōu)化，測(cè)試結(jié)果與為優(yōu)化前的模塊相比，CPU占用率降低了40%左右，并且語(yǔ)音質(zhì)量仍然清晰，具有很強(qiáng)的可懂度。雖然，在自適應(yīng)碼書(shū)搜索中采用步長(zhǎng)不等于1和只進(jìn)行一級(jí)搜索的方法從理論上不能保證最優(yōu)解，但是在應(yīng)用過(guò)程中其實(shí)驗(yàn)結(jié)果對(duì)信噪比的影響不大，因此，iLBC模塊的優(yōu)化方案在VoIP原型系統(tǒng)開(kāi)發(fā)中還是值得的。

參考文獻(xiàn)

[1]重慶四聯(lián)微電子. SIC8008產(chǎn)品說(shuō)明[R]. 重慶四聯(lián)微電子,2011.

[2]于文華.基于網(wǎng)絡(luò)機(jī)頂盒實(shí)現(xiàn)VOIP終端[J].電腦知識(shí)與技術(shù),2010,6(3).

[3]許悅.基于Mediastreamer2的IP電話語(yǔ)音信箱功能的設(shè)計(jì)與實(shí)現(xiàn)[J].電子測(cè)試,2011(12).

[4]Simon Morlat, Mediastreamer2 Documentation 2.4.0[EB/OL]. May 19, 2010. http://download-mirror.savannah.gnu.org/releases/linphone/mediastreamer/doc/index.html.

[5]楊拯. iLBC語(yǔ)音算法研究及DSP實(shí)現(xiàn)[D].北京:北京郵電大學(xué),2008.

[6]S. V. Anderson. Internet Low Bit Rate Codec (iLBC)[EB/OL]. December 2004. http://tools.ietf.org/html/rfc3951.

[7]郭廷廷,李 敬.iLBC編碼算法及其在VoIP中的應(yīng)用[JOL].電子技術(shù)應(yīng)用,2006(7).

[8]肖博,劉炯鑫,黃永峰.iLBC語(yǔ)音編解碼器的實(shí)現(xiàn)與優(yōu)化[J].計(jì)算機(jī)研究與發(fā)展,2007,44(z1).