基于互聯網的多路實時流媒體同步合成技術

李觀勝

（珠海城市職業技術學院 廣東 珠海 519090）

1 引言

網絡寬帶不斷提升和音視頻壓縮技術進步，也使得流媒體技術得到發展，并且得到廣泛的應用。在全球流媒體市場下，而且提供交流媒體的公司和服務受眾也比較多。與此同時，在實時傳輸技術不斷發展的背景下，對于網絡流媒體直播業務來說，也逐漸廣泛化，如開展監控和視頻會議等業務?；诨ヂ摼W媒體同步應用，受到了人們的關注，從虛擬樂隊直播系統的角度上來看，對于不同的地理位置等能起到支持的作用，而且通過網絡的應用，可實現線上直播，進而獲得良好的效果。在以往傳統流媒體系統中，從多路實施流媒體直播系統的角度上看，在多媒體內，要同步維持，在其他同類型媒體間實現基于同步合成等方面還無法實現。

2 流媒體技術

所謂流媒體指的是在網絡上，主要就是通過對多媒體文件等流式傳輸技術進行使用。在流媒體傳輸方式系統中，從用戶的角度上來看，其文件下載上不必將其都下載完就能看到文件中的內容，只是經過幾秒的啟動延時，在用戶計算機上，通過相關硬件的運用來解壓流媒體文件，如動畫和音視頻等，并進行播放進而觀看，而且在后臺中，還能繼續下載多媒體文件剩余的部分。這與以往下載的方式相比，其多媒體文件通過邊下載邊播放的流媒體傳輸方式，具有一定的優點而且體現得較為明顯：一方面，在啟動延時等方面，時間比較短；另一方面，在系統容量等方面，對其需求不高，僅需要特定的實時傳輸協議。

3 多路實時流媒體系統架構

對于多路實時流媒體系統進行分析，此系統的構成，主要包括采集端、流媒體服務、客戶端、合成服務器和控制管理平臺等。在不同地理位置下，多路實時流媒體系統會有多個采集端。對于流媒體服務來說，能使得實時流式更好地實現，并提供這項服務。在合成服務器中，主要有多個采集端合成，并展開發送，其中主要發送音視頻，還可實現同步。從客戶端的角度上來看，為了使播放軟件順利的完成，還離不開音視頻，在解碼上，實現同步，并將其顯示出來，這在用戶對流媒體觀看上，也帶來一定的便利。在控制管理平臺中，主要將用戶作為核心，開展相應的管理，其網絡環境等方面開展相應的監測；控制好合成資源等，以上這些也是平臺主要負責的。

4 多路實時流媒體同步合成機制與實現

在音視頻數據流處理的采集和發送以及接收等環節中，其同步機制等方面，需要將其貫穿其中，在系統的各個環節中，其同步控制必須要實現。在控制管理平臺中，通過TCP套接字傳輸命令的應用下，在系統各個組件中，使其組件之間的通信更好地實現，而且在對待同步媒體數據采集時，在對網絡狀態監聽時就已經開始。采集端將指令發送給控制管理平臺，而且還是具有權限的，如果效驗成功的話，針對此通知對于其他采集端而言就能接收到，進行倒計時，其同步合成處理等方面開始相應的啟動。當啟動同步合成后，對于每一個RTMP音頻包裝來說，各采集端會給額外時間戳。合成服務器開展容錯處理時，主要就是通過媒體加載的初始化時延的實現，還有就是差錯控制機制恢復流內，而且來對其合成多路媒體時，主要就是在RTMP下，基于改進的時間戳同步機制[1]。對于合成的音視頻信號來說，其對音視頻實時同步機制合成流媒體等方面，主要就是各自編碼器在各自編碼后，對于時間戳重新安排，并推流直播。而且在整個多路實時流媒體系統中，從流媒體合成器的角度上來看是非常重要的，其具有重要的意義。在多路實時流媒體等方面，其主要負責三個方面，為同步、合成以及轉發。

4.1 基于RTMP改進時戳同步機制

在其多路實時流媒體直播系統等方面，對于有同步需求的直播系統來說，在線直播應用中是最合適的。從這類應用等方面，其業務特點上有相同之處，在伴奏等方面，可通過對基準音頻文件進行運用，其視頻旋律和節奏等方面，使其能做到相統一。從采集端用戶的角度上來看，登錄之后，對于合成服務器來說，針對多路流數據開始合成，并推進流之后。針對同步合成，當啟動之后，在同類媒體同步操作等方面，使其不斷增加[2]。

通常情況下，在流媒體編碼機制中，其參數上，都是以一個參數為時間基參數，在視頻幀和音頻幀播放時間等方面可用進行計量。對于這種戳來說，其生成主要根據的是采樣頻率，與幀是有直接關系的，在按照順利的編排下，為視頻的順序提供重要的保障。在多路實施流媒體同步的過程中，對于某個采集端而言，如果一旦發生了故障，或者是網絡發生了中斷的現象，基于同步合成等方面，在重新參與合成的過程中，從這種時間戳的角度上來看，在其重新接入點上，是難以將其確定下來的，這與采樣是有直接關系的。

在其音頻間和視頻間等方面，文本在兩者之間同步實現等方面，主要利用實踐戳同步技術，將其不斷地改進，而且在信道和全網同步化實現上，省去了附加這一步。從采集端用戶的角度上來看，當登錄成功之后，在控制管理平臺中，下載基準音頻文件，并下載到本地，當加載完之后，其合成方面基于同步。之前對于多路數據流來說，只能使其合成處理更好地實現[3]。

在各采集端啟動同步合成之后，在其本地基準音頻相關文件等方面，開展相應的播放。各端對于字節數生成時間戳已經播放，這主要結合的是基準音頻文件[4]。對于音頻來說，其編碼完成之后將其進行包封，裝成RTMP，并將額外時間戳附加在RTMP音頻包尾部分。在自定義時間戳數值等方面，在實際開始時，主要從0開始，對于單調線來說，其不斷增長，其主要的原因與音頻采樣有直接的關系。在各路媒體流的音頻中，為了使得采樣率能相一致，對于多路音頻流來說，在音頻包等方面，其自定時間戳上，能為其提供保障。隨著時間不斷流失，在各路時間戳中，會產生一定的誤差?；诖耍诓杉酥性O置參數時，一定要聯想起基準音頻文件，而且此文件主要包括的是此文件已播的字節數。所以，當時對此字節數播放之后，從0開始，從已播放字節數入手，展開相應的計算，并生成時間戳。通過基準音頻文件生成與內容相關的實踐戳運用，對于已合成的階段來說，可以將其判斷出來，在同步情況下，其恢復直播數據流等方面可以準確接入，在各路音和視頻間等方面，為實現同步提供重要的保障。

4.2 基于同步容限的媒體流合成機制

在流媒體系統中，其聲音失步等方面，從人們的角度來看，是非常敏感的?；诖?，在音頻處理模塊中，其音頻合成等方面需要為合成的同步性提供重要的保障。在性能和質量上，確保兩者能實現平衡，在對系統的實時性需求滿足的基礎之上，使其合成質量獲得提高。在同步閥值設置上，要結合實驗結果動態，在閥值范圍中，對于多路音頻對應的音頻包的額外時間來說如果在此范圍內，其音頻包在同一時刻合成。

4.3 音視頻實時同步機制

在流媒體播放的過程中，對于視頻和音頻來說，兩者的傳輸通道具有一定的獨立性，而且在發送和接收時，主要采取的是穿插方式。在音視頻同步處理的過程中，通常情況下，以發送模塊和接收模塊為主。而且在媒體同步實現等方面，多路復用技術是最有效的方式，其媒體流間的同步上能將其簡化，將額外信息道來對同步進行傳輸這一步省略。

5 互聯網的多路實時流媒體同步合成技術應用

5.1 視頻會議

對于視頻會議來說，省去了人們到某一地方聚集事件，充分利用網絡實現面對面溝通。基于此，對于有的學校來說，為了節省開支，使得工作的效果獲得提高，逐漸運用了視頻會議。尤其是在流媒體技術不斷發展下，其視頻會議組播技術方面的難題通過此技術進一步得到解決，其中主要的難題為安全等?？梢月牭蕉鄠€發言者的聲音，且對于會場的視頻和圖像等省去了傳送時間，實現實時接收，一定程度上，促使視頻會議系統更好地發展。

5.2 視頻點播

在互聯網中，對于視頻點播來說，是非常重要的應用，在VOD視頻點播要求下，其播放視頻節目的過程中，可結合用戶的實際要求。但是對于以往傳統的技術來說，其音視頻信息等方面，相對而言比較大，服務器終端離不開大量的存儲系統。與此同時，在大量數據源傳輸等方面，出現了超過負荷的現象，服務器在點播上，使其不能做到大規模點播。在當今社會，隨著寬帶不斷發展，在視頻點播系統中，也逐漸應用了流媒體技術。對于流媒體來說，其對互聯網運輸適合主要原因就是經過了編碼壓縮，而且此編碼還具有一定的特殊性。并通過先進的機群技術，可發點播要求，而且還是大規模的，在大規模的點播環境下，能夠更好地適應。所以，充分運用流媒體技術，在家中或者是學校對于自己的喜愛的視頻等，通過寬帶網交互式個性服務，可進行點播。

5.3 遠程教育

在當今社會，隨著計算機和互聯網技術的不斷發展，也使得遠程教育得到了發展，這其中離不開流媒體技術的應用。對于遠程教育來說，不受時間和空間的限制，促進學生自主學習，充分發揮出學生的主觀能動性，其教育資源方面，實現共享，促使學生更好地接受。在遠程教育中，主要由教師開展相應的設計，將優秀的網絡課程設計出來，而且還是文本和圖片以及視頻等為一體的，通過流媒體技術的應用，使得寬帶限制性有所突破，通過在線的方式，教師就可為學生傳授相關的知識，結合信息反饋，便于對教學內容進行相應的調整，便于學生更好地學習，促進師生之間的溝通。