即時通信系統音視頻處理技術研究

曹亮

摘要：隨著互聯網的快速發展，基于網絡條件下的即時通信從最早時期的消息聊天轉變為具有音視頻功能的綜合性程序。現階段音視頻即時通信方式主要有點對點視頻、視頻會議以及視頻語音電話等，即時通信系統最為重要的標準就是傳輸過程的質量。本文將系統分析即時通信相關概念，有針對性的分析音視頻處理技術并提出了相應觀點，具有一定參考借鑒價值。

關鍵詞：即時通信;音視頻;處理技術

中圖分類號：TN919.8 文獻標識碼：A 文章編號：1007-9416（2019）03-0046-01

在即時通信系統中實現音視頻通信功能的核心主要包括音視頻處理框架以及即時通信協議。從現階段的即時通信音視頻處理相關技術來看，可以有效解決音視頻通信過程中所遇到的一些問題，確保即時通信能夠正常運行。根據即時通信系統的工作原理可知，音視頻在使用運行過程中需要遵守即時通信協議，同時還需要符合相應的框架。

1 即時通信協議的概述

1.1 即時通信協議概念分析

首先需要充分了解即時通信協議的概念，它主要是指即時通信過程中所需要遵循的基本規則，負責完成用戶信息傳輸通道的協商以及客戶端與服務器之間的控制等。現如今即時通信是我們日常生活中不可缺少的一部分，當信息在傳輸過程中只有當符合相應的即時通信協議才可以有效實現信息傳輸，進而確保信息傳達的準確性與及時性[1]。從現階段即時通信協議的概念上來看，即時通信協議具有著直觀重要的作用，同時是即時通信系統的基礎條件之一。

1.2 即時通信協議相關內容分析

目前較為常用的即時通信協議為會議初始化協議SIP以及可擴展通信和表示協議XMPP兩種，上述兩種即時通信協議都可以完成音視頻通信的功能。除此之外，還有一些企業擁有自主開發的即時通信協議來實現相對封閉的信息傳輸通道，如早起的MSN以及現在的QQ。現階段XMPP是主流的即時通信協議之一，它主要是基于可擴展標記語言XML協議，集成了XML的高擴展性，進而通過發送擴展的信息來滿足用戶的需求。XMPP協議其實是一個總的稱呼，它主要包括了核心協議、擴展協議等，核心協議僅僅只規范了部分的功能，大部分即時通信功能都是通過擴展協議實現的。

通過對即時通信協議發展分析可知，即時通信協議的類型非常多，在即時通信協議制定以及使用的過程中具有著多種應用方式，但根據類型來分析，形成了兩種主要的即時通信協議體系，這兩種體系既可以滿足日常即時通信及音視頻功能的需求，還可以有效避免通信過程中信號斜街困難，使得通信協議銜接能夠沒有任何障礙。

2 音視頻處理框架分析

音視頻處理框架對于即時通信系統而言非常重要，它主要是為用戶提供一組多媒體數據處理的接口，用戶能夠通過所提供的接口實現從多媒體采集卡上獲得數據，還可以進行壓縮編碼、格式轉換等其它操作，之后用戶就可以通過所提供的接口從多媒體數據采集卡中獲得所需要的數據，除此之外還可以進行其它一系列的操作，如編碼以及各式轉換，進而能夠有效實現多媒體的實時傳輸工作，可以加快即時通信音視頻的處理速度[2]。目前能夠進行二次開發功能的音視頻處理框架有：Gstreamer、Directshow，Opencore等。Gstreamer是微軟公司所推出的基于COM的流媒體處理開發包;Directshow可以方便的從支持Windows驅動模型的采集卡中獲得數據，并且進行相應的后期操作，甚至還可以實現儲存功能;Opencore則是手機操作系統中的核心，主要運用在Android多媒體，它的代碼非常龐大，主要是基于C++實現。

2.1 Gstreamer音視頻處理框架分析

Gstreamer通過模塊化的設計理念，可以更加便捷的構建流媒體應用程序。它能夠將各個模塊封裝起來，通過元件的形式供用戶進行使用。用戶則可以通過庫中原有元件進行應用程序的編程，同時還可以進行編寫元件，之后插入到數據庫之中，以便于后期的使用。即時通信系統中的音視頻處理需要專門的處理礦建，其中基本都采用的為模塊化設計，Gstreamer音視頻處理框架可以將音視頻處理功能分別轉變為具體的模塊，進而實現對音視頻的處理。這種音視頻處理框架不僅可以減輕用戶的選擇負擔，同時還可以讓用戶根據實際需求進行調用。Gstreamer音視頻處理框架能夠做到根據用戶的實際需求來針對性的進行選擇，在具體的處理過程中同時還可以與其它程序有效融合，既可以有效提高音視頻的處理效果，同時也能夠輕松達到音視頻的處理標準，因此應當深入研究Gstreamer音視頻處理框架。

2.2 Farsight視頻會議框架

通過Gstreamer開發庫中所具有的基礎元件完成音視頻的處理工作，同時還可以在局域網內部使用視頻通信。但是視頻會議通常會包括多個多媒體會話，而且讓各個多媒體會話之間實現協調是非常復雜的，因此只有更為高級的處理框架才可以完成這樣的任務。其中Farsight就可以實現滿足這些要求，它主要是在Gstreamer為基礎所研究出來的視頻會議框架，它具有一套完整的為多媒體流協議編寫插件的應用程序接口。即時通信相關程序可以通過Farsight來進行音視頻會議，無需擔心底層數據流以及NAT穿越問題。這些最主要是因為Farsight是基于Gstreamer所開發的，研發出來的新元件與Gstreamer原有的元件進行結合實現視頻會議處理框架的構建[3]。

Farsight包括了4個核心內容：會議、會話、參與者以及流。會話參與者主要是指多媒體數據源，如音頻或視頻;會話則是指視頻會話，通常為一個輸出端;會議則是指一個多媒體會話，可以由多路會話組成，并實現對多路會話進行管理;當參與者進入到會話時，就可以將多媒體數據引入其中，使得數據能夠進行流動，進而形成數據流。

3 即時通信系統中音視頻通信實現分析

即時通信系統中音視頻通信實現首先需要充分了解通信系統的研發思路，從現階段發展來看主要是將負責通信部分圖形用戶界面部分進行分開，確保即時通信的音視頻在實際處理的過程中能夠具有自身專屬代碼進行應用。同時為了能夠滿足通信的其它需求，需要對通信協議以及源代碼進行完善，確保即時通信系統能夠具有正確的思路作為支撐。從目前的即時通信系統音視頻構建框架來看，如今的研發思路已經能夠滿足音視頻的基本需求，其次當通信部分與圖形用戶界面分開后，音視頻的通信功能可以得到極大的增強，能夠有效提高音視頻的通信效果。所以應當重視即時通信系統的研發思路，并在高質量即時通信音視頻的實現過程中將其視為重要的因素。

4 結語

綜上所述，即時通信系統音視頻處理技術更新變得非常頻繁，同時也可以為用戶提供更為豐富和個性化的使用體驗，因此相關技術研發人員應當高度重視。在即時通信中若想有效提高音視頻處理效果，應當充分掌握即時通信協議及其相關概念，并且能夠對音視頻處理框架具有深刻的認知，這樣才可以更好的實現即時通信中音視頻的通信。

參考文獻

[1] 徐文莉，熊燕，李燕.P2P即時通信系統關鍵技術研究及應用[J].軟件導刊，2017，16（09）：151-153+157.

[2] 賈瑋瑋.即時通信系統中的音視頻處理技術分析[J].無線互聯科技，2016（20）：1-2.

[3] 蘇育挺，金富玉，張承乾.即時通信系統中的音視頻處理技術[J].電視技術，2012，36（01）：37-40.

Research on Audio and Video Processing Technology of Instant Messaging System

CAO Liang

（Shenzhen Guanxu Electronics Co.， Ltd.，Shenzhen Guangdong? 518117）

Abstract：With the rapid development of the Internet， instant messaging based on network conditions has changed from the earliest messaging chat to a comprehensive program with audio and video functions. At present， there are mainly point-to-point video， video conferencing and video voice telephone， etc. The most important standard of instant messaging system is the quality of transmission process. This paper will systematically analyze the related concepts of instant messaging， pertinently analyze the audio and video processing technology and put forward corresponding views， which has a certain reference value.

Key words：instant messaging; audio and video; processing technology