視頻壓縮顯神通，金箍棒也能變成繡花針

道路擁堵中……

“緩沖中……”“正在加載……”“正在緩沖，請稍后……”看視頻的我們最鬧心的就是看到如此字樣，莫名卡頓。

看到不停轉動的“小宇宙”，不知正在讀文章的你們是否已經抓狂。

這時不可避免地就要嘮叨上幾句：“網速太慢了！”“太卡了！”

那么“網速慢”“卡頓”表象之下，有哪些深層次的原因呢？

除了寬帶、手機質量及內存之外，追溯到源頭，視頻太大導致傳輸過程的“堵車”是脫不了干系的。

我們需要知道一個前提條件，視頻數據不能直接傳輸而必須依據特定的協議被封裝入數據包中。視頻信號中包含很多的信息量，并且受到網絡帶寬的限制，在處理和傳輸視頻內容的時候，需要對視頻進行壓縮編碼來節省傳輸中所需的帶寬與存儲空間，才可以在網絡上傳輸或者在磁盤上存儲。舉個例子，一個普通的電影信息量很大，如果不經過壓縮直接使用原始數據，就會占用幾十G甚至幾百G的空間，這些數據如果是從互聯網上下載的話，下載時間長得不可接受，經過壓縮編碼之后，可能也就變成了1G～2G大小。

簡而言之，對視頻進行壓縮編碼就是為了減小視頻占用的容量。數字視頻實質上就是一幀幀連續的圖像，雖然一幀圖像的大小并不大，但它們累計起來就會占據非常大的空間，我們沒有那么多的地方存儲原始數據，那么只有一條路可以走，對它進行壓縮。

視頻的編碼過程就是這個壓縮過程。某種程度上，壓縮編碼技術就決定著這個視頻的壓縮情況。形象點說，視頻數據如同一個快遞，數據壓縮成的“包裹”越小，因為攜帶方便輕快，在帶寬一定的條件下，可以隨身攜帶的“小包裹”就越多，傳輸的數據量越大，傳輸速率越快。相反，數據未被壓縮或者壓縮率不高，就很容易出現前文中提到的“緩沖”“加載”的情況。

隨著移動互聯網的發展，手機、平板等移動終端的使用人數和頻率越來越多。各類視頻傳播方式如視頻直播、體育賽事轉播、視頻會議及視頻聊天等讓人眼花繚亂，人們對視頻質量的清晰度、流暢度、實時度的要求也越來越高。

而與此相矛盾的是，數據“存不下”、視頻大得“傳不動、聲畫質量不佳”等資源道路擁堵成為視頻業務發展的重要瓶頸。據不完全統計，移動視頻產生的數據量極其巨大，每兩年就會增長一倍左右。但視頻壓縮率（指壓縮后的數據量與壓縮前的數據量之比）卻跟不上移動視頻數據量的增長速度，十年才增長一倍。

去冗余是長期研究熱點

視頻壓縮的實質就是去除冗余信息。

那么何為冗余信息呢？

視頻信號里面有大量冗余，這些冗余數據往往具有高相關性，占用大量不必要的空間，給視頻網絡傳輸或者介質存儲帶來巨大浪費。例如，視頻描述的是連續的圖像集合，前后兩幅圖像中有大量的圖像是一樣的，每秒播放的幾十幀視頻圖片變化不大，不變的這些數據就是很明顯的冗余。這些冗余完全可以去除。當這些冗余被去除，被占用的大量空間或者帶寬就能夠被節約或釋放。

數據信息可以以如下公式表示：

數據量=信息量+冗余數據量

在保證視覺效果的前提下，通過視頻的壓縮算法，對原始數據變換、量化、編碼，保留信息量，把實際存在的冗余信息去掉，從而減少它的數據量，達到減小占用容量的目的。

視頻壓縮是不是和我們平時用到的文件壓縮是一個概念呢？

非也。目的雖然都是為了壓縮所占空間，但是壓縮技術是完全不同的，難度也無法相比較。WORDEXCEL照片等文件是單一靜態的，而視頻是一組有連續運動的數字圖像的集合，有圖像，有聲音、且是動態的，壓縮技術的難度明顯不在一個量級。

目前，業內解決這一問題的最好方法就是可伸縮視頻編碼（SVC）。該技術在不同設備和網絡環境下，用戶可以很方便地只接收解碼需要的那部分，無須解碼那些不需要的部分，以達到視頻快速流暢的體驗效果。

其實，可伸縮視頻編碼的概念的提出已有相當長的歷史，而伴隨著視頻編碼技術的發展，相關的傳輸速率控制技術一直被研究。早期的可伸縮視頻編碼均沒有獲得成功，一方面是由于當時的可伸縮編碼性能低下，另一方面是當時市場對可伸縮視頻沒有較高的需求。然而隨著網絡技術的不斷演變以及可視化需求的不斷提升，新的視頻編碼標準和網絡傳輸技術一直是長期的研究熱點，也是直至目前信息領域仍在解決的重要問題之一。

特殊“工具包“秒變神器

上海交通大學熊紅凱教授從2005年起，就帶領團隊長期圍繞“如何在低碼率、低帶寬下，提供更高清晰度和流暢度的影像“這一問題展開攻關，并最終提出了新的“可伸縮視頻傳輸編解碼技術”——面向移動終端的可視媒體通信及處理關鍵技術。

如何理解“可伸縮”？這并不是我們肉眼可見的視頻畫面可以變大變小。可伸縮性是一種對處理傳輸系統表示能力的度量指標，高可伸縮性代表一種彈性，在系統擴展成長過程中，影像呈現能夠保證旺盛的生命力，通過很少的改動就能實現整個多媒體系統處理能力的線性增長，實現高吞吐量、低延遲、高性能。

“可伸縮視頻傳輸編解碼技術”通過特定的編碼技術，將視頻在時間、空間、質量的不同維度上，增強傳輸數據的彈性，把視頻壓縮得足夠小，以達到更快的傳輸速率和更高的視頻質量。熊紅凱團隊在原有的可伸縮技術基礎上，制作了一個“工具包”，嵌入編碼中。這個“工具包”可不容小覷，功能實用且創新。

“工具包”可以根據整體視頻時間的長度，優先傳輸關鍵數據，不僅大幅提升了視頻壓縮效率，節省寬帶，有效減少了視頻卡頓和緩沖時間。在以往，視頻需要下載到本地之后方可播放，如果一幀的數據沒有傳輸完，視頻就卡住了，特別是當遇到網絡不穩定的情況時，視頻下載可能就會變得極其緩慢。可伸縮技術采用了比幀更小的單元比特（bit，指信息量），用戶就可以一邊下載一邊收聽觀看，而不需要等待整個文件下載到自己的機器后才觀看。

同時，不同的終端用戶對視頻的尺寸、幀率和質量的要求也大相徑庭，有的用戶可以接受用低分辨率換取高傳輸速度，用標清替代高清已經完全可以滿足他的觀看需求。“工具包“可以適應不同的帶寬條件、終端能力和視頻流業務中的質量要求，根據需求輸出適合用戶的視頻質量。數字視頻是一組有連續運動的數字圖像的集合。當人眼接收到的圖像速率達到或超過每秒24幀時，人眼就會感覺接收到的是動態的視頻而不是單一的靜態圖像。因此，該功能的創新讓用戶有了更多的選擇，是追求畫質，還是追求倍速，隨意切換。這一突破較國際H.264 標準獲得平均0.8 dB 的PSNR（Peak Signal to Noise Ratio，即峰值信噪比，是一種評鑒畫質的客觀標準）提升，較最新的視頻壓縮標準HEVC國際標準平均節約3.16%比特率。

另一大創新就是，在網絡動態環境下，“工具包”可以對資源再分配，減少數據 “丟包”。丟包，顧名思義，在通信中是指通信數據包丟失。數據包丟失會導致視頻畫面出現馬賽克現象、圖像模糊、局部變形、圖像靜止等等，也會導致音頻失真、間斷甚至中斷等。如果發生在視頻會議中，可能就會導致幻燈片變形、翻頁速度減慢、會議中斷、增加調試與等待，嚴重降低了視頻會議的質量和效益。

在以往的視頻傳輸中，網絡只會確定一條路由器上的路線，一旦路由器“開小差”丟了數據，視頻就會缺損。而“工具包”增強了“魯棒性”（魯棒性，可以理解為健壯性，在發生故障時仍能保持穩定），為數據傳輸拓展了新的路徑，多了一條備選路徑，重新分配帶寬、緩存、時延。一旦原規劃傳輸路徑出現異常，網絡高速發生了擁堵，視頻數據就可以自動選取最優路線，以保證傳輸的速率達到最高。相較代表性的分布式優化算法能降低50%的收斂時間。同時，團隊在國際互聯網標準化組織IETF建立P2P流媒體工作組，完成3項國際標準制定。

除了探索壓縮視頻信息的編解碼技術，熊紅凱團隊也將信息識別的編解碼技術納入項目。一份完整的視頻信息，由視頻、音頻和輔助信息組成。輔助信息是指那些為了幫助人們更好理解視頻信息的字幕、解說框、彈幕等信息，并可以實現與觀影者互動。這項技術可以先從視頻編碼的目標位置上識別出指定的符號，再將符號信息進行編碼存放進視頻的輔助信息。

例如，可以識別出視頻里某偶像所穿的服裝顏色、品牌，并在播放時顯示出品牌名稱，甚至購買鏈接。同時，通過豐富的數據庫，輔助信息中不僅可以編入表演者的服裝顏色、品牌這些簡單的信息，還可以在沒有表演者的場景圖像中直接生成帶人物的圖像。與國際主流方法（如微軟研究院、加州大學等研發的技術）相比，這項技術的語義提取精度及語義編碼效率分別提升10%以上。這也是在國際上首次提出的針對目標位置語義信息的編碼技術，能夠節約10%以上的編碼率。

在移動終端可視媒體通信及處理關鍵技術上，熊紅凱團隊解開了一個個難題，也取得一個個突破。經中國移動現網測試，應用本項目成果的可視電話體驗通話視頻幀率提升到60%，音視頻同步延遲減少30%，視頻掉幀率減少30%，視頻文件緩沖時間縮短50%，大幅改善了移動可視媒體通信與處理的效率和體驗。

數十位國內外院士和國際權威學者引用并肯定上述成果，并評價“提出的可伸縮視頻傳輸技術，突破了現有方法性能局限”。同時，部分項目成果已進入目前最廣泛普及的國際視頻壓縮標準H.264/MPEG-4 AVC，打破了核心技術長期受制于發達國家專利和標準的壟斷格局。

該技術在智能手機可視電話、在線視頻直播、智能前端監控等領域應用推廣，大幅度提高了移動視頻的編解碼與傳輸效率。通過產學研合作，相關關鍵技術成果還集成、應用在上海航天技術基礎研究所的航天高速攝像視頻分析和處理、上海市公安局的智能前端監控系統和大尺度人群目標分析檢測，均得到充分肯定。項目應用推廣三年后，就實現銷售額16.98億元，利潤 0.8 億元，利稅 0.63 億元，創收外匯0.35億美元。

深度學習，探索人工智能方向

視頻壓縮沒有最小，只有更小。

在目前普及的國際視頻壓縮標準H.264和正在推廣的H.265中，視頻壓縮技術的重點方向是進一步去冗余，即利用編程算法將視頻數據中的關鍵信息更加精準識別并更快傳輸。

但去冗余的方法本身還是以犧牲圖像質量為代價。如果不問質量，一味壓縮，雖然壓縮比很高，但壓縮后嚴重失真，顯然達不到要求；反之，如只講質量，壓縮比太小，也不符合要求。因此，在研究中的國際視頻壓縮標準H.266走向了人工智能的方向，結合深度學習，探索在去冗余的基礎上還原并提升視頻畫質。

熊紅凱教授帶領的項目團隊未來也計劃朝這個方向前行，目標是只需要極低的bit就可以生成視頻影像。

據透露，新的研究將從源頭理解信號，根據學習網絡（數據庫）中的信息，結合深度學習，通過圖像生成的方式補償圖像畫質。未來我們看到的大部分影像，也許就不是鏡頭拍攝采集到的，而是來自系統通過編碼生成，真實和虛擬的界限將更加模糊。