NDI技術在融合媒體生產中的應用

張艷華

（徐州工程學院，江蘇 徐州 221018）

0 引 言

近年來，在主要面向互聯網、移動終端的融合媒體領域，網絡設備接口（Network Device Interface，NDI）技術在傳輸、接入、調度、監控、live制作、播出、安全、收錄、存儲、后期制作及分發方面得到了應用，對數字分量串行接口（Serial Digital Interface，SDI）技術起到了補充甚至替代的作用。

相對于大屏端傳統廣播電視制播體系，融合媒體的制作分發體系有自己的特點。首先，系統架構要靈活，能快速響應部署；而且設備要輕量化。其次，融合媒體制作對信號的客觀技術指標相對大屏要求較低，主觀感受對信號壓縮的容忍度也相對較高。相對于大屏端的高清、4K/8K的無壓縮信號，面向小屏的融合媒體生產，因為最終推流分發是面向互聯網和移動終端，所以輸入和輸出都是低帶寬的壓縮信號。再次，融合媒體的制作分發體系在滿足設備輕量化和系統靈活性的基礎上，在技術性能指標滿足要求的前提下，要能實現當前制作系統的主要功能。最后，高性價比。在人人都是自媒體的時代，傳統廣電領域的高成本重裝備不適合于融合媒體生產。

綜上所述，NDI技術的很多特性都契合融合媒體的技術體系，因此在融合媒體生產領域的應用越來越廣泛。

1 NDI技術原理

1.1 NDI協議

NDI協議于2015年由NewTek公司提出。該協議支持視頻信號通過局域網進行傳輸。它首先對視音頻進行壓縮編解碼，所以是編解碼的協議。另外，它在壓縮編解碼的基礎上進行低延時傳輸，所以也是網絡傳輸協議。

NDI協議屬于IP交互協議，具備延時低、幀精度處理、支持設備及數據流間可相互識別等優點。同時，在傳輸視頻數據流以外，NDI協議還可同時攜帶多通道無壓縮音頻數據流及元數據信息。其元數據信息支持雙向收發，發送者和接收者均可通過NDI識別并連接。NDI支持廣播級IP傳輸協議轉換，適用于多數通用網絡設備，并可延伸與多種第三方工具進行連接。另外，NDI是一種開源接口定義，開放了主要的軟件開發工具包（Software Development Kit，SDK）功能，在應用中只需通過調用函數即可直接使用SDK現有功能[1]。

NDI相對的高指標、低延時，滿足了主客觀圖像質量評價要求；即插即用自發現的特性，滿足快速響應部署的要求；支持TALLY和通話，保證了傳統廣電演播的功能，開源特性使得總體擁有成本降低。可見，NDI的這些技術特點非常符合前述融合媒體技術體系的需求。

1.2 NDI碼流

NDI協議包括FULL NDI和NDI|HX（NDI|HX2）兩種。FULL NDI是基于I幀壓縮的，占用的帶寬高，延時小，信號質量好。NDI|HX是基于長GOP H.264的改進版本，占用帶寬低，相對FULL NDI延時較大，信號質量較低。NDI廠家給出的NDI信號帶寬數據如表1所示。

表1 NDI信號帶寬

單個高清（High Definition，HD）的NDI流帶寬典型值為16 Mb·s-1（NDI|HX）或者180 Mb·s-1（FULL NDI），4K超 高 清（Ultra High Definition，UHD）的NDI流帶寬為250 Mb·s-1或者350 Mb·s-1。理論上，萬兆網絡可以支持40路以上的HD NDI或者20路以上4K UHD的NDI流。

1.3 圖像質量

據其他文獻研究，將高清圖像測試信號經NDI協議以80～120 Mb·s-1可變碼率編碼并解碼后輸出，圖像質量分析儀的測試結果如表2所示[2]。

表2 圖像質量測試結果

在圖像質量測試結果中，圖像質量等級（Picture Quality Ratio，PQR)算法首先對經過被測系統的圖像序列進行標準化處理，之后再對處理后的圖像序列和原始參考圖像序列進行最小可覺差異（Just Noticeable Difference，JND）計算。PQR_Y越小則圖像質量越好。平均主觀得分差（Differential Mean Quality Score，DMOS）計算人眼對原始圖像和處理圖像評價得分的差異, DMOS_Y值越小則圖像質量越好。峰值信噪比（Peak Signal to Noise Ratio，PSNR）在壓縮數據流協議傳輸中，達到40 dB時信號即被認為非常接近原始圖像的質量，在SDI系統中串行傳輸標準信噪比要求65 dB。PSNR_Y值越大，圖像質量越好。而NDI的技術特性，保證了畫面在多次迭代后，質量不會進一步損失。

2 NDI技術在融合媒體制作中的應用

2.1 系統解決方案

2.1.1 攝像機和編解碼器

目前，市場上有很多支持NDI協議的PTZ攝像機，一些傳統的廣電設備商如Panasonic，Newtek，Lumens等公司也在積極跟進。這些攝像機內置NDI|HX編碼器。如果攝像機不支持NDI編碼，也可以通過外置的編碼器來支持FULL NDI+NDI|HX協議,實現視頻傳輸和設備控制。

編解碼器支持HD或者12G-SDI 4K視頻，端到端延時小于100 ms。支持NDI發現服務器功能，可實現NDI跨網段傳輸。支持Tally燈、通話、多方式供電等傳統廣電實用功能。通過與軟件集成，還支持設備遠程管理和控制、NDI流管理和分發、大規模節目制作管理等功能。

2.1.2 切換臺

切換臺是節目制作的核心設備，NewTek公司的TriCaster系列產品是其中的代表作。它提供IP和SDI等輸入接口，兼容各式視頻信號源。以QuickTime或H.264文件格式錄制多通道全分辨率視頻，用于剪輯、切換、回放、歸檔、點播。可實現實時流媒體傳輸、記錄、數據驅動圖形、虛擬布景及社交媒體發布等。還可利用色度鍵在實時視頻、圖文和虛擬場景中創造各種合成場景，并將其用于報告、演講、演示等用途。

2.1.3 傳輸方案

NDI作為網絡傳輸協議，一個重要的特性就是網絡發現性。編碼器把信號源編碼成NDI信號后在跨網段的局域網傳輸，網絡內包括PC、導播軟件在內的終端都可以實時發現、調度、制作網絡內的所有NDI信號。網絡內允許存在多個推NDI流的編碼終端和多個拉NDI流的解碼終端。

如果采用常規的網線傳輸，一個24口千兆以太網交換機可以支持50路以上的UDP、RTMP、SRT等TS流。除了有線連接，實際使用中也有用無線網橋或者WiFi的方式當成無線圖傳來傳輸FULL NDI的案例。如圖1所示。

圖1 FULL NDI的無線應用

2.2 音頻制作

NDI可以像SDI嵌入音頻信號一樣，在視頻數據流以外可同時攜帶多通道無壓縮音頻數據流及元數據信息。要求不高的融合媒體制播場景，切換臺可直接從可選NDI資源中獲得音頻數據流[3]。視頻信號切換時綁定的音頻信號跟隨視頻信號一同完成切換，或者使用推子單獨控制音頻通道音源輸出。要求較高的制播場景，會采用NDI+DANTE的全IP架構，如圖2所示。

圖2 DANTE處理流程

DANTE作為音頻系統的核心交換協議，支持NDI音頻數據流轉換，DANTE虛擬聲卡從NDI中獲得音頻數據流。一個IP視音頻數據流以DANTE協議將音頻信號傳輸到DANTE調音臺接口卡，再通過調音臺模擬音頻接口接入切換臺。這種工作模式會產生音頻延時。通過NDI網關調整視頻信號延時量，通過調整調音臺的音頻信號延時量，可以將聲畫延遲對齊。

2.3 遠程制作

在NDI5之前，NDI默認采用multi-TCP的傳輸方式。TCP的傳輸方式雖然可靠，但在傳輸穩定性較差的環境下，其傳輸效率低、實時性差。所以NDI通常運行在局域網上。

2021年6月推出的最新迭代版本NDI5，采用 了QUIC（Quick UDP Internet Connection），它是一種新的可靠用戶數據報協議（Reliable UDP，RUDP）傳輸機制。RUDP在傳輸穩定性較差的網絡環境下，性能要優于TCP。QUIC基于UDP，所以它具備UDP的簡單、低延時的特點，又因為它采用了與TCP相似的擁塞控制/數據重傳機制，它又具備TCP的傳輸可靠性。采用RUDP傳輸的NDI在傳輸上更穩定、延時更低。這使得NDI協議具備了廣域網協議的特征，可以在云平臺上運行，遠程進行視頻協議傳輸及解碼，在不同的設備之間進行視頻共享，將固定的演播室連接到云端演播室，高效快捷地進行視頻演播制作。

3 NDI技術在調度分發域的應用

不僅僅在制作域，目前在融合媒體生產的其他領域，采用NDI的音視頻網絡傳輸協議代替傳統的SDI信號傳輸，完成全臺技術系統的IP化和IT化升級也有很多應用。

3.1 匯聚接入

匯聚接入模塊的主要功能就是協議轉換，其原理如圖3所示。

圖3 協議轉換原理

RTMP、SRT、HLS、DVB-UDP、WebRTC等多種外來的流信號和文件信號接入，可以實時轉換成NDI信號和SDI信號。

3.2 調度交換

當業務中有多路NDI信號需要并發、調度、集中管理，可以使用NDI矩陣。有的產品是先將NDI信源引入一個專有的NDI流服務矩陣，然后由服務器進行分發，此時流服務矩陣會成為系統的單一節點，這樣的結構無法充分發揮IP架構的優勢。

目前，NDI切換調度矩陣不再采用傳統矩陣的通路方式，而是通過交換機控制網絡中的NDI視頻信號元數據，通過地址重定向的方式進行信號直接調度，但并不對信號進行任何物理集中[4]。由于沒有視頻數據實際匯聚到矩陣，自然也不存在單點潰點。

隨著支持NDI協議的攝像機、編解碼器、矩陣、字幕機、多畫面分割器、幀同步、加解嵌等系列產品的出現，這些不同公司的產品雖然可以互聯互通，但是沒有統一的管理配置。一些國內公司自行研發的NDI管理與調度產品，可以實現對現有NDI網絡中的各種設備進行管理、控制，使眾多的NDI產品快速、便捷地一體化協同工作[5]。

3.3 分發處理

3.3.1 NDI多畫面

NewTek公司提供了監看軟件NDI Studio Monitor，但是只能監看單畫面。現在實際應用的多畫面系統實質上是一款解碼軟件，可根據業務應用需求理論上不受限制地創建NDI窗口，每個窗口可添加多路各種規格的NDI視頻流，而且畫面樣式可完全自定義，多窗口播放，窗口之間可以一鍵切換，還可以通過HDMI接口上屏。作為輔助功能，多畫面通常還具備音柱顯示、安全框、中心線及邊框等。

3.3.2 推 流

經過內部NDI網絡的調度和處理后，根據實際應用需求，系統往往還需要實時對外推送。例如，要支持SRT對外實時交互，實現遠程傳輸，支持RTMP互聯網快速推流，實現信號的多平臺同步播出，有的還需要支持DVB-UDP，為有線電視等傳統播出平臺實時提供信號。

4 問題和挑戰

隨著整個技術生態的發展，NDI正向著一種面向云端視頻業務的基礎視音頻I/O標準方向發展。未來，NDI還需要解決一些實質性的問題。

（1）安全性問題。NDI在視頻的連接、獲取過程中完全不需要鑒權機制，可以即插即用。隨著NDI5開始支持面向互聯網和遠程制作，傳輸方式改成了天生具有較高等級加密能力的QUIC，但是身份驗證、連接握手的機制、防火墻/NAT穿透等安全性問題還應進一步解決。

（2）編解碼問題。使用軟件進行NDI編碼的性能，相對于解碼仍差很多。4K分辨率下的圖像質量和編碼效率如何平衡，也是一個很大的挑戰。

（3）音頻問題。NDI5在音頻部分有很大提高，目前幾乎兼容所有的音頻軟件、應用程序，并且還允許客戶自定義選擇、接收和生成多通道音頻，而延遲近乎于零。但是還沒有構建出一個完整的基于IP架構的音頻體系。

5 結 語

基于融合媒體生產的互聯網化、移動化，NDI技術在制作、調度、分發等領域的應用越來越廣泛。隨著技術生態的建立，NDI技術還在不斷發展完善。