基于云數(shù)據(jù)及人工智能引擎的廣播融媒系統(tǒng)設計

楊 維

（作者單位：四川廣播電視臺）

1 系統(tǒng)設計的目的

四川廣播電視臺經(jīng)過多年的建設，廣播網(wǎng)絡系統(tǒng)數(shù)次升級迭代演進，已經(jīng)建成基礎的融媒體業(yè)務系統(tǒng)——四川廣播融媒體云平臺。平臺已部署了“云里”“云聽”業(yè)務系統(tǒng)、“融媒體云移動采編”系統(tǒng)、“微信矩陣”、微信小程序等應用，廣播各頻率依托不同的系統(tǒng)和應用，各自承擔融媒體產(chǎn)品生產(chǎn)發(fā)布全流程上的相應工作。

為實現(xiàn)業(yè)務系統(tǒng)間的數(shù)據(jù)可匯聚、可共享、可流轉、可分發(fā)、可分析，構成融媒體產(chǎn)品的全過程生產(chǎn)發(fā)布體系。本項目以廣播融媒體云的媒體數(shù)據(jù)中臺為核心，以人工智能（Artificial Intelligence，AI）技術為依托，實現(xiàn)AI引擎服務的基礎，將內容資源數(shù)字資產(chǎn)化，功能模塊服務化。依托人工智能技術，實現(xiàn)音頻、視頻、圖文、文件等多種格式數(shù)據(jù)的結構化，對用戶、內容、行為等數(shù)據(jù)進行統(tǒng)一的規(guī)范化處理[1]，通過多層神經(jīng)網(wǎng)絡深度學習，自動標簽、分類、建立關系圖譜；提供用戶認證、訪問鑒權、數(shù)據(jù)受控、數(shù)據(jù)分析等功能，以數(shù)據(jù)支撐廣播融媒業(yè)務決策和效益分析；依托融媒數(shù)據(jù)中臺，實現(xiàn)自動播報、智能問答等智能化應用。

2 系統(tǒng)總體架構設計

廣播融媒體系統(tǒng)的總體架構如圖1所示：

圖1 廣播融媒體系統(tǒng)架構圖

2.1 以廣播融媒云數(shù)據(jù)中臺為核心

廣播融媒云數(shù)據(jù)中臺是融媒體業(yè)務建設的核心資產(chǎn)，未來移動互聯(lián)網(wǎng)以數(shù)據(jù)為王，廣播的融媒體業(yè)務升級也應如此。融媒云數(shù)據(jù)中臺匯聚音頻、視頻、圖片、文字等全媒體素材，以及運維數(shù)據(jù)、用戶數(shù)據(jù)、運營數(shù)據(jù)、營銷數(shù)據(jù)、內容訪問行為與內容觸達數(shù)據(jù)等，并對其進行統(tǒng)一的清洗、分析和計算[2]，分析融媒產(chǎn)品傳播效果，幫助融媒生產(chǎn)部門或團隊進行業(yè)務決策。

2.2 以人工智能引擎為支撐

人工智能引擎為整個廣播業(yè)務的資源中心，將各種資源都匯聚到媒體大腦，進行自然語言處理（Natural Language Processing，NLP）、神經(jīng)網(wǎng)絡深度學習、語音和人臉識別等技術處理，形成結構化的媒體大腦庫，可以實現(xiàn)高效的內容查詢、分析、應用。由AI引擎支撐AI播出、AI查詢等智能應用。

2.3 助力融媒體業(yè)務板塊能力提升

建設智能云生產(chǎn)協(xié)作系統(tǒng)、智能云發(fā)布系統(tǒng)，這兩部分業(yè)務基礎的智能運營系統(tǒng)能幫助業(yè)務團隊開拓新的盈利模式和商業(yè)模式。

3 廣播網(wǎng)絡系統(tǒng)結構及功能設計

3.1 廣播融媒體云平臺網(wǎng)絡優(yōu)化

現(xiàn)有融媒體業(yè)務系統(tǒng)還不具備接入層的負載均衡能力，在應用高峰時易造成堵塞。而域名直接解析到Web服務器，未設置反向代理隔離內外網(wǎng)IP，安全性需要提高。

可以利用四層和七層負載結合方案，優(yōu)化廣播融媒體云平臺的部署架構（見圖2），提升廣播融媒體云平臺的整體安全性和穩(wěn)定性，同時具備橫行擴展能力，能夠支撐業(yè)務模式的擴展。

圖2 廣播融媒體云網(wǎng)絡部署圖

3.2 實現(xiàn)人工智能引擎服務及廣播媒體數(shù)據(jù)中臺

廣播融媒體云平臺經(jīng)過逐步升級迭代，目前功能相對完善。主要軟件即服務（Software as a Service，SaaS）應用包括：移動稿件編審、桌面制作、慢錄系統(tǒng)、視頻收錄、熊貓聽聽應用程序（Application，App）、小程序、電話收錄、視頻直播、微信運營等子業(yè)務系統(tǒng)。廣播各頻率和新媒體部依托不同的系統(tǒng)和應用，各自承擔融媒體產(chǎn)品生產(chǎn)發(fā)布全流程上的相應工作，各業(yè)務系統(tǒng)間的數(shù)據(jù)可匯聚、可共享、可流轉、可分發(fā)、可分析，構成了融媒體產(chǎn)品的全過程生產(chǎn)發(fā)布體系。

本設計依靠AI技術為底層技術支撐實現(xiàn)AI引擎服務，將內容資源數(shù)字資產(chǎn)化、功能模塊服務化，建設廣播融媒體云的業(yè)務核心媒體數(shù)據(jù)中臺，同時對融媒體云系統(tǒng)進行業(yè)務升級和能力提升，主要包括以下幾個方面：

（1）對數(shù)據(jù)中心的存儲能力進行升級，采用利舊方式，對現(xiàn)有存儲資源進行整合。

（2）依托AI技術對數(shù)字資產(chǎn)進行自動分類、標簽、結構化等，實現(xiàn)AI引擎服務。通過數(shù)據(jù)智能處理引擎使數(shù)據(jù)中臺的數(shù)據(jù)能被AI識別和理解，實現(xiàn)數(shù)據(jù)的智能化升級，通過AI引擎服務將圖文稿件、音頻、視頻、用戶信息等全媒體資源分析處理，形成廣播融媒體數(shù)字資產(chǎn)庫。

（3）依托媒體數(shù)據(jù)中臺實現(xiàn)應用。在AI引擎的加持下，傳統(tǒng)的融媒生產(chǎn)、發(fā)布和運營將獲得更多新生能力和應用，包括新聞事件脈絡梳理和追蹤、智能寫稿、安全審核、虛擬主播、AI電臺、AI顧問、個性推薦、智能營銷等智能業(yè)務，實現(xiàn)融媒體向智媒體業(yè)務升級[4]。

（4）媒體數(shù)據(jù)中臺開放接口規(guī)范，以便今后拓展廣播融媒體的新業(yè)務能力。依靠數(shù)據(jù)中臺，通過調用統(tǒng)一的智能服務應用程序接口（Application Programming Interface，API），在融媒生產(chǎn)、人機交互、智能運行等方面可直接擴展多種業(yè)務，如圖3所示。

圖3 數(shù)據(jù)中臺規(guī)劃設計圖

未來廣播融媒體云平臺的升級將以廣播融媒體數(shù)據(jù)中臺為核心，從以下幾個方面進行：AI引擎分析處理能力的升級優(yōu)化、智能應用的新增和完善。

3.2.1 數(shù)據(jù)中心存儲能力的升級

整合廣播現(xiàn)有存儲節(jié)點資源，包括8個Isilon X200存儲節(jié)點，采用“N+1”的方式進行備份，可用容量140 T，作為媒體數(shù)據(jù)中臺的存儲環(huán)境。存儲內容包括所有音頻資料、視頻文件、圖文信息等。利用現(xiàn)有的各種采集手段采集匯聚音頻慢錄、視頻收錄、爬蟲數(shù)據(jù)、媒資庫等數(shù)據(jù)源數(shù)據(jù)。支持API對接、手動導入方式進行數(shù)據(jù)采集。

3.2.2 AI引擎服務及廣播媒體數(shù)據(jù)中臺建設

目前，各類素材需要大量的人工進行編目、分類，導致使用者對已保存的大量素材內容了解不夠，比如一個音頻里面講到了哪些主題，一個視頻里面出現(xiàn)了哪些人物，一篇文章寫過哪些新聞事件等。對內容的查詢能力不足，比如如何查詢到庫里所有涉及精神文明建設的文檔，它們之間的關系圖譜，等等[3]。內容與內容之間的關系也不明確。因此，需要建立AI引擎對這些素材進行智能化處理，將其轉變成數(shù)字化資產(chǎn)。

廣播融媒體業(yè)務的發(fā)展對提升主流媒體傳播力、公信力、影響力和輿論引導力發(fā)揮了積極的作用，廣播融媒體云平臺整合了資源的同時提高了融媒生產(chǎn)的效率。

廣播的數(shù)字化資產(chǎn)，包括音頻、視頻、圖片、稿件、用戶，以及未來可能涉及的商品資產(chǎn)等，經(jīng)過AI智能引擎的分析處理，自動標簽、分類、聚合、索引，通過數(shù)據(jù)中臺的應用能力提供給各個業(yè)務系統(tǒng)使用。AI數(shù)據(jù)中臺將各種業(yè)務能力微服務化，形成標準的應用模塊（見圖4），可以供智能業(yè)務系統(tǒng)調用[4]。

圖4 AI功能模塊圖

AI引擎服務是廣播媒體數(shù)據(jù)中臺的核心，結構化處理所有非結構數(shù)據(jù)，生成具有智能索引管理的數(shù)字資產(chǎn)庫。利用AI引擎，對音視頻等節(jié)目中的人臉、語音、場景等進行內容自動提取和自動編目，將內容不斷拆解細化為無窮小的單位并且可標記、可檢索的結構化數(shù)據(jù)，再通過智能算法的調用，實現(xiàn)對海量信息資源的擴展應用，為數(shù)據(jù)智能化奠定基礎。

通過AI引擎服務的支撐，廣播媒體數(shù)據(jù)中臺的全媒體數(shù)據(jù)可以實現(xiàn)以下幾種功能：

人臉識別：將預處理后的內容進行人臉識別，提取內容中出現(xiàn)的人物特征信息，以及對應的時碼信息；支持自定義人臉庫輸入。

語音識別：將預處理后的內容進行語音識別，提取內容中出現(xiàn)的所有語音信息，并以文本方式呈現(xiàn)。

場景識別：將預處理后的內容進行物體識別及場景識別，如教室、廣場、會議室、車、橋、天空、河流等客觀事物。

光學文字識別：將預處理后的內容進行光學文字識別（Optical Character Recognition，OCR），可指定區(qū)域（如字幕、主題等）進行識別，還可手動全屏截圖識別，識別的結果可保存并導出。

智能編目系統(tǒng)：利用AI引擎，在人臉、語音、場景等方面對廣播全媒體素材進行智能提取和編目，形成可供智能檢索的結構化數(shù)據(jù)，同時根據(jù)需求完成新的標簽定義和自主學習。

可智能檢索系統(tǒng)：通過不同維度對歷史素材[包括智能引擎結構化的數(shù)據(jù)（人臉、語音、場景）]進行檢索，同時提供綜合檢索頁面，針對多個維度進行組合查詢，進一步收斂目標素材（見圖5）。

圖5 AI智能引擎服務圖

3.2.3 依托數(shù)據(jù)中臺，實現(xiàn)智能應用

人工智能已不再是一種趨勢，而已成為一種時代特征，滲透到各個領域。智能媒資、智能寫稿、智能視頻合成、虛擬主播、智能安全審核等人工智能新應用在各類媒體中得到廣泛推廣，“策、采、編、播、發(fā)、審”等全流程通過人工智能技術重新賦能媒體生產(chǎn)已是新趨勢。通過人工智能賦能融媒體建設，打破新媒體和傳統(tǒng)媒體的邊界，包括媒體之間、媒體與用戶之間，甚至人與機器之間等，將推動融媒體走向智慧媒體。

AI引擎服務按照具體的業(yè)務使用場景分為AI基礎能力服務、AI資源檢索服務兩大業(yè)務模塊，同時會在原有的平臺或系統(tǒng)業(yè)務中基于AI基礎服務能力形成一些智能化的創(chuàng)新產(chǎn)品以豐富業(yè)務功能。

3.2.3.1 AI基礎能力服務

（1）提供人臉識別與比對技術，提取相關節(jié)目中的主要人物信息，按照提供的人物名單及要求建立人物特征庫。根據(jù)人物特征庫，快速準確地檢索出所需節(jié)目，并標注相關人物出現(xiàn)的關鍵幀位置。

（2）提供語音識別技術，提取相關節(jié)目中的語音信息，包括口播、唱詞等語音信息。提取出的語音信息自動轉換成文本信息，提供語音實時校對功能，能對識別有誤的地方進行修改與保存。根據(jù)文本信息提供全文檢索功能，對檢索出的相關節(jié)目進行準確定位。

（3）提供場景與物體識別技術，提取相關節(jié)目中的場景與物體信息，并對識別出的場景與物體進行合理的分類，可根據(jù)需求對場景與物體進行選擇，過濾無效的信息。通過這些信息可快速準確地檢索所需節(jié)目，準確定位該場景與物體出現(xiàn)的關鍵幀。

（4）提供OCR識別技術，提取相關節(jié)目中的唱詞字幕信息；形成整段內容的文本，并且提供修改、編輯、下載等多種功能，供文稿系統(tǒng)使用。

（5）提供文語互轉，以及滿足文本向擬人化語音轉化需求的人工語音合成技術，打通人機交互閉環(huán)；支持自定義音量和語速，提供多種音色，使發(fā)音更自然、專業(yè)，更符合實際場景需要；增強人機互動體驗，提高語音應用的建設效率。

（6）具備自然語言文字處理方面的功能。支持語義自然分析文本。用以進行文本糾錯、情感傾向分析、語義觀點抽取、對話情緒識別、文章標簽或摘要抽取、文章聚類分析等業(yè)務構建。

（7）具備結構化處理非結構化數(shù)據(jù)的功能。支持對從各類媒體資源中智能化提取的非結構化數(shù)據(jù)進行信息結構化加工，形成可被實際使用的數(shù)據(jù)信息，比如供檢索使用的數(shù)據(jù)信息。

3.2.3.2 AI資源檢索服務

（1）提供統(tǒng)一的AI資源檢索服務，呈現(xiàn)綜合檢索頁面。

（2）對臺內在各處使用或存儲的媒體資源進行信息結構化處理，將完成的特征結果進行聚合、交叉比對、綜合匹配、自然語義分析處理，最后形成基本的標簽或聚類信息，以及時間、地點、人物等智能標簽。這些智能標簽信息既可以提供給檢索系統(tǒng)作為檢索的關鍵詞或索引，也可以通過HTTP接口，把智能標簽的信息同步給第三方使用。

（3）對媒體資源進行智能編目形成的編目信息，可以為內容檢索提供多維檢索條件。

（4）支持全文檢索，能快速、準確地基于AI標簽庫檢索到目標文件，并按照多種方式統(tǒng)一呈現(xiàn)。

（5）提供組合查詢功能，滿足多場景檢索。組合查詢是在一般查詢的基礎結果上進行范圍收斂的工具，組合查詢的各類型之間為“與”的關系，過濾內容則為“非”的關系。例如：需要搜索人物A和人物B共同出現(xiàn)的文件，那就可以輸入多個人物的關鍵詞來檢索。又如：需要搜索與報道過的人物A有關的口播“加強高端制造科技創(chuàng)新”，既可在人物欄輸入“A”，也可在語音欄輸入“加強高端制造科技創(chuàng)新”。

（6）智能檢索的檢索數(shù)據(jù)源包括智能引擎非結構化的數(shù)據(jù)（人臉、語音、場景）以及原媒資系統(tǒng)人工編目的數(shù)據(jù)，可通過多個維度進行組合查詢，將編目信息與非結構化數(shù)據(jù)的關鍵字進行靈活組合，進一步收斂目標素材。

3.2.3.3 聲音智能切片拆條

音頻智能切片系統(tǒng)實現(xiàn)對播出的節(jié)目自動按欄目進行切片，自動去除欄目中的廣告。

音頻智能切片系統(tǒng)（見圖6）可實現(xiàn)對廣播播出后的節(jié)目智能切片、自動識別廣告并裁剪、內容智能編目、內容管理等功能。

圖6 音頻智能切片系統(tǒng)架構圖

廣播播出網(wǎng)：為智能切片提供準確的播后節(jié)目單數(shù)據(jù)，根據(jù)時間戳與直播流一一對應，將播出節(jié)目日志記錄與各頻率直播流信號關聯(lián)起來，實現(xiàn)音頻信號的精準切片。

安全網(wǎng)閘：通過網(wǎng)間安全網(wǎng)站將廣播播出網(wǎng)節(jié)目單數(shù)據(jù)安全擺渡到廣播融媒體云平臺播后收錄系統(tǒng)，滿足安播規(guī)定和要求。

播后收錄系統(tǒng)：其是音頻智能切片系統(tǒng)的管理后臺，在管理后臺可以實現(xiàn)對廣播各頻率的直播流管理、頻率的節(jié)目單管理和切片后的內容管理。直播流管理支持對直播流的添加和刪除。頻率的節(jié)目單支持同步和查看播出網(wǎng)的播后節(jié)目單，支持手動編輯節(jié)目單。內容管理支持對內容進行檢索、排序、復制、移動、導出等操作。

智能服務功能：整個系統(tǒng)需要依托底層的智能服務功能進行工作，由音頻慢錄和直播流轉碼提供標準直播流節(jié)目，通過智能切片和智能去廣告功能將有效節(jié)目保留，利用語音識別和智能拆條，每個切片都有詳細而精準的標簽信息，做到高效查詢，快速定位。

智能去廣告功能：廣播節(jié)目中有廣告的內容，系統(tǒng)能夠自動去除廣告，保留純凈的節(jié)目內容。

可對接業(yè)務系統(tǒng)：系統(tǒng)提供標準的API接口可供其他系統(tǒng)如媒資系統(tǒng)、素材中心、發(fā)布系統(tǒng)等，調用使用。

3.2.3.4 視頻智能拆條

智能識別分析內容的片段信息，可按主持人、轉場等維度自動生成節(jié)目層、片段層條目，供用戶編目數(shù)據(jù)使用。針對新聞類節(jié)目做到片段層的識別拆分。

支持用戶對拆條出來的信息進行合并（或者拆分），形成片段，合并后的片段支持自定義描述、下載與導出，并且能作為檢索源。

3.2.3.5 AI虛擬合成節(jié)目生產(chǎn)系統(tǒng)

建設廣播AI虛擬合成節(jié)目生產(chǎn)系統(tǒng)，用于資訊類的內容產(chǎn)品，如路況、股票、氣象、航班、應急等節(jié)目；實現(xiàn)文稿自動生成音頻，無須主播制作錄制，提高內容生產(chǎn)效率[5]。

AI虛擬合成節(jié)目生產(chǎn)系統(tǒng)，將實現(xiàn)主播聲音定制、文稿虛擬聲音實時合成、節(jié)目自動生成等基本功能。業(yè)務流程如下：

融媒生產(chǎn)系統(tǒng)：為AI智能播出提供成品稿件，作為內容的來源。

聲音定制：錄制和采集主持人聲音特征，語料包經(jīng)神經(jīng)網(wǎng)絡深度學習訓練，模擬主持人的音色，生成自然流暢的個性化定制語音庫。

AI節(jié)目虛擬合成：文字資訊內容調用定制聲音，自動生成節(jié)目文件，存儲到融媒體數(shù)據(jù)中臺，供頻率調用。

個性化語音庫：管理已經(jīng)制作好的語音，支持對語音進行修復，支持通過API被其他系統(tǒng)調用語音播出能力。如在直播互動系統(tǒng)中，調用該語音庫，根據(jù)預設文本內容生成不同風格的互動的語音，供主持人靈活使用。

內容管理：管理已合成的內容，支持對內容查詢、重新合成、修改和刪除。

3.2.3.6 AI虛擬電臺

虛擬電臺可以實現(xiàn)由AI主播自動生產(chǎn)節(jié)目內容產(chǎn)品，從節(jié)目庫自動編排節(jié)目，云端自動播出，給不同融媒體平臺分類提供各種創(chuàng)新內容產(chǎn)品，如圖7所示。

圖7 AI虛擬電臺模式圖

AI虛擬電臺可以開辦眾多的音樂文藝節(jié)目、企業(yè)合辦節(jié)目、咨詢專業(yè)節(jié)目、商業(yè)定制節(jié)目等類型化、細分化、窄播類電臺產(chǎn)品，自動編排自動播出，高效率低投入，探索新的商業(yè)模式。

AI虛擬電臺采用全流程化閉環(huán)控制，自動采集云端播出的用戶訪問數(shù)，根據(jù)不同時間段的用戶訪問數(shù)調整編排策略，不斷猜測用戶喜好，實現(xiàn)精準的內容播放。

3.2.3.7 AI顧問

依托AI引擎提供AI自動咨詢服務，對天氣、路況、股票、體育、政策等內容以人工智能機器人方式提供服務。傳統(tǒng)媒體時代，廣播的主要功能是傳播聲音信息。而在互聯(lián)網(wǎng)融媒時代，媒體的職能需要向信息樞紐和服務中心轉變，憑借自身作為主流媒體的公信力和信息獲取能力，為廣大用戶提供實實在在、準確無誤的資訊咨詢服務。因此，依托AI智能引擎，以人工智能機器人方式提供信息咨詢服務[6]，對于主流媒體來說應用前景廣闊。

目前，國內已有媒體開展一些垂直的服務，如健康類節(jié)目，以“微信群+AI”方式開展健康咨詢。因此，本項目將在這方面做一些嘗試，與業(yè)務部門或團隊配合，進行深入的商業(yè)轉化試水。

4 結語

當前，媒體的融媒體系統(tǒng)建設更加注重運營效果，更加依靠云計算、人工智能、大數(shù)據(jù)等新技術提高生產(chǎn)效率、提高精準觸達用戶的能力，更加注重用戶及數(shù)據(jù)的積累和分析，更加考慮運營效果以及盈利模式。系統(tǒng)的設計思路應緊跟融媒業(yè)務和新技術的發(fā)展趨勢，來最終提升廣播融媒體生產(chǎn)能力。