基于AI 技術的媒資系統智能處理中心

尚健廷，于紅雪，尹建新，汪 帥

（中國電子科技集團公司第三研究所，北京 100016）

1 媒資系統現狀

當前，在媒體融合發展的大背景下，媒體內容不斷豐富，節目形式多種多樣，節目資料包括大量的文字、圖片、圖像、聲音等各種形式的信息。同時，隨著云計算、超高清、人工智能（Artificial Intelligence，AI）、大數據等技術的快速發展，傳統媒資管理系統已無法支撐當前及未來的大數據量、多媒體類型、4K/8K 超高清等新業務形態的需求[1]。

為適應媒體生產業務發展需要，依托人工智能、云計算等新興技術，為傳統媒體資產管理系統搭建一個智能處理中心，構建一個面向媒體融合、超高清業務的全新型智能媒體資產管理系統，進一步拓展媒體資料數據的匯聚、開放、共享能力，就顯得尤為迫切與重要。

2 構建智能處理中心賦能傳統媒資系統整體思路

針對媒資系統現狀，面對未來發展需求，本文提出為傳統媒資管理系統構建智能處理中心，賦能傳統媒資系統。整體思路是：為傳統媒資管理系統搭建智能處理中心，提供人臉識別、語音識別、物體識別、OCR 識別、場景識別、圖像增強以及語義理解等智能能力，并將其封裝為多模態內容分析、跨模態智能檢索、智能編目及智能審核等智能應用服務，為整個媒資業務網絡提供智能服務支撐，提升媒資生產及業務流轉效率[2]。

2.1 智能處理中心系統架構設計

構建智能處理中心賦能傳統媒資系統，既要考慮現有智能技術的適配能力，又要考慮傳統媒資系統的實際業務情況，進而做到智能技術與媒資業務的有效融合[3]。在設計功能架構時，需綜合考慮以上因素，以形成一個成熟、穩定、實用的智能處理中心。本文設計的智能處理中心功能架構如圖1 所示。

圖1 智能處理中心功能架構設計

智能處理中心整體上分為基礎層、數據層、能力層、應用層及運營層。

基礎層為智能處理中心的運行提供基礎環境，主要包括網絡服務器、網絡存儲及網絡交換等設備。這些資源既可以由公有云提供，也可以由私有云提供。需要注意的是，考慮到媒資系統中有大量的視音頻內容，基礎環境中需要配置高性能圖形處理器（Graphics Processing Unit，GPU）運算節點，為智能處理中心能力層提供圖形圖像高性能算力支撐。

數據層為智能處理中心提供豐富的媒體支撐服務，是智能處理中心的數據倉庫，包括視、音、圖、文等不同形態的數據，以及元數據信息、標簽數據等，可為智能處理中心能力層提供媒體數據處理分析對象支撐服務，同時也為應用層提供編目、檢索、下載等媒體業務數據支撐服務。

能力層是智能處理中心數據處理的核心層，包括現有較為成熟的人臉識別、語音識別、圖像識別、OCR 識別、圖像增強等具體的AI 技術能力。通過對這些具體的AI 技術能力有針對性的訓練與封裝，形成具有專業方向特點的能力引擎，如視頻處理與分析引擎、圖片處理與分析引擎、文字處理與分析引擎以及多模態內容處理與分析引擎等，便于對媒資庫中的視、音、圖、文等不同類型的數據進行智能化處理與分析，輸出更精細、更準確的數據，供媒資業務系統調用[4]。

智能處理中心的應用層直接面向用戶提供編目、檢索、下載等服務，建立在能力層之上，通過配置、調用能力層不同的服務引擎，實現語音檢索、跨模態檢索、智能編目及智能審核等智能化業務應用。

運營層作為智能處理中心的后臺管理系統，為用戶提供統一門戶展現、統一用戶登錄、任務調度管理及第三方接口對接等功能服務。通過運營層，智能處理中心可以與第三方媒資系統有效整合，實現智能處理中心與第三方媒資系統的整體、高效運營管理。

2.2 智能處理中心工作模式

傳統媒資系統在內容處理、編目、審核、檢索等業務流程中可直接調用智能處理中心的智能應用和能力服務。智能處理中心接收到調用信息，創建并下發智能任務，根據任務類型匹配相應的智能能力模塊或應用服務模塊，按需智能分配相應的算力資源進行智能化處理，并對其結果進行存儲、管理、應用，實現傳統媒資系統對系統內資源的跨模態智能檢索、智能編目、智能審核等多業務應用能力。

用戶可以清晰、直觀、實時地監控智能處理中心各項任務的運行狀態，并能對相關任務進行管理，如任務優先級調整、暫停、刪除等常規操作。同時，智能處理中心也可將任務處理消息、任務執行消息反饋至媒資系統。智能處理中心的信息流程如圖2 所示。

圖2 智能處理中心信息流程圖

媒資用戶終端可以在統一門戶界面直接上傳媒體文件進行智能處理，并將結果輸出到指定位置，同時提供糾錯、打分、評價等功能，結合系統業務統計數據，實現對智能服務和能力進行效能評估，為后續智能處理中心服務和能力的提升、優化提供數據依據。

2.3 媒資具體業務賦能應用場景

2.3.1 跨模態智能檢索

智能處理中心基于圖像特征、視頻特征、事件標注、OCR 識別、NLP 等AI 技術能力，對視頻、語音、文本、圖像等內容的多維理解，對媒體資源進行特征和結構化標簽提取，存儲在對應的庫中，實現對視頻、音頻、圖片、文字等多種類型數據的跨語種語義檢索，實現以圖搜圖、搜視頻等跨模態智能檢索功能，提升資源利用的精準度以及用戶檢索的體驗感[5]。跨模態智能檢索示意如圖3 所示，主要包括以視頻搜、以音頻搜、以圖搜及以文搜4 種檢索方式。

圖3 跨模態檢索示意圖

（1）以視頻搜。輸入視頻，快速查詢其所屬哪個節目內容或媒資素材，以及出現的時間片段；同時可搜索與視頻中的人物、場景等元素相關的媒資。

（2）以音頻搜。輸入音頻，根據音頻的聲學特征，搜索其所在的視頻和音頻。

（3）以圖搜。輸入圖像，快速查詢其所屬媒資內容以及出現的時間點，幫助用戶更便捷地搜索感興趣的媒資內容；同時可搜索與圖片中的人物、場景等元素相關的媒資。

（4）以文搜。輸入人物、地點、場景等關鍵詞，快速找出相關的視頻、圖片、音頻等內容。

2.3.2 智能編目

智能處理中心遵循國家音像資料編目原則，基于多模態內容分析，為媒體內容提供智能編目功能，對媒資內容中的視頻畫面、語音和文字等信息進行分析推理，輸出題名、內容摘要、關鍵詞等編目信息，方便后續業務使用及系統數據管理。

通過人臉識別和OCR 識別，智能處理中心對所管理的視音頻、圖片類資源進行自動化預處理，自動標識關鍵人物、敏感人物信息，提取畫面中的字幕、標題、彈幕等文字內容的關鍵詞，自動形成部分編目信息；通過語音識別，實現對普通話連續語音的文字轉寫，自動提取出關鍵詞、內容簡介、分類等信息，自動完善資源編目信息，減少人工編目工作的投入。智能編目標注流程如圖4 所示。

圖4 智能編目標注流程圖

基于對視頻、語音及圖像的綜合分析理解，智能處理中心還可精細化識別視頻、圖片等媒體內容中出現的物體和場景，形成物體分類和場景分類標簽，更好地支撐編目、檢索等基礎應用服務。

2.3.3 智能審核

內容審核是對具體的媒體內容進行審核。針對內容審核環節單純依靠人工審核存在的效率低、質量差、成本高的痛點，可將內容審核分為人工觀看判斷和智能審核兩部分。

智能審核主要是對敏感信息審核，基于視覺AI技術，通過機器學習結合深度學習，為用戶提供針對音視頻、圖片、文本的內容審核能力，主要涉及涉政、色情、暴恐、違禁等審核場景，提高音視頻內容審核的效率，降低人工審核漏審風險，縮減平臺的人力成本，助力媒體行業進行產業升級，賦能媒體行業的內容審核環節，保障內容傳播的監管，杜絕違規內容，減少低質內容。智能審核服務流程如圖5 所示。

圖5 智能審核服務流程圖

3 結 語

本文基于AI 技術，構建智能處理中心，賦能傳統媒資系統。該設計可將傳統媒資系統依靠人力編目生成元數據、手動進行素材初始化的功能模式，轉變為系統智能化、自動化完成，全方位提升媒資系統在內容處理、編目、審核以及檢索等環節的業務能力。該設計遵循實效原則，充分進行組件和資源利舊，在保障用戶現有媒資系統平穩運行的前提下，通過部署智能化音視頻處理引擎及可視化操作界面，同時為相關聯系統提供標準接口對接能力，實現系統間業務對接，為整個媒體業務網絡提供智能服務支撐。