廣播電視節目內容智能審核系統設計與實現

肖建波，唐思騰

（貴州廣播電視臺，貴州 貴陽 550002）

0 引言

隨著互聯網的快速發展，媒體內容不斷豐富，節目內容涉及政治、經濟、科技及娛樂等各個領域，內容安全要求越來越嚴格。在媒體深度融合的背景下，節目形式多種多樣，僅僅依靠原有的人工審核方式，容易造成審核不及時、漏審等問題，給媒體內容安全帶來極大隱患。以人工智能（Artificial Intelligence，AI）為基礎，對視頻的內容進行自動化理解、給出內容結果并自動進行審核的系統是大勢所趨[1]。通過人工智能對視頻、音頻、圖片及文字進行全面合規性審核，能夠降低90%的人工成本[2]。目前，各大媒體機構都在建設內容智能審核系統，比如將人工智能技術引進出版行業，為數字出版作品把好質量關，推動數字出版事業轉型升級，實現高質量發展[3]，如黑龍江省敏感人物監測系統的實際應用[4]，國家廣播電視總局廣播電視規劃院研制的內容安全云審核系統[5]等。

為提高媒體內容安全把控能力，貴州廣播電視臺結合國家“十四五”規劃對于智慧廣電、智慧化監管的相關要求，技術團隊充分運用大數據、人工智能及云技術等建設了智能監管體系和制播管理體系，在內容安全審核把控上，自主研發建設了廣播電視節目內容智能審核系統，已經在節目生產中發揮了重要作用，更好地輔助了節目人員把好內容關口、守好輿論陣地，有效地提升了貴州廣播電視臺節目內容生產的安全保障水平，達到了預期效果。本文主要介紹基于AI 智能識別技術的廣播電視節目內容智能審核系統的設計及實現。

1 系統總體設計

1.1 設計目標及原則

貴州廣播電視臺的廣播電視節目內容智能審核系統基于以下目標及原則進行設計：

（1）建立廣播電視節目文件自動送審與審核信息反饋機制；

（2）以AI 本地審核引擎為基礎，建立節目內容審核信息管理和全頻道審核監控；

（3）節目內容審核全流程自動化；

（4）松耦合設計，內容審核不影響現有廣播電視安全播出系統；

（5）統一規劃，整體設計，對外提供審核通道；

（6）具備較高的可靠性和安全性，充分考慮完善的應急方案，緊急故障情況下的應急手段和快速恢復能力；

（7）系統功能齊全、結構清晰、擴展靈活，能夠滿足按需增長的要求。

1.2 總體設計

貴州廣播電視臺廣播電視節目內容智能審核系統總體設計如圖1 所示，主要由AI 審核系統、AI 引擎部分、審核數據以及廣播電視業務系統4 個部分構成。

圖1 廣播電視節目內容智能審核系統總體設計圖

AI 審核系統包括任務調度、圖片審核、視音頻審核、調度管理、統計分析及權限管理等功能，通過統一入口、統一認證的方式自動調用AI 引擎，通過任務調度合理分配AI 引擎資源進行圖片審核和視音頻審核，針對不同的頻道，在調度管理中可以設置不同優先級，最后反饋審核結果并對審核結果進行統計分析。各功能模塊的工作流程如下。

（1）任務調度負責根據調度規則向AI 引擎發起審核。調度規則為根據廣播電視的節目單數據，拆分成單條節目，根據單條節目id 查詢視頻數據。如果找到視頻則將視頻名字及視頻信息則進行拼接，并向AI 引擎發起Web 請求，然后將審核結果進程存儲；否則，將該條節目審核標注為視頻未上載后存儲在臨時表中，重新開啟任務定時檢測該臨時表。

（2）圖片審核及視音頻審核負責發起視頻和圖片審核，將視頻審核結果與節目單進行關聯后響應用戶請求。

（3）調度管理負責任務調度管理，根據節目頻道屬性進行優先級設置。衛視頻道、公共頻道等重要頻道的節目優先級較其他頻道優先級高。重點時段、重要節目的審核任務優先級最高。

（4）統計分析主要負責大屏顯示，根據不同權限展示該權限范圍內節目近7 天的審核情況，對審核結果進行分類呈現，包括“AI 審核中”“AI 審核通過”“AI 審核不通過”“AI 審核失敗”“未上載”“人工審核通過”“人工審核不通過”“人工審核失敗”等類別。其中，“AI 審核中”表示該視頻正在審核中，“AI 審核通過”表示AI 引擎未審核出敏感信息，“AI審核不通過”表示AI 引擎審核出了敏感信息，需要人工確認；“AI 審核失敗”表示AI 引擎或者AI 審核系統出現故障或者視頻本身出現故障，“未上載”表示AI 審核系統未搜索到該視頻，“人工審核通過”表示人工已經審核并確認無誤，“人工審核不通過”表示人工已經審核并發現節目內容存在不能播的敏感信息，“人工審核失敗”表示系統人工審核故障。

（5）權限管理主要負責用戶角色配置管理，支持用戶導入導出、創建、修改及刪除，能夠進行角色權限分配。每個電視播出頻道單獨設置權限，該頻道節目人員不能查看其他頻道內容信息。

AI 引擎是整個系統的核心部分，通過對視音頻及圖片進行抽幀比對，提供基本的審核功能，具體包括以下功能：

（1）具有圖像審核、文本審核、語音審核、短視頻審核及長視頻審核等審核類別；

（2）支持定義敏感信息庫，包括人臉庫和敏感詞庫，將一些落馬官員、劣跡藝人、分裂暴恐人物等各類敏感人物的信息入人臉庫，敏感詞匯收入敏感詞庫，支持定期更新；

（3）具備易用性較高的自定義庫設置功能，可上傳、編輯自定義人臉；支持自定義人臉的添加、修改及刪除；自定義人臉在審核中實時生效，支持自定義人臉庫的導出、備份及恢復；

（3）支持智能識別視頻、圖片中的敏感人物，并精確定位到視頻幀，點擊可將視頻定位到該時段播放；

（4）支持應用程序編程接口（Application Programming Interface，API）、Web 管理頁控制管理、結果查詢，支持標準化API 接口；API 接口具備完善功能，可控制審核流程、審核模塊、優先級、任務配置、自定義庫、人臉翻庫以及多維度查詢結果等。

審核數據包括了廣播電視的視頻和節目單數據。視頻數據為待播視頻，節目單數據為播出預播單。

廣播電視業務系統負責電視全部頻道的電視安全播出，在播前環節，將視頻數據通過轉碼系統進行轉碼后，通過擺渡系統將轉碼后的視頻傳輸到審核系統中，在廣播電視業務設計中詳細介紹。

1.3 系統主要特點

廣播電視節目內容智能審核系統具有以下特點。

（1）建立了全臺統一的節目文件自動傳輸及審核查看機制，實現了全臺全頻道待播節目內容審核的集中管理。

（2）采用自動審核機制，自動同步節目編排環節的節目單，自動同步視頻文件，自動根據節目單發起審核。系統實時檢測用戶編單保存的文件夾，當有新節目單時同步，系統檢測到新節目單時，做去重處理后，發起AI 審核。

（3）采用松耦合設計，實現了在網絡隔離下視頻的內容審核和查看。根據相關要求，傳統電視播出系統需要物理隔離，但傳統的審核流程很難再次開發。為了滿足時效性及對外開放的要求，AI 審核系統以旁路的方式工作，審核流程及審核結果不影響傳統電視播出流程。

（4）設計重播重審機制，廣播電視要求所有節目重播重審核，為了提高審核效率，設計了敏感信息庫不更新則重播視頻不重審、人臉庫更新則全部視頻重審的重審機制。

（5）采用不同優先級的審核機制，根據不同頻道、不同時段自動設置審核優先級，保證重點頻道、重要節目的視頻能夠及時返回審核結果。

（6）采用轉碼后進行視頻傳輸的方式，廣播電視視頻都是50 Mb·s-1的高碼率視頻文件，通過串口方式在不同網絡間傳輸速度很慢，系統在兼顧AI審核引擎抽幀下降低視頻碼率，提高了傳輸效率。

（7）采用分頻道設置不同權限，各頻道只能查看自己頻道的節目內容，并且對節目進行視頻審核也不會影響其他頻道，保證了安全性和責任明確。

（8）將AI 審核系統置于互聯網環境中，與廣播電視業務網絡隔離。在滿足廣播電視業務的同時，能夠對外提供審核服務。

2 廣播電視業務設計

廣播電視業務系統內容審核需要考慮以下3 個方面問題。

（1）系統是一個未接入其他網絡的獨立系統，采用擺渡系統進行視頻傳輸，由于廣播電視視頻是50 Mb·s-1高碼素材，傳輸時間長，容易造成擁堵且效率低。

（2）視頻審核沒有規律，不便于節目人員審核。生成節目單后，需要確認已經提交的節目單里面的內容是否全部通過審核。

（3）每天24 h 播放，有部分重播素材，若全部重播重審，會造成大量資源浪費，因此需要考慮重播重審核機制。

綜合考慮，兼顧效率和安全，設計的廣播電視業務流程如圖2 所示。

圖2 廣播電視業務流程

播出系統分為節目單編排部分和視頻處理部分，頻道節目人員每天生成節目單后，需要提交到最終播出。系統會實時監聽節目單文件夾，在提交到播出前，如果有新增節目，自動同步軟件會將新增節目單同步到擺渡系統。自動同步軟件只同步lis 格式的節目單文件。在視頻處理部分，當存儲區域有新增視頻，轉碼軟件會對新增視頻進行自動轉碼。轉碼采用集群的方式，管理4 個轉碼子節點。有新任務時，將轉碼任務分配給空閑轉碼節點，轉碼成功后同步到存儲區。在視頻轉碼部分，重播素材不會重新轉碼，即只有新增素材才會轉碼。

擺渡系統采用PCI-E 串口方式進行文件傳輸，具有內嵌殺毒引擎、深度文件檢測以及MD5 數字校驗等安全功能。擺渡系統包括主機和從機，當配置目錄有新增文件，會自動同步到另一臺主機上。播控系統和審核系統分別將存儲掛載到擺渡系統上，實現播出系統到審核系統的文件傳輸。

審核系統根據節目單和視頻，向AI 引擎發起審核并處理審核結果。當檢測到新節目單，會發起審核流程，為了便于節目人員查看審核結果，在反饋結果上將節目單、視頻及審核結果進行關聯呈現。審核系統處理重播重審核素材時，先查詢AI 引擎人臉庫更新情況，只有在人臉庫更新且重審素材時間在人臉審核時間點之前，審核系統才發起審核，否則會查詢已有的審核結果，不會重新發起審核。

廣播電視節目內容智能審核系統關鍵設計在于：根據節目單發起審核并根據節目單查看審核結果；對于重播素材不是簡單的全部審核，而是充分考慮了人臉庫更新時間。

3 結語

2022 年，廣播電視節目內容智能審核系統已在貴州廣播電視臺正式投入使用，實現了貴州廣播電視臺全部電視頻道節目內容的智能審核，輔助節目工作人員提高了人工復審效率。該系統能夠在復雜網絡環境下進行內容智能審核，為廣電行業提供了全程自動化、節目內容智能化審核的實際案例，具有十分深遠的意義。