融媒體中心智能媒資建設(shè)

萬(wàn)振華，王吉鋒

（余姚市融媒體中心，浙江 余姚 315400）

0 引 言

余姚市融媒體平臺(tái)項(xiàng)目以媒體互聯(lián)網(wǎng)生產(chǎn)為全新理念，基于云原生技術(shù)架構(gòu)，采用先進(jìn)的云計(jì)算技術(shù)、大數(shù)據(jù)技術(shù)、人工智能（Artificial Intelligence，AI）技術(shù)以及視音頻技術(shù)，實(shí)現(xiàn)高效的策、采、編、審、發(fā)、饋、評(píng)融媒全業(yè)務(wù)流程。其中，智能媒資建設(shè)作為該項(xiàng)目的重點(diǎn)部分，采用多種AI技術(shù)實(shí)現(xiàn)傳統(tǒng)媒資業(yè)務(wù)。本文就余姚市融媒體平臺(tái)建設(shè)中的智能媒資部分進(jìn)行詳細(xì)說明。

1 智能媒資建設(shè)

本次搭建的融媒體云平臺(tái)智能媒資子系統(tǒng)要求提供全臺(tái)素材歸檔、媒資編目、內(nèi)容檢索、內(nèi)容上傳、內(nèi)容審核以及出庫(kù)下載等功能[1]。項(xiàng)目建設(shè)過程中，為確保安全，要求在辦公網(wǎng)環(huán)境下，媒資界面只允許進(jìn)行相關(guān)瀏覽、檢索等操作，對(duì)上傳/下載進(jìn)行相關(guān)權(quán)限管理、控制。

智能媒資的總體架構(gòu)如圖1所示。本項(xiàng)目搭建的智能媒資系統(tǒng)基于余姚融媒體中心搭建的智能AI平臺(tái)。智能AI平臺(tái)是由云原生架構(gòu)構(gòu)建的智能服務(wù)二次開發(fā)平臺(tái)，為智能媒資的多種智能化媒體應(yīng)用快速提供智能算法服務(wù)和場(chǎng)景化應(yīng)用模板[2]。

圖1 智能媒資總體架構(gòu)圖

為支持視音頻智能分析，智能AI平臺(tái)在基礎(chǔ)硬件方面，針對(duì)深度學(xué)習(xí)用到的主流硬件進(jìn)行了支持，涵蓋了中央處理器（Central Processing Unit，CPU），圖 形 處 理 器（Graphics Processing Unit，GPU）等；在基礎(chǔ)軟件方面，支持深度學(xué)習(xí)的主流框架，如Tensorflow，Pytorch；在算法模型方面，圍繞著算法模型如何管好、用好的問題，平臺(tái)在Linux操作系統(tǒng)之上，采用了Docker及Nvidia-docker的容器化技術(shù)，對(duì)算法模型進(jìn)行了隔離使用，避免了多種模型依賴不同版本程序包（如Python，CUDA）的沖突，并且建立算法模型資源消耗屬性及注冊(cè)機(jī)制，方便平臺(tái)針對(duì)模型進(jìn)行統(tǒng)一調(diào)配管理；在媒體高效處理方面，對(duì)于經(jīng)常出現(xiàn)的單個(gè)文件多種分析的情況，構(gòu)建了高效的分布式內(nèi)存共享技術(shù)，支持一次解碼多次分析，節(jié)省了CPU及IO資源，提高了平臺(tái)整體的吞吐量和分析效率[3]。

在智能AI平臺(tái)部署方面，智能AI平臺(tái)的底層是物理機(jī)、虛擬機(jī)及云端資源；通過Kubernetes和Ray調(diào)度，管理底層資源，由Ficus PI（數(shù)據(jù)管理模塊）進(jìn)行數(shù)據(jù)驅(qū)動(dòng)；集群和單機(jī)兩種部署模式對(duì)原子能力實(shí)現(xiàn)協(xié)同部署。同時(shí)，AI平臺(tái)擁有豐富的原子能力和智能場(chǎng)景模板，并支持AI能力及模板的插件化擴(kuò)展，對(duì)外統(tǒng)一提供任務(wù)接口。

在智能AI平臺(tái)能力支持方面，考慮到在媒資管理等真實(shí)的業(yè)務(wù)場(chǎng)景應(yīng)用中通常是多種AI原子能力組合協(xié)同完成的，原子能力雖本身可以在多類場(chǎng)景中進(jìn)行復(fù)用，但處理流程以及數(shù)據(jù)融合處理的方法各不相同，需要智能場(chǎng)景模板既能夠復(fù)用現(xiàn)有的眾多AI原子能力，又要保證流程的靈活，且可方便自定義。

2 智能媒資功能

本項(xiàng)目打造的媒資系統(tǒng)軟件的核心業(yè)務(wù)功能全部采用瀏覽器/服務(wù)器（Browser/Server，B/S）結(jié)構(gòu)實(shí)現(xiàn)，通過瀏覽器即可實(shí)現(xiàn)常規(guī)操作，為素材管理要求提供內(nèi)容支撐，實(shí)現(xiàn)數(shù)字資源導(dǎo)入、編目、管理、檢索及導(dǎo)出等操作。以下將重點(diǎn)說明余姚市融媒體中心智能媒資系統(tǒng)的功能模塊。

2.1 檢索門戶

智能媒資系統(tǒng)檢索門戶，是整個(gè)智能媒資系統(tǒng)的主要呈現(xiàn)頁(yè)面，作為用戶使用的主要業(yè)務(wù)功能入口，承擔(dān)數(shù)據(jù)查詢、數(shù)據(jù)展示及信息呈現(xiàn)等關(guān)鍵性的作用。作為與用戶交互的直接界面，本項(xiàng)目設(shè)計(jì)的媒資檢索門戶提供便捷的B/S檢索，隨處可用Chrome瀏覽器登錄訪問。利用AI智能平臺(tái)提供的原子能力，可將系統(tǒng)后臺(tái)智能分類、聚類的專輯或主題，自動(dòng)呈現(xiàn)到檢索門戶中，同時(shí)也提供獨(dú)立的專輯和主題的檢索應(yīng)用，更加有利于提高檢索效率，增加資料的利用率[4]。

媒體資產(chǎn)管理系統(tǒng)支持全文檢索、二次檢索、按字段高級(jí)檢索及條件過濾等多種檢索方式，且不同權(quán)限用戶在檢索結(jié)果頁(yè)面對(duì)素材的操作權(quán)限不同，支持檢索結(jié)果不同的排序方式和呈現(xiàn)形式。

2.2 智能編目

智能編目模塊采用人工編目與智能編目結(jié)合的方式，通過編目工具完成媒資入庫(kù)過程中的人工標(biāo)引、著錄等任務(wù)。智能編目功能可調(diào)用AI能力服務(wù)，將視音頻、音頻及圖片等內(nèi)容數(shù)據(jù)通過適合的AI能力服務(wù)，形成適當(dāng)?shù)臋C(jī)器標(biāo)簽。再通過數(shù)據(jù)篩選、分析等方式對(duì)標(biāo)簽內(nèi)容進(jìn)行清洗和處理，最終生成面向檢索發(fā)布的業(yè)務(wù)標(biāo)簽體系。智能編目的本質(zhì)是在標(biāo)簽體系的基礎(chǔ)上對(duì)媒資進(jìn)行自動(dòng)分類，但需注意，編目仍需要符合廣電4層級(jí)編目的基礎(chǔ)標(biāo)準(zhǔn)[5]。

智能編目的具體功能包括智能標(biāo)簽、資源編目、內(nèi)容表音及編目審校4部分。

智能標(biāo)簽利用AI引擎，調(diào)用系統(tǒng)后臺(tái)的AI服務(wù)能力、數(shù)據(jù)服務(wù)能力，將匯聚的視音頻素材采用智能識(shí)別技術(shù)，對(duì)視頻、音頻內(nèi)容進(jìn)行標(biāo)簽提取、語(yǔ)音文字轉(zhuǎn)寫及敏感人物識(shí)別等處理，最終生成結(jié)構(gòu)化的標(biāo)簽信息，同時(shí)過濾無用和重復(fù)標(biāo)簽，為人工編目提供輔助信息。標(biāo)簽包括人物、時(shí)間、地點(diǎn)、內(nèi)容、自動(dòng)摘要以及自動(dòng)分類等內(nèi)容。

資源編目支持對(duì)各專業(yè)分庫(kù)所有類型資源進(jìn)行編目（包括視頻、音頻、圖片及新媒體稿件等），通過Web頁(yè)面實(shí)現(xiàn)編目工作，支持四層廣電標(biāo)準(zhǔn)編目、新媒體編目、素材編目以及其他編目結(jié)構(gòu)等自定義編目字段。編目規(guī)范可自定義，同時(shí)符合融媒體中心內(nèi)部編目規(guī)則。智能編目還支持根據(jù)業(yè)務(wù)需要自定義編目類、編目屬性、分類及編目界面，并支持編目流程自定義，可根據(jù)業(yè)務(wù)需要由媒資專業(yè)人員進(jìn)行配置，實(shí)現(xiàn)一編多審的效果。

內(nèi)容標(biāo)引結(jié)合了自動(dòng)化編目+人工校正的能力，可以對(duì)program層級(jí)、story層級(jí)進(jìn)行編輯和修改，將program層級(jí)的整段節(jié)目自動(dòng)拆分為片頭、開場(chǎng)白以及每一個(gè)story層級(jí)的主題故事部分。

編目審校基于智能結(jié)構(gòu)化的結(jié)果，通過完善內(nèi)容的相關(guān)信息，減少傳統(tǒng)編目的人力和時(shí)間花費(fèi)。智能審校可直接在片段識(shí)別的基礎(chǔ)上進(jìn)行片段的拆分或者合并，同時(shí)，編目審校具備編目審核流程，可根據(jù)用戶的業(yè)務(wù)審核要求配置審核流程。

2.3 基礎(chǔ)功能

智能媒資的基礎(chǔ)功能包括高標(biāo)清內(nèi)容上載、高標(biāo)清音視頻質(zhì)量審核以及近線歸檔下載分發(fā)，與普通媒資管理系統(tǒng)類似。不同點(diǎn)在于視頻質(zhì)量審核環(huán)節(jié)。除常規(guī)技術(shù)審核外，智能審核模塊可調(diào)用AI媒體智能平臺(tái)的處理能力，對(duì)視頻畫面或者圖片中的涉黃、涉暴、涉政等信息進(jìn)行識(shí)別，可自動(dòng)標(biāo)注敏感人物并提醒審核人員。分析結(jié)果包含敏感信息的具體類型、出現(xiàn)在視頻中的片段信息、可信度及建議操作等信息。

該段素材攜帶的原始基本信息會(huì)進(jìn)行展示，如標(biāo)題、入庫(kù)者、入庫(kù)時(shí)間、首播時(shí)間、歸屬部門、所屬欄目及所屬頻道等。該段素材在入庫(kù)時(shí)，將調(diào)用AI大數(shù)據(jù)平臺(tái)的分析能力，通過相應(yīng)的分析，實(shí)現(xiàn)對(duì)涉政、廣告、技審分析結(jié)果的展示，將有問題的時(shí)間段進(jìn)行說明。

2.4 媒資管理

媒資管理部分負(fù)責(zé)對(duì)智能媒資系統(tǒng)的用戶、流程、策略、配置、數(shù)據(jù)、門戶、存儲(chǔ)、回收站以及第三方應(yīng)用進(jìn)行整體管理，保障智能媒資系統(tǒng)正常運(yùn)行。其中，用戶管理主要包括角色管理、權(quán)限管理及部門管理等分支功能，流程管理主要包括流程配置、任務(wù)流程管理及調(diào)度管理等分支功能，策略管理可對(duì)媒資的下載策略、下載審核策略、刪除策略、生命周期及歸檔策略等進(jìn)行配置；數(shù)據(jù)匯總支持對(duì)媒資業(yè)務(wù)進(jìn)行多維度、實(shí)時(shí)的數(shù)據(jù)監(jiān)控和統(tǒng)計(jì)分析，用戶可根據(jù)業(yè)務(wù)需求自由組合統(tǒng)計(jì)表或統(tǒng)計(jì)條件，數(shù)據(jù)匯總模塊可面向上層應(yīng)用提供技術(shù)服務(wù)支撐實(shí)現(xiàn)對(duì)資源、業(yè)務(wù)數(shù)據(jù)及人員工作量情況等信息的統(tǒng)計(jì)，提供無限用戶數(shù)的統(tǒng)計(jì)服務(wù)授權(quán)；門戶管理可對(duì)門戶展示模塊進(jìn)行配置，支持對(duì)專業(yè)庫(kù)的配置管理，包括專業(yè)庫(kù)對(duì)應(yīng)的門戶模塊、編目配置及歸檔策略等；存儲(chǔ)管理支持對(duì)存儲(chǔ)空間、存儲(chǔ)方式的配置管理，對(duì)媒資系統(tǒng)的存儲(chǔ)進(jìn)行統(tǒng)一管理和邏輯劃分，并對(duì)劃分的存儲(chǔ)資源池進(jìn)行管理；回收站管理支持用戶對(duì)自己權(quán)限范圍內(nèi)的媒體資料進(jìn)行刪除，通過媒資管理中心的回收站，可查看刪除媒體資料列表并確認(rèn)對(duì)媒體資料是從回收站刪除還是恢復(fù)，防止誤操作；第三方應(yīng)用管理支持對(duì)媒資系統(tǒng)中接入的第三方應(yīng)用的配置，可進(jìn)行啟停操作，并對(duì)創(chuàng)建的新應(yīng)用進(jìn)行授權(quán)信息設(shè)置、工具應(yīng)用授權(quán)設(shè)置以及應(yīng)用擴(kuò)展性設(shè)置等。

3 硬件部署

智能媒資系統(tǒng)作為余姚市融媒體平臺(tái)的一部分，底層采用了2套新華三萬(wàn)兆交換機(jī)+4套新華三千兆交換機(jī)搭建基礎(chǔ)網(wǎng)絡(luò)環(huán)境，采用3套HPE DL380 Gen10 19寸2U機(jī)架式服務(wù)器構(gòu)建智能媒資平臺(tái)基礎(chǔ)功能集群，采用2臺(tái)HP Z4G4專業(yè)圖形工作站用于智能媒資系統(tǒng)的上載、審查、下載、超高清素材上下變換等功能，采用1臺(tái)HPE DL380 Gen10 19寸2U機(jī)架式服務(wù)器用于媒資歸檔服務(wù)，采用索尼L30M藍(lán)光盤庫(kù)搭配索尼PDW-U4專業(yè)藍(lán)光驅(qū)動(dòng)器以及索尼PFD100TLA專業(yè)藍(lán)光盤驅(qū)動(dòng)建設(shè)媒資存儲(chǔ)介質(zhì)，采用2套HPE DL380 Gen10 19寸4U機(jī)架式服務(wù)器用于支持智能AI平臺(tái)的視頻智能分析服務(wù)。

4 結(jié) 語(yǔ)

本文以余姚市融媒體中心智能媒資實(shí)際建設(shè)為例，分析說明項(xiàng)目建設(shè)過程中對(duì)于智能媒資系統(tǒng)的打造，結(jié)合業(yè)務(wù)流程分析AI原子能力帶來的應(yīng)用價(jià)值提升，對(duì)于我國(guó)融媒體建設(shè)過程中的場(chǎng)景化AI應(yīng)用的普及推廣有著一定參考價(jià)值。