智能媒資業(yè)務(wù)平臺(tái)的研究與建設(shè)

夏 暢

新華報(bào)業(yè)傳媒集團(tuán) 江蘇省 南京市 210092

引言

新華日?qǐng)?bào)自成立以來(lái)，珍貴有價(jià)值的音視頻內(nèi)容總量持續(xù)增多。因此，如何最大化的挖掘媒體資源內(nèi)在價(jià)值，為經(jīng)營(yíng)及采編部門(mén)提供高質(zhì)量服務(wù)，深度研究AI智能新技術(shù)在媒體資源系統(tǒng)中的應(yīng)用，是目前亟需解決的問(wèn)題。

近年來(lái)，隨著新媒體的發(fā)展，音視頻等非結(jié)構(gòu)化數(shù)據(jù)量突增，傳統(tǒng)媒資編目技術(shù)已經(jīng)?無(wú)法滿足現(xiàn)階段需求。通過(guò)引入大數(shù)據(jù)及AI智能技術(shù)，全面匯聚集團(tuán)媒體資源，解決海量音視頻、圖片等資源的長(zhǎng)期保存管理問(wèn)題，集團(tuán)以智能數(shù)據(jù)中臺(tái)為基礎(chǔ)，媒資管理平臺(tái)為核心，建設(shè)新一代智能媒資業(yè)務(wù)平臺(tái)。

1 系統(tǒng)總體架構(gòu)

智能媒資業(yè)務(wù)平臺(tái)采用對(duì)象存儲(chǔ)+軟件平臺(tái)的方式搭建，分為基礎(chǔ)設(shè)施層、資源服務(wù)層、應(yīng)用層。其中，基礎(chǔ)設(shè)施層采用虛擬服務(wù)器+對(duì)象存儲(chǔ)+核心數(shù)據(jù)庫(kù)搭建，智能數(shù)據(jù)中臺(tái)和媒資管理平臺(tái)部署在新華報(bào)業(yè)集團(tuán)內(nèi)部私有云平臺(tái)上，海量音視頻等非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)在對(duì)象存儲(chǔ)中。資源服務(wù)層包含媒資服務(wù)、公共服務(wù)、快速加工服務(wù)三大模塊。最上層為應(yīng)用層，提供多種資源入庫(kù)、篩選整理、資源管理、資源調(diào)用、資源處理以及資源交換等業(yè)務(wù)應(yīng)用模塊。圖1為系統(tǒng)總體架構(gòu)圖。

圖1 系統(tǒng)總體架構(gòu)圖

平臺(tái)整體采用服務(wù)分層架構(gòu)，保證了系統(tǒng)訪問(wèn)的可靠性與安全性，避免了內(nèi)部核心服務(wù)對(duì)外直接暴露從而帶來(lái)的安全隱患。用戶訪問(wèn)使用應(yīng)用層，由應(yīng)用層對(duì)內(nèi)訪問(wèn)調(diào)用資源服務(wù)層，再由資源服務(wù)層最終訪問(wèn)數(shù)據(jù)庫(kù)、基礎(chǔ)計(jì)算資源與對(duì)象存儲(chǔ)等，由此實(shí)現(xiàn)智能媒資業(yè)務(wù)平臺(tái)的鏈路訪問(wèn)安全與數(shù)據(jù)訪問(wèn)安全。

平臺(tái)設(shè)計(jì)使用微服務(wù)體系，充分對(duì)模塊間、服務(wù)間關(guān)聯(lián)關(guān)系解耦合，保證了系統(tǒng)的高吞吐性、高安全性，根據(jù)業(yè)務(wù)負(fù)載情況按需動(dòng)態(tài)靈活擴(kuò)展某些服務(wù)的彈性伸縮機(jī)制，整體設(shè)計(jì)特點(diǎn)如下：

微服務(wù)架構(gòu)讓持續(xù)部署成為可能，大大減少應(yīng)用交付周期。

單個(gè)服務(wù)可以各自進(jìn)行擴(kuò)展，且可根據(jù)需要部署到合適的基礎(chǔ)資源上，彈性更靈活、資源利用更高效。

業(yè)務(wù)創(chuàng)新便捷，可根據(jù)需求獨(dú)立修改單個(gè)服務(wù)滿足創(chuàng)新需求，避免應(yīng)用整體改動(dòng)帶來(lái)的復(fù)雜性。

高可靠性與容錯(cuò)性，單個(gè)服務(wù)的故障并不會(huì)讓整個(gè)系統(tǒng)癱瘓，容錯(cuò)機(jī)制能夠保障可用服務(wù)的正常運(yùn)行。

智能媒資平臺(tái)在軟件架構(gòu)上也同時(shí)采用了服務(wù)分層架構(gòu)，保證了系統(tǒng)訪問(wèn)的可靠性與安全性，避免了內(nèi)部核心服務(wù)對(duì)外直接暴露而帶來(lái)的安全隱患。用戶訪問(wèn)使用的是應(yīng)用層，由應(yīng)用層對(duì)內(nèi)訪問(wèn)調(diào)用核心服務(wù)層，再由核心服務(wù)層最終訪問(wèn)數(shù)據(jù)庫(kù)、基礎(chǔ)計(jì)算資源等，由此實(shí)現(xiàn)媒資業(yè)務(wù)平臺(tái)的鏈路訪問(wèn)安全與數(shù)據(jù)訪問(wèn)安全。

2 核心功能建設(shè)

2.1 智能數(shù)據(jù)中臺(tái)

智能數(shù)據(jù)中臺(tái)，為上層業(yè)務(wù)應(yīng)用提供統(tǒng)一的人工智能能力，包含人臉識(shí)別、語(yǔ)音識(shí)別、OCR處理、語(yǔ)義分析等人工智能引擎，進(jìn)而提供多種新技術(shù)編目方式，并且能隨著技術(shù)的進(jìn)步不斷更新編目數(shù)據(jù)，不斷增加新型編目類型。

采用人工智能、對(duì)象存儲(chǔ)等技術(shù)，實(shí)現(xiàn)媒體資產(chǎn)從內(nèi)容匯聚到生產(chǎn)、審核、管理等全流程的智能處理，包括自動(dòng)編目、內(nèi)容分析匹配、自動(dòng)唱詞、自動(dòng)摘要、自動(dòng)標(biāo)簽、自動(dòng)水印、快速索引、校對(duì)審核、媒資百科、主動(dòng)推送、互聯(lián)網(wǎng)訪問(wèn)等新功能，提升內(nèi)容產(chǎn)生效率和實(shí)時(shí)度，為各類節(jié)目資料的分類管理提供自動(dòng)化技術(shù)手段。主要功能如下：

2.1.1 人工智能預(yù)處理

支持集成豐富的預(yù)處理組件，包括全格式文件支持、智能轉(zhuǎn)碼、音頻提取、圖片抽幀、關(guān)鍵幀提取等，根據(jù)不同類型的任務(wù)需要進(jìn)行智能化預(yù)處理。

2.1.2 語(yǔ)音識(shí)別

可將媒體包含的語(yǔ)音音頻自動(dòng)轉(zhuǎn)換為文本，同時(shí)可以查看語(yǔ)音識(shí)別結(jié)果的文本。支持具備把語(yǔ)音轉(zhuǎn)寫(xiě)為文字信息的語(yǔ)音識(shí)別功能。

2.1.3OCR識(shí)別

支持常用文件格式：包括但 不 限 于tiff、bmp、jpg、png等圖像格式和mp4、wmv、mxf、avi、flv等視頻格式。對(duì)常見(jiàn)中英文、標(biāo)點(diǎn)符號(hào)等文本內(nèi)容及楷體、宋體等多種常用字體均可識(shí)別。

2.1.4 文字校對(duì)

對(duì)重點(diǎn)詞、敏感詞進(jìn)行專業(yè)校對(duì)，也可自定義用戶庫(kù)、錯(cuò)誤庫(kù)、重點(diǎn)詞監(jiān)控庫(kù)等，校對(duì)標(biāo)準(zhǔn)符合全國(guó)科學(xué)技術(shù)名詞審定委員會(huì)標(biāo)準(zhǔn)。

2.1.5 自動(dòng)視頻水印

具備最新的視頻水印技術(shù)，支持對(duì)音視頻等數(shù)字內(nèi)容產(chǎn)品的版權(quán)提供保護(hù)，針對(duì)低碼率內(nèi)容資源使用顯式水印，實(shí)現(xiàn)新媒體發(fā)布的同時(shí)對(duì)盜版行為起到警示作用。

2.2 媒資管理平臺(tái)

媒資管理平臺(tái)匯聚文字、圖片、音視頻等資源。通過(guò)引入AI智能技術(shù)，實(shí)現(xiàn)音視頻資源從入庫(kù)、編目、存儲(chǔ)、技審、出庫(kù)等全流程的管理，支持以文字、圖片、音視頻為檢索條件以及根據(jù)業(yè)務(wù)、用戶群體特征提供個(gè)性化高效檢索服務(wù)，也可以對(duì)用戶操作界面進(jìn)行不同權(quán)限的靈活配置。

2.2.1 媒資匯集

突破傳統(tǒng)媒資管理的局限性，實(shí)現(xiàn)音視頻、圖片等各類媒資的自動(dòng)匯聚、快速上載、批量導(dǎo)入、智能處理、長(zhǎng)期保存管理和便捷調(diào)用，滿足對(duì)各類資源向多渠道分發(fā)和調(diào)用的業(yè)務(wù)需求。支持處理高清、4K超高清視音頻，提供對(duì)現(xiàn)有歷史資源提供數(shù)字化、規(guī)范化加工處理服務(wù)，完成初級(jí)編目，包括資源的分類、欄目信息等標(biāo)注。能夠根據(jù)不同的賬號(hào)權(quán)限使用智能媒資業(yè)務(wù)平臺(tái)。

2.2.2 智能檢索

支持根據(jù)不同業(yè)務(wù)用戶群體的特點(diǎn)提供個(gè)性化檢索服務(wù)。打通現(xiàn)有媒體資源的數(shù)據(jù)交互，做到統(tǒng)一檢索，實(shí)現(xiàn)圖文搜索和以圖搜圖等多維度檢索、智能檢索等，并結(jié)合知識(shí)圖譜功能，對(duì)檢索結(jié)果中的相關(guān)詞條以及詞條的知識(shí)圖譜進(jìn)行展示，向業(yè)務(wù)人員提供基于媒資內(nèi)容的智能推薦，全面提升媒資素材的檢索效率。

2.2.3 大數(shù)據(jù)輔助

采集央視、省電視臺(tái)等重點(diǎn)頻道數(shù)據(jù)，通過(guò)大數(shù)據(jù)和人工智能技術(shù)，進(jìn)行語(yǔ)音、文字、圖像、場(chǎng)景自動(dòng)識(shí)別，實(shí)現(xiàn)視頻內(nèi)容的快速查找，建立人臉庫(kù)、場(chǎng)景庫(kù)等，支持以圖搜圖，為新聞內(nèi)容生產(chǎn)提供輔助。

2.3 數(shù)據(jù)庫(kù)平臺(tái)

智能媒資業(yè)務(wù)平臺(tái)中存放著各種類型的數(shù)據(jù)，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)無(wú)法滿足現(xiàn)在、未來(lái)快速檢索的業(yè)務(wù)需求。因此，數(shù)據(jù)庫(kù)平臺(tái)建設(shè)采用關(guān)系型數(shù)據(jù)庫(kù)+非關(guān)系型數(shù)據(jù)庫(kù)結(jié)合的方式，其中：

MySQL數(shù)據(jù)庫(kù)：關(guān)系型數(shù)據(jù)庫(kù)，存放所有完備的系統(tǒng)數(shù)據(jù)，作為核心數(shù)據(jù)庫(kù)。

Redis緩存數(shù)據(jù)庫(kù)：存放數(shù)據(jù)較小且訪問(wèn)頻次很高的數(shù)據(jù)，例如入庫(kù)參數(shù)、編目類配置、系統(tǒng)參數(shù)等，便于數(shù)據(jù)快速調(diào)用，優(yōu)化用戶訪問(wèn)系統(tǒng)以及內(nèi)部流程處理時(shí)間效率。

MongoDB文件存儲(chǔ)數(shù)據(jù)庫(kù)：非關(guān)系型數(shù)據(jù)庫(kù)，存放系統(tǒng)的人臉特征數(shù)據(jù)、標(biāo)簽數(shù)據(jù)等，便于快速調(diào)用。

針對(duì)資源入庫(kù)、編目、訪問(wèn)等業(yè)務(wù)，系統(tǒng)對(duì)數(shù)據(jù)庫(kù)進(jìn)行寫(xiě)操作：

若發(fā)生配置信息、用戶信息等變化，系統(tǒng)會(huì)同時(shí)寫(xiě)入MySQL與Redis，保證數(shù)據(jù)的一致性和同步性。

若資源入庫(kù)，則寫(xiě)入MySQL任務(wù)相關(guān)信息、資源記錄，以及編目數(shù)據(jù)等。

若存在AI的識(shí)別處理，則將AI結(jié)果寫(xiě)入MongoDB。針對(duì)用戶登錄、檢索等業(yè)務(wù)，系統(tǒng)對(duì)數(shù)據(jù)庫(kù)進(jìn)行讀操作。

若查詢配置信息、用戶信息等，系統(tǒng)會(huì)優(yōu)先從Redis讀取，一旦讀不到或Redis無(wú)法訪問(wèn)，則從MySQL進(jìn)行讀取。

若顯示資源詳情，例如展示頁(yè)面，則從MySQL讀取編目信息，同時(shí)從MongoDB讀取AI結(jié)果數(shù)據(jù)。

數(shù)據(jù)庫(kù)平臺(tái)流程圖如圖2所示。

圖2 數(shù)據(jù)庫(kù)平臺(tái)流程圖

3 平臺(tái)建設(shè)價(jià)值

通過(guò)新一代智能媒資業(yè)務(wù)平臺(tái)的建設(shè)，可以看到以下幾點(diǎn)價(jià)值。

3.1 便利性

平臺(tái)使用面更廣更寬，傳統(tǒng)紙媒及新媒體部門(mén)均可使用，通過(guò)智能技術(shù)的引入，豐富了搜索字段，編目能力提升明顯，人臉、語(yǔ)音等搜索方式也更加多樣化和便捷化。

3.2 效率性

采編人員結(jié)合采用傳統(tǒng)編目+智能編目的方式，縮短了編目時(shí)間，對(duì)后續(xù)審核環(huán)節(jié)等流程的效率提升也很顯著。

3.3 安全性

對(duì)于編目審核、使用詳細(xì)區(qū)分，配置不同權(quán)限，通過(guò)智能技術(shù)對(duì)敏感音視頻自動(dòng)標(biāo)記，確保系統(tǒng)安全性及合規(guī)性。

3.4 收益性

建設(shè)智能媒資業(yè)務(wù)平臺(tái)，對(duì)集團(tuán)已有的珍貴檔案進(jìn)行統(tǒng)一保存，為外部單位提供不同時(shí)期、不同場(chǎng)景下的各種音視頻素材，提高版權(quán)收益。

結(jié)束語(yǔ)

本文介紹了新一代智能媒資業(yè)務(wù)平臺(tái)的總體架構(gòu)及技術(shù)特點(diǎn)，引入AI技術(shù)，建設(shè)從高清視頻、直播、制作、入庫(kù)，到音視頻、圖片等媒資的分類、檢索、管理、審核、分發(fā)等全流程一體化的專業(yè)視頻生產(chǎn)發(fā)布綜合平臺(tái)，實(shí)現(xiàn)“一庫(kù)打盡、服務(wù)內(nèi)外、互聯(lián)互通”，形成一套完整的音視頻管理體系和開(kāi)放服務(wù)平臺(tái)，為集團(tuán)各媒體、外部合作媒體等提供全流程服務(wù)，對(duì)媒體行業(yè)搭建智能媒資庫(kù)平臺(tái)起到了很好的探索實(shí)踐意義。