利用智能審核平臺對數字內容作品把控的探討

姜 波

(中文在線數字出版集團股份有限公司，北京 100006)

近年來，數字化迅速發展的同時，面臨日益復雜的內、外部環境。網絡上的數字內容良莠不齊；邪教組織利用網絡文學、圖片、視頻、音頻等傳播手段，散布歪理邪說，宣揚迷信、色情、暴力、兇殺；分裂主義分子利用互聯網及移動互聯網媒介，煽動民族分裂、危害國家統一；部分網站傳播大量庸俗、媚俗甚至格調低下的內容而牟取利益。特別是在自媒體時代的網絡環境下，內容的體量呈爆發式增長，內容類型日益多樣，內容生產、傳播方式發生巨大改變，傳統的內容審核、監管方式耗費的資源在大幅增長，但效率和效力卻難以提高。

目前各大網站的內容審核，往往采用人工審核的形式，審核人員對內容信息逐條進行分析判斷，不管是效率還是準確性都難以得到保證。在技術不斷成熟的今天，自然語言處理、圖像識別、聲紋識別等人工智能技術已在一些領域得到了運用。人工智能技術的引入，可以徹底改變傳統的內容審核形式，實現對互聯網內容信息的實時審核。無論是審核效率還是審核精度，都將得到極大提升。運用大數據分析、人工智能技術對數字內容審核、過濾方式進行革新，將高科技與傳統編審機制進行融合，將人力密集、腦力密集向創新密集、技術密集轉型升級，是解決數字出版行業內容過濾困境的有效途徑和必然發展趨勢。

本文主要介紹對圖文音視等不同內容的審核過濾，基于大數據分析的內容過濾平臺的流程和關鍵技術，應用于電子書、網絡文學、有聲讀物、影視、短視頻、直播平臺等數字出版產品的內容審核環節，成為人工審核的替代工具和重要輔助手段。

一、各種過濾系統的特點

(一)文本過濾系統

基于海量文本特征庫沉淀，搭配上百種文本識別策略模型，結合語義分析技術，通過智能算法和實時更新的樣本庫，可對文本內容進行識別以及色情程度量化，建立一個可自學習的系統。用戶使用系統進行文本識別，系統就可以收集數據并不斷自我學習，而且用戶使用得越多，系統就會越強大。理論上，經過數據的積累以及長時間的模型訓練，識別成功率可以接近100%。

智能文本過濾系統會在審核服務結束后輸出負面指數，負面指數越高，負面程度越大。

(1)關鍵詞庫建立與比對。關鍵詞過濾，也稱關鍵字過濾，指網絡應用中，對傳輸信息進行預先的程序過濾、嗅探指定的關鍵字詞，并進行智能識別，檢查網絡中是否有違反指定策略的行為。

基于智能識別和關鍵詞庫,實時檢測過濾垃圾信息。建立敏感內容數據庫系統，建立初期，由人工對敏感數據內容庫(圖書、音頻、視頻等)進行整理分類，形成初步敏感內容數據庫，主要包括敏感圖片、敏感音視頻、敏感圖書、敏感詞等，數據庫支持數據的導入導出，支持人工編輯(增、刪、改、查)，詞庫的建設與熱點抓取和輿情預警等分析功能相結合，敏感內容庫可直接對待審核內容進行匹配，同時審核過程中發現的新內容可以加入到敏感內容庫。

(2)內容語義分析。運用自然語言處理(NLP)、數據挖掘等技術，根據文本內容的語境等要素分析和理解文本內容的含義，并根據設定的過濾標準，對內容進行合規性判斷，從而完成對內容的審核過濾。在相同過濾標準的情境下，智能文本審核系統與人工審核結果高度一致，但在數據處理量少遠高于人工，且具備自動學習、穩定輸出等特性。

(二)音頻過濾系統

音頻過濾系統運用語音轉寫技術，將音頻內容轉換成文字信息，利用文本過濾系統進行審核過濾。

主要應用場景是針對語音為主的節目，比如網絡音視頻資源審核、網絡直播、談話聊天、脫口秀、在線廣播等。

音頻過濾的關鍵技術是以下幾種:①語音識別:準確識別音頻的內容、事實并將其轉化為文字。②語音預處理技術:包括音頻編解碼、噪聲消除(軟件處理，硬件解決方案)、語音信號增強。③語義識別:對語音識別后的文本結果進行分析，結合上下文，來判斷真實意圖。④語種識別、男女聲識別:識別方言、外語語種、發音人性別識別。⑤流媒體技術:在實時音頻數據處理中，需要用到數據切分、數據緩存。⑥云平臺技術:云服務架構設計、服務模塊化整合、負載均衡等。⑦大數據技術:海量數據存儲、訓練樣本自動提取、模型訓練等。

(三)圖片過濾系統

圖片過濾系統是基于深度學習算法的智能審核方案，圖像識別引擎根據圖像的顏色、紋理等特征來對敏感圖像進行過濾，這一過程會檢測肢體輪廓等關鍵特征信息，然后對檢測圖像特征與特征庫模型里面的特征相似度進行匹配，給予待測圖像不同維度的權重值，以權重值最高的作為判定結果輸出。準確識別圖片和視頻中的涉黃、涉暴、涉恐、政治敏感、微商廣告以及令人惡心等內容，也能從美觀和清晰等維度對圖像進行篩選，幫助規避審查風險的同時極大降低人工成本。并且，通過大數據持續訓練、頻繁迭代，不斷構建具有高層次表現力的模型，從而對高復雜度數據形成良好解讀。

主要用于:①色情識別。依托全網海量優質數據和深度神經網絡技術，智能鑒別色情圖片內容，為內容產品保駕護航，遠離違規風險。②暴恐識別。識別暴力、血腥場景及恐怖組織頭目、旗幟等涉嫌違禁的圖片和視頻內容，降低應用涉暴、涉恐風險。③政治敏感識別。識別政治人物與敏感政治事件場景、旗幟標志等，幫助UGC、IM、BBS類產品在敏感時期規避相關風險。④廣告檢測。智能檢測圖像中的文字、水印、二維碼、條形碼，檢測各種微商廣告，凈化應用。⑤惡心圖像識別。準確識別惡心、令人不適類的圖像，包含解剖、昆蟲類、生理病變、會引起密集恐懼癥等的圖像。⑥用戶頭像審核。對用戶頭像進行合規判斷，含人臉檢測，涉黃、涉敏檢測，廣告檢測等。現已支持自定義設置審核規則。⑦圖像質量檢測。圖像美觀度與清晰度識別，檢測圖像色彩、構圖及是否存在模糊、失焦、噪點、鋸齒、馬賽克等情況。

(四)視頻過濾系統

視頻過濾系統為音頻過濾與圖片過濾系統兩者的結合，一方面利用自動截屏技術，抓取視頻關鍵幀，通過圖片過濾系統實現信息過濾。一方面結合音頻，綜合分析判斷。

在直播的時候，每個直播間會間隔一秒或幾秒采集一個關鍵幀，關鍵幀會發送到圖像識別引擎，引擎根據圖像的顏色、紋理等特征來對敏感圖像進行過濾。基于圖像識別的視頻涉黃檢測準確率可以達到99%以上，可以為視頻直播平臺節省70%以上的工作量。

二、相關的關鍵技術

(一)自然語言處理

該技術所涵蓋的研究內容非常廣泛，從研究成果的表現形式來說，可以分為三個層面:基礎技術層、應用技術層和產品服務層。本項目主要運用基礎技術層的技術，運用人工智能芯片、機器學習算法技術，使機器對文字中的負面信息的識別率達到99%以上，在實際應用中，可取代90%的人力。

(二)語音轉寫

基于深度全序列卷積神經網絡，將長段音頻數據轉換成文本數據，并運用自然語言處理技術，將音頻的審核文字化，審核效率提高90%以上。

(三)圖像識別

依托海量圖片樣本進行深度識別訓練，基于深度學習技術，可以高效準確地鑒別色情圖片、性感圖片、涉政圖片、恐暴圖片等，算法識別準確率達到99.9%以上，遠超人工識別水平，實際工作中可以取代90%人力，而且針對圖片自動識別領域最難的擦邊球界定問題，引擎采用了分離圖譜技術，精準識別。

三、總結

本文主要介紹了在網站、廣告、新聞、電商、直播、社交、游戲、視頻、微博、微信等領域和傳播渠道，針對圖文音視多種類型的內容應用技術手段進行智能審核內容把控的安全機制，為人工審讀提供幫助和輔助工作，極大減少了人工的工作，提高了工作效率。