數字化時代內容風控領域的實踐探索

摘要：隨著數字化時代的到來，大數據、人工智能等新技術、新應用、新業態高速發展，由文字、圖片、視頻等傳播形態帶來的海量信息流通過各種內容平臺廣泛傳播，多元呈現形式及創作主體引發的網絡信息亂象、內容安全事件頻發。如何防止違法違規信息傳播，規范傳播秩序，成為社會廣泛關注的話題。

文章分析數字化時代內容風控的發展背景、市場現狀及主要業務模式，以人民網、Facebook等媒體為研究對象，探究這些媒體發揮內容把關優勢，依托大數據、人工智能等技術，圍繞內容風控標準制定、技術賦能、平臺建設等方面開展的實踐探索，進而指出數字化時代主流媒體在推動內容風控產業發展、提升行業整體審核水平、助力互聯網尤其是商業平臺信息內容生態良性發展中所具備的優勢與價值。

關鍵詞：數字化時代；新媒體；內容風控；內容把關；PGC；UGC；AIGC

中圖分類號：G206；G210.7 文獻標志碼：A 文章編號：1674-8883（2023）13-0080-03

美國麻省理工學院教授尼葛洛龐帝在《數字化生存》中提出，后信息社會，又稱比特時代或數字化時代，是繼工業時代和信息時代之后的新時代[1]。當前，新一代人工智能正在全球范圍內蓬勃發展，推動著人類社會生活、生產、消費模式的巨大變革，為經濟社會發展提供了新動能[2]。

科技革命和產業變革使得媒體的傳播方式和商業模式正在被重塑，媒體內容的生產及分發方式發生根本性改變——從專業生成內容（PGC）到用戶生成內容（UGC）再到AI生成內容（AIGC），創作者生態不斷變化，效率和產出都呈倍速提升[3]。媒體產業從傳統的垂直層級結構轉變為橫向網絡結構；傳統媒體的受眾轉向數字媒體，通過互聯網和移動設備獲取信息；新的媒體形態和內容表達方式不斷涌現。

一方面，數字媒體的崛起為媒體提供了更多交互方式和商業模式，實現了個性化定制和精準營銷；另一方面，傳統媒體面臨收入下降、市場份額流失和盈利模式變革等挑戰。

“新媒體”，即數字化媒體，是生長于數字傳播技術之上的媒體形態及傳播范式。當代數字新媒體浪潮本身就是數字化社會與數字化經濟的組成部分之一，因此數字化這一動作在媒體領域早已開始[4]。人工智能產業前景廣闊，生成式AI更是一個極具突破性的產業發展方向，它不僅能給數字媒體和虛擬空間帶來價值，還能促進實體行業的發展[5]。雖然數字化時代給人們帶來了諸多便利，但是也帶來了新的挑戰，如數字隱私、網絡安全、知識產權等。

一、內容風控的發展背景及市場現狀

數字化時代，海量信息真假難辨，內容安全事件時有發生。其中，以UGC最為典型[6]。用戶由信息接收者轉變為信息生產者，每個用戶都可以進行內容生產。但用戶的知識素養、專業技術、道德水平參差不齊。某些商業平臺為了賺取流量，散布違反法律法規、違背社會公序良俗的內容。如果不對這些內容亂象加以約束管理，必定會誤導用戶、影響社會輿論甚至破壞國家政治穩定。

AIGC的出現或將打破傳統的人為局限，實現獨立創作和內容生態的無限供應。但隨著AIGC涉足的領域越來越廣，其可能在倫理、道德和法律方面引發諸多問題[7]，如AI生成的內容可能包含虛假、具有誤導性的信息等，這會削弱信息的真實性和可信度，并對受眾產生不良影響。

此外，AI生成的部分內容包含個人信息，如姓名、照片、聯系方式等，可能被用于誹謗、惡意抨擊，導致個人的隱私權、人格權被侵犯。這些風險均需要重視，并采取措施來減少負面影響。

近年來，為整治網絡生態突出問題，監管部門加大打擊違法力度，并采取了一系列治理措施，對維護網絡內容安全特別是意識形態安全，提出了更高要求。2022年，中國國家互聯網信息辦公室組織開展13項“清朗”專項行動，清理違法和不良信息5430余萬條，處置賬號680余萬個，下架APP、小程序2890余款，解散關閉群組、貼吧26萬個，關閉網站7300多家[8]。

對互聯網內容平臺來說，內容風控的成敗直接決定著平臺和企業的生死。隨著各行業、各組織機構日漸增強內容風控意識，內容風控成為互聯網平臺和企業的標配風控項。對監管部門來說，互聯網上的信息龐雜，很難完全掌握和跟蹤所有信息；信息傳播速度快，審查難、取證難；部分平臺對審核標準和尺度把握得不夠準確，“自審自校”的機制無法做到嚴謹、客觀、公正，這些都對內容風控提出了新挑戰[9]。

所謂“內容風控”，即互聯網內容風險防控。業內觀點認為，內容風控是針對互聯網上海量內容的內外部風險進行宏觀到微觀的引導和審核，從內容安全等領域幫助企業化解監管風險和社會輿論風險[10]。內容風控的核心是內容審核[11]，基于圖像、文本、音視頻的檢測技術，可自動檢測違法違規內容。內容風控是一個很大的體系，除了基礎審核，還包括前期內容生產風控規范、輿情引導、內容的二次巡檢、產品界面的風控提示等工作配合。人民網總裁葉蓁蓁曾總結道，“‘內容風控是一項政策密集型、技術密集型、管理密集型、人才密集型的全新業務”[12]。

目前，內容風控行業正處于發展初級階段，呈現出專業化、智能化、規模化、產業化特點，其市場規模伴隨移動互聯網內容產業發展不斷擴大。按照方正證券的預測，當下中國互聯網內容產業規模在9500億以上，假設內容審核投入占互聯網內容市場的2%，那么整個內容審核行業的規模將超190億，如果其中50%是大廠閉環，其余給到第三方市場化企業的市場空間也會在百億以上[13]。

二、內容風控的主要業務模式

從當前的技術手段來看，內容風控的主要業務模式包括下列五類：

數據采集與分析模式。該模式主要通過采集用戶的行為數據、社交媒體數據、設備數據等信息，并通過數據挖掘和分析技術來識別潛在的風險和不良內容。通過用戶在社交媒體上的言論和行為數據，判斷其是否存在惡意行為或發布不良內容的傾向。

內容審核與過濾模式。該模式主要通過建立內容審核和過濾系統，對用戶上傳的內容進行實時檢測和篩選。這些系統通常包括關鍵詞過濾、圖像識別等算法，以識別和過濾不良內容。

用戶行為監控與反欺詐模式。該模式主要通過監控用戶的行為模式和交易數據，識別潛在的欺詐行為和風險。識別用戶賬號的異常登錄地點、登錄時間、登錄設備，以及不尋常的交易行為，判斷是否存在賬號被盜用、交易欺詐等風險。

實名認證與信用評估模式。該模式主要通過實名認證和個人信用評估來建立用戶信任度，降低不良內容的風險。要求用戶提供真實姓名、身份證號碼等，利用大數據和機器學習技術進行信用評估，以識別高風險用戶和不良行為。

協同過濾與社群監督模式。該模式主要通過建立用戶社群和使用者反饋機制，并通過協同過濾算法和社區監督來推薦和篩選內容。系統會根據用戶的興趣、評價和行為歷史，為其推薦相關內容，并通過用戶的反饋等來動態調整和優化推薦結果。

上述業務模式通常會結合多種技術手段，如人工智能、機器學習、數據挖掘等，以提高內容風控的準確性和效率。

從商業市場模式來看，自建審核團隊和第三方審核是內容風控的兩種主要模式。第三方內容風控，是由第三方專業機構借助技術和人工審核團隊，對平臺進行違規內容識別，過濾并刪除含有違規信息的圖文及音視頻，確保平臺內容合法合規，內容平臺方根據審核內容及數量支付給第三方機構一定報酬的業務模式[14]。

目前，第三方內容風控服務商的標配是“機器識別+人工審核”。機器識別，即基于深度學習及大規模樣本訓練，對內容進行分析，分辨其中可能存在的違法違規內容，對其進行標紅和分類預處理后交由人工審核。除此之外，還有少數服務商提供“機器識別+人工審核+安全策略”服務。審核主體包括互聯網企業及傳統媒體，其中互聯網企業包括阿里云、騰訊云等。以騰訊云為例，其推出的基于人工智能和大數據技術的內容審查系統，能夠有效幫助企業監測和審查用戶生成的內容，防止違法違規信息的傳播。

從風控需求來看，互聯網時代內容風控應滿足橫縱兩方面要求。橫向方面，內容形式應做到全域覆蓋，主要包括文本、圖片、音頻、視頻、網頁；縱向方面，垂直場景應做到深度應用。

由于人工智能對內容的辨別程序的準確性具有不確定性，所以目前80%以上的內容風險仍有賴于人工研判。內容風控產業需要大量專業人才，這些專業人才必須有豐富的政治、歷史、文化、經濟、軍事等知識儲備，才能識別各類違規內容及其形態變形。

三、內容風控領域的實踐探索

目前，國內外一些主流媒體已經就內容風控服務輸出展開探索。如Facebook，利用機器學習算法和圖像識別技術來識別和過濾違規內容，并通過收集用戶反饋和人工審核來填補機器學習算法的工作。

（一）主流媒體的優勢

與互聯網企業相比，主流媒體擁有更專業的團隊，其對政策導向的把控和解讀更加權威，能為用戶提供高質量、可信賴的內容。尤其是在面對重大事件、敏感事件時，主流媒體的團隊經驗豐富，能夠通過風控服務維護用戶的合法權益，提升用戶體驗，起到凈化網絡環境的作用。可以說，主流媒體是幫助用戶明辨是非、營造清朗輿論空間的主力軍。

（二）主流媒體在內容風控領域的實踐探索

隨著互聯網內容產業的發展和內容監管政策的逐步規范，內容風控市場持續擴大。具有天然導向把控和內容把關優勢的主流媒體現已成為第三方內容風控服務輸出主力。

內容風控服務方面，人民網推出第三方風控平臺，提供文字、圖片、音頻、視頻等全品類內容風控及培訓服務，業務范圍覆蓋文字、圖片、短視頻等各類新型互聯網內容形態。通過組建專業的內容審核團隊及采用人工和技術相結合的方式，對平臺上的內容進行嚴格審核。不僅如此，還針對不同的內容和敏感問題制定了專門的審核規則和標準，利用人工智能和大數據技術，積累了大量內容風險識別模型和算法。

市場應用方面，人民網采用“人工智能初審+人工復審”的審核模式。與大型央企、國企、互聯網企業建立長期合作模式；針對中小型企業搭建云審核平臺，通過智能化、標準化服務，幫助中小型企業確保內容安全、降低內容審核成本。人民網把內容風控定義為一個全新職業，形成職業分級與分類，同時形成“風控大腦”，通過數據積累，使自身不僅能提供內容風控服務，還能對外輸出一套業務標準[15]。

新華網自主研發的自動審核系統，可以自動識別和過濾違法違規信息，確保信息質量和可信度。此外，其還利用區塊鏈技術構建了內容溯源系統，對內容的來源和傳播路徑進行追蹤和溯源。該技術能夠有效對抗信息篡改和虛假信息的傳播，為用戶提供更安全、更可靠的信息環境。

四、結語

近年來，從中央到地方陸續發布多項互聯網內容治理措施，監管政策趨嚴。在凈化網絡生態、規范網絡傳播秩序的背景下，主流媒體應發揮內容把關優勢，依托大數據、人工智能等技術，圍繞內容風控標準制定、平臺建設、人才培養等，開展更多內容風控領域的創新實踐，助推內容風控產業發展，助力網絡強國、數字中國建設。

參考文獻：

[1] 尼古拉·尼葛洛龐帝.數字化生存[M].北京：電子工業出版社，2017：158-160.

[2] 王延峰，于曉宇，史占中，等.賦能：人工智能與數字經濟[M].北京：高等教育出版社，2022：31-32.

[3] 呂白，機器貓. AIGC+：100倍速生產爆款內容的底層邏輯[M].北京：北京理工大學出版社，2023：6-9.

[4] 高陽.新媒體的邏輯：內容生產與商業變現[M].北京：社會科學文獻出版社，2020：22-25.

[5] 丁磊.生成式人工智能[M].北京：中信出版集團，2023：17-19.

[6] 陳安慶.內容審核：傳統媒體盈利新模式[J].青年記者，2019（4）：11-12.

[7] 劉瓊. ChatGPT AI革命[M].北京：華齡出版社，2023：185-187.

[8] 中國國家網信辦：2022年清朗行動下架APP、小程序2890余款[EB/OL].中國新聞網，https：//www.jwview.com/jingwei/html/03-28/533834.shtml，2023-03-28.

[9] 簡承淵，馮思潮，何嬌.全媒體時代內容風控的困境與新路徑[J].青年記者，2019（10）：36-37.

[10] 夏云.互聯網時代內容風控業務研究[J].綜合研究，2021（11）：83-84.

[11] 黃奇帆，朱巖，邵平.數字經濟：內涵與路徑[M].北京：中信出版社，2022：7-9.

[12] 人民網總裁葉蓁蓁：主流媒體引導力，可否這樣實現？[EB/OL].人民網，http：//media.people.com.cn/n1/2019/0211/c192370-30617943. html，2019-02-11.

[13] 辛瑞佳.以科技為驅動，打造智能化的內容風控平臺[J].傳媒，2019（19）：22，24.

[14] 劉暢.內容審核這門生意，將走向何方？[EB/OL].財富中文網，https：//new.qq.com/rain/a/20220226A08HN700，2022-02-26.

[15] 朱浩齊.構建全鏈路內容風控體系，解決內容安全難題[J].中國信息安全，2020（2）：73-74.

作者簡介 張燕，編輯，研究方向：國際新聞。