生成式人工智能賦能網(wǎng)絡(luò)暴力治理：邏輯、風(fēng)險(xiǎn)與應(yīng)對

中圖分類號：G203；D669；TP18文獻(xiàn)標(biāo)志碼：A文章編號：1004-342（2025）04-28-6

一、問題的提出

數(shù)字時(shí)代背景下，網(wǎng)絡(luò)暴力現(xiàn)象愈發(fā)頻繁。相關(guān)研究指出，全球范圍內(nèi)青少年和兒童的網(wǎng)絡(luò)暴力的受害率為 14.6% 至 52.2% ，涉及網(wǎng)絡(luò)謠言、網(wǎng)絡(luò)詐騙、個(gè)人信息泄露等違法違規(guī)行為。隨著技術(shù)的發(fā)展，網(wǎng)絡(luò)暴力形式更加多樣，如深度偽造技術(shù)（deepfake）在視覺質(zhì)量、多樣性和逼真度方面的表現(xiàn)力足以以假亂真，成為新型網(wǎng)絡(luò)暴力行為發(fā)生的重要工具。網(wǎng)絡(luò)暴力呈現(xiàn)出攻擊性、煽動性、匿名性等特征，不僅嚴(yán)重?fù)p害當(dāng)事人的身心健康，而且影響網(wǎng)絡(luò)信息內(nèi)容生態(tài)體系的安全性和穩(wěn)定性，對社會秩序造成沖擊。針對網(wǎng)絡(luò)暴力信息開展多元風(fēng)險(xiǎn)治理，是新時(shí)代網(wǎng)絡(luò)與信息發(fā)展的迫切需求。

為應(yīng)對日益復(fù)雜的網(wǎng)絡(luò)暴力形勢，各國積極參與《聯(lián)合國網(wǎng)絡(luò)安全公約》的制定，進(jìn)行跨地域司法協(xié)作，不斷推動全球法律框架完善。近年來，我國頒布了一系列網(wǎng)絡(luò)暴力治理規(guī)定，從信息內(nèi)容、網(wǎng)絡(luò)平臺等多角度完善網(wǎng)絡(luò)暴力立法以期實(shí)現(xiàn)網(wǎng)絡(luò)暴力的精準(zhǔn)治理。然而，網(wǎng)絡(luò)暴力治理面臨傳統(tǒng)人工審核方式效率不高、跨平臺取證和歸責(zé)困難、惡性信息擴(kuò)散加速等問題，亟需治理方式的改革與創(chuàng)新。2024年施行的《網(wǎng)絡(luò)暴力信息治理規(guī)定》是我國首部以部門規(guī)章形式公布的反網(wǎng)絡(luò)暴力專門立法，強(qiáng)調(diào)了人工智能、大數(shù)據(jù)等技術(shù)手段在網(wǎng)絡(luò)暴力信息治理方面的應(yīng)用。①相比于傳統(tǒng)人工智能，生成式人工智能在賦能網(wǎng)絡(luò)暴力風(fēng)險(xiǎn)治理方面具有獨(dú)特優(yōu)勢。首先，其強(qiáng)大的邏輯推理能力能夠基于歷史數(shù)據(jù)對網(wǎng)絡(luò)暴力行為進(jìn)行預(yù)測和防控；其次，生成式人工智能可動態(tài)化、有針對性地生成多模態(tài)網(wǎng)絡(luò)暴力防治內(nèi)容，適應(yīng)不同主體個(gè)性化需求。在數(shù)字化進(jìn)程加速演進(jìn)的新階段，亟需生成式人工智能賦能網(wǎng)絡(luò)暴力治理。

二、生成式人工智能賦能網(wǎng)絡(luò)暴力治理的邏輯

（一）技術(shù)賦能：動態(tài)化監(jiān)測網(wǎng)絡(luò)暴力信息

隨著技術(shù)的發(fā)展和數(shù)據(jù)的積累，通過人工智能識別網(wǎng)絡(luò)暴力信息成為可能。機(jī)器學(xué)習(xí)算法通過訓(xùn)練大量標(biāo)注數(shù)據(jù)與自動學(xué)習(xí)，能夠?qū)W(wǎng)絡(luò)暴力信息進(jìn)行識別與監(jiān)測然而，傳統(tǒng)基于人工智能網(wǎng)絡(luò)暴力識別技術(shù)跨模態(tài)語義關(guān)聯(lián)能力有限，存在理解能力不足、靈活性不夠，以及更新速度滯后等局限。生成式人工智能為破解上述技術(shù)瓶頸提供了系統(tǒng)性解決方案

第一，在識別精準(zhǔn)度方面。相關(guān)研究比較了BERT、XLNet、RoBERTa等大語言模型檢測網(wǎng)絡(luò)暴力信息的實(shí)驗(yàn)效果，發(fā)現(xiàn)大語言模型比機(jī)器學(xué)習(xí)及采樣技術(shù)能更好地對網(wǎng)絡(luò)暴力信息進(jìn)行分類。②生成式人工智能通過語義嵌入向量化和上下文關(guān)聯(lián)建模，能夠基于推理模型識別網(wǎng)絡(luò)暴力中常見的隱喻、縮寫、符號替換等規(guī)避審查手段，③從而提高網(wǎng)絡(luò)暴力信息識別的準(zhǔn)確性

第二，在多模態(tài)數(shù)據(jù)融合方面。生成式人工智能不僅局限于文本內(nèi)容分析，還可實(shí)現(xiàn)對文字、圖像、音頻、視頻等復(fù)合形式的暴力內(nèi)容精準(zhǔn)識別。例如，深度偽造技術(shù)生成的虛假視頻、音頻等，可通過多模態(tài)語義關(guān)聯(lián)分析技術(shù)進(jìn)行解碼，①確保網(wǎng)絡(luò)暴力信息識別的系統(tǒng)性。基于生成式人工智能的多模態(tài)內(nèi)容審核系統(tǒng)已經(jīng)在抖音等平臺完成部署，并在網(wǎng)絡(luò)暴力信息防治方面呈現(xiàn)出較好效果。

第三，在動態(tài)更新機(jī)制方面。生成式人工智能不僅能夠?qū)崟r(shí)捕捉新型網(wǎng)絡(luò)暴力表達(dá)內(nèi)容和形式，結(jié)合知識蒸餾優(yōu)化模型性能，提高監(jiān)測效率；還可通過生成對抗網(wǎng)絡(luò)（Gen-erativeAdversarialNetworks，GAN）模型模擬虛假信息生成規(guī)律，實(shí)現(xiàn)檢測模型的動態(tài)適配，精準(zhǔn)打擊施暴行為。

（二）主體賦能：全景式防治網(wǎng)絡(luò)暴力風(fēng)險(xiǎn)

傳統(tǒng)人工智能進(jìn)行網(wǎng)絡(luò)暴力風(fēng)險(xiǎn)評估多依賴靜態(tài)規(guī)則庫與固定模式，難以實(shí)現(xiàn)網(wǎng)絡(luò)暴力的差異化與全方位干預(yù)。生成式人工智能的防御能力體現(xiàn)在其能夠?qū)崟r(shí)分析網(wǎng)絡(luò)暴力傳播態(tài)勢與用戶行為特征，并根據(jù)不同主體和具體場景輸出差異化的應(yīng)對策略。

第一，在風(fēng)險(xiǎn)預(yù)警與響應(yīng)層面。首先，生成式人工智能通過自然語言交互與場景化內(nèi)容生成，可為潛在受害者提供實(shí)時(shí)防護(hù)。通過生成簡明易懂的圖文、視頻，解釋網(wǎng)絡(luò)暴力的內(nèi)涵與常見形式，幫助用戶快速識別侵權(quán)行為，并從行為、心理和法律層面給出相應(yīng)處理意見。其次，生成式人工智能可基于不同場景類別，從歷史行為、信息內(nèi)容、空間特征等多角度，實(shí)時(shí)分析用戶交互數(shù)據(jù)，多維度量化用戶畫像（如未成年人、大學(xué)生、上班族等）的受攻擊概率，實(shí)現(xiàn)差異化保護(hù)；并根據(jù)不同風(fēng)險(xiǎn)等級和時(shí)間階段的網(wǎng)暴事件頻率構(gòu)建分級響應(yīng)機(jī)制，③動態(tài)調(diào)整治理強(qiáng)度以降低誤判率。④

第二，在多主體行為干預(yù)層面。生成式人工智能可重構(gòu)旁觀者的角色，推動其轉(zhuǎn)化為“治理參與者”。如當(dāng)發(fā)現(xiàn)某社交媒體評論區(qū)出現(xiàn)群體攻擊時(shí)，不僅可自動生成彈窗提示，還可生成反網(wǎng)絡(luò)暴力宣傳內(nèi)容，通過短視頻、互動游戲等形式喚醒公眾責(zé)任意識，提高旁觀者網(wǎng)絡(luò)暴力防治的參與度。針對潛在施暴者，生成式人工智能可充當(dāng)“數(shù)字警察”，實(shí)現(xiàn)威懾與管理的效果。此外，通過分析暴力事件熱點(diǎn)圖譜、溯源傳播路徑，生成式人工智能可為管理者生成多套治理方案并模擬推演結(jié)果，提升治理效率。

（三）過程賦能：全流程嵌入網(wǎng)絡(luò)暴力治理

生成式人工智能可推動網(wǎng)絡(luò)暴力風(fēng)險(xiǎn)治理從被動應(yīng)對轉(zhuǎn)向主動干預(yù)，通過跨平臺協(xié)作，構(gòu)建起“事前預(yù)防一事中干預(yù)一事后救濟(jì)”的全流程治理體系，突破傳統(tǒng)的碎片化治理模式，實(shí)現(xiàn)系統(tǒng)性風(fēng)險(xiǎn)防控。

第一，生成式人工智能可主動生成正向引導(dǎo)內(nèi)容。首先，通過模擬網(wǎng)絡(luò)暴力場景，生成反網(wǎng)絡(luò)暴力宣傳素材或網(wǎng)絡(luò)暴力防治科普材料，在沉浸式交互中訓(xùn)練用戶識別潛在風(fēng)險(xiǎn)，提升公眾媒介素養(yǎng)。其次，從技術(shù)角度來看，語言風(fēng)格轉(zhuǎn)化技術(shù)所需的情感詞典、語言處理、大模型技術(shù)都已經(jīng)較為成熟，生成式人工智能能夠自動發(fā)布正向輿論引導(dǎo)內(nèi)容，稀釋攻擊性言論的傳播密度，①智能攔截并動態(tài)凈化網(wǎng)絡(luò)暴力信息

第二，生成式人工智能可助力實(shí)現(xiàn)跨平臺線索與證據(jù)移送。生成式人工智能的分布式學(xué)習(xí)框架與區(qū)塊鏈技術(shù)形成治理能力互補(bǔ)，平臺可通過智能合約自動同步風(fēng)險(xiǎn)信息。例如，某用戶在微博發(fā)布的侮辱性內(nèi)容被標(biāo)記后，該特征可同步至微信、抖音等平臺，觸發(fā)跨平臺聯(lián)合封禁機(jī)制。傳統(tǒng)網(wǎng)暴治理依賴事后人工取證，面臨電子證據(jù)易篡改、取證門檻高、司法鑒定成本高昂等痛點(diǎn)。生成式人工智能通過多模態(tài)時(shí)空關(guān)聯(lián)分析與區(qū)塊鏈存證技術(shù)相結(jié)合，可實(shí)現(xiàn)網(wǎng)絡(luò)暴力的“快捷取證”②，自動生成法律維權(quán)指引，防止證據(jù)鏈條缺失，減少偵查取證成本。

第三，生成式人工智能可支持個(gè)性化心理干預(yù)與疏導(dǎo)。生成式人工智能驅(qū)動的“社交機(jī)器人”可自動生成心理疏導(dǎo)資源鏈接、加強(qiáng)網(wǎng)絡(luò)安全教育、生成輿情應(yīng)對指南，訓(xùn)練用戶提前建立認(rèn)知與心理防御體系。生成式人工智能通過情緒捕捉，可根據(jù)用戶特征及時(shí)識別抑郁、輕生等相關(guān)信息，采取個(gè)性化、針對性治療方案，如構(gòu)建虛擬陪伴者、進(jìn)行創(chuàng)傷場景脫敏訓(xùn)練、根據(jù)受害者社交關(guān)系鏈生成求助鏈接等，減輕網(wǎng)絡(luò)暴力給受害者帶來的負(fù)面影響。

三、生成式人工智能應(yīng)用于網(wǎng)絡(luò)暴力治理過程的風(fēng)險(xiǎn)與應(yīng)對

（一）生成式人工智能應(yīng)用于網(wǎng)絡(luò)暴力治理的風(fēng)險(xiǎn)

1.技術(shù)性風(fēng)險(xiǎn)

技術(shù)性風(fēng)險(xiǎn)在于深度偽造的濫用與隱蔽內(nèi)容的誤判，加劇了治理盲區(qū)。深度合成等技術(shù)簡化了暴力內(nèi)容的規(guī)模化生產(chǎn)，為信息生成和傳播提供新的能力或空間，可能會加劇社會極化與信任危機(jī)。多模態(tài)模型的語義理解偏差可能導(dǎo)致誤判風(fēng)險(xiǎn)，數(shù)據(jù)噪聲和技術(shù)固有缺陷導(dǎo)致大語言模型難以避免事實(shí)錯(cuò)誤和知識幻覺，文化語境差異可能使反諷、方言等表達(dá)被錯(cuò)誤標(biāo)記為暴力內(nèi)容

2.制度性風(fēng)險(xiǎn)

制度性風(fēng)險(xiǎn)體現(xiàn)在相關(guān)法律滯后與責(zé)任模糊導(dǎo)致監(jiān)管碎片化。現(xiàn)行法律體系難以適配生成式人工智能治理的技術(shù)特性，如《生成式人工智能服務(wù)管理暫行辦法》多為原則性規(guī)定，缺乏可操作性，“禁止生成虛假、暴力內(nèi)容”的宣示性條款無法解決深度偽造的技術(shù)性認(rèn)定難題，在跨境治理層面，跨國平臺協(xié)作可能存在法律沖突。網(wǎng)絡(luò)暴力涉及開發(fā)者、平臺、用戶等多方主體，責(zé)任主體認(rèn)定面臨困境，難以界定開發(fā)者“未盡合理注意義務(wù)”的責(zé)任，平臺對用戶生成內(nèi)容（User-generatedContent）的審核義務(wù)邊界尚不清楚。①

3.倫理風(fēng)險(xiǎn)

算法偏見與集權(quán)、數(shù)據(jù)濫用造成的隱私威脅，激化了倫理沖突。大語言模型的訓(xùn)練語料基于自然語言存在的文化規(guī)范和類別編碼，延續(xù)了訓(xùn)練數(shù)據(jù)中存在的價(jià)值觀，網(wǎng)絡(luò)暴力數(shù)據(jù)中涉及種族、性別、宗教和政治取向的偏見也會導(dǎo)致模型的偏見。②平臺通過AI系統(tǒng)對網(wǎng)絡(luò)暴力言論的判定與干預(yù)，實(shí)質(zhì)上掌握了數(shù)字空間的“裁判權(quán)”，可能加劇算法權(quán)力集中化風(fēng)險(xiǎn)。此外，大模型訓(xùn)練數(shù)據(jù)及識別暴力內(nèi)容時(shí)可能過度抓取私人聊天記錄、瀏覽軌跡等敏感信息，造成隱私越界

（二）生成式人工智能應(yīng)用于網(wǎng)絡(luò)暴力治理的風(fēng)險(xiǎn)應(yīng)對

1.技術(shù)優(yōu)化：增強(qiáng)技術(shù)安全性與算法透明度

平臺運(yùn)營方需開發(fā)安全增強(qiáng)技術(shù)，嵌入數(shù)字水印、元數(shù)據(jù)標(biāo)簽等技術(shù)，根據(jù)《人工智能生成合成內(nèi)容標(biāo)識辦法》要求的內(nèi)容標(biāo)識制度，實(shí)現(xiàn)暴力內(nèi)容溯源與跨平臺聯(lián)防。優(yōu)化模型結(jié)構(gòu)，及時(shí)彌補(bǔ)算法漏洞，強(qiáng)化算法的安全性與穩(wěn)定性；增強(qiáng)數(shù)據(jù)的多樣性，迅速響應(yīng)網(wǎng)絡(luò)暴力行為的新趨勢和新變化；提高模型的透明度與可解釋性，制定“AI審核 + 人工復(fù)核”的機(jī)制以及錯(cuò)誤處置的糾正反饋機(jī)制，減少算法治理的偏誤。

2.制度約束：完善法律規(guī)制與責(zé)任追溯

國家立法機(jī)關(guān)需明確生成式人工智能濫用行為的法律責(zé)任與刑事從重處罰標(biāo)準(zhǔn)，建立連帶責(zé)任機(jī)制。細(xì)化平臺主體責(zé)任，建立“全生命周期追溯機(jī)制”；建立國際通用的AI生成內(nèi)容數(shù)字指紋，實(shí)現(xiàn)跨境證據(jù)互認(rèn)。通過構(gòu)建網(wǎng)絡(luò)暴力犯罪的類型特征（如施暴主體、受害對象和施暴行為的類型化），③實(shí)現(xiàn)對網(wǎng)絡(luò)暴力犯罪“法不責(zé)眾”現(xiàn)象的精確治理。

3.倫理嵌人：提倡社會多元參與和倫理約束

網(wǎng)絡(luò)暴力信息治理需聯(lián)合平臺、監(jiān)管部門、技術(shù)企業(yè)與社會組織，建立多元主體共治的格局。鼓勵(lì)公眾參與監(jiān)督，提升公眾數(shù)字素養(yǎng)，將AI倫理納入國民教育體系。在網(wǎng)絡(luò)暴力信息識別模型訓(xùn)練階段注人反歧視、最小傷害等倫理原則。對賬號封禁、內(nèi)容刪除等重大決策設(shè)置人工復(fù)核觸發(fā)機(jī)制，防止網(wǎng)絡(luò)暴力算法權(quán)力異化。采用隱私加密技術(shù)及自動化檢測隱私風(fēng)險(xiǎn)技術(shù)，定期對網(wǎng)絡(luò)暴力模型進(jìn)行倫理審查，并采取有效措施糾正模型中的偏見。

四、結(jié)語

生成式人工智能賦予網(wǎng)絡(luò)暴力風(fēng)險(xiǎn)治理新的可能，從識別與監(jiān)管、預(yù)警與防治、取證與疏導(dǎo)方面表現(xiàn)出動態(tài)化、全景式與全流程的優(yōu)勢，為網(wǎng)絡(luò)暴力風(fēng)險(xiǎn)的精準(zhǔn)治理描繪了光明的前景。然而同時(shí)生成式人工智能也面臨技術(shù)、制度與倫理的深層挑戰(zhàn)，需要構(gòu)建“技術(shù)優(yōu)化一制度約束一倫理嵌入”的多元多維框架，既要善用生成式人工智能的智能優(yōu)勢實(shí)現(xiàn)網(wǎng)絡(luò)暴力信息的治理，亦需警惕技術(shù)帶來的風(fēng)險(xiǎn)。唯有在技術(shù)創(chuàng)新與風(fēng)險(xiǎn)控制間保持動態(tài)平衡，才能使生成式人工智能真正成為網(wǎng)絡(luò)暴力治理的善治工具。

（責(zé)任編輯：劉曉琴）

Generative Artificial Intelligence Empowering Cyberviolence Governance： Logic， Risks， and Responses

ZHANG WeiGUO ZiqiZHANG Jianwei2 （1.School of Medicine and Health Management， Huazhong University of Science and Technology， uhan，Hubei，43O03O；2.FacultyofScience andEnginering，lwate University，Morioka，lwateO2O-8551，Japan）

Abstract： Cyberviolence is a complex phenomenon intertwined with social contradictions and technological characteristics inthe digital era，and generativeartificial intellgence brings new possibilities for innovation in cyberviolence information governance.From the perspective of empowering logic， generative artificial intellgence shows great potentialindynamically monitoring cyberviolence information，preventingand controllingcyberviolence risks in a panoramic manner，and integrating into cyberviolence governance in the whole process， which helps to eliminate the negative impactsofcyberviolence.However，the applicationof generativeartificial intelligence also faces risks at the technical，institutionaland ethicallevels，and there is an urgent need to enhance technical security and algorithmic transparency，improve legal regulation and responsibilitytracing，and advocate the participation of multiple social entities，and strengthen ethical constraints，soas to realize eficient governance of cyberviolence information.

Keywords：generative artificial intelligence;cyberviolence; risk; governance