人工智能防欺凌系統應用的法律風險及其預防

摘 要 實踐中的校園欺凌具有明顯的隱蔽性，為提前發現和及時制止欺凌行為，基于人工智能的防欺凌系統應運而生。涉及防校園欺凌的人工智能包括決策式人工智能和生成式人工智能。校內外基于人工智能的監控系統側重于分析與判斷欺凌行為，當前需要的是決策式人工智能。而目前大規模的網絡欺凌涉及AI換臉、AI造謠等深度偽造技術的生成式人工智能，所以人工智能防網絡欺凌系統是基于人工智能的攻防對抗。人工智能在中小學校園應用也面臨一系列法律風險，因此應繼續健全防范未成年人個人信息數據、隱私數據泄露的法律制度，保障未成年人隱私權益不受侵犯。

關" 鍵" 詞 人工智能防欺凌系統；人工智能；校園欺凌；數據安全

引用格式 孫倩.人工智能防欺凌系統應用的法律風險及其預防[J].教學與管理，2025（05）：11-14+19.

近年來，雖然在不斷深入和推廣青少年法治教育，但中小學校校園欺凌、校園暴力事件頻頻發生，且屢禁不止[1]。根據中國人民大學中國調查與數據中心（NSRC）設計與實施的中國教育追蹤調查（CEPS）（自2013年追蹤到2018年）顯示，從小學到高中，有75.3%的學生遭受過至少一種形式的校園欺凌，其中只有五分之一的受害者選擇了向家長或學校傾訴[2]。2017年聯合國教科文組織發布的《校園暴力和欺凌全球數據報告》顯示，有32.5%的學生遭受過校園欺凌，其中30%的受害者選擇保持沉默，59%的學生在看到他人被欺凌時也選擇了沉默[3]。這些被欺凌者的共同特征是語言表達能力較弱，不會反抗或不敢反抗，容易被威脅、恐嚇，缺少傾訴的對象。所以，單從欺凌加害者和受害者出發，加強管理和教育引導是不夠的，還需要外部力量干預，只有提前發現和當場制止，才能有效保護學生的身心安全，避免事態嚴重化，及時化解誘發校園欺凌案件的風險。

一、人工智能防欺凌系統在校園欺凌事件中的應用

為防控校園欺凌，2018年，教育部頒發《教育信息化2.0行動計劃》，強調智能化教學環境的建設[4]。目前我國已有部分中小學試點使用“智慧校園”系統，對校園開展智能化、智慧化監控。目前中小學校采用的AI防欺凌系統有兩大類，即視頻AI行為分析預警系統和AI語言識別終端。

1.人工智能在防控校園欺凌方面的優勢

相對于中小學校動用大量的人力、物力去預防和控制校園欺凌，利用人工智能監測欺凌行為有多方面的優勢。

首先，人工智能能夠預先判斷和發現欺凌行為，并及時制止。一方面，中小學生之間的打鬧、推搡、吵架等行為不能一概認定為欺凌行為；另一方面，中小學生之間的欺凌行為非常隱蔽，因此單靠人力是遠遠無法防控校園欺凌的。實踐中，中小學師資力量有限，還承擔著繁重的教學任務，不可能分出足夠的人力去盯著所有的學生。然而，基于人工智能的視頻監控基本可以實現24小時不間斷監控，并且通過算法、數據分析、統計分析，預先判斷欺凌行為，并及時發出警示語音，通知安保人員。這樣既能夠防控欺凌行為，對于欺凌者也是一種震懾。

其次，以人工智能判斷欺凌行為具有客觀性，有利于減少家校糾紛。因為人工智能防校園欺凌系統的決策過程基于算法和數據分析，相對于中小學教師和學校管理者的主觀判斷更客觀和公正，并且有視頻證據或音頻證據為佐證，更容易令欺凌者的家長接受。同時人工智能的應用也減少了人為因素的干擾，降低了欺凌行為判斷錯誤風險和學校及教師處理欺凌行為不公正的隱患，進而紓解了很多家校糾紛，有利于家校協作。

再次，節省人力成本。在嘈雜的中小學校園及其周邊布置的人工智能防校園欺凌系統能夠全天候工作，并在欺凌行為發生時迅速發出警報，大大節省了人力的使用。

最后，更好地防范社會風險。一方面，人工智能防校園欺凌系統能夠快速地處理大量的欺凌行為數據，形成行為分析報告，為學校德育工作者有針對性地做好學生德育和心理健康教育提供素材。另一方面，人工智能在欺凌行為的社會效果評估和社會風險判斷方面發揮著重要作用，能分級分類處理不同的欺凌行為，預防欺凌行為產生嚴重后果。

2.人工智能防欺凌系統應用的幾個重點領域

涉及防校園欺凌的人工智能包括決策式人工智能和生成式人工智能。校內外基于人工智能的監控系統側重于分析與判斷欺凌行為，而當前需要的是決策式人工智能。目前大規模的網絡欺凌涉及AI換臉、AI造謠等深度偽造技術的生成式人工智能，所以人工智能防網絡欺凌系統是基于人工智能的攻防對抗。

一是針對各種欺凌行為特質制定應用人工智能的方案。根據目前的調查和研究，校園欺凌行為主要表現為顯性的欺凌和隱性的欺凌。顯性的欺凌主要表現為重復的暴力攻擊行為，如拳打腳踢，及言語欺凌，如起外號、嘲諷、辱罵、恐嚇、與性有關的不當評論等。隱性的欺凌主要表現為人身侮辱，如故意向別人吐痰、故意絆倒或推搡、搶奪或故意毀壞某人物品、作侮辱性手勢、在其身體或衣服上畫侮辱性圖案等行為，還有設置社交障礙，如故意忽視、集體孤立排斥、不讓其他同學與某人做朋友、故意經常當眾令某人難堪、撒播謠言等行為，以及強迫提供侮辱性服務，如擦屁股、擦鞋等行為，甚至性騷擾等[5]。根據各種欺凌行為的特質，可以采用視頻監控、音頻監控的形式，以欺凌中特定的語言觸發預警系統，健全智能監控系統。

二是針對遭受欺凌對象的特征制定應用人工智能的方案。根據調查，遭受欺凌的孩子多集中在幾個群體，如家庭經濟條件很差的孩子、經歷家庭暴力的孩子、在郊區就讀的孩子、寄宿生、留守兒童、單親家庭孩子[6]。根據受欺凌對象的特征，建立校醫院到各級醫院的未成年人傷情、病情強制報告制度，出現類似傷情即自動觸發公檢法的預警系統。同時著力構建中小學智慧校園系統，通過監控這些特殊群體孩子的校園卡消費狀況，開發預警系統，對超出該學生日常生活水平的大額消費或支取行為進行預警。

三是針對欺凌行為發生場所制定應用人工智能的方案。根據調查，中小學校園內的宿舍、教室、廁所、走廊樓梯、操場為欺凌行為高發地[7]，某些特定的學校，比如打工者子弟學校、收費比較高的民辦學校是欺凌行為高發的場所；校外來說，上下學路上、校車、少年宮等與學校相關的場所，學生居住的小區或街道、補習班，以及很少有人去的偏僻角落等學校和社區監管的真空地帶都是校外欺凌的多發地[8]。另外，新興的民宿、日租房等也是違法犯罪、校園欺凌的多發地。學校的宿舍、教室、廁所、走廊樓梯、操場等場所，可以安裝視頻監控、音頻監控。對打工者子弟學校和民辦學校則進行重點監控。對于校外與學校相關的場所，可以動用人工智能做到監控全覆蓋。對于其他學校和社區監管的真空地帶，則需要提前通過學校內外的人工智能預警系統進行排查，因為絕大多數的校園欺凌都是持續的，并且有預謀的。而對于學校附近的民宿、日租房，則需要監管部門加強監管，嚴禁這些場所向未成年人開放。同時優化人工智能防欺凌系統，將民宿、日租房等關鍵詞納入預警系統。

四是針對網絡欺凌制定應用人工智能的方案。隨著社交網站的盛行，網絡欺凌成為越來越嚴重的社會問題。很多未成年人涉及或參與網上欺凌，而欺凌者在線虐待、騷擾、歧視、威嚇、羞辱和折磨對方的行為很容易逃脫法律的制裁。人工智能與網絡欺凌的融合，使網絡欺凌的危害被無限放大，基于AI的深度偽造欺詐、造謠、誹謗，以及釣魚郵件、AI數據“投毒”等已經不再只是網絡欺凌，而是關系到網絡安全的重大問題。

在當前人工智能時代的網絡環境下，對網絡欺凌的治理需要上升到網絡安全的視角，探求多主體、多層次的合作治理，將網絡服務提供者、用戶、政府都納入其中，構建多元參與、互動協作的風險治理共同體[9]。一方面，從網絡從業者的角度，加強網絡服務商的社會責任，推進AI與網絡安全融合創新。整合現有的可以檢測欺凌內容的AI系統，基于網絡欺凌數據統計，研發網絡AI防欺凌系統，將防欺凌系統與網絡安防系統掛鉤，實時分析學生在社交網絡上的發言，以偵測包含欺凌內容的信息，同時向學生管理者發出警告，保障校方能夠及時介入、處理。另一方面，從政府的角度，除了采取行政規則和刑事規則的路徑外，還需要考慮如何與網絡服務商合作，共同抵制網絡欺凌，維護網絡安全。比如，在審核專利環節設置AI倫理師，審核此項AI專利技術在倫理、法律方面的合規性。再比如，設置研發項目基金，鼓勵網絡服務商、高校、教育部門參與研發基于人工智能的防網絡欺凌系統，指導各級各類學校建立、使用校內網域的社交網站。

二、人工智能防欺凌系統應用面臨的法律風險

人工智能防欺凌系統的應用涉及的風險包括數據保護、個人信息安全、隱私防護。

1.個人信息數據、隱私數據的安全風險

在廣大中小學應用人工智能防欺凌系統，實現了智能視頻、智能音頻全覆蓋，以及人臉識別、行為分析技術的廣泛應用，會產生大量的未成年人的人臉信息、生物信息，這些信息一旦泄露，會滋生一系列犯罪。更為嚴重的，會為違法犯罪行為大開方便之門。比如，從校園的智能監控系統獲取的未成年人人臉信息、生物信息，可以幫助犯罪集團鎖定拐賣的對象。再比如，在宿舍、廁所等隱私區域大規模地安裝智能音頻監控，會造成未成年人隱私的大規模泄露。因為人工智能防欺凌系統每天會產生大量的聲音、圖像、行為數據，這些數據在聯網的狀態下是通過采集、處理被上傳到云端，通過“云存儲”保存起來。

一是“云存儲”運營服務商的數據安全義務及責任并不明確，數據泄露風險極高。“云存儲”是借助網絡，運用應用軟件，為用戶提供數據存儲及訪問功能的軟硬件相結合的數據集合系統[10]。這種數據集合系統往往由專業的第三方運營機構負責運營和管理，即云運營服務商。實踐中，服務商是通過與用戶訂立合同的形式為用戶提供數據的云端存儲服務，一般是由服務商事先制定統一格式的合同范本。“云存儲”服務涉及多元化的存儲模式，包括公共云、私有云和混合云幾種類型。“公共云”的云存儲空間是面向社會所有用戶的。中小學人工智能防欺凌系統產生的數據涉及未成年人的信息，只能存儲到“私有云”空間。而訂立“私有云”存儲合同的雙方當事人均為相對單一的法律主體，他們往往以云運營服務商提供的合同為基礎，在此合同的基礎上，用戶和云運營服務商就某些條款進行協商，雖然有民法典格式條款的保護，但云運營服務商往往因其在技術能力、信息占有度等方面的優勢而占據強勢地位，導致最終的協商結果無法體現用戶的真實意思和保障用戶的合法權益[11]。而一旦建立起相應的“云存儲”服務合同，用戶的數據上傳到云端虛擬服務器后，用戶即喪失對數據的絕對控制權[12]。目前在司法規制云運營服務的法律框架下，云運營服務商很容易利用格式條款及專業術語規避自身的數據安全義務及責任。考慮到未成年人的圖像、行為、生物信息數據背后巨大的黑色產業鏈及經濟利益，云運營服務商如果參與其中，那么問題就不僅僅是信息泄露，很可能會同國際人口販賣利益鏈打通，后果不堪設想。

二是數據的用戶主體不明確，極易引發家校糾紛。人工智能防欺凌系統產生的數據的所有權主體并不明確，所以與云運營服務商訂立“云存儲”合同的用戶具體是指哪一個法律主體，是使用防欺凌系統的學校，還是被監控的未成年學生及其監護人，存在一定爭議。因為人工智能防欺凌系統產生的數據涉及大量的未成年人，如果未經未成年人監護人的同意而擅自處理，會引發侵權糾紛及家校糾紛。

三是一旦數據上傳云端就會加劇數據泄露風險。2016年11月頒布的《中華人民共和國網絡安全法》第37條規定：“關鍵信息基礎設施的運營者在中華人民共和國境內運營中收集和產生的個人信息和重要數據應當在境內存儲”，但同時指出確需出境的，需經過國家互聯網信息辦公室的安全評估。2022年中華人民共和國國家互聯網信息辦公室發布的《數據出境安全評估辦法》第4條、第19條規定的需要評估的重要數據和個人信息無法涵蓋未成年人的個人信息和數據，導致未成年人個人信息和數據出境不需要安全評估。

另外，《中華人民共和國網絡安全法》第66條僅規定對關鍵信息基礎設施運營者“在境外存儲網絡數據，或者向境外提供網絡數據的”行為進行嚴格處罰，這一規定僅局限于“在境外存儲”和“向境外提供”，忽視了“在境內通過云端存儲到境外”這一行為，導致云運營服務商通過“云存儲”將中國公民個人信息保存在境外虛擬終端的行為無法受到監管。也沒有法律規定云運營服務商對于存儲于境外的個人信息的安全保障義務。

近年來數據“云存儲”發展勢頭日益迅猛，多數主權國家出于對本國國內市場及國家安全的保護，紛紛加高壁壘，筑起邊界圍墻，將數據作為一國私有財產封鎖在本地服務器上。但我國相關境外“云存儲”的法律規范仍停留在原則性規定層面，對于存儲在境外的“云數據”未有針對性的監管規范，導致通過“云存儲”保存在境外虛擬終端的中國公民的個人信息缺乏相應的安全保障。

因此，需要從國家層面進一步完善數據的存儲、保護等相關法律規范，將未成年人數據保護作為未成年人網絡保護中必不可少的一部分，在網絡安全方面著重考量。

2.侵犯個人隱私的風險

人工智能防欺凌系統選擇在廁所、宿舍等私密場所安裝音頻監控系統的原因是可視化地監控會侵犯學生的隱私。其實在私密場所安裝音頻監控照樣會侵犯他人隱私。根據《民法典》第1032條：“任何組織或個人不得以刺探、侵擾、泄露、公開等方式侵犯他人隱私。”《治安管理處罰法》第42條規定：偷窺、偷拍、竊聽、散布他人隱私的行為是違法行為，要受相應的治安管理處罰。所以，侵犯他人隱私的方式不僅僅包括“視”，還包括“聽”。

為了避免發生侵權爭議以及引發家校糾紛，同時考慮到防控校園欺凌和學校安全管理的需要，在廁所、宿舍等私密場所安裝人工智能防欺凌系統需要進行廣泛調研，經過學生及家長同意，并需要同學生及其家長簽署知情同意書，保證學生在保障校園安全公共利益的前提下讓渡一定范圍內的隱私權。

三、人工智能防欺凌系統應用中法律風險的預防

為更好地預防人工智能防欺凌系統應用中的法律風險，可以從人工智能的固有缺陷、欺凌行為數據庫的構建、統一研發人工智能反欺凌系統三個方面增強教育系統的技術掌控能力和欺凌行為判定的科學性，建立統一的現代化欺凌行為數據庫，培養跨學科的復合型技術人才，確保智慧校園數據僅為提升校園管理水平和教育研究使用。

1.建立科學的欺凌行為數據庫，實現教育司法系統資源共享

目前市場上各類AI防欺凌系統沒有科學的欺凌行為統計數據作支撐，是否能準確識別大多數欺凌行為，未經過實踐檢驗。因此，AI防欺凌系統的建立應在國家行政力量的干預下逐步推進。構建AI防欺凌系統的前提是，以中國司法大數據研究院關于未成年人違法犯罪、校園暴力數據為基礎，建立科學的欺凌行為數據庫，培養防校園欺凌方面的大數據專業人士，更加熟悉和了解人機交互的方式方法，構建成熟的、實時的大數據處理平臺，對欺凌行為數據進行搜集、入庫、提純、加工，確保未成年人的數據存儲在教育行政系統內部，實現教育司法系統資源共享，從而更好地防范未成年人的信息泄露和保護隱私安全。

2.將人工智能防欺凌系統納入政府監管，建立強制合格制度

我國對人工智能監管采取的是創新與治理的雙輪驅動監管模式[13]，這種監管模式可以更好地服務于新興科技的發展。雖然監管與產業發展需要相伴而行，但是如果不提前監管有些特殊領域，會造成不可逆的傷害，比如未成年人保護領域。為了強化未成年人網絡保護，國家網信辦研究發布了《移動互聯網未成年人模式建設指南》，全面升級“青少年模式”為“未成年人模式”，推動模式覆蓋范圍由APP擴大到移動智能終端、應用商店，實現軟硬件三方聯動，方便用戶一鍵進入，為未成年人營造安全健康的網絡環境[14]。人工智能與網絡緊密相連，沒有網絡，很多人工智能產品便無法獲取實時數據、更新模型或與其他設備進行通信。雖然人工智能防欺凌系統多數只涉及語音識別、圖像處理、自然語言處理，這些功能可以離線工作，但這些離線功能使用的前提是在設備上存儲預訓練模型和算法。所以，人工智能聯網必然要受“未成年人模式”的制約，同時網絡欺凌本身就是未成年人網絡保護關注的重點，因此人工智能監管需要基礎教育領域先行。

自2017年以來，《網絡安全法》《個人信息保護法》《數據安全法》《網絡數據安全管理條例》《數據出境安全評估辦法》《信息安全技術—個人信息安全規范》（GB/T 35273-2020）等規范性法律文件的頒布

實施，為人工智能應用過程中個人信息保護和數據安全構筑了安全防線，我國保障人工智能健康發展的法律法規和倫理道德框架正逐漸完善。我們應清醒認識到人工智能是一把“雙刃劍”，要主動應對風險和挑戰，從加強頂層設計、推動算法優化、構建數據規范、開展安全測評等方面規范人工智能技術，確保人工智能防欺凌系統更好地保障中小學校校園安全，推動我國人工智能更快更好地發展。

參考文獻

[1] 楊鑫宇.邯鄲初中生被害案3人被刑事追訴：年齡絕非“免罪符”[N/OL].中國青年報，2024-04-08.https：//t.m.youth.cn/transfer/baobao/3nxLpvUE.html.

[2] 唐麗娜，王衛東.校園欺凌調查：哪些孩子容易被欺凌？如何防治？[N/OL].光明日報，2019-11-19.https：//m.huanqiu.com/article/9CaKrnKnRMx.

[3] 童朝輝.不做校園欺凌的沉默者[J].湖南教育（A刊），2020（02）：34-35.

[4] 教育部.關于印發《教育信息化2.0行動計劃》的通知[EB/OL].（2018-04-05）.http：//www.moe.gov.cn/srcsite/A16/s3342/201804/t20180425_334188.html.

[5] 陳海深，劉健智，劉新武.加拿大反校園欺凌政策及其啟示——以安大略省為例[J].教育學術月刊，2021（06）：46-53.

[6][8] 趙亭亭.我國校園欺凌問題的現狀、成因及防治——基于兩次校園欺凌論壇的會議綜述[J].當代青年研究，2018（06）：81-85.

[7] 中國司法大數據研究院.校園暴力司法大數據專題報告[EB/OL].（2019-11-22）.https：//www.court.gov.cn/upload/file/2019/11/22/11/10/20191122111056_72113.pdf.

[9] 張海鵬.學生網絡欺凌法律規制路徑辨析[J].大連理工大學學報（社會科學版），2021，42（01）：122-128.

[10] 齊愛民，祝高峰.論云存儲中數據安全的法律保護[J].重慶大學學報（社會科學版），2017，23（01）：101-108.

[11] 朱曉東.數字檔案資源云存儲服務中的法律合同問題研究[J].檔案學通訊，2017（02）：38-43.

[12] 蘇艷霞，王慶生，陳永樂.基于數據分割的云存儲中數據的安全共享[J].計算機工程與設計，2021，42（10）：2742-2747.

[13] 馮戀閣，李潤澤子，麥子浩.全球AI監管進行時：他山之石與中國方案[N/OL].21世紀經濟報道，2023-05-26. https：//www.163.com/dy/article/I5LSN6UA05199NPP.html.

[14] 馮爍.“未成年人模式”來了，國家網信辦如何給未成年人網絡保護設護欄？央廣網，202.https：//baijiahao.baidu.com/s？id=1773190968271728536amp;wfr=spideramp;for=pc.

[責任編輯：白文軍]

*該文為全國教育科學 “十四五”規劃2022年度教育部重點課題 “中小學教育懲戒糾紛中學校、家長、學生三方法律責任體系研究”（DEA220354）的研究成果