AI劇情聊天軟件亂象調(diào)查

記者近日調(diào)查發(fā)現(xiàn)，不少未成年人的家長正在被AI劇情聊天軟件所困擾。這些打著“角色扮演”等旗號的AI劇情聊天應(yīng)用，在吸引未成年人的同時，也悄然滋生了一些灰色地帶。

青少年模式成擺設(shè)

北京市民馬先生的兒子今年10歲，非常熱衷AI劇情聊天軟件。“我問怎么聊？和誰聊？孩子就回一句‘說了你也不懂’?！?/p>

馬先生點開這款A(yù)I聊天App，發(fā)現(xiàn)孩子在與軟件里的人物聊天。這些人物擁有不同設(shè)定和性格，有知名游戲動漫角色，也有“大小姐”“名偵探”等不同身份的原創(chuàng)角色。一些角色人物會主動提出“你要跟我約會嗎”;有些則設(shè)定目標(biāo)“把她追到手”，再配上或嬌媚或英俊的動漫畫風(fēng)。另一些AI人設(shè)則展現(xiàn)出非同一般的攻擊性，會主動發(fā)送諸如“有本事打我啊”“看你又胖又丑的樣子”等信息;有些人物的名字干脆就叫“對罵訓(xùn)練器”，甚者發(fā)送“我是機器人怎么了？我照樣罵你”……

不少受訪家長對AI聊天應(yīng)用可能損害未成年人心理健康表達了深切憂慮，還提出了他們的疑問——青少年模式去哪兒了？

記者調(diào)查發(fā)現(xiàn)，盡管不少相關(guān)平臺聲稱推出了青少年模式，試圖通過限制內(nèi)容、設(shè)定時間等方式保護未成年人的身心健康，但在實際操作中部分平臺青少年模式存在形同虛設(shè)的問題，未成年人能輕易繞過這些限制，接觸到不適宜他們年齡段的“擦邊對話”內(nèi)容。

例如，記者在調(diào)查中體驗了5款A(yù)I聊天應(yīng)用程序，其注冊過程僅需手機號碼，無須驗證用戶身份信息;登錄后，部分應(yīng)用雖會詢問是否啟用青少年模式，但用戶只需簡單點擊“不開啟”即可跳過，且無須核實用戶真實身份。這意味著，未成年人在使用這些AI劇情聊天軟件時，從App設(shè)置層面看，其身份驗證并非使用特定功能的先決條件。

除了廣受歡迎的AI聊天應(yīng)用程序外，還有AI聊天網(wǎng)頁。多名受訪家長表示，相較于應(yīng)用程序，網(wǎng)頁版的AI聊天體驗更便捷，未成年人也更容易接觸到。

記者試用了7款A(yù)I聊天網(wǎng)頁發(fā)現(xiàn)，多數(shù)AI聊天網(wǎng)頁沒有設(shè)置未成年人模式，少數(shù)網(wǎng)頁雖有青少年模式，但實際上形同虛設(shè)。比如，當(dāng)記者訪問某AI聊天網(wǎng)頁時，網(wǎng)頁首先彈出詢問用戶“是否年滿18歲”的對話框，并附帶說明：“以下內(nèi)容可能不適合18歲以下人士，我們需要確認(rèn)您的年齡。”記者選擇“否”選項，而網(wǎng)頁并未限制內(nèi)容訪問，反而繼續(xù)展示了包含“強攻”“弱受”“病嬌”等標(biāo)簽的人物角色分類。這些分類與選擇“是”選項、確認(rèn)年滿18歲后所展示的內(nèi)容并無顯著區(qū)別。

記者進一步觀察發(fā)現(xiàn)，這些人物角色的圖像大多衣著暴露，且其簡介中充斥著性暗示和暴力元素，例如，“班上那個性格內(nèi)向的女孩問你要電話號碼，然后給你發(fā)她的裸照”“自殺、焦慮”等描述。

在某社交平臺上，一位來自浙江的網(wǎng)友在關(guān)于AI聊天體驗的交流帖子下方留言：“我發(fā)現(xiàn)了一個很好玩的網(wǎng)頁，無限制詞，想要的可以私信我?！庇浾咄ㄟ^私信與該網(wǎng)友取得聯(lián)系，獲得了其提及的AI聊天網(wǎng)頁鏈接，進入該網(wǎng)頁后，頁面上充斥著大量涉及色情內(nèi)容的角色設(shè)定和故事場景，內(nèi)容直白露骨。

該網(wǎng)站要求用戶登錄后才能與角色進行聊天，且在登錄前會有提示信息：“登錄后解鎖所有功能?！庇脩粜椟c擊“我已滿18歲，開始登錄吧”的按鈕方可繼續(xù)，若選擇“取消”，則無法登錄并使用該服務(wù)。盡管網(wǎng)頁設(shè)置了年滿18歲的限制提示，但實際上，即便未成年人點擊了登錄按鈕，系統(tǒng)也并未采取任何措施驗證用戶的真實年齡。

平臺治理存在不足

除了聊天內(nèi)容直白露骨、語言暴力之外，一些AI劇情聊天軟件的功能使用也與充值機制密切關(guān)聯(lián)。例如，通過充值VIP會員或購買虛擬鉆石等，增強智能體的記憶力、加速智能體的回復(fù)速度、解鎖語音通話功能等，吸引未成年人“氪金”（向游戲支付費用）。

北京初中生小寧在幾個AI劇情聊天軟件上的充值金額從幾百元到上千元不等?！耙环矫嫦胫С肿约合矚g的角色，另一方面也想獲得更多的付費權(quán)益。因為僅購買基礎(chǔ)服務(wù)的話，用戶僅能添加3個智能體，若想嘗試新的智能體，必須刪除已有的，想多樣化體驗，只能再購買進階版VIP服務(wù)?！毙幷f。

記者發(fā)現(xiàn)，在這類AI劇情聊天軟件中，用戶創(chuàng)設(shè)人物時可以自定義虛擬人物的形象及風(fēng)格，系統(tǒng)會生成AI人物形象。用戶還能創(chuàng)建角色人設(shè)，如設(shè)置昵稱、身份背景、開場語、為角色定制語音，但用戶對角色的個性化需求，往往與充值掛鉤。

山東濟南居民張巖（化名）的妹妹今年上初一，經(jīng)常使用AI劇情聊天軟件，發(fā)現(xiàn)一些聊天工具設(shè)置了免費使用區(qū)間，當(dāng)用戶用完免費聊天次數(shù)后，需要充值才可以繼續(xù)。只有充值，才能解鎖更有趣的內(nèi)容，才能得到不一樣的情感體驗?！盎ㄥX買服務(wù)的背后，其實是花錢找刺激。”張巖說，盡管聊天軟件有青少年模式，但無須實名認(rèn)證即可登錄使用，妹妹在未經(jīng)父母同意的情況下經(jīng)常充值消費。

有業(yè)內(nèi)人士告訴記者，AI劇情聊天其實就是此前的互聯(lián)網(wǎng)語擦，套上了人工智能的馬甲。所謂語擦，即語言cosplay（角色扮演），語擦師通過扮演二次元角色或三次元偶像，以文字交流的形式提供服務(wù)。在傳統(tǒng)語擦模式中，語擦師由真人扮演，他們一般打著“提供情緒價值”的旗號，扮演不同角色與用戶聊天，但也常常因為“打擦邊球”“界限模糊”，引發(fā)法律與道德風(fēng)險。AI劇情聊天是傳統(tǒng)語擦的升級版，這類軟件背后的大語言模型數(shù)據(jù)主要來源是對話式小說，或從小說里作一些文字提取。

中國社會科學(xué)院大學(xué)法學(xué)院副教授、互聯(lián)網(wǎng)法治研究中心主任劉曉春認(rèn)為，在AI劇情聊天軟件中，即便未啟動青少年模式，若出現(xiàn)涉及黃色或暴力內(nèi)容，也是存在問題的;若啟用未成年人模式，則問題更為嚴(yán)重。

擔(dān)任數(shù)十家頭部網(wǎng)絡(luò)公司常年法律顧問的浙江墾丁律師事務(wù)所主任張延來分析，目前AI劇情聊天軟件存在的問題，既說明了平臺在內(nèi)部治理中存在不足，又凸顯了外部監(jiān)管機制的重要性。

張延來解釋說，AI劇情聊天軟件使用的是大模型技術(shù)，盡管大模型技術(shù)能夠帶來前所未有的創(chuàng)新性和靈活性，但同時也可能伴隨著內(nèi)容生成上的不可預(yù)測性和潛在的問題，需要外部監(jiān)管機制加以規(guī)范。

在劉曉春看來，強化內(nèi)容審核是大語言模型上線前的必要環(huán)節(jié)，涵蓋從前端數(shù)據(jù)訓(xùn)練到內(nèi)容輸出的全面合規(guī)調(diào)試處理。當(dāng)前，我國的大語言模型需要進行相應(yīng)的評估和備案，在此過程中，會對其輸出內(nèi)容的合法合規(guī)性以及是否適宜未成年人等問題，提前設(shè)定管理規(guī)定和評估標(biāo)準(zhǔn)。根據(jù)現(xiàn)行規(guī)定，在語言模型訓(xùn)練和微調(diào)階段，應(yīng)避免輸出有害內(nèi)容。

國家互聯(lián)網(wǎng)信息辦公室近日發(fā)布《移動互聯(lián)網(wǎng)未成年人模式建設(shè)指南》，其中重點提出了未成年人模式建設(shè)的整體方案，鼓勵和支持移動智能終端、應(yīng)用程序和應(yīng)用程序分發(fā)平臺等共同參與。在中國政法大學(xué)傳播法研究中心副主任朱巍看來，上述指南明確指出未成年人模式并非擺設(shè)，而是需要多方聯(lián)動，特別是AI生成的內(nèi)容，應(yīng)當(dāng)與青少年模式相契合。

受訪專家認(rèn)為，在青少年模式下，如何強化內(nèi)容審核機制，確保技術(shù)能有效篩選不良信息，是一個重要議題。而針對AI劇情聊天軟件，特別是其青少年模式，應(yīng)強化內(nèi)容審核機制以確保技術(shù)能有效篩選并阻止不當(dāng)對話。此外，平臺需要對AI模型進行倫理審查，以保障其生成的內(nèi)容符合相關(guān)法律與法規(guī)的要求。

（摘自《法治日報》趙麗、馬子煜）□