小心“AI幻覺”

AI依賴癥

2025年年初，各類大模型開放，AI的興起改變了人們的日常生活。作家借助算法優(yōu)化詩(shī)句結(jié)構(gòu)，養(yǎng)生愛好者用AI定制健康食譜，失眠者深夜與AI對(duì)話疏解焦慮，股民們甚至樂此不疲地解讀著AI生成的各類理財(cái)建議……

證券分析師小宋的工位上有3塊曲面顯示屏，上面終日流淌著數(shù)據(jù)瀑布。2023年6月，他開始使用AI軟件ChatGPT作為工作助手。“瞬析上百份財(cái)報(bào)、一分鐘生成深度報(bào)告，人肯定是做不到。”小宋覺得，ChatGPT能很快做出反應(yīng)并處理問題，讓他的報(bào)告產(chǎn)出效率躍升。當(dāng)其他同事還在手動(dòng)整理全國(guó)幾十家半導(dǎo)體企業(yè)財(cái)報(bào)時(shí)，AI已經(jīng)幫他抓取了關(guān)鍵參數(shù)，“某半導(dǎo)體集團(tuán)的資本開支數(shù)據(jù)、驅(qū)動(dòng)芯片占全球市場(chǎng)的份額、全球半導(dǎo)體銷售額……”小宋的手指反復(fù)在鍵盤上跳躍，這些復(fù)雜的數(shù)據(jù)在短短30秒內(nèi)被制成了一張圖表。

小宋沉浸在一種AI帶來(lái)的時(shí)間紅利中。曾經(jīng)需要通宵解析的市場(chǎng)波動(dòng)，現(xiàn)在只需要一杯茶的工夫，就變成了電腦屏幕上跳動(dòng)的概率曲線，這些由AI算法托起的輕舟，載著他穿越信息的洪流。

類似的感受，王賀也有。他是北京一家網(wǎng)絡(luò)安全公司的產(chǎn)品研發(fā)工程師，通宵篩查警報(bào)代碼是常態(tài)，每天的工作是在電腦前設(shè)計(jì)各類殺毒軟件和防火墻，不斷模擬黑客攻擊來(lái)測(cè)試這些防護(hù)系統(tǒng)的漏洞，直到確認(rèn)沒有任何非法闖入的途徑。2024年，團(tuán)隊(duì)正式將AI應(yīng)用到工作中，在自動(dòng)化滲透測(cè)試中，AI可以自動(dòng)生成百萬(wàn)級(jí)測(cè)試用例，3秒定位某金融APP支付接口的越權(quán)漏洞。而同樣的工作，人工測(cè)試則需4小時(shí)。

“就像打仗的時(shí)候，士兵不再拼刺刀，但需要更高維的戰(zhàn)術(shù)指揮能力。”王賀覺得，他的時(shí)間不再消耗在顯微鏡式的漏洞追蹤上，轉(zhuǎn)而可以聚焦于設(shè)計(jì)防御算法上。

AI幻覺“陷阱”

2月26日，北京大學(xué)第三醫(yī)院的心內(nèi)科診室里，兩種治療方案在診臺(tái)上對(duì)峙：左側(cè)是心內(nèi)科大夫汪京嘉開出的一份用于治療高血脂的醫(yī)囑，右側(cè)是人工智能軟件生成的處方。

“汪大夫，您給開的口服藥太溫和，AI建議注射瑞百安，說(shuō)是降脂快。”患者從AI上得到建議，注射類藥物短期耐受性良好，而且僅需隔周注射一次，比每日服用藥物方便許多。汪京嘉用手指了指報(bào)告：“他汀類藥物對(duì)肝臟負(fù)擔(dān)更小，您的報(bào)告顯示轉(zhuǎn)氨酶偏高。”之后，他花了不少時(shí)間向患者解釋，為什么就患者的情況，使用注射劑可能會(huì)加重肝臟代謝負(fù)擔(dān)。

不止在醫(yī)療界，類似的認(rèn)知拉鋸正在各種行業(yè)上演。

這個(gè)月，小宋第4次捕捉到AI的錯(cuò)誤。在撰寫一份行業(yè)報(bào)告前，他想在AI上收集一些有效數(shù)據(jù)，ChatGPT為他生成了一份《存儲(chǔ)芯片行業(yè)Q1預(yù)測(cè)》：“三星電子將在西安擴(kuò)產(chǎn)”“臺(tái)積電產(chǎn)能釋放帶動(dòng)需求，某電子元件公司預(yù)計(jì)營(yíng)收增長(zhǎng)22.3%”……檢索過一輪之后，小宋意識(shí)到，這些快速生成的數(shù)據(jù)和信息并不真實(shí)。“AI給出的資料里甚至還附上了開發(fā)區(qū)管委會(huì)的紅頭文件編號(hào)，但仔細(xì)一查，根本就沒有這個(gè)東西。”

所謂AI幻覺，通常是指大語(yǔ)言模型生成的內(nèi)容無(wú)意義、不符合事實(shí)、邏輯自相矛盾，甚至完全不準(zhǔn)確的輸出。中國(guó)信通院人工智能研究所副所長(zhǎng)巫彤寧用生活化類比解釋了AI幻覺的成因，“就像一個(gè)人雖然能流利地說(shuō)話，但并不一定每句話都符合事實(shí)。”由于AI無(wú)法像人類那樣理解事實(shí)的邏輯，因此，當(dāng)遇到需要深度推理的問題時(shí)，這種基于概率的創(chuàng)作機(jī)制就容易催生看似合理實(shí)則錯(cuò)漏百出的“專業(yè)謊言”。

這種幻覺帶來(lái)的信息污染開始侵蝕小宋的工作，最危險(xiǎn)的失誤發(fā)生在今年1月。一次實(shí)地調(diào)研中，某半導(dǎo)體公司的銷售總監(jiān)聊到“刻蝕機(jī)交貨期從半年延長(zhǎng)到7個(gè)半月”時(shí)，小宋突然意識(shí)到，自己上周發(fā)布的行業(yè)報(bào)告里，關(guān)于芯片設(shè)備供應(yīng)周期的預(yù)測(cè)數(shù)據(jù)，還在使用AI系統(tǒng)中存儲(chǔ)的舊參數(shù)。這意味著，所有基于該數(shù)據(jù)的投資建議都存在偏差。在小宋所在的證券行業(yè)，這種錯(cuò)誤是“致命”的。

“AI幻覺”導(dǎo)致的偏差，也正成為自動(dòng)駕駛研發(fā)的棘手難題。

上海臨港的自動(dòng)駕駛測(cè)試場(chǎng)內(nèi)，某車企自動(dòng)駕駛研發(fā)部的劉璐摘下AR眼鏡，盯著監(jiān)控屏上的異常軌跡皺起眉頭，這是本周第三起誤觸發(fā)事件。測(cè)試汽車在通過無(wú)標(biāo)線道路時(shí)，突然對(duì)右側(cè)綠化區(qū)實(shí)施緊急制動(dòng)，回放測(cè)試錄像發(fā)現(xiàn)，雷達(dá)將隨風(fēng)擺動(dòng)的塑料棚膜識(shí)別成橫穿馬路的行人，而攝像頭因逆光未能及時(shí)修正。而在另外一次冬日郊外測(cè)試中，激光雷達(dá)曾將雪地里跳躍的太陽(yáng)光影群誤判為滾石，引發(fā)急剎。這些人類司機(jī)可以輕松識(shí)別的道路信息，卻是AI系統(tǒng)無(wú)法準(zhǔn)確理解的“視覺陷阱”。

材料專業(yè)的大四學(xué)生靜文也有過被AI“欺騙”的經(jīng)歷。她在準(zhǔn)備一篇論文時(shí)，通過AI整理“量子點(diǎn)材料”研究進(jìn)展，系統(tǒng)洋洋灑灑列出27篇參考文獻(xiàn)，可當(dāng)她逐條核實(shí)時(shí)，發(fā)現(xiàn)27篇參考文獻(xiàn)中，只有3篇真實(shí)存在，而這3篇里壓根沒有關(guān)于“量子點(diǎn)材料突破”的學(xué)術(shù)信息。

人機(jī)博弈

作為程序員，王賀給AI系統(tǒng)設(shè)置了一個(gè)準(zhǔn)則，只允許它“學(xué)習(xí)”國(guó)家網(wǎng)絡(luò)安全機(jī)構(gòu)認(rèn)證的病毒樣本庫(kù)，來(lái)路不明的網(wǎng)絡(luò)攻擊案例，必須先經(jīng)過人工審核，才能放入清單。他覺得，AI的使用者不能被大模型所主導(dǎo)，而應(yīng)該主導(dǎo)大模型。

最近，劉璐和團(tuán)隊(duì)像教新手司機(jī)認(rèn)路一樣，給自動(dòng)駕駛系統(tǒng)添加了“辨別課”。他們讓AI反復(fù)學(xué)習(xí)數(shù)萬(wàn)種光影類別，有時(shí)是進(jìn)出隧道時(shí)忽明忽暗的強(qiáng)光，有時(shí)是雨天車窗上跳躍的水珠反光，還有高樓玻璃幕墻在陽(yáng)光下制造的“假紅綠燈”。“就像駕校教練會(huì)帶學(xué)員到復(fù)雜路段實(shí)地訓(xùn)練。”劉璐解釋，他們希望通過“辨別課”讓系統(tǒng)學(xué)會(huì)做判斷，從而有效減少測(cè)試車輛被迷惑而突然剎車，就像老司機(jī)能一眼分清霓虹燈和真正的交通信號(hào)。

AI幻覺能不能徹底被消除？在行業(yè)專家巫彤寧看來(lái)，平衡創(chuàng)造性與真實(shí)性的關(guān)鍵在于構(gòu)建雙重防護(hù)體系：首先要提高大模型學(xué)習(xí)知識(shí)的質(zhì)量，通過嚴(yán)格的知識(shí)篩選，提高喂給大模型數(shù)據(jù)的質(zhì)量，從而從根本上降低產(chǎn)生幻覺的可能性；其次，應(yīng)建立用戶糾錯(cuò)機(jī)制：讓用戶在使用中實(shí)時(shí)反饋模型輸出中的錯(cuò)誤或不準(zhǔn)確之處，這些反饋能像錯(cuò)題本一樣幫AI記住教訓(xùn)，越用越準(zhǔn)。

除此之外，巫彤寧經(jīng)常呼吁，讓大模型分場(chǎng)景工作，針對(duì)法律、醫(yī)療等低容錯(cuò)率領(lǐng)域，強(qiáng)制激活“嚴(yán)謹(jǐn)模式”，要求模型檢索最新權(quán)威資料并標(biāo)注來(lái)源；而面對(duì)創(chuàng)意需求時(shí)則開放聯(lián)想空間，允許“開腦洞”，為用戶帶來(lái)更多靈感。

“我們要做的，是找到人工智能和人類中間的平衡。”巫彤寧說(shuō)。徹底消除幻覺并不現(xiàn)實(shí)，而在AI信息爆炸時(shí)代，始終保持獨(dú)立思考的能力、辨別信息真?zhèn)蔚哪芰Ρ全@取信息的能力更寶貴。

摘自“剝洋蔥people”