AI可從飛行安全中學(xué)到什么

在最近的一次安全測(cè)試中，一個(gè)旨在協(xié)助客戶申請(qǐng)貸款的銀行生成式AI（人工智能）聊天機(jī)器人遭到了操縱，并因此泄露了敏感金融信息。測(cè)試人員繞過(guò)了安全控制機(jī)制，提取了一份包括客戶姓名在內(nèi)的全面貸款審批清單。

這個(gè)警示性故事強(qiáng)調(diào)了一個(gè)根本問(wèn)題：生成式AI可以徹底改變整個(gè)行業(yè)，但也可能在缺乏完備安全操作規(guī)程的情況下引發(fā)災(zāi)難性結(jié)果。傳統(tǒng)的安全模式已不敷使用，生成式AI這類變革性技術(shù)需要一種新的、整體性的網(wǎng)絡(luò)安全操作方式。

在此航空業(yè)提供了一個(gè)有用的模式。通過(guò)實(shí)施嚴(yán)格的安全操作規(guī)程，搭乘飛機(jī)已成為最安全的交通方式之一。AI的潛力誰(shuí)也無(wú)法否認(rèn)，但其未來(lái)取決于各類安全風(fēng)險(xiǎn)的解決。比如波士頓咨詢公司最近的一項(xiàng)研究就發(fā)現(xiàn)，有3/4的企業(yè)高管認(rèn)為，網(wǎng)絡(luò)安全問(wèn)題是擴(kuò)大AI應(yīng)用規(guī)模的主要障礙。

大型語(yǔ)言模型引入了不確定性行為，催生了網(wǎng)絡(luò)安全盲點(diǎn)。此外，它們對(duì)自然語(yǔ)言輸入的依賴、自適應(yīng)學(xué)習(xí)以及與其他工具和服務(wù)的廣泛集成，也使之具備獨(dú)特的脆弱性。正如航空需要綜合性、多層面考慮的安全操作一樣，網(wǎng)絡(luò)安全必須嵌入AI內(nèi)部從架構(gòu)到數(shù)據(jù)管理和人工監(jiān)督的每一個(gè)層級(jí)。

AI系統(tǒng)的一個(gè)關(guān)鍵漏洞就是提示詞注入攻擊，即攻擊者對(duì)一個(gè)模型進(jìn)行操縱，使其泄露敏感數(shù)據(jù)或改變決策邏輯。最近的銀行聊天機(jī)器人測(cè)試，發(fā)現(xiàn)了一個(gè)同樣令人擔(dān)憂的風(fēng)險(xiǎn)：權(quán)限升級(jí)。測(cè)試人員冒充系統(tǒng)管理員，批準(zhǔn)了未經(jīng)授權(quán)的貸款并修改了后臺(tái)數(shù)據(jù)。

醫(yī)療保健AI助手也受到了類似攻擊。安全研究人員通過(guò)巧妙修改查詢語(yǔ)句措辭，成功提取了機(jī)密的病人診療記錄。攻擊者沒(méi)有直接詢問(wèn)病史，而是將問(wèn)題設(shè)置成類似于合法的醫(yī)生查詢請(qǐng)求。他們借此暴露了另一個(gè)弱點(diǎn)：AI通常優(yōu)先考慮語(yǔ)言邏輯而非訪問(wèn)控制。

這些漏洞不僅僅局限于銀行和醫(yī)療保健領(lǐng)域。許多AI應(yīng)用都會(huì)使用代理系統(tǒng)檢索實(shí)時(shí)數(shù)據(jù)以自主決策，也因此為攻擊者創(chuàng)造了可乘之機(jī)。例如，對(duì)AI驅(qū)動(dòng)的客服聊天機(jī)器人進(jìn)行的安全評(píng)估就顯示，攻擊者能夠利用薄弱的應(yīng)用編程接口驗(yàn)證去操縱大語(yǔ)言模型，借此拿到內(nèi)部折扣代碼和庫(kù)存詳情。

AI的適應(yīng)性還可以被攻擊者借所謂“語(yǔ)境投毒”的手法利用。他們可以隨著時(shí)間的推移逐漸塑造模型的回應(yīng)，并將其引向不正確或危險(xiǎn)的建議。在一次實(shí)驗(yàn)中，一個(gè)水療聊天機(jī)器人反復(fù)接收到將某些不安全成分謊稱為有益成分的輸入，最終開(kāi)始推薦有害的護(hù)膚產(chǎn)品。

當(dāng)AI系統(tǒng)向傳統(tǒng)基礎(chǔ)設(shè)施發(fā)出大量自動(dòng)請(qǐng)求時(shí)，它們可能會(huì)導(dǎo)致系統(tǒng)故障——這種現(xiàn)象被稱為遺留污染。為避免這種狀況，企業(yè)必須實(shí)施對(duì)抗性訓(xùn)練，不斷讓AI模型接觸欺騙性輸入詞以增強(qiáng)其韌性。

自動(dòng)和手動(dòng)的實(shí)時(shí)異常檢測(cè)，可以在相關(guān)回應(yīng)遭那些操縱性數(shù)據(jù)影響之前，識(shí)別出異常的AI行為。正如飛行控制系統(tǒng)依賴于獨(dú)立備份一樣，生成式AI的安全性也必須建立在分層保障措施的基礎(chǔ)上，包括自動(dòng)異常檢測(cè)以標(biāo)記異常活動(dòng)、冗余訪問(wèn)驗(yàn)證以防止未經(jīng)授權(quán)的系統(tǒng)交互，以及設(shè)立實(shí)時(shí)回滾機(jī)制以撤銷有害更改。

雖然分析師預(yù)測(cè)全球AI方面的支出到2028年將超過(guò)6310億美元，但除非從根本上解決網(wǎng)絡(luò)安全挑戰(zhàn)，否則許多這類投資都將難以獲得有意義的回報(bào)。最重要的是，AI安全必須從某種“附加插件”演變?yōu)橐豁?xiàng)嵌入系統(tǒng)架構(gòu)、數(shù)據(jù)管理和人工監(jiān)督的核心功能。有效的安全框架應(yīng)該是不斷適應(yīng)變化、具備韌性且能集成到傳統(tǒng)系統(tǒng)中的。