AI詐騙新套路不斷，“眼見不一定為實”如何防范

鄭雪

以ChatGPT為代表的生成式AI快速發展，掀起了全球人工智能產業發展的又一波熱潮。但AI技術在不斷進步的同時，也帶來了更多安全挑戰。

當人們享受著AI所帶來的全新體驗，犯罪分子也在借助AI技術“更新”犯罪手段，比如利用AI換臉進行詐騙。在受騙者看來，以視頻方式借錢的另一方是“朋友”，殊不知這位“朋友”卻有可能是被AI換臉和擬聲的陌生人。傳統的“眼見為實”正在面臨巨大挑戰。

不僅如此，近日，有外國媒體報道稱，東南亞犯罪集團在“殺豬盤”詐騙中使用了生成式AI，這讓受騙者范圍擴大，相關欺騙話術也更具有說服力。

一個更加現實的問題擺在眼前：當詐騙與AI技術結合，面對紛繁復雜的騙術，公眾又該如何應對？

AI詐騙新套路不斷

今年上半年，中國香港警方披露了一起AI“換臉”詐騙案件。一家跨國公司香港分部的職工受邀參加總部首席財務官發起的視頻會議，同時還有數名財務人員參會。該香港公司職工按照要求共計轉出2億港元，其后，向總部核實后才知受騙。

AI換臉詐騙容易成功的一個重要原因是，“眼見為實”的常識被挑戰。此案中，據警方調查，所謂的視頻會議，只有受害人一個人是“真人”，其他“參會人員”都是經過AI換臉后的詐騙人員。

國投智能首席科學家江漢祥向《中國經濟周刊》記者分析，該案例中，財務人員受騙主要存在兩種可能性：

一是犯罪分子盜用了集團高管的內部工作賬號。內部工作賬號存有大量企業職工信息，在AI換臉技術輔助之下，犯罪分子利用掌握的企業信息便可非常順利地實施詐騙，財務人員很難防范。

二是財務人員收到了以短信方式通知的信息，被要求參與網絡視頻會議。這種騙局可識別環節較多，此時財務人員要主動識別、判斷信息真偽，以避免后續事件發生。

AI換臉與深度合成技術緊密相關。深度合成技術是指利用深度學習、虛擬現實等生成合成類算法制作文本、圖像、音頻、視頻、虛擬場景等網絡信息的技術。

一方面，深度合成技術被廣泛應用于影視、娛樂、教育等領域，如數字虛擬人、數字試穿。另一方面，該技術也可能被不法分子用于深度偽造，如用于詐騙、色情等違法犯罪行為，帶來諸多風險和隱患。

值得注意的是，當下大熱的生成式AI也被用于電信網絡詐騙。澳大利亞廣播公司報道稱，東南亞的犯罪集團在“殺豬盤”中使用了生成式AI。犯罪分子利用大語言模型或聊天機器人，用不同語言向受害者發送消息，擴大騙局影響范圍。此外，犯罪分子利用生成式AI使對話更有說服力，減少與受害者互動的工作量。

所幸，一些AI企業設置了安全護欄，以防止大模型被用于非法活動。此外，犯罪集團對于人工智能的使用尚未非常熟練。外媒稱，有詐騙分子給“殺豬盤”的潛在目標發送消息，卻意外透露該消息由大模型生成：“非常感謝您的善意之言！‘我作為一個語言模型，沒有像人類那樣的感覺或情緒……”

防范與監管都面臨新挑戰

當下，AI和電信網絡詐騙被動結合。新的詐騙方式之下，人們該如何防范？

江漢祥特別提示，虛擬環境下一旦涉及財產交易，絕對不能輕信，要養成線下主動打電話和對方二次確認的習慣，這是防止受騙的關鍵。

“面對這些突破‘眼見為實的AI詐騙，人們更需要強化反詐意識。”北京航空航天大學法學院副教授趙精武在接受《中國經濟周刊》記者采訪時表示。在他看來，詐騙行為最核心的目的是騙取錢財，故而在涉及資金轉賬、財務往來時，需慎重核對轉賬目標的真實性。

法律法規層面，《互聯網信息服務深度合成管理規定》（以下簡稱《管理規定》）對于深度合成服務提供者的安全管理義務提出了相關要求。

“《管理規定》等法律法規也明確了深度合成服務提供者的信息安全主體責任，以便在發生違法犯罪活動時，能夠輔助定位相應的行為主體身份。”趙精武說道。

在AI詐騙整個鏈條中，技術不可或缺。那么，AI工具的研發人員或機構是否要為詐騙負責？

趙精武表示，如果AI研發者主動向罪犯提供AI技術工具，具有共同的犯罪意圖，需與罪犯共同承擔刑事責任。若AI研發者對于罪犯的詐騙行為完全不知情，且也履行了必要的注意義務，那么僅由罪犯承擔相應刑事責任。AI研發者不對自己無法控制、無法預見的AI詐騙活動與罪犯共同承擔刑事責任。

綜合梳理來看，針對詐騙案件中技術提供方的法律責任劃定，已有相關實踐案例。2023年11月，最高人民檢察院發布檢察機關依法懲治電信網絡詐騙及其關聯犯罪典型案例，其中案例六——李某等人詐騙、侵犯公民個人信息、掩飾、隱瞞犯罪所得案便對上述問題予以回應。該案例中，李某幫助詐騙團伙做網絡貸款推廣，其按照詐騙團伙要求編寫自動應答話術并錄入應答語音，利用“AI”語音機器人自動撥打電話形成語音和文本通話記錄。

此案依法嚴懲了打著“技術中立”幌子的犯罪活動。最高人民檢察院表示，對打著“技術中立”幌子為犯罪團伙開發軟件或提供其他技術支持的，應當依法嚴懲；符合詐騙罪構成的，依法以詐騙罪共犯論處。

“AI技術作為典型的信息技術工具，不可能因其存在的濫用風險而被禁止發展。”趙精武說道。在他看來，為了平衡技術創新和技術安全，各國在國內法層面越發側重研發者、服務提供者的法定義務，明確這些責任主體應當采取必要的管理措施、技術手段阻攔生成違法犯罪信息。此外，鑒于AI技術的更新迭代，各國也開始在AI治理中適用科技倫理審查，這些治理模式的創新在逐漸推動全球AI治理架構形成。

責編：楊琳? yanglin@ceweekly.cn

美編：孫珍蘭