為何AI詐騙成功率那么高？

陳冰

AI詐騙爆發！10分鐘從老板手里騙走430萬元！

AI換臉詐騙200多萬元！

涉嫌尋釁滋事罪！甘肅公安偵破首例利用AI炮制虛假信息案……

日前，有關AI詐騙、非法獲利的新聞層出不窮，“AI 詐騙正在全國爆發”的話題多次沖上微博熱搜。

AI生成的聲音越來越自然流暢，視頻越來越逼真，普通人的耳朵和肉眼已經難辨真偽，甚至連科技從業者也可能被騙。以至于有消息稱，AI技術的新騙局來襲后，詐騙成功率竟接近100%。

一直在不斷自我優化、升級換代的深度偽造技術，讓一些群體開始野蠻生長，利用AIGC（生成式人工智能）從事違法犯罪的勾當。

但中國有句老話，“魔高一尺道高一丈”。AI大潮已經將我們裹挾其中，要想更好地應對，預防技術濫用，需要社會各界一起通過向善的價值觀進行技術防御。如此，我們才能夠用“魔法打敗魔法”！

AI詐騙在全國爆發

AI換臉、AI換聲技術都不是新鮮事物。

早在2019年，國內就出現過一款換臉軟件“ZAO”，許多明星、名人遭到惡搞、被造黃謠。很快，這款應用便因為涉及侵犯隱私而遭到下架。但由此帶來的換臉詐騙技術卻開始暗自滋生，直到今年出現大爆發。據報道，第一起“AI換聲”詐騙也發生在2019年。

過去幾年，“AI詐騙”時有發生。但從去年底開始，美國、加拿大等地發生此類案件的數量明顯增多。今年開始，我國發生此類案件的數量同樣明顯增多，涉案金額也越來越大。

“我們認為，這和深度合成技術的成熟度、普及度是分不開的。”瑞萊智慧聯合創始人、算法科學家蕭子豪說。

AI換臉、AI換聲主要使用的是深度合成技術。隨著深度合成技術的開源開放、深度合成產品和服務的增多，深度合成內容制作的技術門檻越來越低，實現了技術的“平民化”，普通人也能用少量圖像、音頻等樣本數據，利用簡便易用的合成工具，制作深度合成內容。想想美圖秀秀的漫畫形象、導航里的自我語音導航、抖音里的一鍵生成，就能知道它們的功能到底有多強大。

蕭子豪介紹，目前視頻聊天或直播的AI換臉有兩種方式：一種是事先做好的換臉視頻直接播放，一種是接入實時換臉的視頻。前者目前的制作成本非常低，有公開成熟的應用可以支持該項工作；后者雖然沒有發現有公開的應用，但也有非常成熟的技術手段可以支撐。做成一段視頻的時間和設備、算力等因素相關，當前技術可以做到實時產出結果。基于目前的技術能力，替換前的原始視頻圖像在面部清晰、正臉無遮擋、無夸張動作等條件下，會展示出比較好的效果。

從理論上來說，技術的提升導致了詐騙率的提高。

不過在蕭子豪看來，“詐騙成功率接近100%”的結論要打個問號——目前人們看到的報道都是已經被騙的案例，但不代表在實際發生過程中，所有的詐騙行為最終都成功了。詐騙成功率是由很多因素決定的，不完全由詐騙分子的技術能力決定，個人的反詐意識也是重要因素。但不能否認，深度合成技術在一定程度上模糊了真與假的認知邊界，使得識破詐騙的難度變得更高了。

知道創宇業務安全產品線總經理鄢曉玲在接受《新民周刊》專訪時指出，無論是之前的AI語音、AI換臉，還是現在由AIGC生成的語音、視頻，它們底層用的都是同樣的算法和技術。ChatGPT的發布和開放，很大程度上帶動了AIGC的開源社區的活躍度，從而涌現出了大量的開源模型和成熟產品。以前的圖文比較割裂，但現在的技術就像“大腦”一樣，可以讓圖文音視等多個模態，完美地結合起來，并自如地去切換和應用，從而能更容易地生成那些逼真的詐騙素材。

“原來只能生成一些相對來說比較靜態的，或者是固定套路、固定話術的內容，但是現在有了一些底層的知識和一些預設的身份以后，你就可以跟AI數字人自如地對話了，這在以前是做不到的，只會在影視劇的制作中使用類似的技術。”在鄢曉玲看來，現在一下子推出了那么多成熟的應用和產品，讓普通人都能輕易上手，也就使得騙子更容易制作出逼真的音視頻素材去進行詐騙，“從理論上來說，技術的提升導致了詐騙成功率的提高”。

在2019年，國內出現過一款換臉軟件“ZAO”，許多明星、名人遭到惡搞、被造黃謠。

普通人只有被騙的份兒？

一鍵換衣、制作不雅視頻等等，包括之前在互聯網上廣為流傳的特朗普被捕照片，現在的AI生成的東西太真實了。實際上，目前AI已經可以批量制作大量的視頻，制作多段替換成同一人物的視頻，也可制作同時替換為多位人物的視頻。

作為普通人，我們可能根本無法識別。

比如，一些微商團隊發布明星的祝福、宣傳視頻來發展下線，其中不少視頻并非明星真實錄制，而是運用了 AI 換臉、AI 語音合成等技術制作而成，不少人信以為真而選擇加入，結果陷入騙局；還有一些人利用 AI 生成圖片、視頻進行裸聊詐騙，要求受害者下載 App 進而將其手機通訊錄拷貝過來，后續以此為要挾進行敲詐，很多人中招。

那么，有沒有一些小技巧可以幫助普通人去進行初步的識別呢？

蕭子豪建議，如果遇到這類疑似AI換臉詐騙的情況，可以在視頻時有意識地引導對方做一些動作，如大幅度的搖頭或張嘴。就目前的 AI 偽造水平來講，仍然沒辦法在有遮擋及人臉偏轉的情況下，生成無瑕疵的視頻效果。

“我覺得讓對方張嘴是一個比較有效的方式，比如看對方的牙齒結構是否清晰、舌頭形狀是否完整，很多不法分子可能只考慮對正臉做個建模，但沒有建模嘴巴、牙齒跟舌頭。如果騙子技術手段較弱，那么我們有可能發現對方面部邊緣或者牙齒的瑕疵，從而識別出AI換臉。不過，這個方法對于識別出‘高水平的不法分子，還存在難度。”蕭子豪表示。

如果疑似是聲音偽造，可以試一下與對方用方言交流。不過，這個方法同樣難不倒高水平不法分子，目前方言合成方法和工具也非常豐富，音色很穩定、自然度也很高。最好的辦法可能是可以追問幾個只有你與對方之間才知道的私密信息，來核實對方身份。

在鄢曉玲看來，現在的騙子也是“精準行騙”。他們會根據所要實施的騙術，通過 AI 技術篩選目標人群，在短時間內生產出定制化的詐騙腳本，實施精準詐騙。比如情感詐騙的騙子會篩選經常發布感情類信息的人群，金融詐騙的騙子會篩選經常搜索投資理財信息的人群。

“騙子都是聰明人。他們很會拿捏受害人的心理，比方說利用人的虛榮心，利用中國人愛面子、不好意思拒絕，或者利用一些人愛貪便宜、愛獵奇獵艷的心理，都很容易陷入裸聊殺豬盤等詐騙圈套中。”鄢曉玲說，這么多年來的反欺詐、違法違規內容鑒別工作，讓她更加感慨現在的AI騙局，很容易通過騙子事先詳細的“功課”，做到定制專門的騙局腳本，獲取受害人的信任，讓人防不勝防。

在 AI 詐騙面前，專家通常會根據畫面的頻域信息、質量、生物特性、物理特性等維度來鑒別真偽。對于普通人而言，可能需要更加謹慎地使用所有會讓你自拍、錄音的軟件，也需要謹慎使用所有能訪問你的攝像頭、麥克風，甚至是相冊的軟件。

兩位業內專家都表示，對于容易上當受騙或者對智能手機使用不那么熟悉的老人，幫助他們下載國家反詐中心 App是一個很管用的選擇。此外，盡量不要在微信、支付寶內綁定銀行卡，只存少量的零錢，盡量不要開通網上支付業務。

上海是個時時刻刻在變化的城市，改變是唯一不變的東西。

蕭子豪認為，AI詐騙是在傳統詐騙的基礎上運用了人工智能技術，并不意味著傳統詐騙手段不再存在或不再有效，只不過是增加了詐騙的復雜性和識破詐騙的難度。相比傳統詐騙，AI詐騙利用了“眼見為實”常識，降低了受害者的警惕性，也導致這類詐騙很難防范。

“對于普通人而言，如果說你發現詐騙的內容有違常理和常規的時候，不要第一時間相信，尤其是涉及個人財產的時候，就需要提高警惕。因為哪怕沒有AI，電信詐騙還是會存在！”鄢曉玲說，普通人很可能無法區別到底是不是AI在詐騙，但“事出反常必有妖”的鐵律在任何時代都成立。遇事保持足夠的清醒和質疑非常重要。

有些商家將自己的主播AI 換臉成楊冪、迪麗熱巴等明星進行帶貨。

用魔法打敗魔法

除了詐騙以外，AI 技術還被用來增加流量，非法獲取收入。此前就有騙子將自己的臉 AI 換成某明星，開直播引導粉絲刷禮物，或者將自家主播 AI 換臉成楊冪、迪麗熱巴進行帶貨。

縱觀AIGC生成的海量內容，可能導致的違法亂紀情況，包括但不限于：誤導性和虛假信息、不當或違法內容、深度偽造的內容、惡意利用的安全事件、倫理道德、歧視性內容和隱私泄露。

鄢曉玲說，自己所在的團隊從2012年就開始與騰訊合作，進行反欺詐和反違法違規內容的模型識別工作。后來又開始與抖音、微博、快手、京東等大廠商合作。

“坦白來說，作為普通人，雖然說我自己很了解AI生成的一些原理和背景，但如果你隨便拿一些東西來讓我識別它到底是出自于AI還是出自我們人類生產，肉眼上，我是很難去識別的。但這并不是說我們就只能坐以待斃了。”鄢曉玲表示，用技術來判斷是可以實現的，算法在一定程度上是能夠去識別哪些是AI生成的，哪些不是。

但要讓算法具備這樣的能力，需要大量的標注和訓練。你要告訴它這些內容是 AI生成的，這些內容是人類生成的，然后再通過一部分人工去驗證AI識別的準確性，通過這種方式去反哺 AI，進一步改進；哪些可能又是一些新的特征，下次要把它加入到可以識別的范圍內來，通過這樣不斷的訓練，讓AI越來越智能。

下載國家反詐中心App 對老年人來說是一個較為管用的防詐騙手段。

在鄢曉玲看來，硬件、算法和數據，對于AI來說，是三個核心要素。“硬件，可以把它理解為是教室，它是AI能夠去學習的物理條件。算法是老師，它給AI模型的訓練制定規則，解決怎么學習的問題；數據則是教材，它決定了AI模型會學到點什么，也就是學什么的問題。由此不難看出，算法和數據非常重要，如果模型設計中帶有偏見、不公、歧視或者某些缺陷，又或者數據中包含了非常多‘雜質，那么培育出來的AI就有可能‘失控。”

舉個簡單的例子，在涉政領域，對于國家主權、種族歧視，還有各種分裂者的一些觀點，訓練者會把有這種有誘導性的問題拋給模型，看模型怎么回答。然后通過人工干預，讓AI建立起邊界感，“不能一本正經地胡說八道”。“就像在學校里學習的孩子，畢業的時候要經過一個基本的考試。面向社會公眾使用的AI模型，同樣應該經過一些基線評測。”鄢曉玲說，他們正在向相關部門提供一些方案，力爭能夠早日達成業界共識。

蕭子豪則表示，瑞萊智慧一直在研究深度合成技術的自動化檢測，而他們主要的鑒別方式確實可以用“魔法打敗魔法”來概括，也就是用AI去打敗AI。

常用的方法包括基于偽造內容數據集完成對模型檢測器的訓練、基于幀間不一致性實現對偽造內容的判別等，這些方法在公開數據集中均能達到99.9%的準確率，在產業實踐中的檢測準確率也已達業內頂尖水平。通過這些技術手段，可以準確地在某些金融機構的實名認證環節中攔截深度偽造攻擊、監測到互聯網中的明星AI形象帶貨直播。

目前防范的難度主要在于AI技術不斷自我優化、升級迭代，深度合成內容質量不斷提升。換聲的自然度以及換臉視頻的逼真度、流暢度都在不斷提高，逐漸模糊了真實和虛假的邊界，傳統鑒別方式越來越難以發揮作用。

“我們的辨別思路大致可分為兩種，一種是尋找圖像編輯痕跡，一般來說這類換臉都會對原先的人臉進行編輯，這個過程中會有類似圖片編輯的操作并且留下痕跡，這類痕跡和真正拍攝時的痕跡是不一樣的，我們會檢測這類痕跡做出記錄。另一種則是檢測視頻中是否會展現出不符合常識的行為，如長時間不眨眼等等。綜合上述特征，我們的平臺就可以自動判定該內容是否存在深度偽造的可能性，并根據可能性大小來做出相應處置。”蕭子豪強調，目前，已經有不少網站開始依據相關規定對AI生成的內容進行標識。此舉對快速發展的虛擬數字人產業會起到推動、引領作用，并不會影響它的商業價值。

任何一項技術都是一把雙刃劍，既能推動社會進步，也能挖掘出人性中隱藏的惡。除了眼下大家有點談虎色變的“AI詐騙”，AIGC的應用非常廣泛，例如影視制作、廣告營銷、電子商務、社交娛樂等。它給社會帶來的積極影響也是顯而易見的，如提高人們的內容創作效率、孕育新的技術形態與價值模式、產生新的就業機會等等。

任何技術都應該要在可控、可監督的范圍內發展無疑是全社會的共識。