生成式人工智能對社會治理帶來多重風險，我國應盡快加強風險評估

ChatGPT自2022年11月問世以來受到全世界廣泛關注，也因出現(xiàn)了預訓練數(shù)據(jù)來源不透明等問題陷入爭議。2024年，Open AI發(fā)布文生視頻大模型Sora引發(fā)了新一輪AI熱潮，其背后蘊含著多重倫理和安全風險，包括竊取關鍵信息、擾亂網(wǎng)絡生態(tài)、侵犯知識產(chǎn)權以及危害意識形態(tài)和軍事安全等，或?qū)ι鐣€(wěn)定和國家安全帶來深遠影響，須引起高度關注。為研判生成式人工智能對社會治理帶來的潛在風險，防患未然，本文對此進行了系統(tǒng)研究。

一、潛在風險分析

近年來，從OpenAI成功發(fā)布ChatGPT語言大模型，文生圖大模型Imagen 2可自動生成高質(zhì)量、逼真的圖像，到文生視頻大模型Sora根據(jù)文本指令創(chuàng)建近似現(xiàn)實且富有想象力的高清視頻，人工智能大模型技術快速升級演進，能自動生成內(nèi)容的生成式AI系統(tǒng)逐漸成熟，由此對人類社會帶來諸多風險和挑戰(zhàn)，主要表現(xiàn)在以下四個方面：

（一）引發(fā)敏感數(shù)據(jù)泄露的風險

目前，OpenAI、谷歌、Meta、微軟等美國科技企業(yè)引領全球大模型創(chuàng)新，美國企業(yè)研發(fā)的大模型產(chǎn)品在國內(nèi)大量使用，極易引發(fā)我國居民、行業(yè)和國家的關鍵數(shù)據(jù)泄露和數(shù)據(jù)跨境流動的安全風險。大模型可能在收集數(shù)據(jù)信息時未征得用戶授權，將個人隱私數(shù)據(jù)、商業(yè)秘密信息和國家關鍵數(shù)據(jù)納入自身的訓練語料庫，存在數(shù)據(jù)泄露的風險。我國企業(yè)如果采用大模型的服務，將面臨著居民個人隱私數(shù)據(jù)泄密和國家經(jīng)濟等重要數(shù)據(jù)跨境流動，威脅數(shù)據(jù)安全與國家安全。

（二）擾亂網(wǎng)絡生態(tài)的風險

生成式人工智能能夠產(chǎn)出逼真的文本、圖像、音頻、視頻等內(nèi)容，可能會被不法分子用于詐騙、剽竊、造謠、偽造身份等場景。此外，Meta發(fā)布的InCoder與OpyfImErS1UzSEcNMOaAHOGlENQhypOGWonbBaO1x8bX8=enAI 發(fā)布的Codex等大模型還具有強大的代碼編寫功能，因此有可能被黑客利用成為網(wǎng)絡攻擊的工具。在制造虛假信息方面，大模型存在目前無法解決的“幻覺”問題，無法保證生成信息的準確性，可能制造大量謠言和垃圾信息，讓網(wǎng)民和監(jiān)管人員難以分辨信息真?zhèn)危瑖乐厍治g網(wǎng)絡平臺的正常輿論生態(tài)，輿情治理壓力勢必增加。此外，AI大模型在訓練過程中可能會受到訓練數(shù)據(jù)中存在的與政治、種族等敏感話題相關的環(huán)境影響，導致生成的信息存在偏見和歧視，并在網(wǎng)絡平臺傳播和放大。

（三）侵犯知識產(chǎn)權的風險

公開數(shù)據(jù)集是AI大模型訓練數(shù)據(jù)的重要來源之一，例如ImageNet是一個廣泛用于圖像識別任務的大規(guī)模圖像數(shù)據(jù)集，而Common Crawl則提供了大量的網(wǎng)頁抓取數(shù)據(jù)以供自然語言處理模型訓練。生成式AI工具挖掘大量文本、圖像、視頻數(shù)據(jù)，如果未經(jīng)授權將這些數(shù)據(jù)直接復制使用，將涉及作品版權、挖掘行為授權、二次創(chuàng)作許可、AI智力成果保護等問題，可能導致各種論文、報告、文章、圖像、視頻等作品抄襲泛濫，造成大量侵犯知識產(chǎn)權的風險。目前，《科學》《自然》等數(shù)千種科學期刊明令禁止或限制投稿人使用ChatGPT撰寫或編輯論文。

（四）危害意識形態(tài)和軍事安全的風險

大模型在涉及國家利益的敏感問題上，輸出的內(nèi)容可能被美國官方用于抹黑中國形象，毒化國際受眾對華認知，進一步強化美國意識形態(tài)滲透能力，削弱我國在國際輿論場中的話語權。此外，大模型技術最近已被美國國防信息系統(tǒng)局（DISA）添加到觀察名單中，或?qū)⒈挥糜谑占鲬?zhàn)情報、開展網(wǎng)絡攻擊、輔助軍事決策，以提升美國的智能化作戰(zhàn)軍事行動能力，給我國帶來軍事安全風險。

二、措施建議

為營造更加清朗、安全的數(shù)字空間，有效維護國家安全和社會穩(wěn)定，我國須高度關注生成式AI工具廣泛應用引發(fā)的潛在風險。

一是完善倫理規(guī)范，鼓勵多元協(xié)同治理。支持全國學會、行業(yè)組織牽頭制定生成式AI的倫理道德規(guī)范、技術指南和行業(yè)標準，將倫理道德準則融入生成式AI的全生命周期。建立健全法律法規(guī)體系，明確政府、企業(yè)、網(wǎng)絡平臺、社會組織和公眾等各方的職責和權力邊界，建立多元主體協(xié)同共治的有效機制。

二是支持自主研發(fā)，加強風險評估審查。支持國內(nèi)龍頭科技企業(yè)牽頭建立國產(chǎn)自主的生成式AI平臺，鼓勵中小企業(yè)使用國內(nèi)平臺并進行應用創(chuàng)新，以確保數(shù)據(jù)安全。明確研發(fā)機構(gòu)、網(wǎng)絡平臺經(jīng)營者和用戶對于生成式AI的應用場景和使用范圍以及安全風險評估義務，加強對算法、數(shù)據(jù)風險以及開發(fā)者的價值觀考察，對高風險產(chǎn)品和服務進行安全性審查。

三是促進行業(yè)自律，積極參與國際治理。提升科研機構(gòu)和企業(yè)對人工智能倫理的認知和重視程度，建立人工智能行業(yè)自律機制。提高全社會科技倫理意識，加強科技倫理宣傳、活動與交流，鼓勵全社會對人工智能倫理的廣泛監(jiān)督。積極參與國際組織的AI倫理治理議題，為完善人工智能國際倫理規(guī)范發(fā)出中國聲音、提供中國方案。

作者單位：張雅妮、宋甲英 中國電子學會

王懿 中國石油大學（北京）