習近平總書記在二十大報告中明確提出，“以新安全格局保障新發(fā)展格局”。自O(shè)penAI發(fā)布ChatGPT以來，生成式人工智能（以下簡稱“生成式AI”）迅速引發(fā)了全球范圍內(nèi)的廣泛關(guān)注。作為生成式AI的典型代表，ChatGPT具備的人類語言生成和理解技術(shù)，以及強大的情感分析能力，有望成為全球生產(chǎn)力變革的驅(qū)動力，帶動新一輪技術(shù)創(chuàng)新周期。

同時，ChatGPT的廣泛應用也給輿論政治、網(wǎng)絡(luò)安全等多個領(lǐng)域帶來嚴峻的風險挑戰(zhàn)。建議我國在新技術(shù)迭代創(chuàng)新之際，抓住發(fā)展機遇的同時，理性分析其潛在的風險與挑戰(zhàn)，積極探索技術(shù)發(fā)展、應用及監(jiān)管路徑，確保生成式人工智能技術(shù)的健康和可持續(xù)發(fā)展。

生成式AI的發(fā)展趨勢

1.“技術(shù)恐慌”消退，迎來智能化時代

ChatGPT快速出圈，導致生成式AI不可避免地引發(fā)了全球性的“技術(shù)恐慌”：意大利政府出于隱私數(shù)據(jù)泄露的擔憂禁止ChatGPT的應用；法國和西班牙等國家也陸續(xù)開展評估行動；歐洲數(shù)據(jù)保護委員會針對ChatGPT和AI隱私規(guī)則，成立了專門的工作組。

但未來，隨著公眾逐漸熟悉新技術(shù)及其帶來的便利，這種“技術(shù)恐慌”將會逐漸消退。目前，各國在加強對ChatGPT監(jiān)管的同時，已開始部署生成式AI相關(guān)的戰(zhàn)略和規(guī)劃，積極搶占技術(shù)制高點。

2. 賦能實體經(jīng)濟，重塑市場模式

當前，生成式AI正越來越多地參與創(chuàng)意性生成工作，以人機協(xié)同的方式釋放價值，將逐漸成為未來互聯(lián)網(wǎng)內(nèi)容生產(chǎn)的基礎(chǔ)設(shè)施，有望塑造數(shù)字內(nèi)容生產(chǎn)與交互的新范式。

此外，隨著人們對于生成式AI的需求不斷增長，應用生態(tài)和內(nèi)容消費市場逐漸繁榮。可以說，作為當前新型的內(nèi)容生產(chǎn)方式，生成式AI已經(jīng)重構(gòu)應用生態(tài)，率先在傳媒、電商、影視、娛樂等數(shù)字化程度高、內(nèi)容需求豐富的行業(yè)取得重大創(chuàng)新發(fā)展，市場潛力逐漸顯現(xiàn)。

3. 進入應用爆發(fā)期，融入各行各業(yè)

在工業(yè)制造方面，通過人機協(xié)作，大幅度提升生產(chǎn)技能的精細度，打破了很多生產(chǎn)技術(shù)瓶頸，提高創(chuàng)造力和工作效率的同時，有效推動智能制造強國建設(shè)。

在醫(yī)療服務方面，簡化藥物研發(fā)流程，創(chuàng)建個性化診療方案，提升醫(yī)學成像技術(shù)的準確性和效率，有效助力醫(yī)療服務行業(yè)健康發(fā)展。

在教育服務方面，協(xié)助教師完成課件撰寫、作業(yè)批改等繁復的程序性工作，減輕教學壓力，有效提升教學效率和質(zhì)量；在文學、音樂等藝術(shù)教育領(lǐng)域，為藝術(shù)創(chuàng)作提供靈感，更高效地激發(fā)教師和學生的創(chuàng)造力。

生成式AI潛在的安全風險

1. 過度挖掘分析，或?qū)⑼{重要數(shù)據(jù)安全

生成式AI需要通過大量數(shù)據(jù)訓練使模型更加精確，其訓練數(shù)據(jù)通常來源于自研數(shù)據(jù)庫、數(shù)據(jù)交換、數(shù)據(jù)購買，以及對公開數(shù)據(jù)的爬取和挖掘。其中，通過對公開數(shù)據(jù)爬取、挖掘等方式獲取訓練數(shù)據(jù)的成本低、速度快、獲取量大，是目前大部分AI企業(yè)的重要數(shù)據(jù)來源。

但這種方式可能會導致政府文件被盜取、信息被泄露的風險加大，例如在政務數(shù)據(jù)開放過程中，攻擊者能夠依托深度學習、數(shù)據(jù)挖掘等技術(shù)從分散的數(shù)據(jù)中分析出數(shù)據(jù)集之間的關(guān)聯(lián)，完成信息拼圖，引發(fā)嚴重的國家安全信息泄露問題。

此外，生成式AI還可以從用戶的提問中獲取數(shù)據(jù)進而對模型進行進一步訓練，用戶所提出的問題中極有可能涉及有關(guān)國家安全、經(jīng)濟運行、社會穩(wěn)定、公共健康和安全的重要數(shù)據(jù)，進而威脅國家安全。

2. “投喂”數(shù)據(jù)的不確定不可控性，或?qū)е翧I決策模型出現(xiàn)偏差

一方面，國內(nèi)生成式AI應用主要是以接口接入或者在國外大模型基礎(chǔ)上衍生的應用，較為依賴國外生成式AI大模型，進而，在數(shù)據(jù)收集、人工反饋強化學習等環(huán)節(jié)不可避免地融入了開發(fā)者的價值觀、歷史曲解和文化偏見等。技術(shù)變革帶來了媒介生態(tài)環(huán)境的變化，智能算法導致輿論引導的不確定性，這些價值元素將會在用戶交互中潛移默化地傳播，在內(nèi)容生成方面極有可能帶有偏差。

另一方面，在生成式AI數(shù)據(jù)訓練的過程中，很有可能因“投喂”數(shù)據(jù)的不確定性，導致數(shù)據(jù)投毒的風險增加。比如，在訓練數(shù)據(jù)中集中添加惡意樣本等污染數(shù)據(jù)，就會導致訓練出來的模型在決策時發(fā)生偏差，從而影響模型的有效性或可用性。在工業(yè)制造等生成式AI的應用場景中，由于人工智能在運行時需要通過反饋機制來收集目標信息，攻擊者通常利用模型的反饋機制直接向模型注入錯誤數(shù)據(jù)或偽裝數(shù)據(jù)，進而誤導人工智能在決策時做出錯誤的判斷，造成嚴重的生產(chǎn)失誤。

3. 衍生數(shù)字產(chǎn)業(yè)“井噴式”增長，或使數(shù)字鴻溝彌合難度加劇

從國際層面來看，科技發(fā)達國家與發(fā)展中國家數(shù)字鴻溝持續(xù)加深，數(shù)字壁壘使得彌合難度進一步加劇，如美拜登政府“小院高墻”戰(zhàn)略，在核心領(lǐng)域上對我國的封鎖，控制和整合核心技術(shù)產(chǎn)業(yè)鏈。目前，ChatGPT未向中國內(nèi)地及中國香港用戶開放注冊，同時由于人才相對較為稀缺，且技術(shù)門檻較高，導致了ChatGPT在國內(nèi)的應用受到限制，享有技術(shù)的權(quán)力存在分配不均衡、不充分的問題，使得數(shù)字鴻溝彌合難度加大。

從國內(nèi)的發(fā)展來看，我國政府對生成式AI持有支持和鼓勵的態(tài)度，但基于存在未知風險的考慮，尚未對ChatGPT等主流生成式AI應用完全放開。同時，GPT模型的核心技術(shù)掌握在少數(shù)國際大廠手中，雖然我國在GPT模型的研究和應用方面取得了一定的成果，但依然存在較大的差距。此外，由于相關(guān)制度、法規(guī)限制，我國在數(shù)據(jù)質(zhì)量和數(shù)據(jù)體量方面還存在一定的瓶頸，這些因素大大制約了我國在GPT模型的研究和應用方面的發(fā)展。目前，我國國內(nèi)數(shù)字鴻溝主要表現(xiàn)在不同地區(qū)、不同階層、不同年齡、不同性別以及城鄉(xiāng)之間數(shù)字接入和使用的差異，生成式AI衍生數(shù)字產(chǎn)業(yè)促使社會生產(chǎn)模式更新速度加快，技術(shù)上的落后將會加劇數(shù)字鴻溝范圍擴大。

促發(fā)展更要保安全

1. 加強數(shù)據(jù)安全及內(nèi)容合規(guī)性審查，控制風險

一是建立生成式AI算法及數(shù)據(jù)安全監(jiān)管專項法規(guī)。我國圍繞《數(shù)據(jù)安全法》《個人信息保護法》《網(wǎng)絡(luò)安全法》，已逐步形成數(shù)據(jù)與算法安全治理制度頂層設(shè)計，但整體上我國算法安全治理制度相比數(shù)據(jù)安全治理仍處于探索階段，應從技術(shù)及應用的交互層面對數(shù)據(jù)與算法安全風險作出全面規(guī)范，構(gòu)建事前評估、事中監(jiān)管、事后問責的數(shù)據(jù)與算法協(xié)同監(jiān)管體系。

二是加強對生成式AI數(shù)據(jù)進行實時完整的動態(tài)監(jiān)控和審計。對數(shù)據(jù)事件進行分析、判斷安全事件、識別報警和分析事件，發(fā)現(xiàn)對數(shù)據(jù)操作有不合法、不合規(guī)行為，需要按預定的應急預案進行處理和響應，及時制止不合法、不合規(guī)的數(shù)據(jù)操作，并保存相關(guān)證據(jù)，用于后續(xù)追查。

三是通過算法備案制度為算法風險監(jiān)測和事后問責提供依據(jù)。借助互聯(lián)網(wǎng)信息服務算法備案系統(tǒng)等途徑公示算法推薦服務的基本原理、目的意圖以及主要運行機制等，提升生成式AI算法透明度。

2. 積極建設(shè)生成式AI科學機制，減少偏見和誤導信息生成

一是建立法治規(guī)章制度，打造良好生成式AI應用內(nèi)容輸出環(huán)境。加強網(wǎng)絡(luò)平臺算法使用監(jiān)管，實施嚴格規(guī)范政策制度，嚴格審核人工反饋強化學習的算法，要對算法的價值無偏性進行全面監(jiān)管，沿著“數(shù)據(jù)—信息—權(quán)力”的內(nèi)容生成邏輯形成“算法權(quán)力”，把控輸出內(nèi)容的正向性。

二是加強倫理原則在模型設(shè)計中的應用。加深倫理原則大模型技術(shù)架構(gòu)結(jié)合，探索提高模型可解釋性的技術(shù)和方法，以優(yōu)化人機對話生成策略，減少偏見和誤導信息生成，并加載毒性內(nèi)容傳播預警技術(shù)，規(guī)范人工智能生成內(nèi)容的管理和分發(fā)。同時，增加生成式AI輸出結(jié)果的公平性。通過提升訓練數(shù)據(jù)的多樣性和公平性建構(gòu)多元包容的生成式AI系統(tǒng)，避免因決策偏見而制造虛假內(nèi)容。

3. 鼓勵創(chuàng)建數(shù)字互聯(lián)互通新發(fā)展模式，提升全民數(shù)字素養(yǎng)與技能

一是積極打造國際技術(shù)合作共享平臺，在生成式AI等關(guān)鍵技術(shù)領(lǐng)域?qū)崿F(xiàn)突破。以彌合數(shù)字鴻溝為契機，尋找數(shù)字經(jīng)濟國際合作伙伴，聯(lián)合友好國際伙伴打造生成式AI技術(shù)合作共享平臺，共享生成式AI技術(shù)的研究成果，共同應對歐美發(fā)達國家構(gòu)筑的數(shù)字壁壘。

二是全面加強數(shù)字素養(yǎng)與技能教育，加速彌合城鄉(xiāng)數(shù)字鴻溝。建立生成式AI等新技術(shù)應用常態(tài)化教育機制，要提高人們數(shù)字化技能，掌握基本的數(shù)字工具使用方法。針對不同群體、不同年齡階段的公民開展頂層設(shè)計，整體提升全民數(shù)字生活、學習、工作和創(chuàng)新能力。