人工智能技術(shù)的安全風險亟須重視

張于喆 李紅宇

技術(shù)發(fā)展無疑是人類文明進步的主要推動力，不僅再造了經(jīng)濟社會發(fā)展的驅(qū)動優(yōu)勢，同時重塑了經(jīng)濟社會發(fā)展的邏輯軌跡。當前，人類社會正處在一個大發(fā)展大變革大調(diào)整的時代，人工智能技術(shù)是影響經(jīng)濟社會發(fā)展的重要變量。如果我們不能正確理解技術(shù)條件帶來的顛覆性變化，就無法在這場全球經(jīng)濟社會格局的大變革中重新定位自身角色、找到發(fā)展方向。

一、人工智能技術(shù)作為影響經(jīng)濟社會發(fā)展的重要變量具有兩面性，既帶來新機遇，又帶來新挑戰(zhàn)

當今，我們正處在百年未有的大變局中，人工智能技術(shù)正在引領新一輪科技革命。人工智能技術(shù)由基礎技術(shù)和通用技術(shù)構(gòu)成，其中基礎技術(shù)主要包括云計算和大數(shù)據(jù)平臺，通用技術(shù)主要包括機器學習、模式識別與人機交互。隨著云計算和大數(shù)據(jù)平臺的發(fā)展，以及超強算力、算法模型、海量數(shù)據(jù)和應用場景的共同作用，以計算智能、感知智能、認知智能和人機增強型智能為代表的人工智能技術(shù)呈現(xiàn)加速發(fā)展態(tài)勢，并不斷演進成為新一輪科技革命和產(chǎn)業(yè)變革的重要驅(qū)動力量。麥肯錫（MGI）報告指出，人工智能有可能顯著提高整體經(jīng)濟生產(chǎn)力，其影響堪比19世紀的蒸汽動力、20世紀的工業(yè)制造和21世紀的信息技術(shù)對世界經(jīng)濟的影響（或更大）。應該說，人工智能技術(shù)作為國際競爭的新焦點，為我國經(jīng)濟社會發(fā)展帶來了新機遇，是事關我國能否抓住新一輪科技革命和產(chǎn)業(yè)變革機遇的戰(zhàn)略問題;其快速發(fā)展不僅對于新時代下我國轉(zhuǎn)變發(fā)展方式、優(yōu)化經(jīng)濟結(jié)構(gòu)、轉(zhuǎn)換增長動力、提升社會治理能力具有重大意義，而且只有加快發(fā)展新一代人工智能，才能避免因缺少人工智能技術(shù)輔助而在戰(zhàn)略判斷、策略選擇與執(zhí)行效率等方面而進一步拉大與技術(shù)先進者的能力鴻溝，才能贏得全球競爭主動權(quán)。

同時，人工智能技術(shù)發(fā)展的不確定性也會給一國帶來新挑戰(zhàn)，比如說，其會受限于算法不可解釋性、數(shù)據(jù)強依賴性等技術(shù)問題以及人為惡意應用，而對經(jīng)濟社會與國家政治領域帶來全新挑戰(zhàn);特別是在與實體經(jīng)濟深度融合發(fā)展的過程中，也可能會對經(jīng)濟安全、意識形態(tài)安全、國家安全、政權(quán)安全等方面造成一系列挑戰(zhàn)。例如，根據(jù)不完美、不可預測的現(xiàn)實世界數(shù)據(jù)做出預測、決定的人工智能系統(tǒng)，很有可能會因缺乏常識和推理能力而以不恰當?shù)姆绞奖皇褂?特別是如果用來做出決定的數(shù)據(jù)存在偏見，那么算法會繼承、吸收、再現(xiàn)和強化現(xiàn)有的不平等數(shù)據(jù)模式，這種反饋效應模式使得最后的結(jié)果會加劇不平等并引發(fā)各類安全隱患。

總體而言，人工智能技術(shù)不僅僅關乎技術(shù)，更將關乎治理，必將在廣度和深度等方面對一國經(jīng)濟社會產(chǎn)生深刻影響，甚至是“顛覆性”變化，其結(jié)果也將直接影響世界發(fā)展格局和國家前途命運。因而，面對百年未有之大變局，必須強化風險防范意識，早識別、早預判，通過提前識別風險、精準管控風險，才能妥善防范化解重點領域風險，確保人工智能技術(shù)的發(fā)展行穩(wěn)致遠。

二、人工智能技術(shù)對經(jīng)濟安全、意識形態(tài)安全、國家安全、政權(quán)安全的潛在負面影響不可小覷

隨著人工智能技術(shù)的不斷發(fā)展和應用不斷突破瓶頸，人工智能技術(shù)不僅已經(jīng)有能力做出可以改變普通人日常生活的決定，而且對經(jīng)濟安全、國家安全、意識形態(tài)安全、政權(quán)安全的潛在負面影響之快、之大、之深遠遠超出人們預期。因而，在人工智能領域的技術(shù)探索已處于世界前列的同時，如何確保“我們用技術(shù)打造的世界，是一個我們想要居于其中的世界”，成為當前我們面臨的關鍵問題。

從經(jīng)濟安全的角度看，盡管人工智能的整體發(fā)展仍處于初級階段，仍然只能解決特定問題，但作為新一輪國際競爭的焦點，人工智能技術(shù)可能會引發(fā)新的安全風險，最常見的安全問題主要包括對國外信息技術(shù)產(chǎn)品的高依賴性、鎖定在產(chǎn)業(yè)鏈中低端、數(shù)字鴻溝的不斷加劇等方面。例如，在人工智能產(chǎn)業(yè)鏈的基礎層、技術(shù)層和應用層，我國更多集中于將技術(shù)應用于商業(yè)場景，具有很強的背景依賴性，很難將一些領域的技術(shù)進步轉(zhuǎn)化到其他領域;而人工智能技術(shù)的核心在于算法、算力和數(shù)據(jù)，我國在算法、算力以及致力于解決不同類別問題等方面，與先發(fā)國家相比差距還相對較大。其中，在CPU、內(nèi)存、硬盤和操作系統(tǒng)等核心基礎軟硬件產(chǎn)品方面，我國的CPU主要依賴英特爾和AMD，內(nèi)存主要依賴三星、鎂光，硬盤主要依賴東芝、日立和希捷，操作系統(tǒng)主要依賴微軟，特別是，中興事件更是給我們敲響了發(fā)展警鐘。又如，從《專利合作條約》（Patent Cooperation Treaty，PCT）申請的數(shù)量來看，美國仍然是技術(shù)輸出的領頭羊，并且其申請量占到總量的41%，中國申請數(shù)量相對較少，仍然沒有形成較大規(guī)模性的技術(shù)輸出。再如，人工智能技術(shù)發(fā)展的最大受益者是高技能勞動者和投資者以及積極采用技術(shù)的創(chuàng)新型前沿公司，潛在受損者將是從事中低技能工作的人群以及不愿意或無法快速實施技術(shù)的公司，由此產(chǎn)生的“人工智能技術(shù)分歧”將會加劇社會不平等、助長經(jīng)濟不平等和破壞競爭，不利于經(jīng)濟可持續(xù)發(fā)展并引發(fā)經(jīng)濟風險與危機。

從國家安全的角度看，隨著人工智能技術(shù)的應用，使得攻擊能力在潛伏性、隱蔽性、定向性、自主性、融合性等方面愈發(fā)突出，也使得各種黑客組織、民族分裂和恐怖主義勢力可以更加便捷地融合利用人工智能技術(shù);如此，加劇了非對稱性強的“攻防不對等”形勢，成為威脅政治安全和社會穩(wěn)定的嚴峻風險，特別是在網(wǎng)絡空間等新興領域爆發(fā)沖突的風險不斷增加。由于“守方”技術(shù)實力的局限性以及“攻方”行動隱蔽性好、效費比高、攻擊智能化等特點，使得攻擊可以快速繞過多重防御，最常見的安全問題主要包括金融、能源、通信、工業(yè)系統(tǒng)、教育、交通、醫(yī)療衛(wèi)生等領域關鍵基礎設施或政府機構(gòu)和政府有關實體被攻擊，以及數(shù)據(jù)被篡改等方面，最終造成的潛在危害影響范圍廣、破壞性大。例如，印度黑客入侵巴基斯坦政府官網(wǎng)，將網(wǎng)站頁面設為純黑色，并播放印度國歌，以慶祝印度獨立日。又如，瑞典運輸管理局（Trafikverket）在2018年10月遭到黑客DDoS攻擊，導致官網(wǎng)服務掉線、列車運行延誤。再如，在“震網(wǎng)”（Stuxnet）事件中，美方使用了5個Windows零日漏洞和1個西門子的零日漏洞，實現(xiàn)了通過網(wǎng)絡空間作業(yè)對伊朗核設施造成物理破壞的效果，幾乎永久地遲滯了伊朗核計劃，達成了美方的戰(zhàn)略意圖。

從意識形態(tài)安全和政權(quán)安全的角度看，隨著世界多極化、經(jīng)濟全球化、文化多樣化、社會信息化的深入發(fā)展，各類組織和個人越來越多地通過機器學習惡意使用信息來故意混淆、誤導或轉(zhuǎn)移公眾輿論，以實現(xiàn)其戰(zhàn)略目標，這已經(jīng)成為一種新威脅，也對我們提出了新挑戰(zhàn)。由于大量匿名用戶的存在和網(wǎng)絡連接的開放性，最常見的安全問題主要包括在物理層（Physical）（網(wǎng)絡基礎設施）、邏輯層（Syntactic）（操作系統(tǒng)和應用服務）和社交層（Semantic）（應用服務的互動交流人群）等方面進行“懷有敵意”的攻擊行動，特別是通過謠言（Disinformation）、誤傳（Misinformation）以及數(shù)據(jù)的篡改，實現(xiàn)輿論導向、文化滲透，并引發(fā)非常嚴重的后果。例如，2018 年 3 月，劍橋分析（Cambridge Analytica）公司非法獲取臉書（Facebook）上超過5000 萬用戶數(shù)據(jù)，并通過定向推送影響大選事件曝光。又如，有了人工智能技術(shù)的推動，可以精確地識別那些最易受到虛假信息影響的人，而且含有“deepfake”技術(shù)偽造的視頻的“假新聞”，可以通過具有影響力的社交平臺進行非法傳播，以實現(xiàn)某種政治目的或改變某種政治進程與格局。再如，人工智能技術(shù)可以強化它們從現(xiàn)實數(shù)據(jù)中獲得的認知，然而在依靠規(guī)則和訓練數(shù)據(jù)的過程中，特別是在面對不熟悉的場景時，不透明的“黑箱”很可能做出錯誤判斷，甚至放大解決問題、做出預測和采取行動的風險。

總體而言，人工智能技術(shù)不是憑空存在的，創(chuàng)造技術(shù)的行為和使用技術(shù)的方式，都會體現(xiàn)特定的價值觀和邏輯假設，作為工具的技術(shù)，本身無法做到其實際上做不到的事情，即無法解決深層次的規(guī)范性問題。特別是，訓練數(shù)據(jù)中的認知偏見和系統(tǒng)復雜性，使得學習系統(tǒng)的行為并不總是可以預測，由此可能會讓人們付出代價，并放大惡意內(nèi)容、虛假信息的負面影響。為此，必須要真正地從國家安全和發(fā)展全局的高度，以深沉的憂患意識和強烈的責任擔當，從長遠考慮，科學處理好人工智能技術(shù)作為推動經(jīng)濟社會發(fā)展巨大引擎和對經(jīng)濟安全、意識形態(tài)安全、政權(quán)安全帶來潛在風險的辯證關系。

三、“補短板、強監(jiān)管、促融合”，最大限度降低人工智能技術(shù)的負面影響

人工智能技術(shù)發(fā)展的風險與機遇同在，無論國際風云如何變幻，中國維護國家主權(quán)和安全的信心和決心不會變。我們必須要順應人工智能的技術(shù)發(fā)展趨勢和當今國際環(huán)境的特點，深刻認識人工智能技術(shù)發(fā)展中安全性的極端重要性，按照“創(chuàng)新發(fā)展有底線”的要求，更好發(fā)揮政府作用，通過“補短板、強監(jiān)管、促融合”，最終讓人工智能技術(shù)推動我國經(jīng)濟社會發(fā)展的潛力發(fā)揮到極致。

（一）補短板

要緊緊抓住創(chuàng)新驅(qū)動的“牛鼻子”不放松，推動人工智能技術(shù)發(fā)展取得新突破新成效。

一是開展人工智能基礎技術(shù)研發(fā)。堅持創(chuàng)新驅(qū)動，積極搶占技術(shù)制高點，實現(xiàn)人工智能技術(shù)基礎層、技術(shù)層和應用層的全鏈條重大突破。借鑒美國DARPA的數(shù)據(jù)驅(qū)動模型發(fā)現(xiàn)研發(fā)計劃（Data Driven Discovery of Models，D3M），通過構(gòu)建可選基元庫技術(shù)、開發(fā)復雜模型自動整合技術(shù)、創(chuàng)新人機混合交互技術(shù)和領域?qū)＜抑R融合技術(shù)，重點開發(fā)可以自我更新、自我學習的新算法，推進數(shù)據(jù)驅(qū)動的重要線索發(fā)現(xiàn)或演化規(guī)律預測，提升信息的深度認知能力和對手行動態(tài)勢、發(fā)展變化的預測能力，極大地擴大人工智能的實用性。加強高時效的大數(shù)據(jù)計算模型、優(yōu)化技術(shù)與系統(tǒng)以及特定場景智能感知與理解技術(shù)、數(shù)據(jù)可視化技術(shù)等人工智能基礎理論和技術(shù)方法的研發(fā)攻關，重點開發(fā)能夠像人類一樣推理的人工智能系統(tǒng)。推動政府監(jiān)管部門對人工智能與機器學習技術(shù)的集成，充分利用人工智能技術(shù)協(xié)助收集、處理、分析海量可用數(shù)據(jù)，通過對數(shù)據(jù)的編目和標注以及算法訓練的加強，使得相關數(shù)據(jù)快速轉(zhuǎn)變?yōu)橛糜谥笇袆拥那閳螅瑢崿F(xiàn)對數(shù)據(jù)最大程度地利用和工作效率的提升，從而有效破解甚至消除“數(shù)據(jù)迷霧”。

二是積極開發(fā)提升態(tài)勢感知體系能力、基于云的大數(shù)據(jù)平臺。借鑒美國防信息系統(tǒng)局（DISA）的賽博大數(shù)據(jù)平臺（BDP），通過融合大數(shù)據(jù)、云計算和其他交叉學科技術(shù)，提供包括通用數(shù)據(jù)基礎表征、分布式數(shù)據(jù)存儲與索引、數(shù)據(jù)分析、系統(tǒng)抗毀性防御組件等整套功能、基于云的解決方案，實現(xiàn)最廣泛、最全面的活動視圖，以支持決策并增強整體安全態(tài)勢。要深挖人工智能技術(shù)應用中的痛點，聚焦技術(shù)研發(fā)、創(chuàng)新應用等方面，注重實用化、國際化和長期價值的創(chuàng)造，通過基于云的大數(shù)據(jù)平臺，加速人工智能技術(shù)和具體應用場景、更多客戶的匹配，推動人工智能技術(shù)的迭代創(chuàng)新，以最快速度提供解決經(jīng)濟社會發(fā)展過程中所遇各種實際問題的能力。

（二）強監(jiān)管

要堅持“高站位、寬視野”的原則，采取法治化、市場化手段，確保防范化解重大風險取得新成效。

一是建立人工智能技術(shù)應用管理機制。要在對人工智能技術(shù)新應用、新嘗試給予足夠創(chuàng)新空間的同時，通過系列兵棋推演，不斷掌握確保安全可控的技術(shù)能力，加強安全監(jiān)測、預警、控制和應急處置能力的建設，推動應對安全風險行動的優(yōu)先次序和資源分配。要加強政府部門、市場主體等各方的溝通交流，在技術(shù)上加強跟蹤控制，在政策上加強統(tǒng)籌協(xié)調(diào)，明確溝通程序、沖突管理的解決方法和責任人，提升政府部門的應急管理效率和強化安全監(jiān)管職能。要樹立正確的網(wǎng)絡安全觀、信息安全觀，不斷強化落實人工智能技術(shù)安全管理的主體責任，全面提升安全綜合治理意識和能力，實現(xiàn)對人工智能技術(shù)創(chuàng)新發(fā)展風險的有效控制和及時調(diào)整，以應對安全領域的挑戰(zhàn)。要加強對不可預見風險的預防性工作，通過風險規(guī)劃、風險識別、風險估計、風險評價等工作，推動國家安全能力成熟度的審查和評估，有效推動里程碑管理。

二是加強人工智能技術(shù)創(chuàng)新與應用發(fā)展的監(jiān)測。要充分發(fā)揮企業(yè)、高校、科研院所、產(chǎn)業(yè)聯(lián)盟和行業(yè)協(xié)會的作用，加速構(gòu)建適應人工智能技術(shù)風險管理的多方合作、利益共享、風險共擔的開源生態(tài)格局，為人工智能技術(shù)的健康發(fā)展提供保障。要依托產(chǎn)業(yè)聯(lián)盟、組織各方力量、加強工作協(xié)同，探索建立人工智能技術(shù)創(chuàng)新與應用發(fā)展情況的動態(tài)運行監(jiān)測體系，定期發(fā)布人工智能技術(shù)創(chuàng)新與應用發(fā)展報告，形成對發(fā)展進度、潛在影響、發(fā)展趨勢的及時、連續(xù)、系統(tǒng)記錄和報告，有利于防范系統(tǒng)性風險。要充分發(fā)揮人民群眾的主體作用，積極踐行群眾路線，認真研究吸納群眾的意見建議;特別是，面對重大突發(fā)性安全事件，更要緊密聯(lián)系群眾、緊緊依靠群眾，讓人民群眾成為維護意識形態(tài)安全、國家安全和政權(quán)安全的第一道防線。

三是積極應對人工智能技術(shù)的挑戰(zhàn)和脆弱性。要積極推動安全可信網(wǎng)絡架構(gòu)、智能傳感器和算法模型的建設，加強關鍵信息基礎設施的保護，提供安全的端到端服務，確保從網(wǎng)絡到用戶整個過程的數(shù)據(jù)安全，強化管理監(jiān)督、提高工作效率。要加強對網(wǎng)絡內(nèi)容、智能設備和關鍵點的智能化控制，通過提升安全規(guī)范自動化的規(guī)模，力爭做到讓人工智能技術(shù)進行系統(tǒng)識別、優(yōu)先排序并以最快速度選擇任務需求，提升聯(lián)網(wǎng)設備的智能管理能力和快速執(zhí)行處理能力，確保海量設備在整個生命周期中的安全性。要制訂重要數(shù)據(jù)的敏感度評估辦法，加強數(shù)據(jù)集的敏感度認定，設置基于用戶權(quán)限級別的數(shù)據(jù)掩碼。要創(chuàng)建人工智能的道德規(guī)范，著力增強規(guī)則制定能力、議程設置能力、輿論宣傳能力、統(tǒng)籌協(xié)調(diào)能力，提高相關部門在全球技術(shù)治理中的話語權(quán)。

（三）促融合

要構(gòu)建促進融合發(fā)展的體制機制，形成高質(zhì)量發(fā)展的強大合力。

一是提高數(shù)據(jù)的實時融合效率。充分利用領先的用戶規(guī)模、普及的智能終端和積累的數(shù)據(jù)資源等綜合優(yōu)勢，推動傳統(tǒng)的“煙囪式”數(shù)據(jù)庫整合成統(tǒng)一的分析決策視圖，構(gòu)建集中管理、快速準確分析海量數(shù)據(jù)的算法模型，并提供面向任務、可理解的高效分析方法和情報信息，大幅提升跨機構(gòu)協(xié)作能力。依托互聯(lián)互通的共享數(shù)據(jù)信息，鼓勵相關企業(yè)合作創(chuàng)建、使用可重用工具、庫、標準以及人工智能云服務，擴大基于共用基礎數(shù)據(jù)的人工智能影響。鼓勵市場主體基于共享數(shù)據(jù)提供有助于情報分析人員和決策者實時、動態(tài)掌握、理解和管理態(tài)勢感知、智能決策的綜合性系統(tǒng)和解決方案，實現(xiàn)“從數(shù)據(jù)到?jīng)Q策”的閉環(huán)管理以及觀察（Observe）、調(diào)整（Orient）、決策（Decide）和行動（Act）決策循環(huán)周期的有效縮短。

二是加強軍民融合協(xié)同創(chuàng)新發(fā)展。要堅持開放與協(xié)同創(chuàng)新，著眼于提高人工智能技術(shù)領域軍民融合發(fā)展的整體質(zhì)量效益，通過制定軍民融合發(fā)展的工作規(guī)則，形成軍民融合發(fā)展的鮮明導向和評價標準規(guī)范，促進軍民兩大領域的需求共融、資源共融、能力共融、技術(shù)共融，構(gòu)建一個軍民互動、共同協(xié)作、效益放大的發(fā)展格局。要在資源有限、時間有限的條件下，科學理解和準確把握人工智能技術(shù)的發(fā)展態(tài)勢和未來趨勢，緊緊圍繞軍民融合發(fā)展戰(zhàn)略，充分利用軍民資源的各自優(yōu)勢，進一步明確軍民融合發(fā)展的指導思想、發(fā)展目標、基本原則、組織方式、重點環(huán)節(jié)和基本程序等內(nèi)容，逐步實現(xiàn)軍民領域資源的一體配置、一體統(tǒng)合、一體運用，打造一體化的戰(zhàn)略體系和能力。

（張于喆、李紅宇，中國宏觀經(jīng)濟研究院產(chǎn)業(yè)所副研究員）