歐盟人工智能法案綜述

方旭　衛燕　張穎　王瀟灑　孫琳瀟　許磊

摘? 要： 目前人工智能在各行各業中的應用不斷深入，同時也面臨著諸多風險。各國紛紛制定了人工智能發展規劃，人工智能安全建設是各國人工智能智能規劃的重要組成部分。2021年4月，歐盟出臺了《人工智能法案》。通過與美國國家人工智能安全委員會出臺的相關報告進行對比分析，可以看出歐盟人工智能法案與美國國家人工智能安全報告有諸多共同點，同時歐盟人工智能法案具有鮮明特色。在上述研究的基礎上，結合我國的實際，提出了相關建議對策。

關鍵詞： 人工智能; 法案; 特色; 對策

中圖分類號：G40? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2022）05-92-04

Overview of European Union Artificial Intelligence Act

Fang Xu Wei Yan ?Zhang Ying Wang Xiaosa Sun Linxiao Xu Lei

Abstract： At present， the application of artificial intelligence in all walks of life is deepening， but also faces many risks. AI development plans have been formulated in many countries， and the construction of AI security is an important part of the AI planning of each country. In April 2021， European Union pushed forward with 'Artificial Intelligence Act'. Through comparative analysis with the relevant reports issued by the National Artificial Intelligence Safety Commission of the United States， it can be found that the European Union Artificial Intelligence Act has many common points with the United States National Artificial Intelligence Safety Report， while the European Union Artificial Intelligence Act has the distinctive features. On the basis of the above research， combined with the reality of our country， the suggestions and countermeasures are put forward.

Key words： artificial intelligence; act; feature; countermeasure

引言

隨著智能化社會的到來，世界各國紛紛進行人工智能布局[1]。人工智能已經在各行各業包括交通、教育、服務等領域有了越來越多的應用。與此同時，其安全問題也逐漸凸顯出來。有關研究顯示，人工智能面臨著諸多風險，如數據風險（例如數據投毒、數據泄露、數據異常）、算法風險、網絡風險以及其他風險。人工智能已經造成難以應對的各種風險，以及對復雜問題的分析帶有種族主義和性別歧視（鄧文錢，2020）[2]。黃崑等（2021）對近五年圖情SSCI期刊人工智能倫理研究文獻分析得出：人工智能在數據、算法和人工智能系統不同層次，以及醫藥衛生、文化教育、軍事、政治等多個領域都面臨著諸多風險，例如在金融信貸中，運用人工智能技術幫助金融機構決定提供貸款的對象，算法運行結果可能產生地域、種族和性別上的偏見[3]，而人工智能安全問題是各國人工智能發展規劃必不可少的一部分。2017年1月國務院引發《新一代人工智能發展規劃》指出：“加強人工智能相關法律、倫理和社會問題研究，建立保障人工智能健康發展的法律法規和倫理道德框架與建立人工智能安全監管和評估體系[4]。”

美國國家人工智能規劃《國家人工智能研發戰略規劃2016》、《國家人工智能研發戰略規劃2019更新版》將人工智能安全建設列為重大戰略方向之一[5]。2021年歐盟委員會發布了《人工智能法案》（Artificial Intelligence Act）（以下簡稱《法案》）[6]。該法案系統全面的提出了人工智能風險預防的保障機制和實施路徑，該《法案》具有的諸多特色，可為我國人工智能的發展帶來諸多啟示。

1 《法案》出臺的背景與目標

人工智能（AI）是一個快速發展的技術家族，可以為整個行業和社會活動的各個領域帶來廣泛的經濟和社會利益。通過改善預測、優化運營和資源分配以及個性化服務交付等，AI的使用對社會和環境均有益。在歐洲，其影響重大的部門有氣候變化、環境與衛生、公共部門、金融、內政和農業。

AI技術在給人類帶來利益的同時，也可能給個人或社會帶來新的風險或負面影響。歐盟一些會員國已經在考慮制定國家法規，以確保AI發展的安全性，并在遵守基本權利義務的情況下進行開發和使用。這可能會導致兩個主要問題：①內部市場在基本要素上的分散化，尤其是在AI產品及其服務的需求、營銷、使用、責任以及公共機構的監督等方面;②AI系統的提供者和用戶在現有和新規則將如何適用于聯盟中的那些系統方面的法律確定性將大大降低。鑒于跨境產品和服務的流通，可以通過歐盟統一立法來更好地解決以上兩個問題。

AI通常依賴于龐大而動態的數據集，并且可以嵌入內部市場自由流通的任何產品或服務中。因此，單憑會員國的努力無法有效實現該提案的目標。此外，出現分歧的國家法規的拼湊將阻礙與AI系統相關的產品和服務在整個歐盟的無縫流通，并且無法確保不同成員國之間的基本權利和聯盟價值的安全和保護。一些解決問題的方法只會增加法律上的不確定性和障礙，并會減慢AI的市場采用率。

《法案》的主要目標是通過制定統一的規則來確保內部市場的正常運作，特別是在開發與投放聯盟市場，以及使用AI技術或作為獨立AI提供的產品和服務的使用方面，要制定統一的規則系統。《法案》基于歐盟的價值觀和基本權利，旨在使人們和其他用戶有信心接受基于AI的解決方案，同時鼓勵企業進行開發。委員會提出了擬議的AI監管框架，具體如下：①確保投放到聯盟市場上并使用的AI系統是安全的，并尊重有關基本權利和聯盟價值的現行法律;②確保法律上的確定性，以促進對AI的投資和創新;③加強對適用于AI系統的基本權利和安全要求的現有法律的治理和有效執行;④促進針對合法，安全和可信賴的AI應用程序的單一市場的開發，并防止市場分散。《法案》的制定與實施，對于保障AI的可持續發展具有重要的意義，對于保證AI系統在歐盟內更順暢的流通、促進AI的創新發展等也具有重要的意義。

2 《法案》的特色

2.1 《法案》是全球范圍內首份專門針對AI風險管理的法案

目前的規劃和法案更多的集中在AI的建設和應用方面，而對風險的預防及解決策略關注不夠。《法案》可以說是全球首份專門針對AI風險制定的相關法律。《法案》提出AI的發展應遵循明確定義的基于風險的方法，該方法應根據AI系統可能產生的風險的強度和范圍來調整此類規則的類型和內容。因此，有必要禁止某些AI實踐，為高風險的AI系統制定要求和相關操作員的義務，并為某些AI系統制定透明度義務。“嚴重事件”是指直接或間接導致，可能導致以下事件：一個人的死亡;對人的健康、財產或環境的嚴重損害;對關鍵基礎設施的管理和運營造成了嚴重且不可逆轉的破壞。

2.2 《法案》內容具體明確，具有很強的實際可執行性

《法案》在各個方面的規定都非常具體細致，具有較強的實際可操作性。在高風險AI系統方面，《法案》從高風險AI的角度，支持創新的措施。從AI監管沙箱、面向小規模提供商和用戶的措施等方面，它系統全面的論述了高風險AI系統的風險防范措施，具有較強的可執行性。《法案》對各種高風險情形列出了常見的案例或表現。以“實時”遠程生物特征識別系統為例，《法案》規定，在公共場所使用“實時”遠程生物特征識別系統，出于以下目的，必須嚴格使用：有針對性地尋找特定的潛在受害者，包括失蹤兒童;防止對自然人的生命或人身安全以及恐怖襲擊的具體、實質性和迫在眉睫的威脅;偵測、定位、識別或起訴理事會所指的犯罪行為的犯罪嫌疑人，并在有關會員國處以監禁方式對其進行懲處。

在公共場所使用“實時”遠程生物特征識別系統時，應考慮以下因素：當使用情況可能帶來某些負面影響，特別是在不使用該系統的情況下會造成嚴重損害，或對有關人員的權利和自由產生嚴重后果。另出于執法目的，在公共場所使用“實時”遠程生物特征識別系統，應符合與之相關的必要且相稱的保障措施和條件，尤其是在時間、地理和個人限制方面。在公共場所使用“實時”遠程生物特征識別系統的執法目的而進行的個人使用，均應首先獲得司法當局的事先授權，或由使用的成員國的獨立行政當局根據合理的要求發布的。但是，在有正當理由的緊急情況下，未經授權就可以開始使用系統，但是在使用過程中或使用之后，必須請求授權。司法或行政主管部門應僅在基于其客觀證據或明確指示而感到滿意的情況下，授予使用有爭議的“實時”遠程生物特征識別系統。而在違反《法案》的罰則方面，《法案》詳細列出了處罰規定。具體包括：不遵守AI系統的任何要求，應處以最高20000000歐元的行政罰款，如果犯罪者是公司，行政罰款要占上一財政年度全球年度總營業額的4%（以較高者為準）;向指定機構和國家主管部門提供不正確、不完整或具誤導性的信息以響應請求，應處以最高一千萬歐元的行政罰款，如果犯罪者是公司，行政罰款要處以上一個會計年度的全球年度總營業額最高2%的罰款，以較高者為準等。

2.3 《法案》鼓勵AI的發展，而不是限制

該提案建立在現有法律框架的基礎上，對于目標實現是適當且必要的，因為該提案遵循基于風險的方法，并且僅在AI系統可能對基本權利和安全構成高風險時才施加監管。對于其他非高風險的AI系統，實施有限的透明性義務。例如在提供信息以標記與人類交互時使用AI系統等方面。對于高風險的AI系統，用于降低AI可能帶來的基本權利和安全的風險，而其他現有的監控并不能滿足這些要求，所以對于高質量數據，文檔和可追溯性、透明度、人工監督、準確性和監督性的要求是絕對必要的。法律框架、統一的標準以及支持性的指導和合規工具將幫助提供商和用戶遵守提案中規定的要求，并最大程度地降低其成本。運營商產生的成本與實現的目標以及運營商可從此提案中預期的經濟和聲譽收益成正比。

《法案》專門制定了鼓勵AI創新的措施，包括建立AI監管沙箱、在AI監管沙箱中出于公共利益的目的進一步處理個人數據以開發某些AI系統等。《法案》有助于實現創建法律基礎上的創新，永不過時且具有抗破壞能力的法律框架的目標。為此，它鼓勵國家主管部門設立監管沙箱，并在治理、監督和責任方面設定基本框架。AI監管沙箱建立了一個可控環境，可以根據與主管部門達成的測試計劃在有限的時間內測試創新技術。

2.4 具有很強的可信度

《法案》的出臺經過了廣泛的意見征詢以及專家論證階段，歷時兩年后出臺，具有較強的可信度。歐盟于2020年2月19日至6月14日期間就《法案》進行了廣泛的意見征詢。法案的出臺是與所有主要利益攸關方進行廣泛協商的結果。它針對所有來自公共和私營部門的利益相關者，包括政府、地方當局、商業和非商業組織、社會伙伴、專家、學者和公民。在分析了收到的所有答復之后，委員會在其網站上發布了摘要結果和個人答復。 總共收到1215各回復，其中352個來自公司或商業組織或協會，406個來自個人（來自歐盟的92%），152個來自學術研究機構，以及73個來自公共機構。民間社會的聲音來自160位受訪者（其中9個消費者組織，129個非政府組織和22個工會），72位受訪者為“其他”類。在352家工商代表中，有222家是公司和商業代表，其中41.5%是微型、中小型企業。其余的是商業協會。總體而言，企業和行業的答復中有84%來自歐盟27個國家。利益相關者之間就采取行動的需要達成了普遍協議，絕大多數利益相關者同意存在立法空白或需要新的立法。但是，一些利益相關者警告委員會避免重復、義務沖突和監管過度，并且有許多評論強調了技術中立和相稱的監管框架的重要性。第二個階段是收集和使用專業知識。

《法案》的籌備工作于2018年開始，建立了AI高級別專家組，該專家組由52名知名專家組成，成員廣泛，除了為該委員會的AI戰略的實施提供建議此外，AI聯盟形成了一個平臺，約有4000名利益相關者就AI的技術和社會影響進行辯論，最終決議每年召開一次AI大會。《法案》最終以兩年的分析為基礎，在廣大利益相關者積極參與下，委員會根據“更好的法規”宗旨，對該建議進行了影響評估，并由委員會的監管委員會進行了審查。根據委員會的既定方法，對每種政策選擇都針對經濟和社會影響進行了評估，尤其側重于對基本權利的影響：經濟運營商/企業、合格評定機構、標準化機構和其他公共機構、個人/公民、研究人員等。

3 對我國AI風險管理的啟示

3.1 增加對AI系統風險的關注

歐盟委員會提出的基于風險的監管政策是很有必要的，監管只有在問題發生之前才有意義，因此必須超前，對于AI技術我們有太多的未知，其未被發現的潛能、危害以及社會影響都是不可預估的，我們只能依賴于制定法律提供足夠的時間與空間來進行評估、測試、學習以及應對。但無論如何，歐盟在在AI技術與產業方面的發展不占優勢的情況下，仍把眼光放在了對技術的監管上面，不得不承認這是一種進步。當前我國AI的研究與應用正如火如荼，在特殊的時期，更應該把注意力更多的放在對系統的監控與管理上。防患于未然，增強企業、政府、個人、基礎建設等領域的AI系統的危險防范意識，不把單純的發展AI當作最終目標，力求在發展中更好治理，最大程度發揮AI系統的優勢。

3.2 積極研究中國版AI法案的制定

目前中國也出臺了相關AI發展規劃，從總體上提出了相關AI發展規劃，但還缺乏具體的基于風險管理的AI發展規劃。中國還沒有專門針對AI的相關法案。目前，AI時代已然到來，很多高校也開設了AI專業和AI學院，加強了AI碩士與博士的培養，AI正在越來越多的被應用各行各業[9]，因此制定專門的AI法案，對AI的深入發展有重要意義。隨著AI技術在中國的發展，中國也難免遇到與歐盟或歐美國家類似的問題，中國可借鑒《法案》框架以及實施經驗，制定適用中國的AI法案。在法案內容方面，應適度，既不能約束AI的發展，也要規避風險。在政策制定方法方面，應廣泛征詢相關人員的意見，并注重專家的參與，要注重法案的可執行性。歐盟法案對實施路徑進行了明確，讓《法案》易于實際的實施與執行。因此，我國建立AI法案不僅要明確目標、各利益相關者的責任、實施機制，更要明確具體實施路徑，這樣有利于法案的實際執行，這包括具體的實施者、實施步驟、實施要求以及實施結果等。應具體列出各類情形的常見案例或表現，方便執法人員執行法案。

3.3 明確各利益相關者的職責

AI的開發與使用涉及到諸多利益相關者，如企業、研發人員、開發商、分銷商、使用者，管理機構等。AI系統在投放到市場之前，其提供者應當已經執行了適當的合格評定程序，同時系統帶有要求的合格標記，并附有要求的文件和使用說明。如果是進口商認為或有理由認為高風險的AI系統不符合相關法規，則在該AI系統符合之前，不得將其投放市場。進口商應在高風險的AI系統上，或在其包裝或隨附的文件中（如果適用）指出其名稱、注冊商標名稱或注冊商標，以及可以與他們聯系的地址。分銷商方面，在市場上出售高風險的AI系統之前，分銷商應核實高風險的AI系統是否具有要求的合格標記，并附有所需的文件和使用說明如果分銷商認為或有理由認為高風險AI系統不符合本標題相關規定的要求，則高風險AI系統在該市場上不得進行銷售。如果分銷商認為其在市場上提供的高風險AI系統不符合相關規定的要求，則應采取必要的糾正措施以使系統是否符合那些要求，或者直接撤回。如果高風險AI系統存在相關風險，分銷商則應立即通知提供該產品的成員國的國家主管當局，并提供詳細信息，尤其是不遵守規定以及采取的任何糾正措施。根據國家主管部門的合理要求，高風險AI系統的發行商應向該機構提供證明高風險系統符合要求的所有必要信息和文件。發行人還應與該國家主管當局合作采取行動。對于用戶來說，在使用過程中應在法律許可的范圍內按AI的說明進行使用，如果在AI使用過程中遇到任何問題要及時反饋給相關部門，做好記錄與數據保存工作。在多方共同配合下，相信AI會更好的發揮其應有的作用。

參考文獻（References）：

[1] 方旭.智能化時代國外人工智能教育戰略和啟示[J].教育

信息技術，2021（Z1）：37-41

[2] 鄧文錢.人工智能時代的風險隱憂和制度防范[EB/OL].

[2021-06-10].http：//www.elecfans.com/rengongzhineng/1274751.html

[3] 黃崑，徐曉婷，黎安潤澤，等.近5年圖情SSCI期刊人工智能

倫理研究文獻分析與啟示[J].現代情報，2021，41（6）：161-171

[4] 國務院.國務院關于印發新一代人工智能發展規劃的通知

[EB/OL].[2017-7-8]http：//www.gov.cn/zhengce/content/2017-07/20/content_5211996.htm.

[5] 賀斌，李紅美，王周秀，等.美國人工智能國家戰略行動最新

動向：洞察與借鑒[J].情報雜志，2021，40（1）：25-32

[6] Europe Commission Proposal for a Regulation laying down

harmonised rules on artificial intelligence[EB/OL].[2021-4-21].https：//digital-strategy.ec.europa.eu/en/library/proposal-regulation-laying-down-harmonised-rules-artificial-intelligence

收稿日期：2021-11-03

*基金項目：2021年江蘇省社科應用精品工程課題“多元共治視域下校外培訓機構在線教育的治理策略研究”（21SY-024）; 2021年南通市社科基金項目“規制經濟學視角下的南通校外培訓機構治理路徑優化研究”（2021BNT012）

作者簡介：方旭（1981-），男，江蘇宿遷人，博士，副教授，碩士生導師，主要研究方向：人工智能教育、在線教育、教育信息化。