德國對人工智能犯罪的治理

Governance of AI Crime in Germany

人工智能與網絡等新興技術就像一把“雙刃劍”，在促進經濟社會發展、給人們生活帶來福祉的同時，也蘊藏著許多未知的風險。一方面，是新興技術應用的內在風險。比如，人工智能技術對人類現有生活制序造成的沖擊、對公民個人信息和隱私帶來的威脅等。另一方面，是新興技術面臨的外在風險。新興技術的發展有可能被用于非法目的，比如為不法分子實施違法犯罪活動提供新型的武器。這類新型武器往往侵害面廣、隱蔽性強、危害性大，給公共安全帶來嚴重的安全隱患，世界各國對此都高度重視。德國是全球人工智能技術領域較為領先的國家，聯邦政府于2018年11月發布由聯邦經濟與能源部、教育與研究部和勞動與社會部共同編制的《德國人工智能發展戰略》，涉及研究創新、成果轉化、規章框架、標準制定等12個領域，計劃于2025年前投入約30億歐元用于戰略實施。2020年12月，德國政府根據行業發展情況和新冠疫情流行帶來的社會新變化，對國家人工智能戰略進行更新，從專業人才、研究、技術轉移和應用、監管框架和社會認同五個重點領域，提出下一步的創新舉措。新戰略將計劃周期投資額由30億歐元增至50億歐元，實施后取得顯著成效。目前，全球自動駕駛領域專利的58%由德國申報；在全球最受高素質數字化專業人才喜愛的國家中，德國排名第二，僅次于美國。

一、人工智能系統的潛在風險與惡意使用

能夠識別人工智能系統的風險與潛在的惡意利用，是預防惡意行為者和濫用者利用人工智能實施侵害的前提條件。

（一）人工智能系統潛在風險的分類

歐盟根據人工智能系統可能對人類造成的潛在危害，將其風險等級分為四類，分別是：①極低的風險。如人工智能視頻游戲、垃圾郵件過濾器等系統，允許沒有限制地使用。②有限的風險。如模仿或聊天機器人、情緒識別和生物特征分類以及生成或操縱內容系統等，對此類系統提出透明度義務的要求。③高風險。如用于安全組件、生物識別身份、教育、就業、獲取私人或公共服務、執法、邊境控制、司法系統和民主進程的人工智能應用等，這類系統在投放使用前要經過嚴格的評估，通過符合要求的數據測試，且需要具有可追溯的活動記錄。④不可接受的風險。如在社會信用評分和行為操縱應用程序中使用人工智能，這類使用是被禁止的。

根據時間維度的區別，可以將人工智能系統的潛在風險分為中短期風險和長期風險。中短期風險包括：致命的自動武器帶來的倫理、風險和技術進步中一些未能解決的問題，由于人工智能系統缺乏透明度和可解釋性、對數據收集和不受限訪問帶來的安全隱患等。長期風險包括：人工系統可能被用作監控和操縱人群的強大工具、使控制權集中于少數人手中，在大國戰爭中使用的致命性自動武器大幅升級、造成危機形勢復雜化，更先進的人工智能系統與人類價值觀不一致可能造成的有害結果等。

此外，根據人工智能犯罪的具體表現形式，還可以分為利用智能設備實施的犯罪（無人駕駛汽車、無人機）、利用智能軟件實施的犯罪和利用網絡攻擊入侵智能系統實施的犯罪等。

（二）人工智能系統的惡意使用

基于人工智能算法的人工智能技術可以成為各種犯罪的工具，包括對個人、財產、環境安全、公共和國家利益的攻擊。目前，常見的有在網絡犯罪中基于人工智能算法的技術，實施網絡釣魚、非法使用無人機、合成虛假信息、通過自動化自主系統和機器人開展入侵活動等。在“深度偽造”技術的運用中，系統通過創建可靠的視頻圖像，可以實現不依賴于被偽造主體的人臉交換和人臉重建，并且可以應用于任何一對人臉，甚至不需要對這些人臉進行機器學習。再比如，犯罪分子可以利用人工智能系統模仿人類行為，欺騙社交媒體網站上的機器人檢測算法，然后利用受感染的系統為特定用戶制造虛假流量、獲取經濟或其他利益。2019年3月，犯罪分子利用人工智能語音合成軟件合成了某能源公司德國總公司首席執行官的聲音，以此要求英國分公司負責人在一小時內緊急匯款給第三國供應商。由于聽到了熟悉的德國口音和老板的語言模式，英國分公司負責人對于轉賬指令沒有任何懷疑，最終被騙22萬歐元。

二、德國對人工智能犯罪的治理

德國在2019年就成立了人工智能國際專家顧問委員會，以評估人工智能中心和網絡建設水平，提出指導性建議。委員會成員為來自法國、意大利、西班牙等歐洲國家、受聘于德國聯邦教育與研究部的國際專家，涵蓋了涉及人工智能的多項領域，包括對人工智能犯罪的預防與治理。由于人工智能系統在許多情況下過于專業和復雜，無法在政府或司法系統現行的法規、規章和司法判決文本中充分體現，所以，迄今為止幾乎所有關于人工智能監管的做法，都傾向于使用政府以外的技術標準制定組織。與傳統的政府直接監管實體的模式不同，對人工智能系統進行市場監管的模式，是由私人監管機構制定監管程序、要求和技術水平，直接監管購買其監管服務的目標，并接受政府的監督。

（一）歐盟對人工智能技術的法律規則

歐盟委員會在重大事項上的決議在其成員國的立法指向與趨勢層面，具有綱領性的指導作用。因此，德國的人工智能治理也難以繞開歐盟的整體政策大環境。2019年4月，歐盟委員會頒布《可信賴的人工智能倫理準則》，提出歐盟范圍內以人為本、可信賴的人工智能倫理標準。2021年4月，發布《關于制定人工智能統一規則并修訂某些歐盟立法的條例》，這是全球首個全面的人工智能法律框架。2022年12月，受ChatGPT等應用快速發展的影響，增加了關于通用人工智能、基礎模型等的條款。2023年4月，增加了基礎模型開發商披露使用版權材料、基礎模型遵守言論自由原則等內容。6月，歐洲議會通過《人工智能法案》授權草案，將在歐洲議會、歐盟委員會和歐盟理事會完成談判后正式生效。這是全球第一部專門針對人工智能的綜合性立法，旨在法律層面上確保人工智能技術在歐盟范圍內的安全使用?！度斯ぶ悄芊ò浮芬蟾鞒蓡T國均應建立起相應的國家監管機構，監督法案規則在國內的應用和實施。

（二）德國對人工智能犯罪的規則與治理

德國作為歐盟成員國，在遵守歐盟人工智能監管總體原則的基礎上，結合本國實際對其轉化適用進行了細化，在監管框架方面提出了發展和應用人工智能系統的具體要求，融合社會整體力量加強人工智能犯罪防治。

1.搭建國家治理框架

一是制定國家發展戰略。在聯邦政府層面制定《德國人工智能發展戰略》，著力提升德國在人工智能領域的技術競爭力。在保障數據和信息系統安全的基礎上，推動人工智能技術在社會、環境、經濟、文化和國家等領域的有益運用，盡量降低技術濫用對公共安全可能造成的風險。以人為本、以公共利益為導向，引導利益相關方自覺檢驗技術應用的倫理和法律邊界，推動制度框架的完善發展。

二是加快推進立法進程。以立法強化犯罪預防，建立健全數據內容管理、人工智能信息保護機制。從法律層面強化人工智能研發者、設計者的責任規制，明確責任主體，通過個體信息保護制度切斷人工智能非法應用的數據支持。鑒于現代人工智能系統與大數據密切關聯的特性，在保護公民個人隱私的前提下，建立全面統一的數據保護治理體系，規范數據的收集、存儲與使用。德國在歐盟2018年《通用數據保護條例》的基礎上，結合本國國情制定了《新聯邦數據保護法》。同時，根據歐盟的《電子隱私指令》制定實施《電信和電信媒體數據保護法》，規定電信服務提供商在使用數據跟蹤技術前，需要獲得有效的用戶同意。在確保數據跨境傳輸的安全性方面，德國巴登符騰堡州在2020年8月發布遵循歐盟法院判決的“數據跨境傳輸指南”。提出在向美國傳輸個人數據時，數據控制者應提供額外保護措施降低數據泄露風險。比如，對數據采取加密措施，只有數據輸出者持有密鑰、并且加密強度應足夠，確保美國情報部門無法破解。

三是構建全球合作網絡。與全球人工智能治理相關的國際標準和管理論壇、技術標準制定委員會等攜手推動國際人工智能治理。在政策制定中加大本地利益相關方的參與度，提升公眾參與熱情。為“歐洲共同利益重點項目”（IPCEI）人工智能領域的項目提供資金支持，在建設“德國人工智能瞭望臺”的同時，也為在歐洲和國際層面建立相應的瞭望臺提供支持。2023年11月，德國與法國、意大利就如何監管人工智能應用達成聯合協議，對人工智能基礎模型實行“強制性自我監管”，并強調監管的是人工智能應用，而不是技術本身。協議要求人工智能基礎模型的開發人員必須定義模型卡，公布關于模型功能、能力限制的相關信息。如果在某項具體技術的應用中發現并被查明有不當行為，相關主管部門將會對其予以制裁。2023年11月初，首屆全球人工智能安全峰會在英國布萊切利莊園舉行，包括中國、美國、德國在內的28個國家一致認為，人工智能在改善人類福祉上存在著巨大潛能，但也同時存在著不可預知的潛在風險。參會國簽署發表了《布萊切利宣言》，同意通過國際合作建立人工智能的監管方法，希望通過法規等方式規避相關風險。這是全球第一份針對人工智能的國際性聲明。

2.加大日常監管力度

為強化新興技術影響本國關鍵基礎設施方面的風險控制，德國于2019年加大了本國《網絡安全法》的適用范圍，要求相關軟硬件供應商向主管當局報告涉及其產品的所有安全相關事項，確保關鍵基礎設施的運行不會受到任何影響。同時，利益相關方還需要向客戶提供符合政府主管部門要求的可信賴特別聲明。新法律大幅增加了對違規行為的罰款力度，從原先的5萬～10萬歐元罰款提高至最高可達違規公司全球總營業額的4%或 2000萬歐元罰款。此外，新法還規定德國安全部門有權采取措施檢測分析公開信息系統中的惡意軟件、安全漏洞和其他安全風險，防止僵尸網絡的傳播、加強物聯網安全，確保在德國開展業務的公司的網絡安全合規性。

在監管新興技術運用方面，2017年8月，德國聯邦交通與數字基礎設施部推出全球首套《自動駕駛倫理準則》，規定了自動駕駛汽車的行為方式。2018年，德國成立數據倫理委員會，負責為聯邦政府制定數字社會的道德標準與指引。2019年10月，委員會發布《針對數據和算法的建議》，為聯邦與數據和人工智能算法相關的問題提出政策建議。提出分別監管個人數據和非個人數據，平衡數據保護與數據的利用。設想制定算法評估方案，建立數字服務企業使用數據的五級風險評級制度，對不同風險類型的企業采取不同的監管措施。對二級風險以上的企業，引入強制性標記系統，運營商須明確是否、何時以及在何種程度上使用算法系統。一旦運營商接受強制性要求，就必須嚴格遵守此標記，否則其負責人將承擔相應法律責任。同時，《建議》也認為，即使是高度自主的算法系統也不具有法律上的獨立地位，經營者使用高度自主的算法技術產生的賠償責任，應與以往輔助設備負責人需要承擔的替代賠償責任相一致。

2023年以來，意大利、法國、西班牙等多個歐洲國家對美國人工智能技術ChatGPT涉嫌違法收集數據的問題展開了調查，歐洲數據保護委員會也成立特別工作組，幫助各國協調政策、解決隱私保護等問題。2023年4月，德國監管機構表示，也將像其他歐洲國家一樣，對ChatGPT使用個人數據的行為進行審查，并為其美國制造商OpenAI編制了一份問卷，要求OpenAI就有關歐盟《一般數據保護條例》的一些問題予以回復。德國監管方表示，要核實OpenAI是否按照歐盟法律，充分告知ChatGPT使用其數據的用戶“有權訪問、調整、刪除他們的數據”。監管方表示，在涉及歐洲公民個人數據處理的問題上，必須尊重歐洲的數據保護法，尤其是對未成年人相關數據的處理。

3.加大技術研究和人才培養

一是在教育和科研領域，政府持續加大對多所大學研究中心及德國人工智能研究中心的資金投入，從2018年到2022年，投入資金翻番。通過德國宇航中心，加強國家關鍵基礎設施中安全人工智能系統的研發，加強公民安全領域可信賴人工智能應用研究，資助“用于信息技術安全的人工智能”等項目，加強對人工智能安全性和魯棒性（Robust）的研究等。

二是通過政府政策，重點支持高等教育和職業教育培養更多專業人才，創造更具吸引力的工作和研究環境。從世界各地尤其是人工智能領域發展比較超前的中國和美國，尋找技術專家，解決國內技術人才短缺的問題。

三是將相關專業知識與技能納入教育體系，提高公民整體人工智能素養，減少行為者與利益相關者之間的信息不對稱，努力讓包括從幼兒園到退休人士在內的所有人都了解數字化，讓人們在人工智能日益發展滲透的社會中承擔起公民責任，并發揮主觀能動性。