人工智能系統的規制

[德]托馬斯·維施邁爾 著馬可 譯趙精武 校

內容提要：人工智能系統的大規模應用向法律提出了巨大挑戰。由于目前智能系統的發展尚未達到人類智能的水平，人工智能系統的不可預測性和不可控性將會引發一系列問題，因此有必要對人工智能系統應用模式進行監管。目前人工智能系統有三個核心技術要素，即數據、算法和人工干預。這三個要素對于監管原則的確立有著錨定作用，同時也是監管制度實施的著力點和立法調整的規制對象。監管人工智能系統的最大障礙是它的決策過程難以被相對人理解，這意味著人工智能系統需要在決策過程中保持高透明度，以此確保可理解性。但高透明度是難以通過事后的決策解釋來實現的，而應當是通過決策時系統提供決定理由來實現的。因此有必要建立一個基于智能系統決策的理由和監管架構，在架構中將機器決策納入法律程序中。這樣的架構可以使得決定方和相對方充分交換意見，使得個人真正成為數字化秩序的主體，而不是客體。

一、走向開放：人工智能對法律的挑戰

在信息時代，在人們決定、解釋某事，或是實施某個行為的過程中，機器的身影頻頻現身。具備學習能力的信息系統早已應用于醫療、金融等領域。網絡空間中的智能算法也在根據用戶搜索時所透露的信息，為用戶量身定制產品推薦和相關信息。隨著世界從互聯網時代走向物聯網時代，人工智能技術也愈加深刻地融入人們日常生活中：各種傳感器在住所、交通工具以及身體佩戴的機器設備上隨處可見，實時收集數據并將數據傳輸至云端。云端的智能系統則根據這些數據完成人類指定的任務。這些智能系統能夠在現實世界中操縱機器、移動物體。它們正在迅速地超越智能機器人的階段，向著更高階的智能發展。因為它們具備這些特定的能力，智能系統不單單應用于私人領域，同樣也被應用于滿足公共服務需求的公共領域。如警方應用預測警務系統來預測犯罪行為。而在具體的國家行政監管中，特別是在金融市場監管和稅務征收管理等領域，智能技術都有很大的用途。

目前智能系統還遠遠不能與人類智慧相提并論。故而關于智能系統的爭論焦點并不是未來才可期的“超級智能”，而是如何進一步發展和應用具有自主學習能力的智能系統，以及這種系統對于大數據進行開發和利用的能力。將“一般的人工智能”從“應用型人工智能（狹義上的人工智能或弱人工智能）”中分離出來的意義也是如此。但即便是目前的“弱人工智能”或“應用型人工智能”，也會對政治、社會和法律提出新挑戰，特別是當智能系統被整合進入具有巨大社會影響、有造成損害可能性的決策過程時，其產生的問題尤為突出。這種情況愈演愈烈，尤其是在金融市場或安全管理等重要領域中，智能系統的不可預測性、不可控性很可能引發嚴重后果。人與機器之間緊密的相互作用性、機器學習技術的廣泛適用性以及人與機器的共生性更加劇了這一現象。因此，有必要明確，系統越獨立，其行為就越有可能擺脫人類的控制；換言之，技術已經從人類的工具變成了規范規制的直接對象。

基于前述社會問題的觀察，本文意欲解決兩個核心問題：首先是澄清目前智能系統規制問題中的核心議題，即是否有必要通過立法途徑實施對智能系統進行有序且系統的監管活動。基于現行的憲法性文本和基本法律，可以歸納出智能系統設計和應用應當遵循的六項監管原則。在此基礎上，本文進一步分析目前智能系統規制的前沿問題，即如何規制智能系統的不透明性。智能系統的決策機制是一個“黑箱子”，即難以驗證哪些因素影響并導致了特定的機器決策結果。雖然大眾都對于智能系統有著一定的了解，但立法層面所追求的智能系統透明性標準已經超出技術安全問題的實際范疇。復雜的智能系統做出決策作為一種“黑箱子”現象并不構成實質的法律問題，因為人類做出決定的過程相對于他人而言其實也是“黑箱子”，從規范的角度看，機器決策與人類決策并無實質差異。因此，相比于機器決策的透明性和可追溯性實現問題，更重要的是，需要通過適當而完備的法律程序，如下文所言的推理程序，來規制機器決策的過程。雖然人們對于人工智能的發展有著不切實際的幻想，但是技術工作者都能認清目前人工智能技術的發展水平和局限。因此，在進入法律上的討論前，必須對智能系統的一些前提條件進行澄清：如今的智能系統能力到底如何？它與傳統的自動化決策系統有何不同？它的合法性邊界在哪里？

二、智能系統的監管原則

技術并不能告訴人們該做什么，但它能夠提高人們對于規范性問題的認識，并推動關于如何制定、實施法律規范和標準的討論。從監管的角度來看，在規制智能系統時應當考慮下列問題：哪些領域的法律規范已經存在？立法者有無必要對這些法律規范進行修訂或調整？或者新技術所帶來的新問題是否已經無法通過現有監管方式予以預防和規制？

監管的基本原則在被實施并被具體化到憲法基本價值的過程中，立法者應當要留有一定的余地。在個案中，監管的基本原則之間會存在緊張關系，立法者必須在基本原則之間尋求動態平衡。在監管規則的配套程序機制下，根據主體公私屬性的差異應當配置不同的監管制度。此外，配套程序機制也應當根據智能系統的應用領域進行不同的制度安排。最后，開發和使用智能系統的人也可以主張憲法層面的保護，進而不受特定監管規則的制約，這也會進一步推動前述法律程序差異化的處理，下文不對此作出論述。因此，對于警察法等特定領域的智能系統監管規則，重要的是要符合公私法領域的一般性規范、標準。

（一）智能系統的決策過程應當做到“可視化”

每種技術中蘊含的價值判斷會在應用環節中持續體現自己的影響力，并限制技術在特定領域的應用路徑，最終在該項技術的逐步發展、完善中成為應用縱深化的實踐基礎。例如在網絡系統的搭設和形成中，軟硬件與系統結構的具體標準在一開始就包含在網絡行為管理設備的條形碼中。算法和智能系統也并不是如一般社會認知般是純粹技術性的、人造的和中立性的，而是充滿耦合性，并與其提出時的語境緊密交織在一起。在早期對核心算法的研究中，這個觀點被反復強調，特別是在系統設計階段，系統的決策早已被界定在一定的范圍內。如果我們沒有準確地認知技術的力量以及技術產生的背景和后果，將會難以準確地批判技術的現實問題，進一步阻礙公眾的自主行為并限制他們對于民主自治空間的感知。因此，監管或技術的可視化，通常被理解為社會技術與監管技術設計的重要目標。在智能系統中，這一目標的重要性主要體現為：首先，智能系統可以動態響應用戶的行為，相較于其他的技術方案而言更大程度上參與了社會決策。其次，由于其廣泛的適用性，智能系統的決策很少受到特定需求的影響。

應當強調的是，我們能夠處理的僅限于可視化、數字化的數據流，然而，當我們忽視（智能系統存在促使社會公眾進入“數字無意識”的）特性時，即忽略了它可以在不知不覺之中影響、確定人的行為時，就會誘發一系列社會問題。這種現象也可稱為互聯網的副作用——即Eli Pariser所提出的“過濾泡沫”①所謂的“過濾泡沫”，是指越來越智能化、定制化和關聯化的網絡會限制用戶的世界觀，用戶僅能在智能系統中通過過濾和篩選的信息“狹隘”地觀察現實生活，被困在“網絡泡沫”中。現象——這種現象已經在政治領域和社會中存在了相當長的一段時間。但即使智能系統從事其他事務——而不是保留和輸出用戶想要的信息，人們仍然會在“數字無意識”的影響下慢慢作出他們潛意識狀態下的思考結果。但是，由于通常情況下用戶們缺乏相關領域的知識和經驗，他們并不了解具體的決策過程，他們無法將這些行為與監管要求或者法律責任建立起聯系。如果無法讓主體識別出這些現象和行為，就會導致用戶權利在事實層面受到限制，索賠也會遇到障礙，且舉證責任的實際難度遠超以往。這種極不合理的社會現象有必要通過某種方式將智能系統的決策過程公開化和透明化。此時，從公法的權利義務關系的角度觀察，法律所要求的可識別性標準順勢成為法治國原則的基本要求。

（二）智能系統應符合一定的質量標準

智能系統的發展和進步基于復雜的數學原理和技術方案，而這些恰恰是立法難以直接觸及的領域。因此，除了自我學習系統設計所取得的巨大成功之外，正如Tay的例子，也會存在一些“挫折”。

如今，許多標榜自己為人工智能的應用程序事實上并沒有達到智能系統的最低技術要求，同時還缺乏高質量的數據實現內部的迭代優化。在“向系統輸入垃圾，輸出的也是垃圾”的機理下，這些應用程序根本無法做到降低人工成本，更遑論潛在的安全漏洞威脅。此外，有的所謂智能系統數據庫中的算法和得到的相關性是否實際具有預測能力，是否只能識別非生產性數據（也就是僅僅是人類的輔助工具），這些潛在的問題通常也沒有得到足夠的重視。如果系統或開發者沒有關于特定領域因果關系的知識，或是忽略了潛在的重要因素，上述問題會體現得愈加明顯。人們總是忽略了以下事實：在自然或社會里一些沒有規律的場域中，人工智能很難找到可靠的規律和因果關系。

這樣的錯誤顯然會影響智能系統的質量和可靠性，但即便是能夠避免這樣的錯誤，智能系統也不當然是完美的。智能系統預測準確性的高低，取決于所使用的預測模型和系統設計者開發時花費的精力。此外，由于智能系統的決策模型采用了很多統計學方法，因此會始終存在一定的“假陽性”和“假陰性”決策。如果將智能系統應用于法律領域（比如刑事指控），由于系統基本上只能進行相關性的論證，統計學層面的報告難以作為法律判斷的根據。

立法者或可考慮在法律層面設置充分的技術標準，特別是涉及基本權利的敏感領域。如此一來，有助于輔助并以國家保證責任（Gew?hrleistungsverantwortung）的實現，成為民主、法治國和其他憲法價值的堅實基礎，同時也給予人們合適的途徑去救濟自己的權利。在監管層面，應當根據具體情況精確定義具體的質量標準，或是確立能同步同期最高科技水平的技術開發設計流程與程序。現行的部分法律已經初步地確立了最低的技術要求，如德國《稅法通則》（Abgabenordnung）的第88條第5款第3項向稅務機關使用的風險管理系統提出了最低的技術標準。但在大多數情況下，當機器決策存在缺陷或是機器作出超出程序限制的行為時，仍然缺乏足夠的規范性判斷標準，這比法律評價人類行為更為困難。

針對前述問題，可行的措施首先是在某些重要應用領域，面向關鍵的基礎設施和系統模型確定法律層面的技術標準和質量標準。立法者也可以通過強化法定的注意義務、審慎標準，或重新分配責任、風險的方式來激勵對高質量技術的投資。當然，立法者也應當避免過于苛刻的法律責任和標準妨礙創新技術的應用，最大程度保證技術可以滿足市場的需要。此外，軟件開發活動往往是有組織的、高度分工的，因此在開發過程中一定會對風險分配做出預先的安排，立法者應當在事前階段作出合適的責任分配和風險分配。立法機構還可以通過立法活動加大對相關領域的投資來優化智能系統的決策質量。從這個角度講，監管智能系統與監管其他具備復雜性和風險性的技術（如藥品和納米技術）具有同質性。

確定技術標準亦可幫助確立責任制度。判斷某種智能系統行為或錯誤的決策行為應當適用何種具體制度關鍵在于該智能系統應用的特定領域和范圍。如在Twitter機器人Tay案例中，當具體討論人工智能操縱機器人作出不當輸出時，即這些錯誤算法和深度學習造成了不良后果并可能產生法律責任，我們有必要審視和討論幾個非常重要的問題：誰來承擔民事責任？如果涉及刑事領域，誰應當承擔刑事責任？——這些問題顯然有必要專門論證。

（三）智能系統與反歧視

智能系統的廣泛應用也可能會導致歧視和社會結構性轉變。誠然，研究人員和制造商正在使用智能系統來試圖剔除人類決策中固有的任意性因素；當去除了主觀偏好后，機器應僅根據客觀標準做出決策。技術也可以屏蔽甚至是刪除某些敏感的數據類型。但是，實證研究表明，實踐中大部分智能系統的應用方式都有可能產生歧視效應。

因為智能系統常常應用于大規模用戶的數據處理，所以智能系統自身的歧視性態度會顯著而強烈地影響用戶群體。在非個性化推薦模式下，用戶主觀偏好的分散完全利用統計學的“平均”方案予以“中和”，以此消除和避免針對特定群體的社會歧視。但在智能系統的影響下，人們原本多樣化的決策行為將被單一的決策行為所取代。如果我們不假思考地接受“技術中立”立場，則會造成三個層面的社會風險：鞏固對社會有危害的觀念、歪曲客觀觀點和影響公眾的自我認知。即便是智能系統只是應用于輔助人類決策的特定場景下，具有歧視傾向的智能系統仍會間接地影響人類的決策。但即便是預先過濾歧視性數據，也難以真正擺脫智能系統對最終決策結果的影響。比如，預測性警務系統在分析數據過程中發現特定宗教信仰和犯罪概率間存在統計學上的顯著相關性，并依據這些數據提出建議，而這些建議一旦被人類決策者采納，最終的結果只會是加劇人類決策者針對特定族群的“異常”管控。這種社會現象本質上構成了對立法、執法和司法活動的干預，換言之，相當于智能系統替代權力機關對特定族群實施特定行政行為。

智能系統或算法會造成決策偏差的原因是多方面的：歧視效應既可能是由于輸入數據缺乏代表性和科學性，也有可能是在系統設計時就被植入人類偏見。當然，也有可能是輸入端與輸出端的數據集合之間確實存在客觀的關聯性。但當這種關聯性與性別、種族等要素相關時，人們應當保持足夠的警惕性。

在智能系統的設計過程中，很難避免潛在的歧視性因素。即使是先進的智能系統也依賴人的輸入。智能系統設計過程中包括數據選擇、算法設計和不同強度的檢驗訓練。在這些環節中，人類的主觀價值會以潛移默化的方式植入系統中。不過，這種潛在的系統歧視也可以通過相應的緩和機制予以控制。例如，程序員可以禁止系統、傳感器自動關聯特定因素（如性別、種族），事前規避對某些特定類型數據（如膚色）的收集。但這種緩和機制的效果著實有限，在部分場合下難以控制系統通過技術間接歧視的情況。眾所周知，一些明顯的中性特征往往與一些敏感群體的特征相重疊。例如，預測警務系統一開始就忽略所涵蓋特定的宗教相關數據，但是根據所給定的數據，仍然將犯罪的可能性與特定的地理區域相聯系起來，而該區域居住的人群主要是某特定宗教的成員。這種潛在的歧視和偏見難以判斷，也難以糾正。更重要的是，在法律視閾下，這種歧視和偏見的產生時間、刑事責任的認定期間等問題難以明確回答。

為了進一步減少這種情況，必須要在每個環節對系統結構進行技術層面和制度層面的細致安排。開發者和使用者應當謹慎選擇機器學習的訓練數據集合，也要謹慎審查對數據分類標準的設計和分類模型。不論系統自動決策的評價標準和結果如何，都應當注意維系個體權利和整體社會福利的平衡。

但如果上述的歧視影響很大程度上得到了解決或是補償，是否意味著上述的類型化限制措施矯枉過正了？在人們完全依靠系統和技術來進行反歧視前，或者在智能系統由于內在的歧視傾向而受到懷疑之前，這些措施可以讓我們意識到不同智能系統中的數據庫之間的差別有多么大。在特定領域中，如醫學診斷領域，預后系統是高度個性化的。從歧視法的角度來看，這幾乎沒有問題。不過，根據可用數據將個人視為特定群組組成部分的系統也存在問題。若政府希望使用人工智能系統的預測功能，實現在具體危險出現之前有效地分配風險和資源，那么，事前可以輸入的數據質量和數量明顯不能夠滿足預期目標。在沒有輸入數據對智能系統進行訓練的情況下，危險事件本身就是數據的來源。此時，周期性的個性化數據收集要么是還未開始，要么就是還不合法。通常情況下，智能系統的數據庫在初期僅有非常粗略的數據，如事件的類型、犯罪統計數據和一個地區的社會經濟狀況。

立法機構應對前述風險所能采取的有效措施極為有限，如果存在特定的充分合理原因，則應當盡早采取前述所提到的矯正措施。然而技術研究表明，由于系統結構原因，當缺少個性化信息進而導致系統可能會在可預見范圍內被濫用時，應當放棄使用智能系統，或是為行政相對人提供額外的制度保障和救濟渠道。這個議題也可以在智能系統的應用這個更大范圍的議題內被討論。但必須要說的是，通過收集更多的個人數據來擴大信息庫，有助于決策的個性化，也就是說，上述對于智能系統應用的規范并不是在所有場景均可適用，其適用前提應當僅限于出于禁止歧視并保護數據之目的。

（四）智能系統使用過程中的數據保護和信息安全

智能系統的成功很大程度上取決于它們可以高效處理大量數據。不過，如果這些數據屬于法律保護的個人數據，收集和處理行為顯然應當遵守眾所周知的數據保護和信息安全規則。大部分的法律規則和標準均重點關注此環節，且整個歐盟成員國國內法均在維系與《通用數據保護條例》（以下簡稱《條例》）標準的統一。在數據保護方面，對智能系統的監管已經相當完備了，智能系統在運作中出現的新型法律問題并不是數據保護法的問題，而是設計其他法律領域的治理問題。

下面將進行更深入的教義學分析，進而可以處理前述的數據保護和反歧視的法律適用問題。比如，從數據保護的積極面來看，有市場的智能系統對于受影響者的身份不感興趣，因此對友好的隱私保護政策是持開放態度的。從反歧視的角度來看，放棄收集某些類型的數據往往是有好處的，但是，當系統缺乏指定數據卻仍然做出決策的時候，就會產生前文提及的特殊問題，即“輸入的數據存在問題使得結果失真，從而引發了本應當避免的損害”。顯然，生搬硬套地限定收集數據范圍無助于問題的解決。相反，應當在權益平衡的大前提下兼顧相關主體的權利以及與決策結果關聯的各種規范性文件。無論如何，在談到有利于數據保護的措施時，立法者應該謹記保護所有弱勢少數群體的隱私。歐盟法律中個人數據的廣泛概念使得智能系統無法逃避法律的監管，其決策結果的實質影響也被限定在一定范圍。數據保護法本身不能解決主體間的緊張關系，但是它可以通過強制性規范解決可能直接影響個人權益的部分問題。

大體上看，數據保護法限制權力機關和私人機構無限制地收集數據，限制了潛在的算法歧視風險，但客觀上也限制了智能系統在其他場域充分發揮其能力和長處的機會——這可能會產生其他的法律后果。

（五）智能系統使用過程中存在的多種問題

應用智能系統的一大準則是揚長避短。智能系統的優勢是可以應對大量數據和且可快速準確地決策、預測，發揮這一優勢的前提則是要考慮特定應用領域本身的背景特點，如智能系統可以應用于金融市場的預測。但如果需要結合不同策略來解決問題，或是需要開辟新的信息來源、發展象征性理論，則須謹慎地選擇智能系統應用方式，因為智能系統在解釋和編寫文本方面的能力是有限的，市場中常見的系統尚且無法就個案中的所有情況作出決定。所以，為了實現智能系統相對于人類決策者的時間成本優勢，其應用場景通常限定于只處理部分標準化數據。

在部分應用場景中，法律會限制智能系統的應用，規范并不能完全涵攝系統處理數據的所有方法，即規范并不能與現實場景一一對應。這一社會問題的形成原因兼具事實層面和規范層面的因素。比如，盡管大數據技術已經相當成熟，但世界上大部分地區尚未被傳感器覆蓋；此外，以數據保護法為代表的新興立法活動往往限制了出于私人或公共用途數據收集的可能性。這些情況都可能導致系統的功能不能符合預期。

在上述這種情況下，私主體如果仍然使用智能系統，就有可能遭到損害進而有損害賠償請求權，或者說至少有得到賠償的正當性基礎。上述情況對于公權力機關還有更進一步的要求。在法治國的要求下，并不存在要求每項決定都完全的個性化考量。也就是說，行政活動就是公式化的，而很多時候“公式就是程序”。存在允許模式化的空間的前提下，智能系統就有發揮長處的空間。而在政府行為的應用場景之中，“粗數據”和粗略的描繪是不夠的。特別是在安全法領域，教義學規范要求智能系統必須為行政相對人提供特定信息，只有提供信息才能為政府做出的特定干預措施補足正當性。因此，在進行制度設計的時候，必須始終注意要留有“診斷窗口（Diagnosefenster）”。現在，在設計智能系統的時候也要考慮這一點。

根據歐盟法律，智能系統的決策須考慮到個性化訴求是有充分根據的，特別是《條例》第22條第（3）項和《通用數據保護條例序言》（德文簡寫ErwGr，英文為Recitals of GDPR，以下簡稱《條例序言》）第71條U部分的第（2）項第1句提到了“‘人有權進行干預’作為可能的保護措施……并陳述自己的觀點和對決定的爭論”。對于政府行為的實施者，德國《聯邦行政程序法》第24條款第3句與《社會法典》第10部分第31a條第2句對調查的原則進行了規定，主管部門在使用自動系統無法確定行政相對人的時候，有義務考慮對方的相關事實陳述和他們遭遇的實際情況。《稅法通則》也在第155條第4款第3句規定了在自動化系統決定中遭受不利影響的人擁有主動選擇手動處理他們事務的可能性手段。

這些例證說明了如何平衡制度運行中不同的利益和后果，也說明了如何應對個體個性化的訴求與規范穩定性、確定性之間的張力。對于未來，須考慮到智能系統不一定要超越人類的頭腦作出決定。如果當前的系統仍然基于較粗糙的數據運行，那是因為系統設計者決定這樣做，但是這種應用現狀并不能反映該技術的全部能力。數據保護法完全可以考慮針對基于精細數據訓練的系統設置“數據具體程度”層面的限制。因此，干擾系統自我選擇信息的措施實質上并不符合社會治理的真正需求，因為數據過少只會導致無法有效運作系統——但是從干預本身的理由來看，對數據收集的限制和禁止卻在不斷增加。

正如前述，智能系統的相關性和統計數據是不充分的，這并不足以證明因果關系。通常，這不會妨礙到智能系統的應用，即使沒有令人滿意的解釋模型去揭示具體的因果關系，法律也允許它根據以往的經驗數據來進行決策。但在特殊領域是不夠的，如在刑事訴訟領域確定被告人是否有罪的時候。如果堅持認為決策不能基于統計的相關性，而必須基于對因果關系過程的細致重建，那智能系統的使用空間就很有限了。

（六）智能系統使用過程對于責任和職責的明確化

目前的規范有著相應的責任程序，其主要針對對象是立法者和行政人員。立法者和行政人員可以與智能系統的開發者、用戶和其他利益相關者進行直接接觸。根據前面提及的程序，立法者和行政人員可以要求開發者在設計系統時使其規范效果可見，并確保適當的技術質量水平，實現預防歧視、保護數據安全、注意行政相對人的個性化訴求等要求。該責任程序可以通過傳統的法律話語體系，特別是法釋義學的責任歸屬語境予以表達。但是，責任的準確分配終究是一項非常困難的工作，現今仍無法確定是否需要在新領域引入新的責任制度。

即使立法者的制度供給充足，智能系統依然可能出現錯誤并造成損害。損害的原因通常包括開發者設計不當、用戶使用不當，以及數據統計中不可避免的“假陽性”和“假陰性”。此外，機器和人類都會面臨同樣的問題，即行為的負外部性，在任何情況下，行為都有可能產生責任問題。如今智能系統行為的負外部性正在挑戰現有的規范，因為與傳統的自動化系統不同，具備學習能力的智能系統的行為并不能完全由程序員決定。不具備學習能力的系統出現決策過程故障時，原則上可以歸因于設計、使用環節或以其他方式與整個過程產生聯系的法律實體行為，但（具有學習能力的）智能系統的歸因路徑由于原因、事件之間的關聯仍難以明晰。

在這種背景下，新引入的責任歸屬制度是否需要進行根本性的改革仍是一個重要議題，同時也有其他關聯問題，比如，是否可能有限度地承認智能系統的“數字法律人格”，使系統成為權利和義務的自主承擔者；能否將其看作代理人或是履行輔助人。這些議題也可以與法哲學中的爭論相結合，也就是職責（Verantwortung）和責任（Schuld）是否可以加于機器之上。這種討論當然也是有意義的，因為智能系統是否具有意識是承認其權利能力或法人資格的基礎。

從法律監管的角度來看，在此背景下須考慮三個要素：

第一，目前的系統設計工作仍然是由眾多人類協同完成的。且到目前為止，這些系統不是自主運行的，而是由自然人或法人控制的。因此，每個智能信息系統的行為事實上都不過是人類行為的外殼，系統開發者、用戶和利害關系人仍有可能繼續被視為實際的參與者。智能系統責任的討論絕不能忽視這些主體的行為。鑒于這一領域中的不同主體（公司）間的高度合作性（比如智能系統通常由無數可自由使用或交易的單獨組件組成，而這些組件有各自的開發者），因此風險和責任的具體劃分顯然不是毫無意義的。

第二，必須考慮“人”這一法律概念的特殊性。誠然，《基本法》第1條第1款將權利能力給予了所有人，并將法律主體的基本概念與法律之外對于人格的確認聯系起來。但從純粹的法律角度來看，這只是一種技術上的操作，除了將授予《基本法》第1條第1款所設立的“自然”法律主體的權利資格之外，立法者還有其他立法技術來對智能系統進行界定。因此，立法者原則上可以自由地將智能系統界定為新的法律主體類型，前提是這種界定方式有助于簡化論證結構和歸咎責任。當然，這樣的處理方式也會帶來許多后續問題，比如創新技術設計的責任歸屬、保險標的認定以及新型法律主體的責任財產問題。這種功能性考慮的目的而不是對智能系統性質進行形而上角度的探索，對于在法律責任體系中尋找智能系統的定位，并對它作出恰當的安排至關重要。

第三，法律責任的歸屬和分配方面仍存在很大的不確定性。在受害者層面，責任的準確分配是次要的，誰來承擔損害賠償責任才是核心。因此，即便事情很復雜，但只要責任主體并沒有過大擴散和傳遞，那么，為了保證受害方的損害賠償請求權，立法者一方面必須制定明確的責任規則，另一方面要確保可能索賠能夠被強制執行。考慮到現有的責任法在處理傳統軟件和信息系統相關問題時已經趨于疲軟，因而可能需要在立法層面作出大規模修訂。此外，由于智能系統的復雜性和動態性，通常很難確定到底是哪種類型的系統行為導致了損害結果的發生。當然這些問題或可通過諸如嚴格責任等責任法制度來解決，但這些方案并沒有從根本上解決關于智能系統法律規制的核心問題——系統行為過程的透明度。在分析這個問題之前，有必要明確的是，確保智能系統行為過程的透明度是主權者的職責。

（七）特別注意——主權者對智能系統的使用

從二十世紀四十年代起，人們就認為政府和國家對智能系統的應用不會落后于私營部門，政府會迅速應用智能系統來處理公共事務。從那時起，技術控制論作為新興學科得到迅猛發展，這也激發了人們對于自動化政府和行政管理的新愿景。然而，行政自動化長期局限于用機械替代人類從事輔助類的管理活動，即便國家應用新技術的速度非常快，且現今沒有國家可以離開計算機維持稅收、社會保障及福利制度的運行，但這些自動化技術的應用形式仍停留于初級階段，并不能引起行政管理活動形式和性質的根本變化，行政法學理論也就無須快速予以回應。

但是技術所代表的可能性改變了人們對于法律制度自動運行的態度。在自動化應用的早期階段，為了將較為原始的技術引入行政管理，需要突破現行立法中實質性和程序性要求。如今這種現象已經不存在，人們已經擁有了功能更強大的計算機、更多數據和更優化的算法，“智能治理”這種全新的行政管理模式已經出現。前述的例子表明，這種可能已經在數據安全等敏感領域得到了廣泛的應用。現在，智能系統支持下的司法活動和“機器人監管”正在一步步被實現。但目前技術的能力充其量僅能用于簡單的涵攝。因此，智能技術的應用意義主要集中于事實判斷層面，但在更復雜的合法性判斷上意義仍然不大。

在目前關于法律政策的討論中，人們正在努力為自動化行政奠定相應的法律基礎。但與此同時，人們也應當重視法治國原則。立法者修改了《行政程序法》第35條a款的規定，嘗試通過自動化的手段發布具有法律約束力的決策。在這種情況下，確定事實和涵攝外延均交由機器來完成。盡管《行政程序法》第35條a款的具體內容存在爭議，但這一立法活動已經釋放了一個信號，表明智能系統不再只扮演行政活動的輔助角色。即公民原則上能夠獨立發動一個行政程序，即使是在沒有行政人員參與的情況下，最終也能得到一個具體行政行為式的回應。據此，可以預想的是，即將出現滿足條件即能自行啟動的智能系統。

但僅允許智能系統實施行政行為是不夠的，相應的授權和權力邊界也必須予以明確，這也是在整個行政智能系統決策過程中應當貫徹的指導原則。前述的監管原則只要被憲法輻射到，即對權利機關具有約束力。根據系統的特征和所涉及領域的特點，這些彼此存在張力的規則，可以限制、授權智能系統的應用。為維護憲法與法治國原則所確認的基本價值，也需要為智能系統的行政行為設置配套的程序性事項與實體制度，比如《稅法通則》第88條第5款第3項——對財政主管部門應用智能系統的條文。監管制度的理想效果是能夠調和技術可行性和監管目標之間的緊張關系，并將系統的應用場景限制在特定的專業領域中。

在貫徹專業領域的智能系統監管原則的時候，人們應當意識到通過智能系統決策取代人類決策將會改變決策的制約因素，因此需要依據差異化要素區隔人類決策和機器決策，比如速度、一致性、精確性、靈活性等。在實務中，這種區別會產生外溢效應。因此，智能系統決策的低成本和決策的高一致性可能會使立法者面臨下述情況：由于智能系統決策的固有特點，在智能系統行政尚未應用于日常生活領域時，人們不得不接受相對較高偏差率的“人力執法”情況。一旦當智能技術全面實施產生高昂的后續成本時（因為機器仍然會犯錯，并且會導致大范圍的錯誤），這會使得公民無法守法，導致法律規則受到侵蝕，此時立法者必須阻止自動執法、改變實體法或是為“有用的非法（brauchbare Illegalit?t）”創造空間。

三、透明化的智能系統：從解釋權到分工建立、控制架構

前述原則可以指導國家預防、糾正應用智能系統的負面效果。立法者和行政部門必須采取制定智能系統的技術質量標準、采取預防措施、制定隱私和信息安全標準等措施，不過這些措施并不容易被實施。正如以往面對新技術的沖擊一樣，國家必須努力獲得必要的監管技術和能力才能正確履行保障國家的責任，那么有效地監管智能系統開發并在適當情況下進行干預成為必然選擇。

但這在智能系統的監管方式能夠取得預期效果嗎？從現有研究成果來看，人們普遍強調，研究清楚人工智能這個“黑箱子”的決策機制幾乎是不可能的。事實上，系統功能越強大，系統的決策過程就越難被理解。但是，如果沒有透明度，就很難正確認識和感知法律應當設置規范的實際范圍。

關于透明度問題（Das Transparenzproblem）有著很多爭論，但比起其他相關議題，這些爭論鮮有涉及技術原理。智能系統使用的邏輯和技術是非常先進且復雜的，但這種復雜性仍不能與原子技術和納米技術相提并論。但智能系統的具體決策過程對于平常人仍是不透明的，或者正如Jenna Burrell所言，“因為受決策影響的人幾乎無法理解它的決策過程，因此它就是不透明的，比如特定輸入的數據為什么要被特定標準進行分類，為什么產生了特定的輸出等等問題”。但令人擔憂的是，如果作為行政相對人的用戶不理解為什么系統已經采用這種方式而不是其他方式，監管機構很難核實智能系統的某個具體決定是否遵守了法律的要求，簡言之，缺乏透明度的智能系統阻礙了監管效果的實現。此外，不同于其他復雜技術的是，智能系統既是國家監管的直接對象，本身也參與行政監管的過程并“行使”國家公權力。但一個前置問題是，我們能否將行政職權委托給人類無法理解的智能系統？當決策不透明的機器出現在法律體系中，而當決策的可追溯性是一個重要法價值的時候，機器決策的不透明性就是一個重要的問題。

智能系統“黑箱子”的現狀與政治學強調的最大程度的“透明度”相沖突。這要求受決策影響的人群應當深入了解系統及其決策過程。倘若無法保證系統決策的透明度，則應停止使用該系統，因為法治國原則和民主原則均是決策透明的理論基礎。

當然，需要注意的是，對技術透明度的要求一定程度上是一種過于一般化的討論，且這個命題本身也是十分值得懷疑的：智能系統是否一定比法律所代表的的傳統行為控制模式更加不透明？在系統理論的語言中，這些行為控制模式是精神與社會系統。這些系統與智能（技術層面的）系統一樣，具有內部動態性、自我指涉性和涌現性的特征，因此對于自己和他人而言就是不透明的。人，或是層級制度的治理模式、市場、談判或網絡控制著特定的行為，無論是直接控制實體還是間接控制實體，都會使得黑箱外的人無法準確預估決策的具體過程及其結果。在這種背景下，尼古拉斯·盧曼將現代社會稱為“不透明的交響曲”。即使在法理學中，長期以來也普遍存在這樣的論斷：控制不是機械的，而是一個復雜的、具有潛在不確定性的過程，也就是一個不透明的過程。

這一論斷與智能系統決策透明度的要求并不矛盾。因為同樣缺乏透明度的傳統決策方式并沒有像智能決策方式那樣給相對人帶來普遍的難以接受感。事實上我們無法否認，我們對機器提出了比對我們人類自己更高的道德要求。法律體系本身作為“不透明交響曲”的社會系統的一部分，在面對法治國原則和民主原則的時候也存在透明度的問題。但我們依然對智能系統的監管和透明度問題保持樂觀態度，原因在于可以找到法律制度上的答案。

智能系統具備的一些特質也有助于實現前述規制目標：比如智能系統的可塑性。智能系統的主要特征并不是更高的不透明度，而是它可以通過程序比人類決策者或傳統的行為控制模式更容易和更精確地對行為進行規劃和安排。在此背景下，關于透明度的討論可以更加深入。智能系統，作為整合社會與法律互動關系的力量，其決策邏輯一開始就是基于人們無法理解的社會和法律背景。在此之上討論的決策程序透明度問題并不一定只限于糾正技術缺陷。反觀透明度本身的內在要求，嘗試優化定制系統也是有其特定意義的，不僅可以彌補現在機器決策的不足，還可以在總體上尋求更高層次的透明度。

前述的討論是以一種長期的眼光看待智能系統的透明度問題，因為目前沒有技術或法律要求以這種方式解決智能系統的透明度問題，真正能夠回應的應對措施也不過是在法律層面正視、承認透明度問題，并以正確的方式看待它。第一步，有必要澄清談論智能系統缺乏透明度的真正含義（下述第一點）。然后必須要探求是否真的不存在規制透明度問題的法律框架：通常學界認為《條例》規定了自動決策的解釋權。但即使《條例》包含這樣的規定（雖然人們很少談及這一點），《條例》主觀權利的方法并不能完全滿足透明原則的要求，即給予涉事主體查看智能系統的代碼的權利并不能解決任何問題（下述第二點）。在這一點上，了解憲法和行政法的傳統教義學理論是有幫助意義的。因為在憲法和行政法的領域中，一直都存在事關處理決策過程的成熟方法，這也是Burrells所謂的“不透明”問題在人類決策領域的制度答案。為了加強“透明度”，法律體系不依賴于孤立的權利去解釋決策的所有因素，而是從一個規則、制度的網絡運作的視角切入。這些規則和制度的重點在于探尋理由上（下述第三點）。這表明一種新的嘗試，即理由概念轉換為監管手段并嵌入智能系統的決策過程。下面我們將概述控制架構中理由的主要特征，并論述如何將其轉換進入智能系統中（下述第四點）。

（一）透明化——智能系統應用環節中的挑戰

缺乏透明度從直觀上看，是因為只有一小部分人可以閱讀計算機代碼，也只有專家團體才具備能力直接對原始系統進行分析。然而，由于IT部門組織分工精細化程度較高，即使是訓練有素的計算機專家也無法事無巨細地了解整個計算機程序。對于基于大量數據做出決策的程序，系統復雜性會成倍增加。即使是具備確定性的決策系統，在決策過程中判斷相關性都會處理海量的數據，人們在了解系統決策過程時也會被這些數據迅速淹沒。

智能系統的復雜性在應用中也會不斷地上升。因為在學習過程中系統會不斷調整其變量的內部權重，使其在學習過程中對所做的決策進行反饋，并在之后的使用過程中反饋出來。系統在時間點t0作出的決策結果，可能與在時間點t1作出的決策結果完全不同。這種內部控制系統的動態變化，意味著對決策的任何解釋僅在某個具體的時間點才有效。因此，擁有高質量即時響應能力的系統必然具有內部的高復雜性。

在這種情況下，“透明度”“可解釋性”或“可理解性”等術語的含義是什么？這里可以先區分不同的情況：（1）對于系統基本結構的解釋，普通人已經難以輕易理解。（2）另一方面，具備專業知識且能構建相應系統的專家，能夠通過審查系統邏輯——也就是系統的算法架構和數據庫的結構使用的邏輯——對系統的算法架構和數據庫結構進行根本性的理解和描述。（3）專家們難以實現具體決策。由于事先不知道“系統—環境”的相互作用，因此專家們對于動態智能系統，難以在事前進行決策預測。甚至在事后重建活動中也難以給出明確的“if-then”（如果……就……）關系，即很難查明特定因素對于特定輸出的因果關聯性。更確切地說，“決策規則”是基于動態數據集和大量加權變量概率函數的運算結果，其結果有時會存在進一步的數學過程，以獲得最佳的計算時間。雖然可以記錄這些變化和運行過程，但人類觀察者還是會發現：機器學習運用數學模型優化算法的高維度特征方法，與人類推理的語義解釋風格的并不能很好地搭配在一起。（4）當然，這種差異也使得我們更容易衡量使用智能系統的效果。如果記錄了決策本身和它的效果，則可以在事后對數據庫進行評估，例如特定的敏感群體是否承受了不成比例的負擔，這會幫助我們識別哪些算法可能會存在歧視風險。

另外一點是——雖然這些過程不是技術層面的，而是合法性層面的——智能系統的透明與否。例如，許多智能系統的設計都要對有可能威脅到到企業商業秘密的人保密。德國聯邦最高法院在對評分系統作出的決定進行裁判的時候基本確立了這一立場。歐盟《條例序言》的第63條第5項也是持此立場。除了保護知識產權之外，保密性的價值還在于應當防止他人對于系統的操縱。例如，《德國稅法通則》第88條第5款第4句明確規定，財務風險管理系統的細節不得“在可能危及稅收的規律性和合法性的情況下”被公布。

（二）通過主觀的“解釋權”能否達到透明化？

對于智能系統決策的相對人，智能系統的決策的不透明性體現得十分明顯。當他們受到特定決定結果影響的時候，比如貸款被拒絕，稅務審計遭到不利評價，或是被下令采取保全措施的時候，他們將面臨幾乎無法克服的技術與法律的壁壘。這種情況會給人們這樣的一種印象：個人成為機器決策的對象。

數據保護法第一次回應了這個問題，《條例》第5條第1款規定了透明原則（前面已有論及）。《條例序言》的第39條、第58條和《條例》的第60條也都提供了實證法上的依據。《德國聯邦數據保護法》《歐盟數據保護指令》，以及《條例》和《針對警察和刑事司法的數據保護指令》，都已經對自動化決策系統有了一般性要求，這些要求，也都是與透明度密切相關的。例如，《條例》旨在使數據主體能夠審查其個人數據被處理時的合法性，以便于個人在必要的時候行使進一步的權利（見《條例序言》第63條）。鑒于最近關于算法和智能系統的爭論，這個包含復雜結構的規范目前受到了極大的關注。特別是《條例》有時被解釋為對機器決策在解釋權意義上進行了極端的擴張。因此，透明度問題看起來已經找到了合法性依據。

1.歐盟《條例》是否存在“解釋權”？

首先，《條例》中并沒有提到“解釋權（Recht auf Erkl?rung）”。但是可以通過第13條到第15條，以及第22條對自動決策系統的要求推導出來。同時，《條例》在第13條第2款f段和第14條第2款g段都規定了控制者對于非學習型系統的用戶承擔信息提供義務，即需要向用戶提供系統設計。這包括第22條第1款和第4款所提到的邏輯程序，以及對于數據主體的處理過程的重要意義和設想結果。第15條第1款h段授予了數據主體相應的信息權。第22條規定了算法決策系統的傳播，在第3款中，規定了如涉及第2款a段和c段的情況，應當嚴格地限制自動的數據處理，應當加以合理的保護措施以及必要的程序控制——有人認為這應當包括解釋權。

但是，應當謹慎對待此類觀點。雖然上述提到的規范與《歐盟數據保護指令》（DSRL）第12條a段和第15條在語言上很相近，但是二者仍然存在本質差異。與老版本的《德國聯邦數據保護法》第6條a款（新版本《德國聯邦數據保護法》第37條）以及相同領域的平行規范——《德國聯邦數據保護法》第28條b款關于特殊領域的評分系統（新版《德國聯邦數據保護法》第31條）的規定一樣，《歐盟數據保護指令》在學術和實踐領域都被非常謹慎、保守地適用，對法律沒有涉及的方面，保守的解釋就已經足夠。“信息（Informationen）”一般被限定為對于一般決策系統的簡短評論，除非是該邏輯決策樹被要求必須披露。另一方面，相對人對于原始數據、程序代碼或算法很難深入了解，個案中都很難了解具體細節。因此，在涉及評分系統的情形下，有關人員僅能獲得關于系統運作的初步信息，比如積累的分數與獲得貸款可能性之間的關系。

《條例》下的判例法并不能改變上述的保守觀點。第一，第22條的適用范圍仍然很有限。盡管該條文適用于學習型系統和非學習型系統，但如果該系統僅僅用于輔助人類決策者，則第22條仍然得不到適用。第二，就條文的內容而言，按照通說并比較舊的立法例，這其中沒有太多的漏洞（需要解釋補充的地方）。例如，立法過程中討論的“解釋權”并未強制性的規定在第22條第3款，而僅僅是被作為可能的保護機制示例在《條例序言》中被提及。

《條例》的第13到第15條也是基于《歐盟數據保護指令》的第15條2a款。根據《條例》第13、第14條，數據收集人的信息披露義務變得更加嚴苛，負責人必須在作出收集數據的決定前，披露相應的信息。特別是對于在使用過程中發生動態變化的、具備學習能力的系統。事前解釋當然并不足以說明在個案情況下作出決定的原因。對于（后續）根據《條例》第15條規定的數據權利主體可以要求數據收集者提供數據的權利，則是與上述無關的另一套規則。然而，從規則發展史和體系關系的角度來觀察，非常清楚的是，《條例》第15條賦予受到數據收集行為的主體更多的信息權利，而義務人必須根據第13、第14條事先提供信息。此外，目前對于《歐盟數據保護指令》的解釋，以及國家政策對于解釋權的限制都會促進《條例》中對于條文解釋的狹義化：特別是在保護智能系統制造商的知識產權方面，《條例》明確承認，要保護商業秘密和所有有關主體的個人數據。

因此，《歐盟數據保護指令》和《條例》的規定是有所不同的。總的來說，《條例》認為受智能系統決策影響的主體信息義務和信息權限僅僅限于關于決策系統運作的一般系列，但無權在個案中要求做進一步的解釋。

2.“解釋權”的有效性

鑒于歐洲法院在數據保護法方面一直以來的開放態度——比如在文本、體系和歷史解釋方面都欠缺支持，但仍然做出了“被遺忘權”的判決——不能排除歐洲法院仍然會在司法實務行使解釋權，授予受智能系統決策影響的主體要求數據收集主體提供數據庫、算法等詳細信息的主觀權利。但是從單個主體的角度來說，這真的會保護這些用戶嗎？

透明度問題，如數據保護規范所表明的那樣，僅從智能系統用戶與有關用戶之間關系的角度來設計規范，那么，這種規范設計實際上是一種替代性方案，迫使前者為后者提供對于系統的“洞察力”。如此這般的制度安排雖有其獨到的功能，但前述關于智能系統缺乏透明度的技術和法律原因的分析已經表明，受智能系統決策影響的人很難從中受益。相反的是：越是強調這種做法，越是使得公民難以從中受益，同時也難以使人們獲得“對于純源代碼的洞察力”。大部分公民很難理解這種制度的實際價值。更可行的另一種方法是：為受影響的人提供關于系統的一般描述以及在使用過程中提供具有統計顯著性的簡化因子的列表。但這種做法也有問題，除非出現明顯的錯誤或混淆，否則受影響的外行人無法對這些大量而瑣碎的信息做準確的理解。基礎的信息難以揭示智能系統根本的質量缺陷、隱藏的歧視和數據保護違規等問題，也難以幫助受涉主體對于智能系統用戶（比如數據收集企業）提起成功率較高的訴訟。

在不破壞監管有效性的情況下，也不能隨意減少該技術的復雜性。為了成功識別申訴并進一步提出更正的建議，首先必須要收集有關系統和決策過程的詳細信息。系統、數據庫、算法和培訓模型也必須在可被訪問的狀態。最終，調查的過程變得非常復雜，以至于大多數真正受到決策影響的利害關系人不太可能理解整個過程。總而言之，在許多智能系統中，似乎不可能對具體的決定提供一種技術性的且符合《條例》第12條要求的解釋結果，即精確透明、簡潔易懂、易于獲取的解釋方案。

因此，全面的解釋可以為受決策影響的利害關系人提供對智能系統的理解并能使之有效地行使權利之觀點不過是一個幻想。這種方法不僅低估了技術的復雜性，也高估了個人的專業知識水平。也有觀點認為，在評分系統的運作過程中提供簡化的信息至少會增加人們對技術的普遍信任。這樣的觀點同樣不可靠，并且實際效果可能恰恰相反。因為在任何情況下，專業能力都不是通過“解釋權”來傳達的。社會問題是通過主觀化而被外化的，而系統真正的運行方式則始終存在于黑暗之中。最后，“解釋權”并未提供針對企業和商業秘密等復雜問題的解決方案。但上述這些并不意味著這種解釋權對提高透明度毫無用處。但是，僅憑解釋權無法解決信息不對稱的問題。

（三）透明原則通過提供理由，實現國家的保障義務

上述是否意味著法律應當向技術舉出小白旗嗎？這個結論還為時過早。可預見的是，將透明度的問題私法化解決是不夠的，將透明度問題的解決完全建立在系統用戶和受決定影響的利害關系人的關系上，也是不夠的。如果現有的方案無法達成目標，是否意味著透明度問題需要被重新定義或改變？

在這一點上，至少從受影響人的角度來看，后退一步有助于意識到現有制度存在的問題。如上所述，即使是受到系統決策具體影響的利害關系人，通常也很難理解自己作出的決定。每個人對于其他人都是“黑箱子”，這種情況存在于每個個體決策者行動之中。比如，人類通常對于刑事訴訟過程中的偵查犯罪并進行司法活動的行為都持有懷疑，刑事訴訟程序總被描述為易于出錯和不可確定，且總被形容為“從根本上就不透明”。這與復雜的機器類似，刑事訴訟過程中人類官員的決策過程和具體細節，根據現有的制度框架，也是不可能被決定相對方真正透徹地了解的。

盡管上述法律制度均缺乏透明度，在無法用現有制度對所有關乎到決策的因素進行規制的情況下，致力于促進不同主體相互理解的憲政國家也并未處于崩潰的狀態中。這表明，從法律的角度來看，對透明度的要求并不旨在對個人和集體決策過程進行全面的解釋，也不在于對決策系統內部動態的檢視。當人們將憲法和行政法作為法律傳統的起點開始觀察的時候，就會發現這樣的一種觀點是具備解釋力的，即透明度旨在確保決策能夠為決策對象理解，進而確保有關主體能夠適當地維護其權利，簡言之提供了“理由（die Begründung）”。

要求陳述理由是憲法國家的核心要求：當政府作出決定的時候，出于民主、法治和基本權利保護的原因，法律經常要求政府提供理由。《聯邦行政程序法》強調了理由和監管行為之間的聯系，并制定了“行政相對人有權知道行政行為的論證過程，因為這樣他才能妥善捍衛自己的權利”這樣的規范。類似的規范在歐盟法律和許多憲法性規范中都存在。

那么到底什么構成了理由？要采用哪種形式的解釋，以便在法律層面確定某個決定的可追溯性？一旦這些問題得到正確解答，就可以將之用于解決機器系統的不透明性并促成相應的制度建構。

理由是指確定基本事實的活動，包括對證據的評估以及法律推理。在陳述理由的過程中，決策者需要解釋“為什么他決定是這樣而不是另外的情況，決定者可以運用經典的文獻、教義、偏見或是一般的正義觀念，或是運用論題學的方法，來進行法律解釋”。關于理由的結構和內容的初步結論，可以從上述這些基本的命題中得出，進一步的細節則可來自對文獻、判例法中承認的法律推理和對制度功能的分析。

因此，對于陳述理由的要求首先就是行政主體進行自我監管的一種方式。行政主體首先被要求必須要陳述“基本的事實和法律原因（《聯邦行政程序法》第39條第1款第2段）”來支持自己作出的決定，同時，這也會一定程度上審查這些理由是否包含在法律對該行政機關的授權范圍之內。如果在陳述理由過程中，只是陳述不言而喻的事實，這將無助于自我監管。重要的是，需要明確在一個法律判斷過程中會受到哪些因素的影響。即使是在裁量過程中，也必須能夠追溯并明確哪些要素真正影響該決策。這樣一來，如果公權力再次做出決定，就必須符合他們之前所提出的理由，符合他們自己的標準。從自我監管的角度來看，解釋性的理由并不在于對完整而客觀的理由進行厘清，而是展示決策之中的關鍵性要素。這也需要公共機關的若干程序性義務加以配合，比如作出決定的機構應當記錄自己的論證路徑與過程。

此外，提供理由還有助于對決策的外部監管。它的價值在于給予決定相對人機會，來了解決定的合法性。當他們尋求法律保護的時候，公權力作出的論證理由將會指導他們針對特定的要點進行申訴。然而，最重要的是，通過提出理由，可以審查決定作出的過程，進而監督行政機關和法院。理想情況下，在論證過程中，是允許決定的機構獨立地對事實和法律問題進行補充和糾正的。之后，通過法律職業團體的工作，理由得以進入法教義學的話語中，從而超越了具體的法律決策場景。因此，理由是法律體系內的工具，它旨在對公權力機構的不同命令進行程序性監督，并促進不同實體之間的決策反饋，最終提高程序正義和決策質量。當理由的潛在接受者不僅包括受決定影響的利害關系人，還包括監管機構和法律職業團體時，對于復雜問題的決定的法律論證，也必須對問題的復雜性自我證成，這樣才能進行有效的監督。因此，理由的特點和程度取決于個案的情況，而不是有關人員的個人能力。如果作為外行人無法理解法律論證，則似乎應當尋求法律建議。但事實恰恰相反，在更高級別的權力機關作出的決定和理由可能會具有普遍性，這時則需要排除個案的情況論證理由，以使得法律問題與一般的政治、民主話語保持一致。

理由是社會接受和系統信任的產生機制。理由在一定程度上有著促進商談的功能。實際上，理由對于社會接受和信任能產生多大程度的積極影響，是一個經驗性問題。雖然沒有確切的數據，但似乎也能得出以下比較合理的結論：政府越是努力地解釋做出決定的理由，并且它在聽證程序中越多地回應利害關系人所提出的論點，決定相對人也就越容易接受特定決定行為。從長遠來看，這也有利于社會對于該機構的普遍信任的建立。在智能系統的決策中更能體現這一點，完全拒絕向相對人提出理由會使人們對智能系統的決定產生阻力，并危及人們對技術的信任。對于行政透明度的要求會有助于這種情況的解決，并建立普遍信任。為了形成慣例，必須要求行政主體能讓相對人感受到具體的說理和論證——即便只是簡單的理由，也會傳遞出行政主體的可溝通性，以及該行政決定的可救濟性。

理由同時也是對決定相對人進入法律程序、表達利益訴求的一種承認。即便作為公權力機關的自我監管的工具時，論證有時會失能，即便決策的相對人在沒有專業支持的情況下，既無法理解理由的內容也不接受更為具體的理由，但只要理由制度存在，國家與公民的關系的核心仍然是基于確信（überzeugung），而不是建立在威壓之上；正如尼古拉斯·盧曼所言，理由總是單獨地被確信的建立者記錄下來。因此，理由是一個命令的核心要素，它旨在促進論證和反對論證的相互交換。行政決定的理由往往是貫徹法治國原則的第一要素。

在不同的教義學理由的幫助下，立法者、司法裁判和法學教育保證了法律理由在不同情形下的正常運行。根據主體、時間、領域和行為的不同，理由也會不同，這也進一步區分了不同的標準，比如不同的法律地位、有關的事實和不同的行為模式等要素。在此時只有兩點是最重要的。

第一，法律論證中的理由并不是要解釋所有影響決策結果的要素。因此，在法律的語境下，社會學、心理學、生物學、物理學等因果要素是無關緊要的，雖然從后科學社會的視角來看，這些要素都可以幫助解釋一個決定。但這并不意味，這些因素在法律中不起作用。政府官員和法官在決策者的情境中不僅僅受到法律理由的指導，還受到眾多偶然因素的影響。而這些偶然因素也會使官員受到相當大認知上的扭曲，現實主義法學就基于此對法律論證進行了批判，其觀點也在晚近的文獻中得到了經驗上的驗證。盡管有這些經驗研究成果，但法律論證至今為止仍保持了其內在邏輯的自足和證立。因此，理由制度仍在法律體系中具有獨特的地位。

第二，決策的理由與決策的解釋是不同的。因此，對于一個決策所附帶的論證并不當然等同于對一個決策合法性的客觀判斷。在有疑問時，理由并不終局性地解決爭議問題，而是啟動了法治國家的程序機制去解決這個問題。據此，理由的制度性要求是基于對法律和法治國的一種理解，即對法律是針對社會分工的一種監管措施，通過設定一種理由的文化——促進理由和反對理由的意見交換——建立并強化人們對于行政命令的基本信任。為了保護基本權利、維持法治國的穩定并實現合法化的效果，理由設置了一種差異化的制度體系，在這個體系中，法律意義上正確的決定是建立在不同機構間分權的基礎上的。在這個意義上，對于陳述理由的要求不僅僅有利于有關人員，也有利于整個系統。每一個理由，都在守護民主原則要求下的透明性原則和法治國原則要求下的合理性原則。

當然，對于陳述理由的要求也并不是絕對的。在德國法律體系中就存在很多例外。最為重要的一個例外是在議會法中，但是它也依賴于特定的合法性來源，并受到自身監督機制的管控。最具爭議的問題是行政指令是否有提供理由的義務。值得注意的一點是，大多數人能夠接受行政和司法決定領域的眾多例外。當然，這都是基于一些特別的情況，例如決定的結果可能對當事人的影響微不足道（《聯邦行政程序法》第39條第2款第2段）或是受決定影響的相對方的信任（《聯邦憲法法院法》第93條第1款第3段）。

（四）通過分工機制的建立和控制架構的結合，達到智能系統的透明化

針對人類決策發展出的規則和標準，不能強行地應用于機器決策。人們普遍認為，根據現有的制度情況，執行憲法義務使得智能系統的每一個決定都能被相對人所理解是非常困難的。因而有必要將智能系統整合到“提出理由和反對理由”和“決定—監管”的系統中，即融合到現行立法體系中。只有實現上述情景，才能促進人們對于技術長期的信心增長，也只有這樣才能實現技術的潛在生產力。

上述這種方案對應的技術目前還未發展成熟，且并不存在將智能系統納入法律制度的藍圖和最佳方式，但論證可以提供一個基礎，在此之上可以從法律的角度有效地批判機器決策。

這一方面確保了智能系統在與人交互的過程中可以自我監管自身的決策過程。目前很多項目都在嘗試開發技術解決方案，為智能系統提供自我監管機制和自省機制。這些項目的長期目標是：以一種特定方式對智能系統進行編程，使得它可以自己提供有關支持特定決策的理由，并以一種可讓相對人理解的方式呈現信息。對于開發這種所謂的“具有解釋能力的人工智能（Explainable AI）”到底能否成功，結果還無法預料。因此，我們不單單要關心程序本身，也要重視編程環節。目前正在討論的各種智能系統設計者的行為準則，一定程度上也是在完善智能系統的自我監督。雖然上述的監督（Audits）是在企業的倡議下進行的，但實質上仍然屬于智能系統自我監督這一領域。此類監督或審核是一個在不斷發展的產業，也是一個新興的研究領域。這種審核實質上是通過評估數據庫結果集或使用“虛擬數據（dummy data）”和控制算法來檢查智能系統。前述這些技術都是在業界運用了很長時間的軟件控制技術。雖然所謂的“黑箱測試”無法解釋每一個具體的決定，但是通過它可以獲取關于系統效果和一般決策行為的經驗，并診斷質量缺陷或隱藏的歧視，這也同時可以對系統錯誤進行糾正。立法者可以用一些舉措來達到這樣的效果，例如定期進行審核（Audits）或采取其他的措施，比如公布源代碼，或對企業進行減免責任以資獎勵。

僅靠自我監管是不夠的。因此，國家機構也可以對智能系統的決策進行外部控制，同時，有必要在法院和行政系統人員內部適當普及智能系統知識。從其他領域的經驗來看，對于該領域的規制是一項長期艱巨的任務。智能系統的規制目標的實現路徑自己就是政府應當參與到公私專家網絡（?ffentlich-privaten Experten-Netzwerken）和技術標準化機構的工作中去，通過以上這兩種方式將智能系統的知識傳遞給國家機器。下一步則是建立專門的機構，在能獲得社會專業知識的情況下，自己也能獲取相關的知識。隨著專業能力的提高，這些機構本身也可以制定技術標準，比如內部一些行政標準，并在政府和私人的背景下對智能系統進行認證和審核（Auditierung）。可以想象的是，這種預防監管制度可以按照不同方式構建：一種是用責任特權來獎勵成功的認證；另一種則是根據不同的應用領域和軟件產品投放領域來設置不同的行為要素，比如企業必須提供相應的證明，來證明自己的系統做到了無歧視，而證明無歧視的過程中，必須結合自己系統的應用領域和產品投放領域進行說明。另外還可以通過公權力推動的審核（Audits）專門用于事后對算法進行審查，整個程序的啟動既可以依照職權啟動，也可以依照行政相對人的申請啟動。監管過程中的協助義務和信息披露義務促進了監管效率的提高。雖然以上所有提到的措施不能完全防止錯誤和權力濫用——就像現有的憲法監督制度不能完全消除人類決策者的錯誤和權力濫用一樣，但是以上的這些程序可以降低錯誤和權力濫用發生的概率，并限制損害的范圍。

對于外部監管而言，有一個非常重要的方面，就是如何刺激相對人啟動監管程序。要考慮到相對人之間在知識背景等方面的不同，因此解決這一問題可以采用漸進分類的透明制度：對于直接受到決定影響的相對人，應當告知其系統的一般功能；個案情況下可告知與之特別相關的一些因素。但是，如果案涉相對人在此基礎上要求進一步審查該決定，則必須確保他們或其指定的專家在程序進行期間能夠獲得所有的必要信息。這可能包括根據需要披露的數據庫、算法和機器訓練程序。決策系統的社會功能越重要，這種分析就必須越深入和透徹。從公權力機關和法院的角度來看，至關重要的是，這些程序原則上應當遵守程序法或行政法要求的既定形式和程序，以便隨著事件的深入，那些不具備專業知識的公權力機關（比如監管部門和司法機構）可以進入程序并制定監管的標準。

最后，關于透明度方面，要想讓新技術被社會普遍的接受，政府、社會和個人要對超越法律話語的新技術的發展可能性和風險進行社會和科學的審查。類似像“算法監控者（AlgorithmWatch）”這樣的社會活動已經在這一方面發揮了重要的引領作用。媒體也應監督和批評智能系統的應用和發展。最后，國家肩負著公共教育的使命，也應當將適當的內容傳播給公民。

但是，人們也不應當忽視，每一項對透明度的制度要求都有其局限性。智能系統與人類決策在這一方面并沒有什么不同。然而，“目前的法學理論在智能系統參與行政決策面前會遇到新的挑戰”這一命題是值得懷疑的。判例法和立法者迄今為止對智能系統用戶的操作行為和商業秘密，都表現出了相當的重視和靈敏度。在此背景下，他們提出監管和限制智能系統的深層次理由，例如知識產權保護、數據保護、安全和其他公共利益。作為一般性規則，這些原則都必須服從于透明度原則；越是要求靈敏度的領域，也越有可能應用智能系統。但目前的做法過于僵化，沒有必要在所有的情境中要求智能系統對自己的決定進行解釋，也沒有必要在所有情況下都對智能系統的決策進行監督并要求相關方提出理由；這是沒有效果的。也就是說，在智能系統這個領域要求絕對的透明度和理由是不可行的。無論如何，監管智能系統必須要有平衡透明度和保密利益的措施。可以考慮引入“相機程序（camera-Verfahren）”或是在保密義務下的專家監督員制度。

權屬所有措施的成功與否都取決于法律的政策傾向性，雖然這些措施會損害個別案例中的創新企業。在這些議題的討論中，經常可以看出私人利益對于公共政策有著非常大的限制，諸如Alphabet、Facebook和亞馬遜等常被討論的頭部企業現在恰恰正是智能系統的最大投資者之一。然而，私人權力（private Macht）是否真的是政府監管的障礙，或是否導致了對于少數、突出、影響巨大且易于識別的主體監管失能，答案并不是絕對的。這些問題的答案，很大程度取決于跨國公司能否充分利用全球法律的差異化，但最終的結果均是人們對私人權力會阻礙國家行使職責的擔憂。

前景與展望

本文概述了在智能系統中應當嵌入的理想化監管規范架構，以此確保智能系統的安全性，進而促進人們對于智能系統決策的可接受性和信任程度。并且，監管規則應當具備強適應性和靈活性，依據系統使用環境、使用主體的公私屬性提供不同的救濟方案。這種監管模式不至于成為技術創新的新障礙，相反，還能夠為智能系統技術開發指明朝向社會福祉的正確方向。此外，有必要建立一個根據決策理由進行監督、審查和評判的整體性監管架構。如果在未來人們成功地將機器決策納入到憲法制度、法律程序，以及提出理由、反對理由的意見交換制度框架內，那么，個人在智能系統面前就不再是弱小的客體，而可以成為真正的主體。這種參與機制會促進個人擺脫對技術的客體式依賴，通過特定主體對技術和決策的具體評價內容真正確保個人成為數字化秩序的主體。