自動化行政中算法決策風險的法律規(guī)制

王芳 劉曉含

〔摘要〕 算法決策在自動化行政中的應用是推進數(shù)字政府建設的必然要求，但由于傳統(tǒng)行政法思維在與新興技術的碰撞中應對不足等原因，自動化行政中算法決策存在潛在風險。為此，應摒棄技術工具理性思維，提升預防性法律規(guī)制理念，并通過完善算法決策全過程風險評估預防機制、自動化行政程序立法體制機制、行政相對人權利救濟體系、算法決策監(jiān)管制度等法律路徑對自動化行政中的算法決策風險予以規(guī)制。

〔關鍵詞〕 自動化行政；算法決策；算法決策風險；法律規(guī)制

〔中圖分類號〕D922.1〔文獻標識碼〕A 〔文章編號〕1009-1203（2023）03-0090-05

2022年發(fā)布的《國務院關于加強數(shù)字政府建設的指導意見》指出，要推進建設數(shù)字機關，提升政務運行效能。數(shù)字化建設在行政領域的應用屬于自動化行政的范疇，自動化行政是指“行政程序中的特定環(huán)節(jié)或所有環(huán)節(jié)由人工智能代為處理，而無須人工的個別介入，從而實現(xiàn)部分或全部無人化的行政活動”〔1〕。目前，算法決策作為以計算機為載體的數(shù)據(jù)處理活動，憑借高效率、專業(yè)性等優(yōu)勢，已將自身影響延伸至公共行政領域：在傳統(tǒng)上依賴人力實施的行政管理和公共服務活動，逐步轉(zhuǎn)向了以數(shù)據(jù)傳輸為基礎、算法處理技術為支撐的自動化行政方式。我國多地政府在行政審批改革中實行的數(shù)字化“無人審批”模式，即屬于行政活動應用算法決策實現(xiàn)自動化的典型例證。算法決策被越來越多地運用于政府公共行政，在提升了行政效率和政府治理能力的同時，其部分消極特性也會導致新興技術風險的產(chǎn)生，原有的行政治理機制難免受到影響。通過算法自動將信息進行處理，并依據(jù)事先設定的程序?qū)π姓鄬θ说男袨檫M行評判、打分和歸類，以此作為行政處罰、行政許可等行政行為的依據(jù)，實質(zhì)上屬于一種自動化決策行為，而自動化行政一旦被適用在不必要的領域，或是當算法決策技術本身存在較為明顯的缺陷時，就會產(chǎn)生潛在風險。一方面，在算法決策技術的發(fā)展過程中，算法歧視、算法黑箱、算法錯誤等常見風險不可避免，算法作為技術性工具，其缺陷一旦展現(xiàn)在公共行政領域當中，可能會產(chǎn)生行政權行使下的侵權與失序風險。另一方面，考慮到算法作為社會發(fā)展過程中產(chǎn)生的新興技術力量，行政主體在面對算法決策時經(jīng)驗與能力難免不足，易產(chǎn)生以技術權力取代傳統(tǒng)公權力的困境，又因缺乏及時的法律規(guī)制而存在權力異化〔2〕的風險。因此，筆者認為，有必要從行政法視角對自動化行政中算法決策的潛在風險進行分析，明晰自動化行政中算法決策風險的法律規(guī)制理念，探究自動化行政中算法決策風險的法律規(guī)制路徑。

一、自動化行政中算法決策的潛在風險及其成因

（一）自動化行政中算法決策的潛在風險

1.極化風險。對于公權力領域算法決策技術的應用，有學者認為，算法憑借其代碼模式和功能實現(xiàn)了分析、決策和執(zhí)行的自動化，在事實上已經(jīng)能夠逐步取代法律規(guī)則〔3〕。這種基于技術優(yōu)勢而產(chǎn)生的社會影響力可能導致社會結構極化的風險：其一，算法決策技術在自動化行政中的應用可能引發(fā)行政相對人之間的不平等。自動化行政系統(tǒng)是技術人員根據(jù)相應的算法規(guī)則和目標開發(fā)設計而成，“人類決策顯然存在偏見，但機器學習算法也存在偏見，尤其是當用于訓練這些算法的基礎數(shù)據(jù)已經(jīng)包含（人為制造的）偏見時”〔4〕，不當?shù)倪\行邏輯而導致的算法偏見可能引發(fā)不同行政相對人群體被不平等對待的風險。其二，數(shù)字化發(fā)展進程中愈發(fā)被人們注意到的數(shù)字鴻溝困境體現(xiàn)在自動化行政中，就表現(xiàn)為傳統(tǒng)行政主體的主觀能動性在算法決策技術面前存在被架空之風險，也就是說，如果算法決策逐步代替?zhèn)鹘y(tǒng)的專家決策，行政人員基于對算法決策技術客觀性的信任，即使在算法僅起輔助作用的自動化行政行為中，也可能產(chǎn)生弱化行政人員主觀能動性而直接采用算法決策作最終決定的后果。

2.異化風險。自動化行政所應用的算法決策技術可能對行政活動秩序形成沖擊。算法決策的技術特性可能會與行政實踐中所遵循的行政法原則產(chǎn)生一定沖突，比如自動化行政實現(xiàn)的過程具有瞬時性、非現(xiàn)場化的特點，可能導致行政人員現(xiàn)場執(zhí)法時部分法定程序難以實現(xiàn)，最典型的就是行政相對人在行政行為作出之前陳述申辯環(huán)節(jié)的消失。而算法本身的不透明屬性以及相應技術主體的商業(yè)秘密保護訴求，都可能導致無法公開自動化行政中的算法決策，這與正當程序原則的實現(xiàn)產(chǎn)生了一定沖突。有學者指出，在具體行政行為領域以追求高效和精準為目的而推進自動化行政，可能會導致傳統(tǒng)的判斷標準失衡。比如交通違章行為行政處罰自動化后，其全范圍識別和精準處罰的特性導致判罰量的激增，從而使得傳統(tǒng)的通過經(jīng)濟因素、處罰概率等多方面考量而設置的處罰標準出現(xiàn)了疏密程度的失衡〔5〕。由此可見，算法決策技術的應用可能會給傳統(tǒng)的行政法運行秩序帶來一定沖擊，進而對決策之下行政相對人群體的一般合理預期和傳統(tǒng)行為模式產(chǎn)生影響。

3.侵權與責任風險。算法決策技術在行政領域的應用易導致行政相對人面臨被侵權風險。自動化決策的過程本身就存在可能導致歧視和錯誤產(chǎn)生的因素，如歷史數(shù)據(jù)、技術限制、當下具體環(huán)境等，而行政權的行使通常具有強制力且面向廣泛的行政相對人群體。行政機關在應用了以大數(shù)據(jù)為基礎的算法決策技術后，其與行政相對人實質(zhì)上處于較為不對等的地位，這就對較為弱勢的行政相對人的權益保障提出了更高的要求。同時值得注意的是，具有自主學習能力的算法可能展現(xiàn)出越來越多的“輸出結果的不可控性”，這種技術結果的不可控可能致使傳統(tǒng)責任鏈條斷裂，即算法決策結果引發(fā)的責任并非是由算法使用者或開發(fā)者的行為導致的〔6〕，因此自動化行政算法決策的歸責問題存在爭議，具體的責任主體和歸責原則仍不明晰〔7〕。且現(xiàn)階段已有一定數(shù)量的行政機關基于對行政管理質(zhì)量和效率兼?zhèn)涞淖非螅c私營技術主體合作，尋求算法決策技術的支持，這可能會使私營技術主體處于自動化行政的實質(zhì)控制地位，其逐利性本質(zhì)也隱含了相應的算法權力尋租風險。

（二）自動化行政中算法決策風險的成因分析

1.傳統(tǒng)行政法思維在與新興技術的碰撞中應對不足。自動化行政中出現(xiàn)的潛在風險，實質(zhì)是算法決策技術的一般性風險延伸至行政領域的結果。在自動化行政不斷推進的背景下，其決策過程和結果通常都以電子數(shù)據(jù)的形式存在，傳統(tǒng)行政法思維中以基本原則為基準的部分程序性內(nèi)容可能無法得到精準實現(xiàn)，如算法的瞬時性特征導致其對正當程序原則的影響，算法程序運轉(zhuǎn)的不透明性導致行政公開原則的實現(xiàn)受阻等。行政人員可能會因為算法決策技術的客觀、高效和精準等特點而對技術本身的決策結果產(chǎn)生依賴與信任，使得算法一般風險影響到傳統(tǒng)行政秩序的維持。行政主體內(nèi)部人員觀念上尚未對自動化行政與算法決策等概念產(chǎn)生系統(tǒng)的認知，可能無法憑借現(xiàn)有的數(shù)字素養(yǎng)主導整個自動化行政過程。最典型的是目前行政人員算法解釋能力不足，行政主體對其作出的行政行為負有解釋說明的義務，而部分算法可以在決策過程中自發(fā)學習和不斷演進，最終導致“算法黑箱”的產(chǎn)生〔8〕，算法運行的過程和方式變得不透明，使得行政人員難以對自動化行政決策的理由和邏輯進行解釋。

2.現(xiàn)有法律規(guī)范難以有效規(guī)制新興技術風險。《中華人民共和國個人信息保護法》（以下簡稱《個人信息保護法》）對自動化決策的個人信息影響評估作出了規(guī)定，各地政府也在隨后的智慧政府建設中發(fā)布了相關的智能政務地方性文件。通過各項立法文件和政策的頒布可以看出，雖然目前仍然集中于較為宏觀的指導性立法與政策，但我國對于算法決策技術的治理和規(guī)制已經(jīng)提上日程。自動化行政中算法決策風險具有不可預測性，我國目前尚未出臺專門規(guī)范公權力領域算法決策技術應用的法律，現(xiàn)有的僅僅是散見于單項立法中的條款規(guī)定以及政策性文件，難以實現(xiàn)對于自動化行政中算法決策風險的防范與約束，而關于自動化行政中算法決策技術的應用場景和范圍、風險防范措施、責任分配模式等問題均需要立法規(guī)范。

二、自動化行政中算法決策風險的法律規(guī)制理念

（一）摒棄自動化行政中技術工具理性思維

算法決策已成為推進政府管理和公共服務不斷發(fā)展的技術性工具，行政領域?qū)Ω录夹g和提升效率的需求逐漸加大，在一定程度上可能會形成以算法為基礎的技術工具理性思維，可能“會將公共治理推入多中心的技術依賴困境當中，進而導致公共治理的畸形化”〔9〕。技術工具理性思維會使自動化行政中以公共管理和服務為目標的價值軌道發(fā)生偏移，轉(zhuǎn)向技術依賴并部分消解人的主體性。自然人對機器等科技易產(chǎn)生依賴和盲從，有學者指出當人的主體性和價值理性逐漸減弱時，其在作出決策時就會不自覺地傾向于與自動化決策的結果保持一致，“原本正確的判斷最終被計算機扭轉(zhuǎn)，導致失誤疊加的‘自反性悖論”〔10〕。以技術工具理性思維為指導行使公權力，會給社會秩序帶來隱患。在自動化行政的發(fā)展過程中，對“人的價值”的認識十分重要，“人始終是發(fā)展的目的，由算法支撐的智能社會依然是‘人的社會而不是‘物的社會”〔11〕，因此，對于自動化行政中的算法決策技術，應當摒棄技術至上的思維模式，建立起行政主體和行政相對人共同的理性認識和基本價值追求，在秉持基本行政法精神和理念的前提下設置算法決策技術工具適用的規(guī)范和界限，不斷填補數(shù)據(jù)鴻溝，強化自然人對算法決策技術的接觸與理解，保障行政主體的主導地位以及行政相對人對應的權利。總之，對自動化行政中算法決策風險的規(guī)制，離不開行政法領域價值理性的嵌入和社會倫理的約束；保證技術工具在不斷革新中實現(xiàn)目標成果最大化的同時，也要發(fā)揮其維護社會和諧穩(wěn)定的功能。

（二）提升自動化行政中預防性法律規(guī)制理念

《國務院關于印發(fā)新一代人工智能發(fā)展規(guī)劃的通知》指出，要通過制定相關的法律法規(guī)和倫理規(guī)范來應對挑戰(zhàn)，“增強風險意識，重視風險評估和防控，強化前瞻預防和約束引導”。面對算法這一新興技術可能帶來的風險，確立風險影響評估機制成為預防性風險規(guī)制的重點，目前有些國家已在政策或立法中開始體現(xiàn)。例如，法國政府已經(jīng)要求公開所有為政府用途開發(fā)的算法，以便社會能夠?qū)@些算法的正確適用進行核實；基于政府部門所應用的算法自動化決策的安全性要求，歐洲議會提出了“算法影響評估（AIA）”制度框架，允許利益相關者對于實質(zhì)影響其權利的算法決策系統(tǒng)進行評估，以確定適用算法的具體場域。當然，在對算法決策風險進行立法規(guī)制時，應強調(diào)以預防風險為重心的自動化行政全過程評估審查思路。

三、自動化行政中算法決策風險的法律規(guī)制路徑

（一）完善自動化行政中算法決策全過程風險評估預防機制

全過程風險評估預防機制是對自動化行政從開發(fā)設計到投入使用、產(chǎn)生行政行為結果的全過程進行風險分析和預警的制度。加強對算法決策風險的事前預防有助于減少實質(zhì)損害后果，對此，國務院辦公廳印發(fā)的《關于全面推行行政執(zhí)法公示制度執(zhí)法全過程記錄制度重大執(zhí)法決定法制審核制度的指導意見》已有所體現(xiàn)，明確了行政執(zhí)法裁量決策輔助系統(tǒng)的建立，同時強調(diào)風險預測系統(tǒng)的開發(fā)，以便于對決策系統(tǒng)的風險進行提前預警、檢測和研判。事前的預測未必能完全杜絕風險的發(fā)生，對可預見風險的警示也不必然導致算法禁用的結果，但可以使得大部分風險在自動化行政實行之初就被考量進來，提升行政主體和算法設計者對相關利益進行保護的意識。但同時也應注意，自動化系統(tǒng)的研發(fā)過程是不透明、不連續(xù)和分散的，事前監(jiān)管的要求在這種技術特點下落實起來較為困難，因此，對于自動化行政事中和事后的風險評估控制也至關重要，應完善事前預防、事中持續(xù)監(jiān)督、事后定期審查糾正的全過程風險評估預防機制。可考慮建立由專業(yè)技術人員組成的風險防控內(nèi)部機構，負責算法決策風險事前的評估預審，也可以通過引入有資質(zhì)的第三方組織負責風險的評估工作。

（二）完善自動化行政程序立法體制機制

鑒于算法決策技術在行政領域使用的潛在風險，有必要考慮在立法中建立適用于自動化行政的專門程序性規(guī)范體系加以應對，規(guī)范自動化行政應用的具體范圍、方式和過程。

首先，盡管有學者認為部分自動化技術只能定位于為行政機關提供決策或行動方面的輔助，而非代替人類自行決斷〔12〕，但隨著技術的不斷發(fā)展以及現(xiàn)實社會的需要，“算法由輔助工具徹底躍升為能夠獨立實施行政活動、或者對行政主體的行政行為有決定性作用的自主決策工具的可能性是存在的”〔13〕。相應地，在何種場景與范圍下能夠以算法決策技術實現(xiàn)自動化行政行為，應當由立法予以明確規(guī)定，以保證自動化行政遵循法律框架。完全的自動化決策應當適用于那些事實較為簡單清晰的事項，對于負擔性行政行為等對行政相對人權益有重大影響的行為則需要謹慎適用或不適用。

其次，應當在自動化行政的整個適用場域里保留適當?shù)娜斯じ深A渠道。《互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定》第11條要求算法推薦服務提供者建立人工干預機制，在自動化行政程序中更有必要保留人工干預渠道，在發(fā)現(xiàn)風險后及時主動地補救，同時確保行政主體在自動化行政系統(tǒng)中的主導地位。實踐中，基于技術發(fā)展現(xiàn)狀、系統(tǒng)瑕疵可能性的考量，從算法決策技術的發(fā)展現(xiàn)實性角度來看，保留程序完善的人工干預渠道也是十分有必要的。

整個自動化行政的程序設計應當遵守程序正當原則的基本要求，保證算法決策技術實施的公開透明，但算法決策技術本身可能具有“黑箱”現(xiàn)象而難以被一般公眾所獲悉和理解。有學者從程序法的視角主張通過具有行政專長和相關算法決策技術人員的介入，實現(xiàn)算法編碼的可識別化、可視化〔14〕。但算法決策技術的公開可能會與技術提供方的知識產(chǎn)權等權益產(chǎn)生沖突，因此自動化行政的決策系統(tǒng)采用何種程度的公開、如何兼顧多方利益訴求，也是立法需要考量的問題。為此，在遵循基本行政法理念的前提下，考慮到算法決策技術瞬時性特點的影響，以及行政機關高效精準行政考量的需求，對于一些行政法基本原則可以靈活適用，比如可以將部分程序較為簡單的行政行為的申辯程序后移至自動化行政完成后的申訴環(huán)節(jié)，對于較為復雜、需要行政裁量且對行政相對人利益有較大影響的自動化行政行為，則應當僅使算法決策技術處于輔助性地位，而由行政主體作出最終決定。

（三）完善自動化行政中行政相對人權利救濟體系

完善行政相對人對抗自動化行政算法決策風險的權利體系，是預防算法決策技術侵權風險的必然要求，也有利于推動民眾數(shù)字權利體系建設。《個人信息保護法》規(guī)定了信息權益所有人“免受個人信息處理者僅通過自動化決策的方式作出決定”以及“獲得解釋”的權利，但是，與自動化行政算法決策帶來的潛在風險影響相比，這種權利內(nèi)容顯得較為空泛，未能形成使行政相對人有效對抗自動化行政算法決策風險的體系。對于免受自動化決策權的具體含義，《個人信息保護法》所規(guī)定的權利適用場域較為狹窄，信息權益所有人只可對抗“僅通過自動化決策”所作出的決定，對公權力領域自動化決策的對抗模式、結果和例外情形均不甚明晰，這使得該權利必須是完全自動化決策影響到行政相對人利益時才可以被行使，因適用條件苛刻而易淪為虛置之權利。另外，即使行政相對人提出異議，決策方也可以通過證明該決策中“存在最低限度的人工干預”而免于受此權利的制約。同時，針對我國算法解釋權如何構建這一議題，學者們一直存在不同觀點：部分觀點主張“算法黑箱”的特性使得算法解釋權在個案中無從落實而不具有實際意義，只能要求在算法決策作出之前針對算法基本情況進行一般性說明〔15〕。在《個人信息保護法》出臺后，有學者認為行政自動化領域的算法解釋權應當要求行政機關提供事后的具體解釋〔16〕。作為算法決策透明性要求的應對措施，具體的算法解釋權在公權力領域是無法回避的，與此同時，由于行政相對人通常并不針對算法邏輯而主要針對個案決策后果提出利益訴求，因此在面對實踐中難以解釋的學習型算法時，不必然要求行政機關解釋其內(nèi)部運行邏輯，也無需要求行政相對人理解算法決策技術的本質(zhì)，而應當重點考慮通過行政人員的干預模式實現(xiàn)行政行為正當性的審查和補正。未來，應針對公權力領域中算法決策技術的應用設立公民權利救濟體系，具體到自動化行政中，應結合行政領域的需求，對行政相對人的拒絕自動化決策權、獲得算法解釋權、陳述與申辯權等作出明確的法律規(guī)定。

（四）完善自動化行政算法決策監(jiān)管制度

設立自動化行政算法決策的專門監(jiān)管機構有其必要性。目前就公權力領域所面臨的算法決策風險困境而言，行政相對人處于弱勢地位而無法對其進行有效制約，第三方監(jiān)督機構本身也不具有強制約束力。因此，針對包括算法決策技術風險在內(nèi)的數(shù)字化領域的風險，設立擁有一定職權和相應技術水準的獨立監(jiān)管機構，可以在一定程度上防止實行自動化行政的政府部門在算法決策技術應用中的濫權與不作為，同時也能有效制約以私營主體為主的技術提供方的不正當數(shù)據(jù)處理行為。《個人信息保護法》已設置了個人信息保護負責人，對于算法決策風險的防控，可以借鑒《德國聯(lián)邦數(shù)據(jù)保護法》規(guī)定的“個人數(shù)據(jù)保護顧問監(jiān)管+數(shù)據(jù)保護監(jiān)管局兜底”的模式進行相應的立法設計。同時，監(jiān)管責任下的相應主體豁免規(guī)范也是有必要的〔17〕，自動化行政中的算法決策監(jiān)管通常是出于對重大風險進行防范的考量。由于在監(jiān)管過程中可能面臨算法決策技術方利益訴求適當讓位于公共利益的情形，所以立法應當設計相應的監(jiān)管豁免制度，使特定的監(jiān)管主體在一定范圍和場景內(nèi)不受追責地對自動化行政的算法內(nèi)容進行審查。另外，監(jiān)管體系的立法建設可以遵循分級分類監(jiān)管的原則，在重點風險領域設置更加嚴格的防控標準，使得自動化行政中的算法決策監(jiān)管更具針對性，“將一般性監(jiān)管與特殊性監(jiān)管相結合”〔13〕，實現(xiàn)在可接受的資源成本內(nèi)達到監(jiān)管的最大效用，保障自動化行政中算法決策的安全審慎推進。

〔參 考 文 獻〕

〔1〕馮子軒.人工智能與法律〔M〕.北京：法律出版社，2020：76.

〔2〕張凌寒.智慧司法中技術依賴的隱憂及應對〔J〕.法制與社會發(fā)展，2022（04）：180-200.

〔3〕張 欣.算法行政的架構原理、本質(zhì)特征與法治化路徑：兼論《個人信息保護法（草案）》〔J〕.經(jīng)貿(mào)法律評論，2021（01）：21-35.

〔4〕卡里·科利亞尼斯，蘇苗罕，王夢菲.自動化國家的行政法〔J〕.法治社會，2022（01）：47-57.

〔5〕馬顏昕.自動化行政方式下的行政處罰：挑戰(zhàn)與回應〔J〕.政治與法律，2020（04）：139-148.

〔6〕張凌寒.算法權力的興起、異化及法律規(guī)制〔J〕.法商研究，2019（04）：63-75.

〔7〕馬顏昕.自動化行政的分級與法律控制變革〔J〕.行政法學研究，2019（01）：80-92.

〔8〕張凌寒.算法自動化決策與行政正當程序制度的沖突與調(diào)和〔J〕.社會科學文摘，2021（02）：69-71.

〔9〕劉 成，張 麗.“刷臉”治理的應用場景與風險防范〔J〕.學術交流，2021（07）：151-162.

〔10〕唐林垚.“脫離算法自動化決策權”的虛幻承諾〔J〕.東方法學，2020（06）：18-33.

〔11〕張文顯.構建智能社會的法律秩序〔J〕.東方法學，2020（05）：4-19.

〔12〕查云飛.行政裁量自動化的學理基礎與功能定位〔J〕.行政法學研究，2021（03）：114-124.

〔13〕展鵬賀.數(shù)字化行政方式的權力正當性檢視〔J〕.中國法學，2021（03）：114-138.

〔14〕胡敏潔.自動化行政的法律控制〔J〕.行政法學研究，2019（02）：56-66.

〔15〕沈偉偉.算法透明原則的迷思——算法規(guī)制理論的批判〔J〕.環(huán)球法律評論，2019（06）：20-39.

〔16〕林洹民.《個人信息保護法》中的算法解釋權：兼顧公私場景的區(qū)分規(guī)范策略〔J〕.法治研究，2022（05）：48-58.

〔17〕萬 勇.人工智能時代的版權法通知—移除制度〔J〕.中外法學，2019（05）：1254-1269.

責任編輯 梁華林