韓欣悅,聶洪濤
(西安財經大學,西安 710061)
人工智能(Artificial Intelligence)的概念提出至今,其在制造、醫療、交通、服務等領域的應用迅速發展,正深刻改變著人類社會的經濟形態、生產生活方式和法律結構。然而,人工智能時代是知識革命的時代,也是風險劇增的時代,人工智能時代的風險既表現為技術性風險,也表現為制度性風險,且這種風險未來會超越國界,沒有社會文化、地理區域的限制。現有法律體系能否應對人工智能帶來的新風險和不確定性,調和智能算法所引起的沖突與矛盾,在智能時代繼續維持秩序與變革、安全與創新之間的平衡?科技創新是時代大勢和國際潮流,法律工作者需要思考,如何以法律規范消解技術風險,促進科技創新和產業發展。對此,我們不僅需要科學的智慧,更需要制度的理性,在新一批人工智能技術開始大量應用之前,法律領域反省性的修改和根本性的變革正在逐步浮現。在人工智能技術健康有序發展的基礎上探討構建相關法律風險防控和責任分擔機制將是新時代的一個重要法律課題。
人工智能作為智能產業發展的核心,是其他智能科技產品發展的基礎,近年來,國內外科技創新企業紛紛開展人工智能產業鏈布局,許多應用成果相繼落地。當前,人們對人工智能的關注度與日俱增,大量數據、資本和人才的匯集驅動AI技術研究不斷向前推進。

圖1 人工智能技術熱點領域分布圖

圖2 中國人工智能企業類型及占比統計圖
隨著人工智能應用領域的擴展,“AI+”作為新興業態開始萌芽,越來越多的行業投入人工智能技術研究,助力技術和產業的深度融合。根據中國信息通信研究院的統計,我國“AI+”企業總計占比超過40%,可見國內企業對人工智能應用環節的關注。可以預見未來幾年,科技、制造等行業巨頭的技術布局將更加深入,隨著眾多垂直領域的科技創新企業誕生和成長,人工智能將出現更多產業級和消費級應用產品。

圖3 2015 — 2020年中國人工智能市場規模及增長情況統計圖①數據來源:中國產業信息網https://www.chyxx.com。
隨著我國人工智能產業政策不斷落地,技術應用的商業化進程加快。在國家戰略規劃中,人工智能已超越技術概念,成為產業轉型、綜合國力提升的立足點和新機遇,巨大的行業應用前景、開放的市場環境與數據資源、研發能力的有機結合,形成了我國人工智能發展的獨特優勢。隨著人工智能向不同領域的迅速滲透,其相關技術已獲得全球范圍的關注和研究,越來越多的創新主體加入了人工智能研發的競爭與布局。AI應用在世界各地呈現出了多元、廣泛的特點,推動了深刻持久的社會變革,也帶來了潛在的隱患和風險。
人工智能廣闊的發展前景正源源不斷地吸引著世界各國的資金、技術和人才,在滿足人們對智能社會美好愿景的同時,其帶來的負面影響也不容忽視,人工智能應用中出現的事故足以讓我們面對新技術時更加冷靜和謹慎。智能算法帶來的風險主要有:一是智能系統自身存在漏洞和缺陷而致人損害的風險,二是系統遭到外部侵入和操控而產生的風險[1]。智能算法產生的法律風險和責任歸屬問題如何解決,如依據何種規則認定責任、由誰承擔責任以及如何承擔責任等,事關受害人權利的及時救濟,更影響到人工智能新技術的穩定和可持續發展。
自人工智能誕生以來,其理論和技術日益成熟,應用領域也不斷擴大,但與此同時也出現了一系列人工智能技術應用引發的事故。2015年德國大眾汽車廠的機器人突然失控襲擊安裝工人致其當場死亡②參見新華網:http://www.xinhuanet.com/world/2015-07/02/c_127977462.htm。,美國研發的外科手術機器人發生故障,導致大量患者受傷、89位患者死亡。[2]深圳國際高新技術成果交易會上的機器人突然砸壞玻璃致使人員受傷……這些事件引發了公眾對人工智能的恐慌和學者對法律完善的思考。[3]
在技術的發展過程中,人工智能的法律地位、責任、權利義務等如何界定一直備受重視。關于人工智能致人損害的責任問題,有學者認為人工智能自身可作為責任主體,也有學者認為其與一般的產品責任沒有區別。誠然,人工智能工作物具有直接致人損害的客觀事實,但它們對于自己行為的結果無法識別和控制,缺乏為自己的過失而承擔責任的能力,因“無責任能力者之行為不得使負義務”,致人損害的責任主體仍需為自然人、法人或非法人組織。然而,基于人工智能的特點,其致人損害的責任與一般的產品責任也并不等同。
人工智能產品通常被視為科技產品,但與一般科技產品不同的是,智能算法具有一定的自主性,可能脫離人類控制或違背人類意志。[4]因此,人工智能致損的責任承擔具有特殊性。根據現行法律,產品致損適用侵權責任的規定,由生產、銷售方進行賠償。如果智能算法完全由人主導,致人損害時侵權責任的歸責方式尚屬可行,但對于初步具有信息處理和自主決策能力的智能產品,如自動駕駛系統、智能機器人等,其責任主體及損害賠償機制則有進一步討論的必要[5]。
人工智能產品從設計、生產到使用,關系到設計研發者、生產者、銷售者和使用者。將智能算法的缺陷歸責于生產和銷售者顯然無法囊括其可能涉及的責任人[6]。如無人駕駛技術的應用使法律規制的對象由駕駛員轉變到研發者及所有者,帶來法律責任體系的重構。在人工智能致人損害的情況下,應就多方主體的責任予以考量。如使用者不存在不合理使用和操作失誤,智能算法的設計研發者對人工智能產品的安全負有根本的責任,設計研發的科學性決定了產品使用的安全性。在設計開發階段,研發者應充分衡量預期利益和潛在風險,使智能產品發揮出預期的功用。對于具有一定智能識別和自主決策能力的人工智能產品來說,應更注重損害的可預見性問題。
一些弱人工智能產品本身可能存在技術缺陷,強人工智能在深度學習之后,算法程序也可能偏離最初的預設,這些缺陷如被不法分子利用,將會產生危害社會的不良后果[7]。相對來說,人工智能的設計與研發行為,并不一定是犯罪結果發生的直接原因,通常是前端因素,即引發犯罪風險的最初原因。人工智能系統在設計之初通常就已經帶有一定的目的性,倘若開發的目的就是用于竊聽,則本身可能帶有犯罪目的,最終產生犯罪的結果,研發者可能會構成故意犯罪;如果設計的目的不是用來犯罪,最終卻被用于犯罪,則這種結果并不是研發者主觀追求的,而是因存在技術上的缺陷和漏洞被人利用,或深度學習超出了研發者的預設和控制,由此引發的風險不應認為是故意犯罪,是否存在過失則需要進一步討論[8]。
根據“技術中立”原則,如果本身不存在技術漏洞,也無犯罪目的,只是遭到他人非法利用,研發設計者則不承擔責任。但由于人工智能的發展尚處在初級階段,受到現有技術的局限,漏洞往往很難在開發階段被研發者察覺和避免,使不法分子的侵入有機可乘。有學者認為對于可能危及人民生命健康和公共安全的應用領域,應按照無過錯原則追究責任,但是這種歸責方式加重了技術研發者的義務,或將挫傷科技創新者的積極性,抑制技術進步和行業的可持續發展。注意義務的合理設置,有利于明確過失的范圍界定,但關于注意義務的來源目前學界仍存在爭議。有學者研究了自動駕駛系統遭到外部侵入實施犯罪的案例,對注意義務的來源進行了歸納,還有學者把注意義務的范圍限定于行業標準或者國家標準,認為處于標準范圍內的風險是應由技術研發者注意的,但是行業標準多為民間標準,與注意義務未必能保持一致。
在現代社會諸多風險中,人工智能的應用是較為主要的風險來源,在防范風險的同時,應更加注重安全保障。技術研發者常常被認為是人工智能風險的最初源頭,開發者對算法程序的設置充分影響到人工智能后續的運行方式。若設計之初并未違反法律法規、行業標準、責任者的自我承諾等,只是因技術漏洞遭到不法分子利用而產生危害社會的后果,可以適當放寬其注意義務。責任歸屬應基于實際危害結果的情況,而不能采取“一刀切”的做法,在防控風險的同時,應充分考慮規制的必要性和限度,避免技術創新受到抑制,阻礙科技發展和社會進步。
人工智能致人損害或存在系統漏洞從而被不法利用等事件的發生大多與技術發展及人們對技術的認識和掌握程度有關。人工智能是新興技術,尚處在試錯階段,人們對這類技術尚未完全了解和掌握,這些未完全成熟的技術在應用中本身就容易發生事故,存在的風險往往是開發設計者無法預料的。而產品責任致人損害事件的發生則不是由技術認識的局限性引起,多為生產或銷售中不符合產品質量要求導致的瑕疵。人工智能算法程序的設計存在漏洞而致人損害或遭到外部侵入,與食品不符合衛生要求、車輛設計或制造不符合質量要求引起的事故在行為性質上并不相同。
一般的產品責任承擔的前提是質量存在缺陷,設計、生產或制造中不符合質量標準或存在安全隱患。而在人工智能致人損害或遭到侵入的情況下,其危害結果往往并不是由質量存在缺陷引起的,考慮到新技術的“黑匣子”性,在開發和測試階段看起來沒有問題的系統在投入使用后也可能會發生出乎意料的故障,這種風險很難被開發者所預見。人工智能的應用不是由單個技術支撐的,而是技術的相互作用或者集成。在程序自身出現漏洞的情況下,由于“黑匣子”性,個別、具體的信息處理和交會如何影響運行結果常常是無法查出的。也就是說,即使操作結果出現了問題,也不能馬上確定導致該結果的具體開發行為,因果關系通常難以認定。技術開發所出現的失誤是否是“被允許的危險”,或者研發者是否未盡到注意義務而存在過失,往往有待進一步討論。
人工智能的技術風險一旦爆發通常難以控制。2016年美國一輛特斯拉Model S因自動駕駛系統識別障礙而發生交通事故,致使車主當場死亡。2018年3月美國亞利桑那州一輛專門用于無人駕駛測試的車輛,由于系統未感知到前方有行人,沒有及時剎車,致使行人被撞死。[9]人們意識到由自動駕駛程序控制的車輛若存在設計漏洞或程序輸入有誤極易發生交通事故。如果是由人工操作的產品,發生事故時人類的控制程度則相對較高,如自然人駕駛的車輛在發生突發事件時憑借豐富的駕駛經驗可能會采取應變措施避免損害發生。而通過程序指令來控制設備的運行,意味著將面臨系統出錯和“黑客入侵”劫持的危險。人工智能的風險程度沒有規范的測試方法,失去控制的操作系統可能波及到的當事人十分廣泛。如果遭到侵入或輸入了錯誤的數據,智能算法就會失控,給不特定多數人的生命和財產帶來危險,且在短時間內使人不能控制,損害程度極大。早在20世紀70年代,日本一家工廠的切割機器人就曾經導致工人死亡①世界上第一宗機器人殺人事件發生在1978年的日本。據記載,1978年9月6日,日本廣島一家工廠的切割機器人在切鋼板時,突然發生異常,將一名值班工人當做鋼板操作,最終導致工人死亡。參見新浪財經:http://finance.sina.com.cn/chanjing/gsnews/20150702/175722574804.shtml。,隨后由人工智能引發的致死事件也不在少數。一般的科技成果應用尚可在底層技術不穩定的時候進行開發,因為有些應用對系統的可用性要求并不高,即使出現漏洞所帶來的損失并非不可接受。但是人工智能的技術漏洞和應用不當可能直接損害人的生命法益,由此帶來的損失難以估量。
人工智能作為一項技術,必須通過一定載體進行運用、展示和體現其具體內容,但在此應用過程中也可能致人損害,也可能遭到不法利用進而產生犯罪結果。人工智能的運用載體多種多樣,可能是自動駕駛汽車、車間作業或進行某項服務的機器人[10]。關于人工智能的性質,有學者認為其實質是為人類提供服務的工具,沒有獨立的意思表示能力,不具有獨立法律人格。也有學者認為,人工智能的行為由人類所控制,行為后果由代理人承擔。但隨著技術發展,有些人工智能可以做出獨立的意思表示,能夠自主的選擇和判斷,并不是傳統意義上的、無意思表示能力的“工具”。而行為后果由代理人承擔則沒有體現承擔責任的公平性。
沙特阿拉伯曾是世界上第一個授予機器人公民身份的國家,美國聯邦法律將用于自動駕駛的人工智能系統看作司機。但是人工智能的搭載物、工作物是否具有責任能力,能夠獨立承擔法律責任嗎?人們為增進人類社會的福祉,運用相應的科技手段制造人工智能以模擬人類的部分行為,促進生產效率的提高和生活的便利。[11]因此,人工智能并非一般意義上的自然人,但卻具備人的一些要素,人工智能以智能化為主要特征,但始終需要人類的設計和程序的編制才得以運行。
就現有的技術發展程度而言,人工智能的“深度學習能力”均是通過人為的設計、制造并開啟程序后才具有的,盡管人工智能機器人可以實施駕駛、診斷、下棋、對話等行為,但人工智能基于數據分析和概率統計的決策方式與人類具有情感和意識的判斷之間具有本質的區別[12]。單獨的算法程序并不具有真正的意思能力,不能進行積極的自我認知和情感、意念輸出,人工智能表現出的自我決策和自我提升實質上來源于數據的更新和邏輯的運算,并非是在動機驅動下做出的意思表示,它們所表示的仍是設計者、生產者或使用者的意思,人工智能本身只是“忠實的程序執行者”[13]。并且,人工智能工作物不能獨立擁有財產,它們無法通過勞動、繼承或贈與等方式獲得財產,名下沒有財產歸屬,即便有財產贈與到它們名下,也無法自主支配和使用,仍需要自然人或法人組織來幫助管理,無法承擔民事上的賠償責任。同時,人工智能的認知水平與人類的善惡、倫理觀存在重大差異,不能像自然人一樣識別自身行為的違法性,無法意識到自身行為的法律后果,只能根據預先的設定來感知是否發生系統錯誤,更不能對自己的行為進行改正,也不具有承擔刑事責任的條件。[14]
綜上所述,就目前的情況來看,人工智能本身并不能對自己的行為承擔法律責任,在使用者沒有操作不當,生產者和銷售者遵守生產與銷售的安全標準時,人工智能由技術漏洞所引起的法律風險依然須由設計研發該項算法程序的自然人、法人或非法人組織承擔。智能算法的特殊性要求我們在現有制度基礎上構建符合人工智能產業特點的責任承擔機制,從而規范產業發展、保障安全。聯合國教科文組織與世界科學知識與技術倫理委員會提出,可以采取責任分擔的方式,讓參與發明、授權和分配過程的參與者分擔損害責任。歐盟議會法律事務委員會曾提出對人工智能產品進行強制保險,設立賠償基金來分擔風險,使受損方及時獲得救濟,同時減輕開發者和生產者的賠償負擔。可參考車輛年檢制度對人工智能的應用成果進行年檢,對發生的事故進行備案。值得注意的是,人工智能越來越展現出自主決策、深度學習等能力,若這些高智能化的應用成果受現有技術水平的限制風險不可預見或難以控制,筆者認為可以依據這種技術水平局限性、風險不可預見性等免除部分主體的責任,或予以適當減輕。
科學技術會帶來怎樣的社會影響,有時我們無法事先預測。在這其中,法律既須有追究事故責任的一面(對過去的責任),也須有為了不發生同類事故而請求相關人員協助的一面(對未來的責任)。問題是,如何對該沖突進行調整,以及由誰來調整更為適當。
認定責任的基本規則,應當由法律法規事先決定。比起行業內更為靈活和松散的規則,用穩定的法律條文進行規范才是明智之舉。不安定的責任所在,只會給技術研究開發帶來更多不安。以法律原則或法律規則表示其責任的內容,只要不違背罪刑法定主義的要求,也是可取的。之所以這么說,是因為法律具有穩定性,反過來說,也會存在滯后性,無法迅速應對環境變化,立法者也未必了解特定領域的具體情況。如何制定這些行為規范,正是立法者未來的研究方向。如果人工智能的各項應用進一步普及,我們完全可以預料到,算法的行為和結果將會對不特定多數人的人身安全和財產利益產生影響,因此通過行政程序乃至刑事程序對此加以規制的必要性很大[15]。
但是,刑事司法的介入應具有足夠長遠的眼光,面對由算法漏洞而引起的致損和犯罪行為,我們不應因科技進步過程中的缺陷和疏漏而冒然發動刑罰權,堅持刑法作為“補充性規制”不法行為的基本原則,力求將立法的滯后性對新興行業的不利影響降到最小,這是我們一貫堅持的刑法介入理念。[16]如果規制施加不當,就會妨礙研究人員和科技企業的技術創新與開發,阻礙本應由新技術帶來的社會福利的實現,甚至會削弱國家科技實力和國際競爭力。而且大多數的技術人員和研究型企業,對刑罰的感應力有時會超出我們的想象。對于優秀的科技企業、飽含開發熱情的研究人員來說,研究和開發就是他們的謀生手段,越是有能力使新技術的福音流傳于世的人,對刑罰的感應力越大。刑事司法如果對技術開發所產生的疏漏大加懲罰,則可能會影響技術研發人員的日常生活,甚至破壞社會對他們的認同感。不難想象,當意識到這種可能性時,以自由的思考和創造為基礎的研究和技術開發將出現萎縮。刑罰應成為守護公益的最后手段,從以上的敘述來看,至少在技術發展的初期,刑法作為規制的主要手段并不合適。
就目前來看,對人工智能的規制應主要由非刑罰的手段來承擔,刑法則堅持介入時機的“最后性”,即把刑罰作為所能采取的“最后的手段”,只有在企業內部規定、行業自治規范、行政法規和民商事法律等都無法解決矛盾沖突時,刑法才有介入空間。[17]法的干預應在“降低對科技創新的萎縮效果的同時,實現法益侵害總量的最小化”。這種“功利主義”的思考并不意味著防范人工智能法律風險與刑法理論無關,相反,將技術創新過程中的失誤和紕漏當做“被允許的危險”和“信任原則”等過失責任的闡釋,也是這種思考的產物[18]。一言以蔽之,以刑法的謙抑性基本原則來看,其介入的時機和限度應審慎且克制。對于智能算法缺陷引起的事故,由于損失大、危險性高、事發突然,更需要及時停止運行程序、采取算法修復等措施,由機動性強的行業組織參與更有助于實現迅速應對。同時,可能涉案的技術問題與各行業的內部規章也有密切的關系,對個別案件應有針對性地加以處理,廣泛聽取意見,也可以針對風險的不同類型和程度進行劃分,配以企業自決、行業自治等應對策略,只對于嚴重損害人民生命健康和公共利益的行為根據罪刑法定原則定罪處罰。
“法不是全知全能的神,而是有限的知識”[19],基于現有立法的矛盾帶來新的見解和思考,再以進一步的立法或司法解釋消除引起的矛盾,不斷地刷新著法的內容的不只有法律人。在“矛盾帶來新創造”的過程中,與相關法的效力擁有最迫切利害關系的當事人的主張和對法律的回應至關重要,他們甚至預見或觸發著學術討論,而以多種觀點的知識貢獻實現法向期待的方向發展。因此,對于人工智能等新興技術產生的法律風險,有必要強調政府和司法以外的社會主體的作用。比起司法機關,有時企業、專家等社會主體更善于應對技術問題,多元主體的參與和協作對解決人工智能法律問題至關重要。
縱觀發達國家,具有靈活性的大眾媒體、掌握專業知識和技術并能夠調動大學和智囊團的各類研究機構,也就是所謂的“第三方委員會”,他們或分擔社會期待,或承擔調查和訴求反饋功能,通過多元化配置,各自發揮專業特色。而在我國,現實情況是很難期待專家集團自主解決問題和行業發揮自凈作用,除了偵查機關以外,缺乏具有查明事實能力的組織。一旦偵查機關介入,就意味著進入刑事程序,使刑事司法無法維持退居后衛的狀態。為了實現刑事法“退到后方”的理想,社會對專家團和擁有相關專業知識的行業團體的信賴是不可缺少的。假設發生了因技術漏洞引發的致人損害事故,或系統缺陷被外部侵入導致的犯罪行為,具有專門知識、參與了開發和運營的機構或個人是否要被追究責任,他們是否還能獲得社會公眾的接受和信任?如果他們不被信任,他們作出的修復等措施不被接受,那么在目前的情況下,只有國家行政和司法機關進行介入。相反,如果研發者及其行業能夠被信任,他們的觀點和措施就會抑制刑事司法的介入。人工智能技術的應用要想獲得社會公眾的信賴,就必須不斷積累技術和經驗,贏得用戶和大眾的認可,而能實現這些的正是研發者本身。為此,發揮行業自律能力,履行信息披露和風險預警的義務,并且完成事故發生后的說明責任和算法缺陷的修復與補救是不可或缺的。
現行法律中,非人類的行為不能從人類的意志中分離出來作為規范性文件評價的對象。也就是說,非人類的行為如果不與人類的自由意志相關聯,就被當作自然現象一樣對待。因此,離開了開發人員和用戶的自由意志支配,程序算法和其出現漏洞所引起的結果不能作為規范性文件評價的對象。但關于“被允許的危險”和“注意義務”的設定可以理解為具有自由意志的主體——人的附帶現象。不論是否承認非人類程序行為的“自發性”,算法程序因為不能完全被控制的程序漏洞致人損害或涉及犯罪,都不應該立刻對研發者追究責任。這是因為,即使發生這樣的事故,技術研發的目的是為了增進人類社會的福祉,另外,研發者根據技術漏洞作出重新設計和修整,有助于實現程序算法的“重生”,從而促進科學技術的完善。
日本學者笹倉宏紀認為,并不是符合構成要件的行為就一定要處罰,以康德式的必罰主義作為邏輯起點在此并無必要,也可以選擇不起訴,組織事故調查委員會,優先獲得防止事故再發生所需的預防信息[20]。但是,這一方向是否符合司法制度背后的國民期待,是否會引起不公平感也令人擔憂。在民主討論和專業知識的有效合作基礎上,當法律的價值指向實現“人類美好生活”愿景的時候,我們與智能時代的風險是共生的。由具有民主基礎的治理系統來適用法律,能夠將總體危險控制在合理的范圍。為了將以上考慮落實到法律制度中,延期起訴協議Deferred Prosecution Agreements(下文簡稱DPA)的適用,有可能成為過渡形式。
如果對算法程序的運用和革新是以實現人類更好的生存為目標,規制算法行為也是為了實現“人類美好生活”的目標,而非對人類存在方式進行再設計的制度。在DPA中,關于技術開發企業的協助調查,提供具體涉案行為的信息是適用延期起訴的要件。因此,這個制度也可以解釋為,為了實現增進人類福祉和司法介入的平衡,而獲取智能算法底層技術及其開發、管理的方法和體制等信息的手段。如果人工智能的開發、運營、管理都由法人來實施,可使其整體作為造成事故的“涉案者”,或以開發、運營、管理中具有高度蓋然性風險的“不當行為”為構成要件。如果執行DPA,為了提供信息協助調查和督促程序“再設計”整改方案的制定和履行,有必要將起訴、行政規制、注冊制度等聯動起來。基本的方針是,將風險的管理制度化,在現行法律的范圍內實現增進社會福祉的目標。具體來說,由行政機關和專家委員會合作,調整智能算法開發、管理、運行的標準,在出現事故的情況下,技術開發者及其團隊參與調查合作,提供數據信息,按照相關監督部門的標準及時整改,避免損失的再次發生和擴大。
因此,以立法為基礎,由行政機關和專家集團合作建立風險預警和評價監督體系是適于當前形勢的選擇。只要提供了充分的信息,使算法的危險保持在合理的范圍內,即使由開發設計中的漏洞引起致損或犯罪結果,也不應該起訴技術研發者。如果風險控制沒有達到預期水平,只要研發者承諾提供真實的信息協助調查,并對出現問題的系統進行重新設計,可以推遲起訴。考慮到新技術的“黑匣子”性,在開發和測試階段平穩運行的算法程序,投入使用后才發現缺陷或產生故障,研發者往往無法事前預料。在這種情況下,如果立即追究責任,有可能會阻礙科技創新,導致人工智能新的應用領域不再更新和發展。為了避免出現這樣的情況,即使在風險水平與預想不同的情況下,追究研發者責任也應慎之又慎。
新技術的“黑匣子”性,雖然離完全消除還很遠,但正在慢慢被克服,存在漏洞或不當使用的數理模型,數據處理方法等,也慢慢被識別。不過,要將這些行為全部用法律進行規定,在技術急速發展的當下,是很困難的。對于參與調查合作、提供信息,進行整改承諾的技術開發者和科創企業,延期起訴可作為協調各方利益的有效方法。在這種情況下,關于整改的內容,應該由監督機關的代表對開發者提出的方案斟酌之后再做決定。現實的改善方法只有向參與者提出、向受法律和智能算法應用影響的人提出,才能確保正當性和有效性。因此,研發者及其團隊對智能算法系統重新設計,改善相關程序應聽取各方提議,行政、司法和監督部門的代表,行業專家、受害者和其他關系人,都應該參與其中。