999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

從排斥到包容公眾:參與式政府算法治理的邏輯與進路

2023-05-30 10:58:34張紅春宋洪
貴州大學學報(社會科學版) 2023年2期

張紅春 宋洪

摘 要:

隨著大數據和人工智能時代的到來,算法技術日益廣泛嵌入政府治理過程,依算法而治理正在成為政府治理的新途徑。然而,在技治主義和工具理性雙重邏輯驅動下的政府算法治理日益體現出封閉和排斥公眾參與的特征,損失了政府算法治理的有效性與合法性。對公眾是否應當參與政府算法治理當中,公眾又應當以何種方式有效參與等議題展開的理論分析表明:算法技術引入公共領域應進行技術的公共性重構,而公眾參與是平衡其價值理性缺失的有效途徑,其重塑的路徑是通過創設算法公開、公眾調查、聽證、治理專家參與、共同生產等公眾算法參與工具,并有機嵌入算法制度設計、議程決策、算料供給、算法訓練、算法應用的全過程,構建公眾算法影響機制。

關鍵詞:

數字政府;算法治理;人工智能;大數據;公民參與;算法參與;算法素養

中圖分類號:C935

文獻標識碼:A

文章編號:1000-5099(2023)02-0033-12

在人工智能技術廣泛擴散與應用的浪潮下,作為人工智能內核的算法技術正在深刻地改變社會治理形態。在海量算料、深度學習算法和超級算力的加持下,算法處理復雜、多源、異構大數據的能力得到革命性地提升,高精度算法驅動的智能決策、管理和服務正在逐步地輔助補充或替代人類的行為,開啟了數字化和智能化的算法治理時代。現如今,算法技術的應用不僅僅局限于商業領域,依靠智能算法進行公共決策、管理和服務日益成為政府治理創新浪潮,在政務服務、治安警務、交通管理、執法監管、輿情治理都不乏大量的算法應用案例。人工智能與政府治理的深度融合催生了以算法為核心的算法治理模式[1]。從概念上來講,政府算法治理是以算法技術為內核,以大數據、人工智能、云計算為支撐技術,對公共事務實施算法驅動的自動化、智能化地管理和服務模式[2]。

盡管各種人工智能應用、設備和平臺正在大張旗鼓地走進政府治理場景,然而從公眾參與的角度來看,公眾在算法技術嵌入政府治理場景的過程中卻顯得格外“絕緣”。由于算法技術的專業性、復雜性和自主性,算法本身容易成為技術黑箱而排斥公眾的信息獲取與理解。在政府治理領域中,算法系統輸入和輸出的不透明,公眾無法觀察和理解算法決策內在機制和邏輯,算法黑箱表現得非常明顯[2]。不僅算法黑箱特質讓公眾難以接近,算法技術嵌入政府治理場景的全過程也呈現出封閉性。研究發現,在疫情防控中廣為使用的健康碼作為算法技術的一個典型案例,公眾并無參與它的設計和運行工作的機會[3]。再如,在各地如火如荼的智慧城市項目建設當中,算法技術顯然是支撐各種數字化和智能化城市治理平臺和應用的技術,但是主宰城市運行的智能算法系統往往是由政府部門的權力、數據與私營公司的技術力量結合的產物,智慧城市項目的立項、設計、進展、資源利用的透明性和公眾參與性是明顯不足的[4-5]。在算法技術權力的壟斷背景下,政府治理原本應有的公眾參與原則反而被架空了,這是一個在智能化政府治理背景下值得警惕的新問題。

缺乏公眾參與的政府算法治理正在生成新的治理風險而侵蝕公共利益和價值,并引起學術界的高度關注。研究指出,算法治理容易產生算法歧視、算法偏見、威脅公眾隱私權等種種問題與風險,算法正在異化為一種新的技術官僚制,破壞政府治理的公共性和民主性[6]。針對這些算法風險與問題,將算法納入治理對象已經成為政府算法治理的研究前沿。歸納既有研究提出的治理算法視角不外乎兩種思路:一是從技術視角探究如何治理算法,它因循以技術治理技術、以算法治理算法的邏輯,提出算法優化的技術路徑。譬如,針對算法的復雜黑箱,研究強調算法生成技術應予以革新,通過可被理解的方式對算法的整個過程和具體決策進行解釋[7]。二是法律規制視角,主張要通過立法、建立監管機構等一系列強制性手段將算法使用納入法治框架,以保障算法中的數據安全,提高算法的透明度以及建立算法問責機制[8-9]。這些治理算法的路徑對政府算法治理的優化提供了有益啟示,但是這些問題解決方案大多數是技術專家和法學專家的諫言,而從公共治理和公眾視角提出解決路徑是明顯缺失的。如何把排斥在外的社會公眾重新找回到政府算法治理議程,如何利用公眾參與力量破解算法治理風險的可能性,這是公共治理在數字化和智能化時代的新命題。

可喜的是,實踐領域已初步意識到算法參與的重要性。2017年,國務院頒布的《新一代人工智能發展規劃》就指出,要調動全社會參與支持人工智能發展的積極性。由國家新一代人工智能治理專業委員會發布的《新一代人工智能治理原則——發展負責任的人工智能》的指南中,提出包容共享、開放協作應成為人工智能技術開發和應用的重要原則。2021年,由國家互聯網信息辦公室、中央宣傳部、教育部等印發的《關于加強互聯網信息服務算法綜合治理的指導意見》中指出,要形成多元協同、多方參與的治理機制。然而遺憾的是,在學術領域,支持公眾算法參與的觀點多散見于人工智能與算法治理的文獻角落,既有算法治理文獻對公眾參與的直接探究較少,據此提煉的理論命題與觀點也付諸闕如。正是在這樣的背景下,本文的研究問題切入是:社會公眾作為政府算法治理的“用戶”,他為什么被排斥在政府算法治理之外?公眾應當參與算法治理當中嗎?公眾又如何參與算法治理并發揮積極效能呢?文章接下來對上述關鍵問題依次展開理論分析。

一、算法排斥公眾:技治主義邏輯下的算法治理困境

作為一種技術治理新形態,政府算法治理是公共行政技治主義傳統的最新表現。政府治理中的技治主義思想萌芽可以追溯到傳統公共行政時期威爾遜(Thomas W.Wilson)、泰羅(Frederick W.Taylor)等先驅對科學行政方法與行政效率的追求,而后在20世紀30年代美國的技治主義運動中名噪一時,二戰之后至今飛速發展的科學技術革命中又進一步將技術治理發揚光大。從實踐角度來看,技術治理指的是將科學原理和技術方法運用于社會治理的活動[10]。作為一種治理意識形態,技治主義主張依賴技術以及掌握技術知識的專家來治理國家,以技術驅動的信息量化、精準測量、精細管理為核心治理機制,秉承科學管理精神[11]。隨著現代科學技術的發展,尤其是信息技術革命的突飛猛進,信息技術作為一種常見的“治理術”嵌入到社會運行的方方面面。信息是國家治理的基礎性工程[12],在公共決策、管理和服務中有著重大作用。信息技術在信息生成、傳播和利用方面的顯著優勢使得信息技術日益成為驅動政府治理效能提升的第一生產力。而在信息化高級階段,大數據、人工智能、物聯網、云計算等新型信息技術顯著提升了數據信息的采集、傳輸、提取和利用能力,政府治理也越來越依賴于信息技術工具實施數字化、數據化和智能化的治理。算法作為智能社會治理的前沿技術進展,政府算法治理所廣泛采納的算法技術正是技術治理的最新形態。

不難看出,算法治理將技治主義的技術驅動、效率導向、工具理性取向發揮到了極致,但其技治主義的本質邏輯卻對公眾參與具有先天和后天的排斥性,其對公眾參與的排斥機理主要有以下三個層面:

一是從技術特質來看,算法技術的專業性排斥公眾參與。算法作為人工智能技術的內核,它是人類自信息革命以來最前沿的技術,以其對人類有限計算能力的超越以及對人腦復雜信息、知識、智慧生成過程的逼近模擬而著稱。技術復雜性與實現目的的復雜性呈現正相關關系,顯然,算法技術的目的和功能指向是復雜而高級的,因而,正如已有研究所指出,算法本身具有高度技術復雜性和專業性[6]。然而,算法技術背后的高深、復雜的專業知識則是排斥普羅大眾參與的天然鴻溝,并促成了算法技術黑箱問題的生成。算法專業性意味著除了少數受過專業訓練的算法研發人員之外,更多的外部人員并不清楚算法原理,而對于算法專業知識普遍不足的公眾來說,專業知識已然構筑了一道難以輕易逾越的技術壁壘。除此之外,不同于其他技術,算法技術的自主性也是排斥公眾介入的深層次技術邏輯。隨著半監督甚至無監督的深度學習算法興起,算法可以在人類的少量干預甚至沒有干預的情況下自主訓練、自主生成、自我調適,高度自主算法已然成了一個數學黑盒子。算法愈發邁向高度自動化、自主化、智能化的高級階段,也意味著它脫離人類控制和干預的壟斷程度在增加,給公眾提供的參與空間則隨之遞減。在政府治理場景中應用的算法技術也不可避免地具有上述特征,而算法技術專業性特征所引致的技術黑箱、技術壟斷則是與公共治理場域本應的公開性、開放性和參與性特質格格不入的。

二是從技術供給的方式來看,算法技術的市場化排斥公眾參與。不言自明的是,算法技術的發明者和掌握者并不是政府,而是高科技企業。政府在算法知識與技術上面臨有限理性約束,促使其必須通過制度創新來利用科技企業及其專家在算法技術知識方面的絕對優勢。隨著市場化公共行政模式的興起,現如今各地政府可以通過合同外包、政府采購、政府購買服務等方式引入高科技企業提供的算法設計與智能產品開發。算法技術的市場化已經成為一種普遍的政府算法治理制度安排。例如,杭州城市大腦的智慧城市管理平臺與高科技企業阿里巴巴合作,廣東省發布粵省事移動辦公平臺與騰訊云合作等案例,都不乏公私合作及其背后科技企業資本的身影。政府通過市場化手段引入科技企業形成一種新的委托代理關系,政府作為委托方期待借助算法緩解治理壓力,算法公司作為代理方則遵循商業邏輯,以期擴大資本影響力[13]。然而,當政府算法被市場化外包之后,其對公眾參與機制有著制度上的排斥性。一方面,算法市場化制度強化了算法的資產專有性。在知識產權制度保護之下,科技企業掌握的算法技術已經專利化、資產化和資本化。科技企業對算法代碼的資產專有性、排他性與政府算法的公共物品屬性及其公開性、非排他性特征之間存在必然沖突[13]。另一方面,算法市場化在政民算法互動關系中植入了一個私人性的組織間隙,增加了政民互動的交易成本。算法技術的市場委托代理必然使得政府算法治理中政民二元直接互動關系不得不轉為政—企—民三元互動關系,社會公眾參與算法企業的算法研發缺乏制度保障,更何況研發算法技術公司經常以商業利益、商業秘密、知識產權為由,不向社會公開其算法代碼,不開放算法生成過程,公眾融入算法企業的算法研發過程存在制度障礙。

三是從技術治理的本質邏輯來看,算法技術的工具理性取向排斥公眾參與。科學技術的迭代和應用,不僅促進了現代社會的進步發展,也構建了一套工具理性取向的世俗化理性權威。作為一種治理意識形態,工具理性最主要的內在特征有,一是追求效率的最大化,二是功利化趨向,三是以科學和技術為依據,四是追求形式的合理性[14]。工具理性只關心手段的有效性,將生產力、效率性放在首要位置。技術治理作為工具理性的現實表現,也以其對效率不遺余力地追逐成為其鮮明標識。工具理性對效率的強調必然會忽視人與社會的非效率性需要和社會價值,工具理性究其本性只是追求技術合理性,有關人生問題、價值問題、倫理問題、社會目標問題等價值理性的考量均被排除在外[15]。當下,政府算法治理所主張的自動化、精準化、智能化、高效化等一系列目標無不體現了工具理性的效率優先訴求。然而,技術治理的效率至上對公民參與價值形成遮蔽[16]。這是因為,在公共治理當中,效率與民主參與等治理價值存在價值張力和沖突。公眾參與治理事務不僅需要公眾自身的時間、物質和物質成本,還需要作為互動對象的政府及其代理者企業付出同等甚至更多的參與成本。在工具理性視野之下,可以用算法數據、算法技術、算法決策等來代表甚至代替公眾的需求及其決策,換言之,技術可以替代公眾參與而節約大量公眾參與成本。而當公眾參與成本讓步于算法效率,公眾參與所衍生的民主、監督、透明、問責等其他公共價值也就同樣屈居于所謂的算法效率神圣法則之下。研究指出,技治主義的政治理想在實踐中存在轉向專制的風險,民眾極有可能淪為社會機器上的零件或圖表上的數據,在科學的名義下被剝奪權利[17]。技治主義和工具理性對公眾參與的威脅不容忽視。

在算法從技術領域、私人部門向政府治理場域遷移的過程中,其并沒有很好地因應公共場域的公共性特征對算法技術的工具理性及其技術治理制度進行公共性重構,反而形成了一道政民互動的新型技術與制度壁壘。由于政府算法生成和應用日益走向封閉性和排他性特征,他們與政府治理諸多公共價值格格不入,并給政府治理帶來預料之外的公共性損失[18]。缺乏公眾參與的政府算法治理的公共價值損失包括:一是損失算法治理的有效性。算法技術并不是完美的,而是充滿了缺陷和漏洞的,算法判斷偏誤、算法決策失誤、算法未知等理性困境同樣困擾著算法模型。究其算法理性失靈的根源,在于人工智能算法獲得一個理想的公眾數據集是永恒的難題,使得算法難以精準、全面定義公眾的需求和偏好。排斥公眾參與的政府也就關閉了非數字化公眾需求表達和數據的通道,數據算料的缺損必然降低政府算法的科學性。二是損失算法治理的透明性。缺乏公眾參與的政府算法儼然變成了一個技術黑箱。封閉性政府算法的治理運行隱藏了諸多本該透明的流程,嚴重壓縮了行政活動環節而破壞行政程序的公開性[3]。算法治理黑箱不僅使得公眾對與之利益攸關的公共算法技術缺乏認知和了解,公眾對于算法驅動政府智能化決策與服務背后的依據、程序、標準與邏輯難以知曉,這種不透明性正在加重公眾對人工智能算法產品與服務的疑慮與擔憂。三是損失算法治理的民主性。封閉排他的政府算法技術正在從兩個方面侵蝕政府治理的民主性:一方面是技術替代政府。在人工智能背景下,正在形成一種脫離政府控制的算法權力。算法自主性、智能化的技術抱負是要用基于技術的判斷、決策、行動代替基于人的行動,其替代進程最早是替代人類實現證據的整合,隨后是提供權力行使的方案,最后是替代人類直接做出決定[19]。隨著強人工智能獨立自主意識的覺醒,其帶來的一個不可避免的后果就是算法機器的意志正在代替政府決策者的意志,形成一種新的權力形式——“技術利維坦”。由此,政府官員成了屏幕官僚,而算法研發者則成為了“算法影子官僚”[13]。另一方面是技術替代公眾。人工智能技術自詡為通過收集公眾數據就可以將公眾意見納入行政決策,這種數據參與形式的本質是被動式的行政吸納,公眾數據參與并不能代替其實體參與。這是因為算法所吸取的有偏數據并不能代表公眾需求與偏好的全部,也更不能代表所有公眾的意見。相反,在公眾輸入意見缺損的前提下,了解人工智能算法技術精英更接近政府權力中心,憑借專業知識擁有對政府治理的強大話語權,容易使政府治理不是建立在“普通公民”基礎之上[20]。人工智能算法對政府官員和社會公眾的雙重替代,形成了學者所稱的“人工智能專制”“算法暴政”,這對政府所應堅守的多元公共價值構成了顯著的威脅。

歸納起來,封閉排他的政府算法在應用中導致有效性、透明性、民主性的全面流失,不僅侵蝕了算法本身的有效性,也侵蝕了政府治理的合法性。封閉排他的政府算法影響了人們對算法的信任感與認同度,導致社會公眾對算法治理的信任危機[1]。而要解決這一問題,指望靠算法技術的內省來重塑政府算法治理的價值缺損不太可能,因為技術本身是毫無價值感的。人民性是大數據和人工智能時代的倫理內核和價值歸依[21],找回公眾在政府算法治理中的應有角色、功能和行為刻不容緩。而重構的方向就在于用更加緊密、持續、有效的政民算法互動關系,建立包容性和參與性的政府算法治理架構。

二、算法包容公眾:公眾參與作為政府算法治理工具的邏輯

公眾參與作為一種政府治理工具的出現有著悠久的理論與實踐淵源。自二十世紀六七十年代新公共行政理論范式的興起以來,以及后來新公共管理、新公共服務、治理理論等理論范式的發展,政府治理在理論層面破除了政治與行政二分法窠臼,開始重視政府治理中的民主價值,公眾參與也更加經常性地成為政府治理理論建構中的一個考量因素。在實踐層面,我國改革開放以后公眾參與政府治理也日益走向制度化,特別是進入21世紀以來,隨著政府治理的開放性、回應性和民主性的增益,政府持續向社會領域賦權,公眾參與案例逐漸興起并呈現出蓬勃發展的態勢,表現在公眾參與主體的多元化、參與領域的廣泛化、參與方式的多樣化[22]。黨的十九大報告指出:要堅持以人民為中心的發展理念,要完善黨委領導、政府負責、社會協同、公眾參與、法治保障的社會治理體系,公眾參與公共治理日益成為頂層制度設計。

從概念上來看,政府治理中的公眾參與是指公眾與行政管理者分享公共權力,參與政府決策制定和政府管理的程序與行為[23-24]。不同于政治參與,政府治理中的公眾參與主體、領域、方式有著獨特內涵。在參與主體上,相較于政治學領域當中常用的公民參與,公眾參與的主體范疇更為廣泛,不僅包括公民個體與政府的互動,還包括非營利組織、社會團體、媒體等組織化的公眾參與主體。在參與形式上,政府治理中的公眾參與不再拘泥于政治參與中投票選舉,而是擴展到政府與公眾不同程度的接觸與互動,因政民互動的目的、渠道、方式、結果的差異而形成多樣性的公眾參與形式。如國內學者孫柏瑛認為,公眾參與的形式有公眾接觸、公民調查、公民投訴、公民會議、公民聽證或咨詢委員會、公民論壇和社區發展公司等[25]。在參與領域上,目前公眾參與已經涵蓋了立法、環境保護、公共預算、城市規劃、績效評估、公共服務、社區治理等各個領域[23],公眾參與已然成為政府治理的經常性工具選擇。

不同于技術工具,公眾參與作為政府治理工具有其鮮明的價值理性特點。價值理性與工具理性不同,它是以人為中心而不是以客體為中心的理性標準,它關注世界對于人的意義,客體對于主體的意義,執著于人的幸福[26]。價值理性注重人的關懷,關注人的需求和利益,體現出鮮明的人文性,這一點與技治主義的工具理性宗旨涇渭分明。作為治理工具的公眾參與,它以人的因素在場而彰顯參與者的需求、利益和價值偏好,因而公眾參與工具本身就具有明顯的人文性。公眾參與對人的因素重視和包容,使得它不同于技術工具所構筑的高不可攀專業壁壘,公眾參與主體、領域、方式的廣泛性和多樣性使得它具有容納社會大眾并成為一種關懷公眾價值生成的包容性治理工具。研究也指出,公眾參與具有幫助政府治理提升有效性、開放性、回應性、可接受性等方面的功能[27-29]。也正因為公眾參與的泛在價值,不論是在國家宏觀的政治生活當中,還是在中觀和微觀的政府治理過程中,它都被廣泛應用以增進政府治理的公共性。

在人工智能技術所開啟的算法治理時代,政府管理和服務的數字化和智能化場景提供了公眾算法參與新領域。而公眾算法參與能夠以算法技術為核心的政府算法治理更加有效、負責和透明,其對政府算法治理的功能優化體現在三個層面:

對于算法本身而言,公眾參與能夠彌補算法的內生性技術缺陷,增進政府算法的透明性和有效性。公眾參與算法治理提供了讓公眾接觸、了解和理解算法技術和政策的學習機會,這有利于公眾解構算法技術黑箱并形成對算法的實質知情,提高政府算法的透明度。更為重要的是,公眾參與提供了算法技術及其研發者理性增長的補充機制。無論是算法本身,還是掌握算法技術的研發者都存在著難以克服的數據、信息和知識方面的有限理性困境。而公眾參與提供了來自相對人的理性救濟機制,其補救功能體現在:一方面公眾參與補救算法生成的數據基礎,提高算料質量。針對算料數據對復雜治理事實的全樣本性、真實性、及時性方面的記錄缺損,公眾參與可以補充算料所缺損的數據和公眾經驗。另一方面,公眾參與增加算法研發者的理性。算法研發者雖然具有算法技術上的明顯優勢,但其對算法所要治理的公共事務、公共問題、公共服務等的感知、推理并不占優。相反,社會公眾深處公共場域當中,是公共問題的造成者和感知者,也是公共服務的需求者,其對公共事務及其問題的感知、解釋、解決上具有獨特的信息與知識優勢。因而,公眾參與算法治理所貢獻的公眾信息與知識有助于政府算法設計者拓展理性邊界的限制,提高算法設計的精準性和有效性。

對于算法治理的政府主體而言,公眾參與能促進政府算法治理走向善治。總體來看,公眾參與可以生成政府算法治理的開放性、回應性和合法性等公共價值。一是公眾參與算法治理有利于形成開放性的算法決策機制。政府治理的開放性應能夠聽取并吸納來自公眾的各種意見[30]。在算法決策當中,增加社會公眾的決策參與主體和程序將有利于打破固有的封閉性和技術型的決策生成機制,建立開放性的算法決策結構。二是公眾參與有利于增進政府算法治理的回應性。當算法所影響的利益相關者能夠對算法設計施加影響時,則能更好地反映他們的需求、價值與關切[31]。公眾參與可以給政府決策者輸入公眾側的利益訴求,尤其是公眾個性化的公共服務需求、偏好習慣,這有利于政府決策者設定更具回應性和符合公眾需求的算法治理目標。三是公眾參與有利于構建算法治理監督和優化機制,提高算法治理的合法性。公眾參與算法治理意味著政府算法的設計及應用過程都能受公眾的監督和輿論的關注,這種嚴密的算法監督將保障算法應用的合法性。公眾監督可以限制政府算法研發代理人機會主義行為,確保公共利益不被商業資本所侵蝕。此外,公眾參與對政府算法決策行為也構成外部監督,對政府決策者的權力私化和異化構建了制約機制。

對公眾自身而言,公眾參與有利于維護公眾在算法治理中的合法權益。從理性角度來看,公眾參與的核心動機是維護和促進自身及其群體的合法權益。公眾參與政府算法治理的利益維護機制表現在:一方面公眾參與提供了訴求表達機制。公眾參與算法治理意味著公眾的訴求得以通過各種渠道表達,進而使政府決策者和算法研發者感知、識別和綜合更多的公眾意愿。另一方面,通過提高了公眾參與能力來提高公眾的算法產品與服務獲取能力。在大數據和人工智能時代,智能化終端設備和應用大面積覆蓋,具備與算法治理時代相匹配的算法素養已經構成一種前瞻性的人力資本要素。而公眾參與政府算法的設計和應用,不僅需要公眾具有算法素養,也提供了培育社會公眾算法素養的機會。隨著公眾持續介入算法治理議程,公眾與政府決策之間、公眾與算法研發者之間的持續互動將給公眾提供對算法認知和學習的過程,有利于提高公眾的算法素養和參與能力。隨著公眾算法素養的提高,可以增進公眾對政府算法的可理解性、可解釋性,降低公眾心中對算法的恐懼乃至對人工智能的恐懼,提高公眾對智能化公共產品與服務的接受度和利用度,持續培育公眾在人工智能時代的算法產品和服務的獲取能力。

三、參與式政府算法治理:公眾影響算法的路徑構建

在確立公眾參與算法治理的必要性和原則之下,公眾如何系統地、有效地參與算法成為必須解決的理論與實踐問題。從公眾參與體系來看,公眾參與的關鍵元素包括參與議題領域、參與者、參與方式和參與程序[32]。以參與方式和程序為挈領,融入參與具體領域和主體要素,型構公眾全面影響算法的路徑。

(一)公眾參與政府算法治理的方式選擇

公眾參與方式是公眾有序介入并影響政府治理的工具,它是公眾借以進入政策過程,影響或決定政策制定和執行的具體途徑、方式或手段,它表現為公民與政府互動中所采取的制度化、合法化的參與方法和策略[26]。對于算法治理而言,公眾影響政府算法走向也仰賴制度化的參與工具。公眾參與的具體方式具有多樣性。著名的參與階梯理論依據公眾參與程度將公眾參與劃分為初級、中級、高級的控制;教化;告知;咨詢;安撫;合作伙伴關系;授予權力;公民自主控制等八種形式[33]。顯然,不同領域公眾介入政府治理的形式應予針對性構建,以適用不同參與目的和效力需要。按照算法治理中政民互動方式和公眾介入程度差別,建構以下五種公眾算法參與工具。

1.算法社會公開

公開在公眾參與當中又被稱為告知。雖然它是一種低層次公眾參與形式,卻是公眾有效介入和影響政府算法治理的前提條件,因為參與對象對參與領域不了解的話就難以正確選擇和有效參與。因此,有效的公眾參與必然是建立在公眾對參與領域的知情基礎之上,而算法公開透明可以賦予算法對象知情權[18]。只有在足夠公開化、透明化、開放化的環境里,人們才有可能看到算法包裝外衣下信息資源的真實全貌。在人工智能時代,算法驅動的自動化和智能化政府決策和執行成為行政新模式,政府算法公開透明成為實現透明政府一個值得探索的新領域。政府算法公開有利于打破政府與公眾之間存在的算法不對稱,賦予公眾對算法的政策、數據、模型的知情權,進而為政府算法治理中有效的政民互動提供信息與知識資本。而因循政府算法及其治理過程的全程透明原則,政府算法公開機制包括三個方面:一是要公開算法治理的決策與制度設計,實現算法治理重大決策透明。二是公開政府算法形成的算料與算法,建立政府算法數據開放和開源制度,公開算法訓練所采用的計算模型、規則、程序、方法等。三是公開政府算法應用領域,對于算法的應用場景、應用平臺、應用規則等要全面公開,確保使用者的應用知情權。

2.算法公眾調查

公眾調查是指公共管理者通過一定規模的問卷調查或訪談,向公民了解他們對有關政策議題的看法與態度[29]。通過公眾調查來收集公眾意見具有調查受眾的代表性、隨機性、廣泛性等特點。而且數字化時代的線上公眾調查可以顯著地降低公眾調查的實施成本和公眾參與成本,大幅提高公眾參與的范圍。對于政府算法治理而言,公眾調查工具可以廣泛了解公眾對算法及其產品和服務的需求信息,這有利于政府決策者和算法研發者開發符合公眾偏好的智能化公共產品和公共服務。除此之外,還可以通過公眾調查來了解政府所提供的算法產品和服務的公眾體驗信息,收集算法產品的質量改進信息,進而為算法驅動的智能產品和服務的持續改進提供算法優化修正的公眾證據。在數字化時代,算法公眾調查的實現方式有更多選擇,線上問卷調查、意見征集、網上評議、網絡留言等為咨詢普通大眾的算法意見提供了多樣化和便利化的選擇。

3.算法聽證

聽證是指當公共管理者制定直接涉及公眾或公民切身利益的公共政策時,組織會議聽取利害關系人、社會各方的意見,通過對話或協商來平衡各方利益,達成一致與合作,以保證政策合法合理[29]。聽證會作為一種公眾參與形式具有政民互動的直接性、雙向性的優點,公眾代表可以直接向政府決策者表達意見訴求并獲得快速回應,因而是一種高效和深度的公眾參與方式。目前,聽證已被廣泛用于立法、重大項目立項、價格管制等政府治理決策情景,而算法技術應用到具體行政領域是一項涉及公共利益的重大決策,聽取代表性社會公眾意見有利于提高算法技術嵌入的合理性。應用算法聽證制度可以聽取社會公眾對于是否要在特定治理任務中引入算法技術,在哪些場景使用它,用它來實現何種治理目標,它應當遵循何種治理原則等重大算法決策的意見。算法聽證有利于公眾向政府決策者傳遞算法決策的偏好,進而影響政府算法決策議程設置和重大決策走向,增進政府算法治理的民意基礎。在智媒時代,算法聽證可以通過技術手段創新聽證方式,通過舉行線上聽證會來提高公眾參與便利性,還可以采取視頻直播、網絡會議等形式擴大聽證的參與面和覆蓋面,開辟聽證議題和內容的網絡留言和評論平臺,并應用非結構化數據挖掘方法提取多元、異構的公眾聽證反饋意見以供決策使用。

4.治理專家參與

政府治理中的專家是指在公共行政過程中,擁有專業化、技術化的知識,掌握政策分析和咨詢方法及工具的個體或者集團[34]。而專家參與指專家通過制度化或非制度化的途徑影響政策制定的過程[35]。相對于普通大眾,專家是社會公眾中的積極和專業的代表。專家參與公共治理的優勢在于其高度的專業知識,這可以輔助政府治理決策的科學化。除此之外,專家參與還具有秩序性的優點,專家參與的組織和實施比較容易。囿于算法技術的專業性,算法研發技術專家已然參與政府算法治理當中,但僅有算法技術專家參與是遠遠不夠的。公共事務的復雜性決定技術專家也面臨有限理性困境,算法治理不僅需要算法技術專家,還需要通曉公共事務治理規律的治理專家參與。治理專家一方面可以增加政府算法治理決策的科學性,幫助決策者和算法研發者補益公共治理方面的專業知識;另一方面,可以給政府算法治理輸入公共價值,治理專家是公眾中的積極代表,對社會利益和價值有著公允的判斷與標準,有利于彌補算法技術專家在價值選擇上的偏誤。由于復雜棘手的公共問題對多元治理知識的需求,算法治理中的參與專家主體在專業背景應多元化,法學、政治學、公共管理學等不同學科領域的理論與實踐專家共同參與可以最大限度擴展算法治理的決策理性。就專家參與領域來說,專家參與可以嵌入政府算法研發和應用全過程當中,算法立法、算法審查、算法標準制定、算法解釋、算法診斷、算法評估等各個環節都可以引入治理專家來匡正和優化政府算法治理過程。

5.算法合作生產

合作生產(Co-Produce),又被稱為共同生產,是指公共部門與公眾共同設計、管理、提供公共產品或服務的互動過程[36]。合作生產具有悠久的理論淵源,它最早可以追溯到奧斯特羅姆(Elinor Ostrom)關于公共池塘資源的自主治理理論研究。隨著公共治理各個領域公眾深度參與的涌現和增長,合作生產近年來又成為學術界的研究熱點,尤其是被廣泛用于公共服務的模式創新當中。作為一種治理工具,合作生產尤其強調服務消費者在公共服務供給中的貢獻和作用,以及政府與公眾之間的緊密合作。它需要公民、政府以及其他社會主體共同參與合作以提供投入、貢獻和資源[37]。正因這種參與形式依賴公眾的高度投入和貢獻,以及政府與公眾以合作的形式進行互動,共同生產是一種高級公眾參與形式。共同生產要求社會公眾是公共服務的出力者、貢獻者,而不是作為消費者、等待者或觀望者。將合作生產工具嵌入政府算法治理具有理論和現實上的可行性:一是提供公共產品和公共服務是政府算法治理的主要目的,這與合作生產的公共服務供給領域并無二致;二是公眾的合作性參與行為可以幫助政府算法快速、精準地向社會公眾提供和交付公共產品和公共服務。在合作生產的框架之下,科技企業、非營利性組織、治理專家以及普通大眾等都可以通過合作生產工具導入政府算法治理議程,共同為算法治理建言獻策并貢獻力量。為此,政府算法共同生產可以整合政府決策者、算法企業研發者、專家、公眾代表、社會組織等多元主體,構建算法治理權力共享、責任共擔、風險共擔的算法合作生產治理結構,并通過多元主體持續地協商、分工、合作來進行合作性的算法共同規劃、算法共同協商、算法共同設計與應用、算法共同評估和算法共同改進的合作生產機制。

(二)公眾參與政府算法治理的過程設計

算法技術導入具體政府治理場景必然體現一個連續治理過程,這為不同的公眾參與方式嵌入算法治理流程提供了參與載體。按照公眾全過程參與原則,在算法治理的制度設計、議程設置、算料供給、算法開發、算法應用的不同階段構建如下公眾算法參與機制。

1.政府算法治理的制度設計中引入公眾參與

為算法治理運行設置相應的制度與規則是確保算法技術在政府場域合規性、合法性應用的前提條件。算法嵌入政府治理所滋生的新問題、新風險都迫切需要政府算法治理補齊算法制度設計的短板,構建頂層設計及操作性準則相結合的多層次算法治理制度體系。作為重大的公共決策,算法治理制度設計可以引入治理專家參與算法制度的起草、論證等活動,還可以開辟線上意見征集渠道獲取公眾對算法制度草案的意見與建議,還可以引入算法聽證制度針對性地聽取利益相關主體對算法規章的社會意見。除了政府主導、公眾參與共同創設政府算法治理的強制性規則之外,還可以通過第三部門創設算法社會倫理準則,構建政府算法治理的軟約束機制。例如,由國家新一代人工智能治理專業委員會頒布的《新一代人工智能治理原則——發展負責任的人工智能》就是由非政府部門創制人工智能應用規則的實踐范例。為此,可以培育和發展政府算法治理的相關社會團體,通過社會團體創設和完善公共領域中算法應用的算法倫理規則,加強對算法研發人員、政府決策者和社會公眾的柔性制度規約。最后,還應建立算法制度的公開機制,提高算法政策法規的制度透明度與知曉度。

2.政府算法議程決策中引入公眾參與

是否要將算法技術嵌入到具體的政府治理場景與領域是一個重大決策問題,我們可以稱之為算法議程決策。算法議程決策中涉及諸多算法決策問題,包括:是否要在特定治理場景引入算法技術,引入算法技術的治理目標和功能是什么,通過什么樣的方式引入科技企業的算法技術,等等。這些重大的算法議程決策問題可以全面引入公眾參與,確保政府與社會公眾之間達成關于具體算法技術、產品和服務嵌入政府場景的決策共識。在算法議程設置決策環節可以應用公眾調查手段來獲取公眾對智能化算法公共產品和服務的需求,并通過需求分析實現回應性的智能算法公共產品與服務的設計。此外,還可以在算法議程決策環節引入專家和公民參與,應用公眾調查和專家咨詢開展算法風險評估,借助專家知識科學論證具體政府治理領域導入人工智能算法技術的必要性、可行性和安全性。在將算法技術服務委托給科技企業的過程中,要應用算法公開工具確保算法采購與招投標的公開投標,引入專家參與和公民參與到科技企業的比較和遴選當中,確保算法技術外包的公開性、公平性和競爭性。

3.政府算料供給中引入公眾參與

數據是算法生成的原料輸入,正所謂垃圾進垃圾出(Garbage in,Garbage out),算料質量對于算法的精準性、有效性有著決定性的影響。為此,獲取海量、全面、準確的公眾特征與行為數據以進行算法訓練是政府算法生成的前提,而這樣的數據正是仰賴千千萬萬的社會公眾得以生成。為了提高算料質量,降低算料數據的缺損和偏差,政府和公眾可以應用合作生產工具實現算料的共同生產與合作供給。一方面,政府要提供數字化、數據化、智能化的線上公共產品與服務。數字化服務的優勢就是能夠實時在線把握需求的變化和趨勢。為此,政府通過創設數字化的公共產品和服務,吸引公眾體驗和消費,進而才能生成政府算料所需的公眾需求、偏好與行為數據。另一方面,社會大眾要適應數字化的時代轉軌,積極提高自身數字素養和技能,積極體驗數字政府場景中的各種數字平臺、工具和設備,積極參與線上的數字政民互動,既提高自身的公共信息與服務的獲取效率,也為政府算法治理提供源源不斷的公眾數據基礎。此外,在算料采集階段,針對是否能自動采集公眾數據,能采集哪些數據,以什么樣的方式來采集和利用公眾數據,如何保障公眾的隱私權等重大決策,應在制度設計和決策咨詢中引入算法公開、專家咨詢、聽證等公眾參與方式,進行政府算料采集的事前審查與評估,保障公眾的算料知情權,提升算料來源的透明度。

4.政府算法訓練階段引入公眾參與

雖然機器學習算法日益智能和自主,但是它的有限理性困境以及算法訓練程序也為人為干預提供了參與空間。每種機器學習算法都可被概括為“表示方法、評估、優化”這三個部分,盡管機器可以不斷地自我優化以提升學習能力,且原則上可以學習任何東西,但評估的方法和原則以及用以評估的數據都是人為決定的[38]。這意味著算法訓練中的數據輸入、目標原則、價值偏好是可以進行人為干預的。事實上,各種算法生成方法當中,除了無監督學習的人為干預較少,機器學習中的有監督學習、半監督學習都提供了人機交互的空間。而正是這些人機交互空間為算法研發者和社會公眾參與提供了可能性。為了提高算法的針對性和精準性,除了引入算法技術專家的干預,可以將公共治理專家以及普通公眾引入其中。治理專家和公眾代表可以與算法技術專家一道共同設定算法訓練的目標和原則,共同確定算法訓練的模型與方法,提高智能算法與公眾需求、偏好的匹配性。除此之外,在算法訓練階段還可引入普通公民參與以算法初步產品與服務進行試驗性的體驗,給在算法產品設計階段提供算法精準性、智能性的優化與改進建議。總之,在算法訓練階段引入公眾參與既避免了算法技術脫離人類的干預和控制,也避免了少數算法精英對算法設計的壟斷,進而提高算法設計的民主性。

5.政府算法應用階段引入公眾參與

算法大多以程序模型的虛擬形式存在,但卻以各種數字化及智能化的應用、平臺、設備乃至機器人為終端應用載體。例如:政府治理中常見的各類政務機器人,智能化的決策、建議、預警、指揮平臺等,這些智能公共產品和服務的背后都是算法技術在驅動。在政府算法應用階段,引入多樣化的公眾參與形式可以提高智能算法產品和服務應用的透明度和有效性。其公眾參與的方式包括:一是建立公眾參與的政府算法應用備案審查制度。由科技企業研發的具體智能算法產品與服務終端是否可以引入到特定場景,其產品作用、性能、風險防范等是否達到算法治理制度要求,都需要算法產品審查機制予以明確。為此,通過專家咨詢、聽證、公眾體驗等方式來征求公眾的反饋意見,經過公眾參與的算法審查合格的智能算法產品才能嵌入政府治理領域當中。二是實施智能算法產品應用公示公開制度。政府治理場景的各種智能算法平臺、設備與產品應進行應用信息公示制度,告知潛在的產品使用者該項智能算法產品的研發主體、算法規則、應用目的,保障算法產品的應用對象的知情權。三是建立公眾對智能算法產品和服務的反饋與改進機制。社會公眾作為智能產品和服務的最終體驗者,來自使用者的反饋信息是算法優化與改進的重要依據。因此,可以應用公眾調查和共同生產工具,廣泛收集公眾對人工智能產品的反饋信息,與社會公眾就算法的改進優化進行協商討論。此外,還可以建立政府算法產品和服務的第三方評估機制,引入專家參與診斷算法應用的效果和風險,幫助政府算法的可持續改進。

經由上述建構,一個由公眾參與驅動的包容性政府算法治理體系躍然顯現,它依賴公眾全過程、多途徑地參與算法產品和服務的設計、利用和反饋,并形成政府算法治理中良性的政民互動格局,以構建算法共同設計、共同使用、共同改進的可持續算法治理機制。

四、結語

在大數據和人工智能時代,算法技術正在全面走進政府治理場景,依算法實施數字化、智能化治理正在成為政府變革方向。然而,在算法技術引入政府治理的初期,技治主義邏輯和工具理性特征明顯,他們驅動了政府算法治理走向了封閉和排斥公眾參與的技術困境,損失了算法治理的有效性與合法性。將公眾參與引入政府算法治理當中,有利于削弱算法技術及其算法研發者的技術霸權,重塑政府算法治理的價值理性并與工具理性相平衡,生成政府算法治理應有的參與性、開放性、包容性、民主性等公共價值理性訴求。從排斥公眾到包容公眾的算法治理體系構建,需要創新政府與公眾的算法互動工具,重構算法技術嵌入政府治理的流程,通過算法社會公開、公眾調查、聽證、治理專家參與、合作生產等參與工具的創設,并有機地嵌入算法制度設計、議程決策、算料供給、算法訓練、算法應用的全過程,構建參與式的政府算法治理系統。

參考文獻:

[1]

孫慶春,賈煥銀.算法治理與治理算法[J].重慶大學學報(社會科學版),2019(1):1-10.

[2]張紅春,章知連.從算法黑箱到算法透明:政府算法治理的轉軌邏輯與路徑[J].貴州大學學報(社會科學版),2022(4):65-74.

[3]張凌寒.算法自動化決策與行政正當程序制度的沖突與調和[J].東方法學,2020(6):4-17.

[4]張寧英.開放政府視角下的智慧城市建設[J].電子政務,2014(10):105-119.

[5]VANOLO A.Smartmentality:the Smart City as Disciplinary Strategy[J].Urban Studies,2014(5):883-898.

[6]譚九生,范曉韻.算法“黑箱”的成因、風險及其治理[J].湖南科技大學學報(社會科學版),2020(6):92-99.

[7]姜野,李擁軍.破解算法黑箱:算法解釋權的功能證成與適用路徑:以社會信用體系建設為場景[J].福建師范大學學報(哲學社會科學版),2019(4):84-92+102+171-172.

[8]張凌寒.風險防范下算法的監管路徑研究[J].交大法學,2018(4):49-62.

[9]孫清白.人工智能算法的“公共性”應用風險及其二元規制[J].行政法學研究,2020(4):58-66.

[10]劉永謀.福柯論技術治理[J].貴州大學學報(社會科學版),2022(3):9-22.

[11]彭勃.技術治理的限度及其轉型:治理現代化的視角[J].社會科學,2020(5):3-12.

[12]韓志明,劉華云.計算、算法和算力:基于信息的國家計算邏輯[J].探索與爭鳴,2021(3):73-81+178.

[13]鄭崇明.警惕公共治理中算法影子官僚的風險[J].探索與爭鳴,2021(1):103-109+179.

[14]蘇光.中國社會治理的價值訴求:基于工具理性和價值理性的統一[J].理論探討,2014(3):24-26.

[15]張康之.公共行政:超越工具理性[J].浙江社會科學,2002(4):3-8.

[16]董石桃.公民參與的價值認知及其發展:基于西方行政思想史的考察[J].中國行政管理,2013(7):45-49+119.

[17]劉永謀.論技治主義:以凡勃倫為例[J].哲學研究,2012(3):91-97+104+128.

[18]韓萬渠,韓一,柴琳琳.算法權力及其適應性協同規制:基于信息支配權的分析[J].中國行政管理,2022(1):33-39.

[19]何哲.人工智能時代的政府適應與轉型[J].行政管理改革,2016(8):53-59.

[20]譚九生,楊建武.人工智能嵌入政府治理的倫理風險及其防控[J].探索,2021(2):126-138.

[21]董慧,李菲菲.大數據時代:數字活力與大數據社會治理探析[J].學習與實踐,2019(12):20-27.

[22]郭小聰,代凱.近十年國內公民參與研究述評[J].學術研究,2013(6):29-35.

[23]STEWART K.Write the Rules and Win:understanding Citizen Participation Game Dynamics[J].Public Administration Review,2007(6):1067-1076.

[24]YANG K,CALLAHAN K.Assessing Citizen Involvement Efforts by Local Governments[J].Public Performance & Management Review,2005(2):191-216.

[25]孫柏瑛.公民參與形式的類型及其適用性分析[J].中國人民大學學報,2005(5):124-129.

[26]徐貴權.論價值理性[J].南京師大學報(社會科學版),2003(5):10-14.

[27]NESHKOVA M I,GUO H.Public Participation and Organizational Performance:evidence from State Agencies[J].Journal of Public Administration Research and Theory,2012(2):267-288.

[28]王建容,王建軍.公共政策制定中公民參與的形式及其選擇維度[J].探索,2012(1):75-79.

[29]HALACHMI A,HOLZER M.Citizen Participation and Performance Measurement:operationalizing Democracy Through Better Accountability[J].Public Administration Quarterly,2010(3):378-399.

[30]路陽,莊虔友.參與式治理視角下的地方政府制度創新[J].云南社會科學,2011(3):14-18.

[31]LEE M K,KUSBIT D,KAHNG A,et al.We Build AI:participatory Framework for Algorithmic Governance[J].Proceedings of the ACM on Human-Computer Interaction,2019(3):1-35.

[32]郭小聰,代凱.公民參與的爭辯與經驗研究:十五年來海外相關研究述評[J].廈門大學學報(哲學社會科學版),2014(3):29-41.

[33]ARNSTEIN S R.A Ladder of Citizen Participation[J].Journal of the American Institute of Planners,1969(4):216-224.

[34]王錫鋅.公共決策中的大眾、專家與政府以中國價格決策聽證制度為個案的研究視角[J].中外法學,2006(4):462-483.

[35]張云昊.政策過程中的專家參與:理論傳統、內在張力及其消解路徑[J].中國行政管理,2021(1):98-104.

[36]陳建國.合作生產理論與公共服務治理的思維轉換[J].天津行政學院學報,2012(2):63-67.

[37]張云翔.公共服務的共同生產:文獻綜述及其啟示[J].甘肅行政學院學報,2018(5):31-45+126.

[38]賈開,蔣余浩.人工智能治理的三個基本問題:技術邏輯、風險挑戰與公共政策選擇[J].中國行政管理,2017(10):40-45.

(責任編輯:楊 洋 楊 波)

From Exclusion to Public Acceptance:the Generation Logic and Implementation

Path of Algorithm Governance for Participatory Government

ZHANG Hongchun,SONG Hong

(School of Public Administration,Guizhou University,Guiyang,Guizhou,China,550025)

Abstract:

With the advent of the era of big data and artificial intelligence,algorithm technology is increasingly widely embedded in the process of government governance,and algorithm governance is becoming a new way of government governance.However,driven by the dual logic of technocracy and instrumental rationality,the algorithm governance of the government is increasingly closed and excluding public participation,which reduces its effectiveness and legitimacy.Should the public participate in the government algorithmic governance,and how to make their participation effective? This paper conducts theoretical research on the above topics.Analysis shows that the introduction of algorithm technology into public domain should follow the public reconstruction of technology,and public participation is an effective way to balance the lack of value ratio.The reshaping is to develop algorithm tools of public participation such as releasing algorithm to the public,public investigation,hearing,participation of governance experts,and joint production,and embed the tools into the whole process including design of algorithm system,agenda decisions,material supply,algorithm training,algorithm application.Thus,we can build an influencing system of public algorithm.

Key words:

digital government; algorithm governance; artificial intelligence; big data; public participation;algorithm participation; algorithm literacy

收稿日期:2023-01-08

基金項目:

2021年國家社會科學基金資助項目“地方政府公務員大數據素養的結構、測度與培育路徑研究”(21CZZ035)。

作者簡介:

張紅春,男,四川巴中人,博士,貴州大學公共管理學院副教授、碩士生導師。

宋 洪,男,貴州晴隆人,貴州大學公共管理學院碩士研究生。

主站蜘蛛池模板: 亚洲欧美日韩成人在线| 欧美亚洲激情| 色成人综合| 天堂岛国av无码免费无禁网站| 久夜色精品国产噜噜| 99热这里只有精品在线观看| 亚洲av成人无码网站在线观看| 国产91特黄特色A级毛片| 伊人久久大香线蕉综合影视| 成人午夜天| 中文纯内无码H| 国产精品自在拍首页视频8| 国产1区2区在线观看| 国产福利免费视频| 久久男人资源站| 极品国产一区二区三区| 中文字幕有乳无码| 天天爽免费视频| 日本欧美视频在线观看| 成人国内精品久久久久影院| 天天躁日日躁狠狠躁中文字幕| 澳门av无码| 亚洲欧美国产五月天综合| 日韩一区二区在线电影| 中文字幕1区2区| 国模沟沟一区二区三区| 午夜精品福利影院| 成人一级黄色毛片| 五月天天天色| 欧美黄色a| 国产精品免费福利久久播放| 三上悠亚精品二区在线观看| 亚洲国产中文欧美在线人成大黄瓜| 最新精品国偷自产在线| 久久无码av三级| 亚洲制服丝袜第一页| www中文字幕在线观看| 无码区日韩专区免费系列| 成人国产一区二区三区| 午夜福利视频一区| 婷婷色一二三区波多野衣| 日韩小视频在线播放| 国产精品一区二区久久精品无码| 国产午夜精品鲁丝片| 不卡视频国产| 中文精品久久久久国产网址| 老熟妇喷水一区二区三区| 国产免费自拍视频| 国产H片无码不卡在线视频 | 永久免费av网站可以直接看的| 自拍偷拍欧美日韩| 无码中文字幕乱码免费2| 久久国产高清视频| 国产成人AV综合久久| 欧美区一区| 日韩最新中文字幕| 亚洲最大情网站在线观看| 99久久国产自偷自偷免费一区| 日韩午夜福利在线观看| 亚洲侵犯无码网址在线观看| 国产亚洲美日韩AV中文字幕无码成人| 欧美日韩国产精品综合| 中文无码日韩精品| 午夜精品国产自在| 国产成人高清精品免费5388| 精品无码国产一区二区三区AV| 久久鸭综合久久国产| 伊人久久福利中文字幕| 日本高清在线看免费观看| 26uuu国产精品视频| 国内自拍久第一页| 免费国产高清视频| 中文字幕亚洲电影| 亚洲人成色在线观看| 欧美日在线观看| 重口调教一区二区视频| 免费不卡视频| 久操线在视频在线观看| 四虎影视库国产精品一区| 91小视频版在线观看www| 伊人AV天堂| 亚洲天堂免费|