999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

新興技術風險的挑戰及其適應性治理

2021-01-26 05:48:48張樂
上海行政學院學報 2021年1期

摘? 要: 新興技術風險是伴隨著第四次工業革命的澎湃發展而日漸顯現的陌生風險。此類風險有著比傳統風險更高的漸進性、隱藏性、耦合性和高度的不確定性等特征。傳統的風險治理體系在思維模式、管理體制、治理機制與方法乃至治理文化氛圍上都不太適應新興技術風險帶來的新變化與新挑戰。有必要推動公共管理部門的風險治理轉型,積極開展新興技術風險的適應性治理,堅持主動性、前瞻性和包容性原則,在結構可塑性、制度匹配性、機制彈性和時機靈活性等多個方面進行調適與改進,不斷提升新興技術風險的治理效能。

關鍵詞: 新興技術風險;適應性治理;技術革命;治理轉型

中圖分類號: F062.4? ? ? ? 文獻標識碼:A? ?文章編號:1009-3176(2021)01-013-(15)

當今世界的發展日新月異,人們對未來充滿憧憬和希望,公共管理部門也在想方設法規避混亂和失序。但世界總是存在著各種各樣的不確定性,社會生活中總也有著這樣那樣的危險和威脅,讓人們不得不為有效應對現實和潛在的風險而費盡心思。時代在變,風險的種類和來源也在發生變化。當大多數人還在討論如何從城市高層建筑火災中逃生、如何有效減少臺風侵襲與城市內澇的損失以及怎樣才能提前預報地震等傳統風險與災害的時候,新興技術風險及其帶來的新的威脅又讓人類社會面臨著更大的挑戰。它們與傳統風險一起,給如今的世界增加了新的、更大的不確定性,各類治理主體尤其是公共管理部門識別、防范和治理風險的任務變得更加繁重而艱巨。

一、第四次工業革命與新興技術風險

1.新一輪工業革命與新興技術

科學技術是第一生產力,科技也是人類文明進步的核心動力。近代以來,人類社會先后經歷了三次科技推動的工業革命:蒸汽機的發明驅動了第一次工業革命,流水線作業和電力的使用引發了第二次工業革命,半導體、計算機、互聯網的發明和應用催生了第三次工業革命。每次的工業革命都給人類帶來了深遠的影響,而今,人類社會已經悄然開啟了第四次工業革命大幕。根據世界經濟論壇創始人兼執行主席克勞斯·施瓦布(K. Schwab)的理解,新一輪工業革命以人工智能、大數據與區塊鏈技術、基因生物技術和量子信息技術為代表,其核心是智能化與信息化[1]。本輪工業革命不斷整合數字技術、物理技術和生物技術,試圖形成一個完整的技術生態環境,進而創造出一個高度靈活、智能化和數字化的全新生產與服務模式,并以前所未有的速度、廣度和深度改變著人類社會的生產方式、生活方式、關聯方式乃至治理方式,將人類文明推向新的高度。包括中國在內的世界各強國紛紛響應第四次工業革命的“號角”,從國家戰略、產業政策和行業發展多個方面發力,積極實施本國的新興技術發展戰略。

第四次工業革命的開啟以新技術的興起與發展為主要標志。新興技術(Emerging technology)的概念通常認為是由沃頓商學院新興技術管理研究小組首先提出的,其在《沃頓商學院管理新興技術》一書中將新興技術界定為建立在科學基礎上的技術革新,這類技術有可能創立一個新行業或者改變某個老行業,具有較大的顛覆性和不確定性特征[2]。全球結構和標準工作組將新興技術定義為已經可以成功實現的,但是還沒有被廣泛運用的、沒有足夠成熟的技術[3]。國內研究者如李仕明等人則認為,新興技術是正在涌現且具有廣闊的市場潛力,可能導致產業、企業、競爭及其管理思維、業務流程、經營模式發生極大變革的技術[4]。綜合以上論述,本文認為所謂新興技術是在第四次工業革命的大背景下興起的、具有突出創新性的、很可能對未來產業發展乃至經濟-社會結構都產生巨大影響的技術。新興技術涵蓋的范圍非常廣泛,而且不斷有更多的技術呼之欲出,本文比較贊同《第四次工業革命:行動路線圖》一書有關新興技術的分類:拓展的數字技術(如量子計算技術、區塊鏈技術、物聯網)、改變物理世界的技術(如人工智能、先進材料、3D打印和無人載具)、改變人類自身的技術(如基因生物技術、神經技術、虛擬現實與增強現實技術)和整合環境的技術(新能源技術、地球工程和空間技術)等四大類[5]。這些新興技術涉及人類的生物結構、智能、經驗和生存環境等關鍵環節,一旦發展成熟將會產生難以估量的深遠影響。就目前情況判斷,新興技術大多具備三個基本特征:一是“新”,其在時間和內容上都是以往社會未曾出現過的,創新特質明顯;二是“興”,此類技術具有正在興起、不斷涌現的特征,很多技術還正處于不斷探索和發展之中;三是“顛覆性”,從前景來看,這些技術可能會創造一大批新行業或者改變一些傳統行業,甚至從根本上重塑商業模式、經濟結構、生活方式并改變社會的發展軌跡。

2.新興技術風險及類型

風險通常被認為是危險事件給個人或社會帶來的意外損失的可能性,新興技術風險可以被理解為新興技術發展過程中有可能帶給人類社會的各種負面影響或效應的總稱。在眾多有關新興技術的顛覆性影響中,那些關涉人類社會的現實和長遠利益的、未知的、負面影響也即新興技術的風險問題最能引發人們的想象和關注。當一個新事物越是被認為是大勢所趨,它越是備受追捧的時候,越需要用更加冷靜的視角看待它。有識之士對待技術的態度也是如此。早在20世紀50年代,控制論的倡導者維納(N. Wiener)就曾指出,新工業革命是一把雙刃劍,可以用來為人類造福,如果我們不理智地運用它就有可能毀滅人類[6]。薩頓(G. Sutton)在對科技效應的評論中斷言,就建設性而論,科技的精神是最強的力量;就破壞性而論,它也是最強的力量[7]。歷史經驗也告訴人們,凡事都有矛盾的兩面,技術的發展的A面是其應用與推廣極大地增進人類的福祉,推動文明的進步;B面則是它的研發與成熟過程也充滿了未知、不確定和各種隱患,時不時給人類社會帶來巨大災難。1984年印度博帕爾毒氣泄漏事故曾導致55萬人受傷和1.3萬人喪生,1986年蘇聯切爾諾貝利核事故直接導致4000多人死亡和9萬多人遭受嚴重核輻射的終身傷害。這些載入史冊的重大工業事故中或多或少都與技術的風險問題緊密相關。進入20世紀90年代以來,計算機和互聯網的發展同樣帶來了屢禁不止的電信詐騙和大規模的網絡攻擊,成為新技術應用過程中揮之不去的副產品。雖然第四次工業革命起步不久,與之相關的新興技術方興未艾,但這一輪的技術風險已初露端倪:大數據時代的隱私泄漏、無人載具的安全隱患、人類基因編輯技術的濫用與倫理風險以及人工智能對就業的替代效應與擠出壓力①等嚴重問題,同樣提醒著社會不能對此類風險掉以輕心。

本質上講,包括新興技術風險在內幾乎所有的科技風險都屬于貝克(U.Beck)所言的現代化風險范疇。貝克認為,通過人力與技術力量導致在現代化進程中,生產力呈現指數式的增長,這使危險和潛在威脅的釋放達到了一個前所未知的程度[8]。作為根植于人類現代文明的風險形態,新興技術風險又可以分為內部風險和外部風險兩大類:內部風險源自人類理性限度和知識能力的不完善程度,而外部風險則多數由內部風險外化,在環境影響下對人類社會產生的負面效應。新興技術的內部風險主要存在于技術的設計與研發階段。在設計階段,由于設計者對新興技術的構思或設想考慮不夠全面,致使技術系統存在先天“缺陷”,導致技術不穩定或安全隱患,容易引發各種安全事故。在研發階段,則存在由于技術研發項目本身的難度和復雜性以及技術研發人員自身知識和能力的有限性所導致的技術研發失敗的危險。新興技術的外部風險主要發生在技術應用階段,它是指由于新技術成果在產品化、產業化的過程中所帶來的一系列不確定性的負面影響或效應,可能致使個體、社會和國家利益受損以及人類生存環境遭受破壞的各種風險。此類風險包括對已有人工物和生態環境可能造成的物理性傷害,對個體的健康、安全、隱私、就業等基本權利可能造成侵害的風險以及給國家安全、社會公平、社會秩序帶來沖擊和不穩定的各種隱患。可見,無論是新興技術的內部風險還是外部風險,也都可以歸為吉登斯(A.Giddens)宣稱的人造風險,此類風險由人們不斷發展的知識對這個世界所產生的影響引發,是人類在沒有多少歷史經驗的情況下所產生的新風險[9]。當然,每個時代有其自身獨有的科學技術體系,也就都會面臨這些根植于現代文明中的人造風險的威脅。那么,作為21世紀新興的、具有顛覆性和廣泛應用前景的新興技術,其所蘊含或觸發的風險又具備哪些新特征呢?面對這些新變化和新情境,治理體系尤其是公共管理部門是否已經做好準備迎接新的挑戰?本文將嘗試性地加以解析與回應。

二、新興技術風險的基本特征

1.生成的漸進性

與很多事物一樣,新興技術風險的生成具有漸進性,它是隨著新興技術一起逐步產生和不斷累積的。任何一項技術的發明創造都來之不易,越是那些顛覆性的技術,越需要長期的積累。以人工智能為例,如果從1956年人工智能概念首次在美國達特茅斯學院的研討會上被提及算起,它發展到今天也有60多年的歷史。這幾十年間,人工智能的發展先后經歷了兩次低谷,其研發過程中的技術缺陷和瓶頸限制了人工智能的跨越式發展。正是如此,這項新技術一直沒有得到廣泛的應用,其內生缺陷與風險被控制在有限范圍內,鮮為人知。在21世紀,隨著大數據、云計算和物聯網等技術的突破性發展,人工智能在算法、算力和數據三大因素的共同驅動下進入了第三次發展浪潮,其應用和服務已經相當廣泛,對普通人的影響也越來越明顯。這時,與之相伴的各種安全隱患和社會風險也越來越受關注。在人工智能深度參與甚至主導的各類活動中,安全隱患、隱私泄漏、深度偽造和算法歧視等一系列問題逐步暴露在世人面前。可見,技術的創新需要長時間積累,風險的暴露同樣有一個較長的過程。人工智能這類新興技術經歷了一個由量變到質變的轉化過程,它所蘊含的技術風險也存在一個逐步顯現并演化的發展階段。可以預言,如果不做任何干預和準備,那么隨著這些新興技術的不斷發展成熟,以它們為基礎的各種應用和服務將會全方位、深刻嵌入到人類社會,那時或許會有更多的隱患和風險持續顯現出來。

2.危險的隱蔽性

基于技術迭代的原因,新興技術要比舊有技術更先進,在高新技術企業和政府的推動下,短時期內新興技術的收益總會被“夸大”,這種誤導性宣傳策略容易讓公眾更多著眼于新技術帶來的好處,而對其風險置若罔聞。與前面的漸進性相關,很多新興技術的災難性后果在其發展的早期無法被準確地預測,無論是業界還是監管部門都對這些新技術系統認識不清,對其危害也想象不足,更談不上有效控制,這些都讓新興技術風險及其危害多了一些隱蔽特性。更為重要的是,與以往的技術革新不同,第四次工業革命中的核心技術創新更加復雜且很容易形成“閉環”,這些技術一旦形成體系,普通人和一般性規范很難干預其運作,更談不上糾偏。類似人工智能、納米材料、物聯網和神經網絡技術,每一項都具有極高的知識和技術門檻,而當前的發展趨勢則表現為這些新興技術的不斷交叉,出現了融合人類神經網絡和納米級可感可變技術的智能物聯網系統,成為弗洛里迪(L. Floridi)所言的“三級技術系統”,一種將人類媒介從技術循環的回路中“去除”的高度自主的技術系統。這類新興技術系統具有類人類社會的甚至是超人類社會的自主性和涌現性,讓其變成了一個“超級黑箱”,普通人既不能了解它們的運作機制,也無法判斷系統決策的依據及合理性,新技術系統成為了人們眼中“不可控制且難以理解”卻又不得不遵循、不得不依賴的體系。這時候,即便是新技術系統由于自身缺陷的原因對普通人做出了權益侵害、算法歧視乃至人身傷害等錯誤行為,人們也難以及時發現,或者發現時也無力反擊以切實維護權益。

3.風險的耦合性

傳統社會尤其是農耕社會,人們對于自然和自身的認識都非常有限,那時的技術只是人與自然之間的媒介,技術對人類社會的影響范圍和深度存在明顯邊界。多數技術的作用領域較為單一,技術與技術之間的系統性和耦合性聯系不明顯。技術的更新換代緩慢,其發展所帶來的好處和風險也多限于應用場景之中,對人類社會整體的負面影響需要相當長的時間才能顯現出來。這使得無論是技術的自身隱患還是其對自然的破壞,或者二者交互作用的影響給全社會帶來的危害的程度都是有限的,通常情況下也是可控的。現代社會的情景則完全不同。工業社會發展到第四次革新階段,技術變革不再局限于某一單一領域,而是全領域、全技術要素的突破和創新。新興技術集群不斷出現,創新在多學科、多領域集中爆發,其間學科領域的交叉與融合趨勢愈加頻繁,這又催生了更多復合型新技術,不斷模糊著物理世界、生物世界和數字世界的界限,正在徹底改變著人類社會的技術生態結構和運作規律,讓技術體系有機會全面滲透到文明社會的各個層面,對社會的政治、經濟和文化產生顛覆性的深遠影響,這其中當然包括技術風險的負面影響。比如,不斷發展的城市化、工業化和信息化讓人與人、人與社會更加緊密地融合在一起。以各類新技術為基礎,交通系統、能源系統、通信系統、金融系統等現代文明體系更讓每一個人彼此聯通。而這些促使社會進步、讓生活變得美好的各種人工系統自身也越來越緊密地“嵌套”在一起,它們相互協作、共同運轉,整個社會乃至世界都依賴于這些系統的平穩協作運轉。它們構成了現代社會的復雜技術網絡,高度的聯通性和相互依賴性,可以帶來高效率的生產和便捷的生活,同時也讓單一系統的“安全邊界”消失[10],各系統縱橫交錯,這其中蘊含著極大的錯誤疊加與連鎖反應的風險。這些系統性錯誤一旦發生,就會被互相聯通的其他系統傳導和放大,產生有別于單一簡單系統的非線性疊加錯誤,給整個社會乃至全球政治-經濟體系帶來巨大沖擊。可以說,在全球化的推動下,各種新興技術風險的“蝴蝶效應”更加明顯,沒有任何一個國家、社會和民族能在世界性危機中獨善其身。

4.整體的高度不確定性

21世紀的今天,人類對于自然界乃至自身的認知依然稱不上深刻。自然中未被探知的領域還有很多,而即便對于那些稱得上是有所認識的自然世界的一部分的真實機理,人類現有的知識也常常表現出“一知半解”甚至是無能為力[11]。就算是面對完全“人造”的技術問題,也很難說都能有效掌控,人類不再那么“確定”和“自信”了。很多時候,科學家和業界精英對于某些新興技術能否研發成功、應用成熟的具體時間、能否穩定商用以及安全可控性究竟如何等一系列關鍵問題的回答也沒有十足的把握。第四次工業革命的浪潮開始席卷全球,科學技術的進步速度讓世人感嘆自己已經跟不上時代的步伐。永無止境的變革讓新技術、新產品和新服務層出不窮。這些新出現的人工物在極大地滿足人類各種需求的同時,也在持續地改變著人類互動的模式和整個社會的深層次結構。而創新事物出現得太多、更新得速度太快,對它們的剛性監管與約束來不及做出對應的改變,“時間差”導致創新思想、技術、產品和服務存在被誤用、濫用和錯用的巨大風險。令人遺憾的是,對于這些已經顯現的或潛在的后果,整個社會都缺乏深入的認識,還沒有給予充分的討論,更沒有設計出可以吸納新興風險并有效糾錯的系統規制。各治理主體對于新技術、產品和服務中包含的風險誘因、發生概率以及影響程度缺乏科學的分析,面對新興風險高度不確定性和非線性疊加效應缺少研究,更沒有給出建設性指導或可行性應對措施的應對指南。一旦新興技術風險的規模、影響深度和作用方式超出現有風險治理和應急管理的能力范圍,既有治理框架就很難駕馭和控制后續災害后果的蔓延與傷害,其所帶來的長期性社會風險、經濟衰退和社會文化心理的負面變化等損失更是難以估量。這一切都讓“技術讓生活更美好”的發展愿望實際上充滿了未知的、高度的不確定性。

三、公共管理部門治理新興技術風險面臨的挑戰

做好各類風險的預警與先期防范,有效化解各種矛盾和風險從來都是公共管理部門的核心職責之一。面對像新興技術風險這類具備高度不確定性和價值爭議的未知風險時,公共管理部門的責任更加重大,風險治理的任務也會變得更加繁重。只不過,讓立法機構、政府及其職能部門對已有的政策法規做出重大調整甚至要求其重建規則,以積極主動的姿態應對高度不確定的新興技術風險,這本身幾乎是一個與治理新興技術風險近乎等量的挑戰。其中涉及的治理思維、體制、機制乃至政策法規修訂與文化建設的根本性改變都不是朝夕可成。

1.治理思維不易轉變

線性思維難以應對復雜新興技術風險。長久以來,公共管理部門都習慣用熟悉的線性思維處理身邊乃至全球性難題。簡單歸因讓人們自以為洞悉了世界的變化規律,總是因循著“A的某一比例的變化會導致B的比例改變”的思路,自信滿滿地進行著各種決策。在第四次工業革命背景下,不同技術系統之間不僅進行了高度交叉與融合,而且產生了更為復雜的交互影響,都讓這些新興技術風險與人類社會的連接形式、作用方式和作用效果等方面的關聯變得不再那么線性,也不再那么顯而易見,在此基礎上呈現的多元的系統性變化和影響,既非固定比例也不一定彼此兼容。如果認不清這一點,不能在思維方式上徹底做出改變,那么再熟悉的線性思維也無法應對新興技術帶來的非線性風險挑戰。

被高估的“系統韌性”。一直以來存在著這么一種觀點,也即認為萬事萬物都有自己的運行法則,復雜系統(無論是自然界還是人類社會)即使遭遇擾動和破壞,如果給予其足夠長的時間,往往也能夠通過“自身”的力量恢復到原初的狀態[12]。被污染的自然界憑借強大的“自潔能力”可以逐步修復生態,而人類社會好像總是能憑借新的科學發現和技術進步為風險難題提供意想不到的創造性解決方案等等,這一切似乎都成為了“自然平衡”原則可信且有用的注解。20世紀羅馬俱樂部關于“增長的極限與世界災難即將來臨”[13]的預言被科技的發展所打破的案例進一步增強了“系統具有驚人韌性”的信念。然而,也有歷史經驗教訓表明,這個信念并不完全可靠。人類所依賴的系統韌性沒有想象的那么強大,恢復力創造出的“安全邊界”很有可能是虛幻的自我安慰。100多年前,瑞典科學家就曾預言全球溫室氣體持續排放的惡果,但他們的警示被“樂觀”地忽略了一個多世紀[14],迄今為止,新的科學技術依然沒能妥善地解決這個工業化風險所帶來的全球性技術難題,全球氣溫變暖的趨勢反而越發難以遏制。

質疑科技的新進展具有“高風險”。盡管從來不乏有識之士堅稱科學技術的發展是一把“雙刃劍”并提出了許多警示性和建設性的對策,但是,主流社會并沒有因此而否認科技進步的價值,即便是這個進步會帶來新的、未知的風險的情況下依然如此。畢竟絕大多數公共部門都認為,新科技雖然有風險,但其發展及所帶來的多數后果還是積極的。幾乎每次科技的重大發現、發明和創新都被認為是推動著人類文明向前邁進的動力,而不是相反。可以毫不夸張地說,人類文明史就是科技進步的歷史。“科技改變生活”,既是一句廣告語,也是當今世界普遍認同的價值觀。科技進步的積極正面意義如此之大,以至于任何質疑科技的進步及其未被也很難在短期驗證的未知風險的活動,其本身就是一件“風險極大”的冒險行為,很容易被扣上“開歷史倒車、阻擋文明進步”的帽子。從這個意義上講,社會普遍缺乏對科技發展所蘊含的未知風險的批判性反思氛圍,才是治理新興風險過程中遇到的深層次障礙。

2.治理體制改革阻礙重重

應急管理的“虹吸效應”過于顯著。目前,國內針對技術領域的安全防范與風險治理主要放在了其應用運行階段的監控和管理方面,對于新興技術在研發和測試階段的風險治理問題的重視程度不足。實際上,在“風險-災害-危機”這個連續系統中,風險治理處于前段,對災害事故的應急位于中段,危機管理則屬于善后[15]。在新興風險背景下,長期性、彌散性和慢性的風險類型較多,等到其造成重大災難需要應急管理的時候,后果一般都是十分嚴重的,造成的損失甚至是難以挽回的。因此,需要把資源和精力更多地投入到風險治理的制度性設計、政策安排和機制實施等環節上,未雨綢繆是基本原則。很遺憾,從世界范圍看,真正貫徹這一原則的政府并不多,多數政府有其自身的運行定式。在國內,高效率的應急管理體系的建設,從2003年算起至今也經過了17個年頭,建設成果斐然,有目共睹,同時該體系也在逐步產生制度慣性與路徑依賴:政府、企業和社會都特別關注災害救援和緊急避險方面的行動,在應急上的體制改革和機制創新與資源投入呈現出正比例關系[16]。這種應急管理“一枝獨秀”的情況并非幸事,應急的“虹吸效應”很容易讓處于前端的風險治理環節的資源投入和制度建設被忽略或減少,這對于風險的早期識別與預警工作的開展將十分不利。

轉變治理的設計思路。建立綜合治理的架構,首先需要從治理思路上做出根本性的調整與變革。新興技術風險的耦合性和非線性疊加讓各類單一的治理主體的治理效果大為減弱。公共管理部門的政策決斷涉及國家層面和全社會維度,在應對新興風險時,需要跳出單風險治理的孤立視野和狹隘的部門利益等視野局限,做出跨層級與跨部門整合的設計思路,并且有效吸納利益相關者的充分參與。在組織架構上,有必要將所有與風險問題有利害關系或對其管理感興趣的組織和個人匯聚起來集思廣益,以制定出更加行之有效的公共政策。畢竟,新興技術風險是新出現的帶有未知屬性的風險,無論是政府部門還是業界更遑論普通公眾對其的了解都稱不上全面。因此,針對新技術風險問題,廣泛參與和集體討論是進行科學風險評估與決策分析的必要條件。當然,廣泛參與和充分討論是建立在證據的基礎之上,掌握相關風險信息的組織和個人需要共享這些信息,為討論達成共識提供必需的證據材料[24]。這就要求政府部門和企業、社會組織與媒體和公眾等利益相關者開展透明性的風險溝通,將新技術、產品或服務的不確定性和可知風險公布于眾,讓其他利益相關者充分表達自己的看法甚至是擔憂,供公共部門制定政策時參考。

優化治理結構。新興技術風險的起因、過程和影響都不是簡單線性的固定程式,很難確定最終會在哪一個固定的環節或只針對哪一些特定人群造成意外的后果。因此,公共管理部門想要具備應對這種復雜性和不確定性的能力,需要在治理體系和結構上做出深度變革。建立綜合風險治理管理機構是目前國際先進的應對方法。面對此類跨界的系統性風險,公共管理部門之間的整合尤為重要,這有助于制定有效的管理方案并實施決策。其中,最關鍵的環節就是要學習如何將不同部門的風險治理行動納入到綜合風險評估體系之中,府際之間和部門之間的溝通與協作必不可少。綜合治理新興技術風險可以借鑒的現成經驗不多,但一些國家和地區公共治理體系開始嘗試開展的綜合風險治理形式值得肯定。比如,為新興風險及其影響提供證據的綜合評估的“全災害”國家風險評估結構和流程系統[25];涉及所有政府部門及其風險管理領域的“整體性政府或整體性治理”的整合風險管理體系[26];讓社區居民廣泛參與不確定性復雜風險因素討論的“全社區”風險治理體系[27]。這些治理結構為新興風險的識別、影響及其解決策略提供了有效的討論場域和資源與權力分配機制。歐盟和日本、新加坡等國家通過上述治理結構改進,已經將其應用到有關基因食品的安全性確定、人工智能的技術風險與倫理風險評估等多個領域。中國政府應該順勢而為,盡早開展新興技術方面的綜合風險治理結構整合與完善工作,以有效應對新的風險挑戰。

(2)進行恰當的風險規制創新以確保制度安排的匹配性

治理目標的完成最終依賴于制度的合理設置與有序配合。新興技術風險的特有屬性讓傳統的風險管理制度變得有些無所適從,必須從制度層面做出根本性轉變,以適應不斷涌現的陌生風險帶來的挑戰。無論是自由放任的制度設計,還是嚴苛保守的制度規制,都不利于新興技術風險治理的制度化。適應性治理應對大量不確定性因素時,往往要求以避免那些不可逆轉的副作用作為制度設計必須堅守的底線。在此基礎上,針對各種技術創新活動及其未知的風險,還需要通過制度變革提供對應的管理規則。這里要求的制度安排的匹配性,既是指制度創新要符合風險治理目標和原則,也是指不同的制度設計要彼此關聯,遵循內在治理邏輯,努力形成規制的合力。簡單來說,治理新興技術風險,首尾兩端的制度設計就必須相互配合和呼應,前端是要建立更加明確的風險責任制度,尾端則是改進現有的問責制度。

分配風險所有權,確定風險責任。一些新興的未知風險因素讓所謂的責任機構、組織、個人自己也不知道該不該負責。解決“誰才是最終應該為此負責的人”的難題,首先要確定風險所有權。目前看,一個較為可行的辦法是風險監管部門在眾多的不確定性、潛在威脅和發展機遇中進行艱難的選擇,給出新興技術風險治理問題的優先級排序,才能進一步給組織或個人確定“風險所有權”,這是改進制度安排的第一步工作。畢竟,只有當組織和個人承擔責任時才有可能逐步實現對風險的有效治理。分配風險所有權需要一些基本條件,其中增加新興技術系統的透明性最為關鍵。增加技術透明性主要是為解決技術“黑箱效應”帶來的風險責任模糊和分散難題。這要求新興技術系統對其主要組件、功能和運行過程幾個核心層面進行公共可見性的說明和展示。具體而言,就是在法律允許框架下,最大限度地面向用戶群體和公眾在技術系統的可解釋性和可追溯性方面做出詳盡的闡釋和解讀。以人工智能為例,該技術體系從大的方面來說就包括數據、算法、基礎設施、產品服務和行業應用等多個集群要素,其內部風險和安全隱患可能來自其中的任何一個或者多個環節。為了清晰地呈現各自及其關聯的風險所有權,需要每一個研發和應用環節或者平臺能使用大多數人能聽得懂的修辭來解釋算法數據特征空間和語義空間的映射關系,讓機器語言能站在人類的角度表達自己,從而幫助人類理解機器,并了解人工智能決策的過程及其與人類利益之間的因果關系。有這樣一個詳盡的且易懂的解釋框架作為現實基礎,無論是在法律上還是社會倫理規則上,都能更清晰地確定復雜新興技術系統的風險所有權及其各主體應該承擔的風險責任。

改進問責制。通常講,問責制是一種以事后懲戒的面貌出現的風險治理制度,少數時候還能起到一定的事前威懾效用(當然,多數時候由于問責較輕而效果不盡如人意)[28]。在新興技術風險的威脅不斷加大的背景下,繼續固守以懲戒為目標的問責制度不一定能帶來風險管理者想要的效果,更不能讓公眾和社會滿意。改進問責制要在制度設計上做出變革:一是從事后問責變為事前評估與問責結合;二是變單一處罰為獎懲結合,尤其要對各種預防性行為進行獎勵。政府會同企業和第三方組織聯合組建一個機構(委員會),其職責是對那些創新技術、產品或者服務進行“前景式掃描”和階段性評估,以發現新問題,并為此制定標準或指標(設定一些彈性閾值),用于確定潛在危險嚴重到什么程度時需要進行適當的政策干預。當風險問題得到充分評估并確定優先順序時,以確定好的風險責任大小分配治理任務。風險治理工作可以將獎勵良好治理實踐作為一種導向性工作加以推進。需要提醒的是,預防式治理需要前期投入大量成本且后期需要持續投入維護成本。為了讓其發揮效用,在動力機制上,需要設計一種給那些更加注意先期風險防范和基礎設施維護的組織與個體行為以足夠動力的獎勵制度,資金的主要來源則是政府補貼和“落后以及防范失敗”的組織(個人)的罰金。要主動建立容錯機制,允許試錯并對錯誤保持一種寬容的“向前看”的態度。這類制度安排適用于基因產品或者新的藥物研制的適應性監管改革方面,既可以滿足市場的需求,又可以在沒有充分科學知識的情況下進行長期風險后果的監測且提出跟進的修正和改善措施。總之,該制度設計成功的關鍵則是適度的責任分擔和必要的獎懲機制。

(3)不遺余力地完善風險溝通以加強核心治理機制的彈性

風險的治理機制包括風險識別、風險評估、風險管理和風險溝通等諸多環節,其中風險溝通居于核心地位。無論是風險辨識與評價還是風險管理都離不開有效的風險溝通,溝通為其他風險治理機制提供研判依據和決策基礎,它貫穿在整個風險治理全過程之中,不可或缺。因此,新興技術風險的適應性治理需要不斷完善該機制,扎實地做好風險溝通。雖說與外界溝通是一件看似平常的工作,但風險溝通對公共部門而言卻是一種“風險較高的工作”[29]。歷數國內外風險溝通的案例,公共管理部門將風險溝通做得令人滿意且效果良好的例子并不多見。在當今社會,各類行動者對風險-收益的期待、偏好和解釋都趨于多元化,這使得關于新興風險問題的對話更為復雜化。因此,政府等公共管理部門需要將風險溝通上升到戰略管理的高度,最好讓溝通在新興技術風險導致不能挽回的災難之前就充分發揮作用。富有彈性的風險溝通是應對新興技術風險的核心機制,而以分享決策權為主要形式的透明、公開、平等的包容性對話機制是其中的關鍵環節[30]。

決策權分享。既然公共管理部門不能獨自處理好新興技術風險問題,那么讓其他社會組織、公眾、媒體等利益相關者參與到新技術、產品和服務的不確定性及其后果的討論與評估管理中來,不失為明智之舉。只要政府部門愿意牽頭,開放和透明的風險討論與評估工作可以在全社會營造出一種分享、平等和互信的氛圍,進而制造出強烈的參與感、存在感和主人翁意識,這對于新興未知風險的認知、理解大有裨益,對于權衡利弊和取舍性解決策略的制定同樣大有助益。歐盟國家和新加坡針對轉基因技術、食品安全和新藥物開發等新興技術風險話題的“全民討論”[31]和“全國對話”[32]等制度性溝通安排及其實踐效果表明,如果能讓全社會都能聚集在一起分享觀點,讓更多民眾分享國家的風險決策權力,就有可能在方向性和決定性政策選擇上做合理的權衡與取舍,以共同應對現在和未來的風險與挑戰。建設性討論的核心是各方都向政策制定者提供證據,為評估新的、未知風險以及設計相應的解決方案提供令人信服的程序和方法。只有這樣的溝通,才能觸及風險排序與優先性選擇問題、應對風險的資源分配問題、處理風險的能力建設與政策規劃等諸多層面,從而在根本上改進風險類公共政策的決策過程。

實施包容性溝通策略。公共管理部門開展的風險溝通不能是只圍繞所謂“政府利益”進行。之所以給出這樣的提示,是因為政府部門在處理風險問題時,經常將其首先看作是一個政治問題,上升到“政治穩定”的高度進行決策,考慮更多的政治優先事項而不是技術因素和公共利益。強調風險溝通的包容性,是便于參與對話和討論的利益相關者彼此能充分接觸,更深入地了解對方的風險關切和利益所在,對于彼此的風險偏好和利益給予承認,避免優勢群體將自己的部門利益和偏好強加給弱勢群體。一旦弱勢群體處于風險溝通的不利地位,風險溝通就會失衡,無論是風險話題的全面性還是問題的優先性都無法得到保障,最終應對新興風險的政策基礎將會失去扎實的社會支持。另外,包容性溝通也是為了政府等公共部門分擔責任,容納不同利益相關者的風險話題的公開討論,會迫使參與各方都注意到自己的權力和義務,明確各自的職責和擔當,共識的達成過程也讓政府之外的組織和個人明白“政府不可能也不應該是永遠的風險后果的承擔者和唯一責任人”。

(4)科學確定政策介入的合適時機以提高治理時間框架的靈活性

適應性治理非常重視治理干預時機的選擇。此種治理模式雖然主張主動出擊,但這里的主動不是政府等掌握公共權力的部門的肆意作為甚至是不合時宜的亂作為。由于政策的公共性和全局性影響的存在,政府部門在面對新興未知風險的時候,不能亂了陣腳,過早的政策干預會嚴重遏制全社會的創造力從而阻礙生產力的發展[33]。如果真的這樣做,新興未知風險雖然被完全“規避”,但讓生活更美好的努力也會付之東流。因為,那些為解決傳統風險和威脅的新技術、產品或服務的開發應用將會停滯,反而滋生出更多的不確定性。與之對應,政府部門又不能對新興技術風險跡象毫無知覺或者明知存在風險而放任自流,以至于等到風險蔓延引發了巨大災難后才倉促應急管理。這樣的“亡羊補牢”為時已晚又備受詬病。面對威脅而無所作為或遲緩作為都不符合主動風險治理的要求。創建新的具備較大靈活性的治理時間框架就成為當務之急,該時間框架應該包含兩個主要因素:敏捷性和合時宜性。

敏捷治理。傳統的風險規避流程通常是等待技術風險足夠威脅到社會和國家利益的時候才會啟動政策議程,最后制定相關規制。這一過程一般曠日持久,往往跟不上科技日新月異的變化速度,再拿滯后的規制進行治理的時候,已經落后于新情景。這不符合適應性治理的原則目標。2019年,我國發布了《新一代人工智能治理原則》,其中提到了“敏捷治理原則”。筆者認為,與人工智能類似的新興技術體系具有相同或相似的風險屬性和特征,敏捷性治理原則可以兼容所有的其他新興技術風險的治理。所謂敏捷治理,是指在尊重人工智能發展規律,推動新興技術創新發展、有序發展的同時,及時發現和解決可能引發的風險,以確保新興技術始終朝著有利于人類的方向發展。選擇敏捷治理,首先要確定政策核心目標,也即確定“創新發展為要,還是保護人的權益為先”的問題。一個相對平衡性的選擇是:治理應該輔助(不阻礙)技術創新、防控產業風險(避免負外部性)、促進公眾利益最大化[34]。其次,敏捷性要求及時治理,摒棄被動等待技術隱患的暴露的陳舊觀念,對未來更高級新興技術形態和功能的潛在風險持續開展研究和預判,早發現、早研判、早預警和早化解。如此,風險規制的制定和執行將不再過分追求風險狀況的全面、準確與完整,而是讓治理的介入趕得上新興技術的發展步伐,做出迅速且敏捷的反應。同時,敏捷性也要求全過程和全周期治理,不僅在新興技術的設計研發階段及時發現和解決風險問題,更要求在整個技術產品、應用周期都保持風險防范的警覺,科學研判,及時糾偏。

擇機介入。在恰當的時機選擇恰當的政策工具(方法)做出正確的決定,說著容易做起來難。根本一點就是需要根據新興技術風險的發展狀況,提前準備商定的政策干預的時間點。對于那些以往歷史時期未曾經歷過的、當今世界才產生的技術風險及其未知后果,應該何時采取政策介入才算是最佳時間點,其實并沒有現成的經驗可以借鑒。例如,新藥物的研發與風險防控與轉基因制品的安全性許可問題就如此。成規模的轉基因動植物制品的食品化迄今為止也只有25年,實際可觀察到的危害也沒有得到充分的科學證明。在相關的威脅信號尚未清晰地顯現的時候,如果過早進行政策干預則于法于理都不合適。當然,如果采取“簡化鏈條”的干預措施往往也不是最理想的辦法。所謂“簡化鏈條”就是政府等公共部門放松管制并減少防范風險的準備,同時加大事后監管和追責的壓力。此種把風險監管的主要責任推給市場,企圖依靠企業(行業)自律來解決新興風險難題的做法同樣不可取。原因在于,事后監管雖然在嚴重危機中可能采取政府的統一指揮甚至是臨時接管控制企業的措施,但嚴重后果已經造成,損失已經無法完全避免,并不是一種多么高明的治理策略。因此,在面對像大數據、人工智能和物聯網等新興事物的未知風險特性,公共管理部門特別是政府需要持續密切關注業態發展的狀況,對于主干企業和核心技術的研發與應用進度應該充分掌握,對其中可能存在的風險與安全問題的研判應該有專門機構負責, 以嚴謹細致的精神推動注重細節管理和全過程管理的精細化管理,從而實現基于常規管理之上的改進、提升和優化[35]。另外,在復雜的風險治理情景中,公共部門如果一時無法確定風險監管的介入時間,那么可以更多地把精力放在加強各治理主體(節點)之間的聯系這一功能的發揮上,以增進風險治理網絡的致密度與行動的合力。既然包括政府在內的幾乎所有的主體都暫時不能清楚地描述未來可能會是什么樣的風險狀況,那么通過一系列政策指導持續地說服和“誘惑”各利益相關者開展合作治理而不是強制和禁止的方式來規避未知風險,就不失為一種靈活性的策略。

五、結? 語

本質上講,新興技術風險屬于新興風險(Emerging Risks)的范疇。根據全球風險治理委員會(International Risk Governance Council,IRGC)的界定,所謂新興風險是指那些以往社會未曾出現過的陌生風險,也可以是在新環境下(重新出現)的熟悉的風險,它們表現出了新的特征、新的機制或者帶來了新的后果[36]。新興風險是人類現有知識和能力暫時無法有效解決或控制的風險。討論包括新技術風險在內的各種新興風險不得不涉及傳統風險,二者相對而言。傳統的風險又稱為已知風險、常規風險或熟悉風險,此類風險大多具有可被識別性、管理的模式化和治理機制與效果的相對穩定性等特征[37]。當然,沒有必要將新興技術風險與傳統技術風險做一個涇渭分明的區分。現在的熟悉技術風險以前也是新興風險。一旦新興技術風險逐漸具有了熟悉的、已知風險的某些特征,對它們的信息收集和有效管理也具備了更多機會和可能。而隨著時間的推移,新興技術風險也就慢慢轉化為常規的、傳統的風險。只不過,這一過程或許較為漫長,而從新興到常規的轉化期間的威脅不能小覷。我們不能坐等新舊風險的自然轉化,更何況這些新興風險如果沒有得到足夠的重視和有效控制,它們甚至永遠不會被人類所熟知,帶來的危害也將是史無前例的巨大,也就談不上向熟悉風險轉化的問題了。基于上述理解,筆者認為,新的風險情境呼喚新的治理思路,新的風險變化要求新的治理目標設定,新的風險作用機制需要激發新的治理方式和手段,規劃并實施適應性的行動治理策略只是回應這一切的改變的第一步,而風險治理體系上的顛覆性轉型與變革才是新興風險治理的根本保障。及早地認識新興技術風險,適時地做出調整,在治理思維、治理機制和治理體制上積極回應新興風險帶來的新的挑戰,這將是今后相當長一個時期風險治理的目標與任務。

注釋:

① 隨著人工智能技術的不斷成熟,其在勞動就業領域會快速替代一些原本有人工承擔的工作環節,繼續發展下去將會對某些工作崗位進行全方位替代,造成部分勞動者的失業。而伴隨著人工智能在整個勞動就業領域的擴張,其技術門檻會越來越高,一些低技術含量的行業將被擠出,造成更大行業領域的勞動力淘汰。

當技術介于人類使用者和自然敦促者之間時,稱之為一級技術;二級技術不再將使用者與自然連接,而是使之與其他技術相連接。也就是說,這類技術的敦促者是其他技術;三級技術是指,作為使用者的技術與作為敦促者的技術一旦被媒介技術關聯在一起,也即“技術-技術-技術”的連接方式。從理論上來說,一個超歷史的、依賴于三級技術的社會可以脫離人類而獨立存在。參見弗洛里迪. 第四次革命[M]. 杭州:浙江人民出版社,2016.

黑天鵝比喻小概率且影響巨大的風險事件,灰犀牛比喻大概率又影響巨大的潛在危機。黑天鵝事件隨機性和偶發性強,而灰犀牛事件卻是在一系列警示信號和跡象出現之后依然被忽略的大概率事件。參見塔勒布.黑天鵝:如何應對不可預知的未來[M].萬丹,劉寧,譯.北京:中信出版社,2011;渥克M.灰犀牛:如何應對大概率危機[M]. 王麗云,譯.北京:中信出版社,2017.

參考文獻:

[1]施瓦布.第四次工業革命:轉型的力量[M]. 李菁,譯.北京:中信出版集團股份有限公司,2016:5.

[2]DE GEORGE S D, PAUL J H, GUNTHER S R E. Wharton on Managing Emerging Technologies[M].New York : John Wiley & Sons, 2000:4-10.

[3]周萌,朱相麗. 新興技術概念辨析及其識別方法研究進展[J]. 情報理論與實踐,2019(10):163.

[4]李仕明等.新興技術變革及其戰略資源觀[J].管理學報,2005(3):304.

[5][33]施瓦布,戴維斯.第四次工業革命:行動路線圖M].世界經濟論壇北京代表處 譯. 北京:中信出版集團股份有限公司,2018:87;281.

[6]維納.人有人的用處:控制論與社會[M]. 陳步,譯. 北京:商務印書館,1978:132.

[7]薩頓.科學史和新人文主義[M]. 陳恒六,譯. 北京:華夏出版社,1989:45.

[8]貝克. 風險社會[M]. 何博聞,譯. 南京: 譯林出版社,2004:15.

[9]吉登斯.失控的世界:全球化如何重塑我們的生活[M].周紅云,譯.南昌:江西人民出版社,2001:18-20.

[10]安丙春,等.基于大數據的互聯網金融安全建設思路[J]. 信息技術與網絡安全,2018(8):8.

[11]Organization for Economic Cooperation and Development. Emerging SystemicRisks in the 21st Century: An Agenda for Action[R].OECD , Paris, 2003:15.http://www.oecd.org/futures/globalprospects/37944611.pdf

[12]曼耶納. 韌性概念的重新審視[J]. 張益章,劉海龍,譯.國際城市規劃, 2015(2):13-21;周利敏. 從社會脆弱性到社會生態韌性:災害社會科學研究的范式轉型[J]. 思想戰線,2015(6):50-57.

[13]梅多斯,蘭德斯,梅多斯 D.增長的極限[M]. 李濤,王智勇,譯. 北京:機械工業出版社,2013:40.

[14] 張煥波. 全球應對氣候變化政策趨勢與分析[C]. 國際經濟分析與展望(2015-2016),2016:381.

[15]童星,張海波.中國應急管理:理論、實踐、政策[M].北京:社會科學文獻出版社,2012:57.

[16]張海波,童星. 中國應急管理結構變化及其理論概化[J].中國社會科學,2015(2):58-84.

[17]RENN O. (Ed.) Global Risk Governance: Concept and Practice Using the IRGC Framework[M]. Netherlands:Springer,2008:3-73.

[18]胡象明,張麗穎. 科學主義與人文主義視角下大型工程社會穩定風險評估困境及對策探析[J]. 行政論壇,2018(2):118.

[19]葉敬忠,李華. 關于轉基因技術的綜述與思考[J]. 農業技術經濟, 2014 (1):12-13.

[20]馬奇,奧爾森. 重新發現制度:政治的組織基礎[M].張偉,譯.北京:三聯書店,2011:118.

[21]DIETZ T, OSTROM E, STERN P C . The Struggle to Govern the Commons[J]. Science, 2003, 302(5652):1907-1912.

[22]韓博天.紅天鵝:中國獨特的治理和制度創新[M].石磊,譯.北京:中信出版集團,2019:21.

[23]FOLKE C, OLSSON H, NORBERG. Adaptive governance of social-ecological systems[J].Annual Review of Environment and Resources,2005,30:441-473.

[24] 張樂,童星. 重大決策社會穩定風險評估路徑的優化:公眾參與環節的再思考[J]. 廣州大學學報(社會科學版), 2016(10):23-24.

[25] The Netherlands National Security Program (2008): National Risk Assessment MethodGuide[R].National Safety and Security Program: The Hague,2008:129. [EB/OL].http://www.minbzk.nl.

[26] Singapore. The Public Service Division of the Prime Minister's Office has developed a "whole-of-government "approach to risk management, with a particular emphasis on creating a "networked government" to developcollaborative risk management process to manage complexity and disruptive change[EB/OL].https://www.csf.gov.sg/.

[27] United States Department of Homeland Security. The Strategic National Risk Assessment[EB/OL].http://www.dhs.gov/strategic-national-risk-assessment-snra. United States Federal Emergency Planning Agency. A Whole Community Approach to Emergency Management, 2011. [EB/OL].http://www.fema.gov/whole-community.

[28] 張海波,童星. 公共危機治理與問責制[J].政治學研究,2010(2):50-55.

[29] 盤石軍. 自然災害風險溝通中的公眾網絡參與研究[D/OL]. 武漢:武漢大學,2015:2.https://kns.cnki.net/kcms/detail/detail.aspx?dbcode=CDFD&dbname=CDFDLAST2019&filename=1016018341.nh&v=TZ7vlRD4uEDw1Y4KK5V42R%25mmd2Birpc22oYPMEp8V3CJY%25mmd2BI0Es8qfDcs1Icivd9Q1DY5.

[30] PBL Netherlands Environmental Assessment Agency. Guidance for Uncertainty Assessment and Communication[R/OL].The Hague: PBL Dutch Environmental Assessment Agency, 2013:6-7.https://www.pbl.nl/sites/default/files/downloads/PBL_2013_Guidance-for-uncertainty-assessment-and-communication_712.pdf.

[31]HAGENDIJK R, IRWIN A. Public deliberation and governance: Engaging with science and technology in contemporary Europe[J].Minerva: A Review of Science, Learning and Policy,2006,44(2):167-184.

[32]SIM, JASMINE B-Y. Social studies and citizenship for participation in Singapore: how one state seeks to influence its citizens[J].Oxford Review of Education 37(6):743-761.

[34]薛瀾,趙靜.走向敏捷治理:新興產業發展與監管模式探究[J].中國行政管理,2019(8):31.

[35]董幼鴻,魏箏. 城市公共安全風險治理精細化的內在要求與實現路徑[J].廣州大學學報(社會科學版),2018(6):19-25.

[36]International Risk Governance Council(IRGC). Guidance for the Governance of Unfamiliar Risks. [EB/OL].https://irgc.org/risk-governance/emerging-risk.

[37]張海波. 大數據的新興風險與適應性治理[J]. 探索與爭鳴,2018(5):41-42.

(責任編輯? ?董幼鴻)

主站蜘蛛池模板: 亚洲第一视频区| 国产亚洲视频在线观看| www精品久久| 国产视频一区二区在线观看| 一本色道久久88| 试看120秒男女啪啪免费| 国产一区二区三区精品久久呦| 精品91自产拍在线| 国产成人精品男人的天堂下载 | 人妻丝袜无码视频| 丰满人妻久久中文字幕| www.精品视频| 亚洲国产欧美中日韩成人综合视频| 99久久国产综合精品女同| 国产欧美视频在线观看| 四虎永久在线| 亚洲一区二区视频在线观看| 国产精品专区第1页| аv天堂最新中文在线| 97免费在线观看视频| 国产免费怡红院视频| 国产第一页亚洲| 秋霞午夜国产精品成人片| 国产精品自在在线午夜| 亚洲一区二区三区香蕉| 亚洲日韩在线满18点击进入| 国产美女丝袜高潮| 欧美黄网在线| 国产精品播放| 欧美性久久久久| 欧美精品xx| 国产成人h在线观看网站站| 国产美女自慰在线观看| 1级黄色毛片| 二级特黄绝大片免费视频大片| 久久青草热| 都市激情亚洲综合久久| 国产永久无码观看在线| 伊人久久久大香线蕉综合直播| 亚洲综合片| 永久免费无码成人网站| 欧美精品影院| 国产成人91精品| 99在线视频网站| 欧美激情一区二区三区成人| 亚洲视频一区| 青青青国产精品国产精品美女| 久久精品视频一| 久久精品视频亚洲| 色偷偷一区二区三区| 国产精品入口麻豆| 欧美综合成人| 波多野结衣久久精品| 亚洲成人一区二区三区| 在线播放国产一区| 国产女同自拍视频| 九九热免费在线视频| 五月婷婷丁香综合| 怡红院美国分院一区二区| 中文字幕av一区二区三区欲色| 人妻精品久久无码区| 国产成人1024精品| 亚洲色图综合在线| 国产福利在线观看精品| 亚洲日韩久久综合中文字幕| 国产精品福利社| 欧美一级高清片欧美国产欧美| 久久91精品牛牛| 露脸一二三区国语对白| 亚洲人成人伊人成综合网无码| 国产91精品调教在线播放| 国产亚洲精品自在线| 久久香蕉欧美精品| 国产哺乳奶水91在线播放| 视频国产精品丝袜第一页| 国产精品不卡永久免费| 亚洲精品欧美日韩在线| 婷婷色婷婷| 欧美精品亚洲精品日韩专| 久久一级电影| 在线精品亚洲一区二区古装| 国产女主播一区|