999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

法律如何看待機器人

2019-03-26 13:51:44尼爾理查茲威廉斯馬特著陳吉棟向夢涵譯
法治社會 2019年1期
關鍵詞:法律

[美]尼爾·M·理查茲 [美]威廉·D·斯馬特著 陳吉棟 向夢涵譯

內容提要: “人工智能”正在或將要被廣泛地應用于生活的方方面面,然而隨之而來的技術、人倫、責任等問題給現有的法律制度帶來了極大的挑戰。首先要從法律的角度厘清什么才是真正的機器人;在此基礎上,充分了解機器人技術的發展現狀以及未來發展趨勢;同時借鑒網絡法的發展經驗,為新興技術找到合適的隱喻,以便于能夠設計出與之配套的法律制度對其進行有效調整;最后,還應獨立地看待機器人,不能以高度人格化的方式將其與人類進行類比,以避免陷入過度地將人形機器人擬人化的陷阱。

機器人時代正在到來!我們并非像電影 《終結者》《太空堡壘卡拉狄加》那樣,以一種恐懼、警惕的態度看待機器人,又或者像弦樂航班樂隊的歌里寫的 “人類已經完蛋”①弦樂航班樂隊,歌曲 《人類都完蛋》(“在2000年,這個遙遠的未來。從90年代機器人出現以后,這個世界將大有不同,你可以看到翻天覆地的變化……人類所有的生活都被徹底清除。最終,機器人統治著這個世界。”)。那樣半開玩笑地來看待它。我們認為機器人和機器人技術已經足夠成熟到可以走出實驗室,大批量地進入消費市場了。其中一部分已經來到我們身邊,比如魯姆巴 (Roomba)掃地機器人、醫院看護機器人、軍隊和執法部門使用的無人機以及已經上路②Tom Vanderbilt,Let the Robot Drive:The Autonomous Car of the Future is Here,WIRED,Jan.20,2012.的無人駕駛汽車原型。這些早期技術僅僅是一個開始,或許過不了多久我們就能目睹一場機器人人格化大革命。

這些智能系統有望改變我們的日常生活,并顛覆世界,甚至這種變化要比過去20年來互聯網和手機的廣泛應用帶來的改變更具深遠意義。我們應為此種變革做好準備,特別是要以一種正確的方式來看待智能系統。只有這樣,立法者才能為其制定出更好的法律,工程師們也能在不破壞社會奉行的價值觀的前提下設計機器人。那么問題來了,我們該怎么做呢?

本文試圖厘清有關法律、機器人以及機器人學概念上的一些問題,并分析智能系統所帶來的影響。本文借鑒了互聯網學者和機器人專家的經驗,在即將面臨的法律和技術問題上進行了首次跨學科的剪輯。因此,本文將與第一代論述該領域基本要素的互聯網學術問題,甚至是該領域被了解之前的學術問題進行類比分析。③E.g.M.EthanKatsh,Software Worlds and the First Amendment:Virtual doorkeepers in cyberspace,1996 U.CHI.L.F.335,348-54(1996);Joel R.Reidenberg,Governing Networks and Rule-Making in Cyberspace,45 EMORY L.J.911,917-20;David R.Johnson&David Post,Law and Borders-The Rise of Law in Cyberspace,48 STAN.L.REV.1367,1375(1996);David Kushner,The communications Decency Act and the Indecent Indecency Spectacle,19 HAST.COMM.&ENT.L.J.87,133(1996);David G.Post,Anarchy,State,and the Internet:An Essay on Law-Making in Cyberspace,1995 J.ONLINE L,art.3,12-17(1995);Lawrence Lessig,TheZones of Cyberspace,48 STAN.L.REV.1403,1403(1996);Frank H.Easterbrook,Cyberspace and the Law of the Horse,1996 U,CHI.L.F.207;Lawrence Lessig.The Law of the Horse:What Cyber Might Teach,113 HARV.L.REV.1193,1198-99(1998);LAWRENCEN LESSIG,CODE AND OTHER LAWS OF CYBERSPACE(2000).對互聯網發展的歷史學術研究更為的細致綜述, 參見 Raphael Cohen-Almogor,Internet History,2 INT’L J.TECHNOETHICS,(2011),available at http://www.hull.ac.uk/rca/docs/articles/internet-history.pdf.我們的工作 (以及更大的項目正如火如荼地展開)與早期的互聯網法研究工作相比,其突出優勢在于我們可以從長達20年之久的網絡法研究項目中汲取經驗。在這樣一段充滿著革命性變化的時期里,該項目對法律和技術規范進行了深入分析。無論是在其成功之處還是在將要面臨的挑戰方面,網絡法的研究經驗都可以為法律和機器人關系的研究提供藍圖。

在本文中,我們認為對于學者和整個社會來說,由機器人帶來的問題應當從以下四個方面著手。第一,我們給機器人一個定義,即 “非生物的自主機構”。我們認為這樣一個定義抓住了由機器人本身顯露出來的監管和技術挑戰方面的關鍵問題。這將給規則的制定奠定基礎。第二,我們探討了當下機器人的先進功能,并設想機器人在未來10年左右可能會做些什么。第三,我們認為早期的法律和機器人項目應當吸取網絡法的發展經驗,因為20年來網絡法一直在有效地處理新技術帶來的問題。這揭示了特別重要的一點:當從法律的角度來看待新技術時,我們用來理解新技術所用的隱喻格外重要,律師們習慣從隱喻的角度看待法律主體,尤其是在新技術等法律的發展領域。網絡法的研究經驗告訴我們:若沒有給機器人一個恰當的比喻,那將會帶來災難性的后果。第四,我們提出:那種博人眼球的隱喻應不惜一切地舍棄,比如:機器人就像人類一樣,仿人機器人和非仿人機器人存在重要的區別。我們將這種看法稱為 “人形機器人陷阱 (the Android Fallacy)”。

一、什么是機器人

在考量這些系統之前,我們首先要對 “機器人”有一個清晰的理解。“機器人”這個詞最早出現在二十世紀二十年代。捷克劇作家卡雷爾·恰佩克 (Karel Capek)④Karel Capek,R.U.R.Rossum’s Universal Robots(1920).在他的 《羅薩姆萬能機器人公司(R.U.R)》劇本中第一次使用了該詞。劇本中 “機器人”是指在工廠里被當作奴隸勞動力的人造人 (artificial humans)(“roboti”這個詞在捷克語中被翻譯成 “奴隸勞動力”,含有奴隸和苦工的含義)。 “機器人專家”這個術語是由艾薩克·阿莫西在1941年發明出來的,⑤Isaac Asimov,Liar!In ASTOUNDING SCIENCE FICTION(1941)(reprinted in Isaac Asimov,I,ROBOT(1950)).意指專門研究或者發明機器人的人。該詞的詞源甚至暗含 “設備”的含義,而且這種設備適用于對人類來說特別枯燥、臟污或者危險的工作環境。

那么什么是機器人呢?對絕大多數公眾 (包括該領域的大部分法學研究學者)來說,對這個問題的答案總是不可避免地受到他們在電影、主流媒體、甚至文學作品中所見的影響。其實,只有一少部分人見過真正意義上的機器人,⑥看到真正的機器人并準確地描述出它們的能力和局限性的人就更少了。因此他們只能從其見過的描述中勾勒出機器人的樣子。⑦或許令人驚訝的是,普通人對于機器人自發的印象中僅帶有一點或者幾乎沒有研究性。盡管基于自身的經驗,我們相信一提到機器人大多數人會首先想到科幻機器人,但是我們承認這并不能被可驗證的研究來支持。有意思的是,當我們問到什么是機器人的時候,人們通常會參考電影中的例子:Wall-E機器人,R2-D2機器人以及C-3PO機器人是幾款熱門的選項。年紀大一點的受訪者可能會提到終結者或者Johnny-5機器人。影迷們會提到休伊、路易、迪伊 (來自影片 《宇宙靜悄悄》)、假瑪利亞 (來自影片 《大都會》)、槍手 (來自 《西部世界》)等一系列小眾機器人。這都是一些很典型的機器人:它們都是機械裝置,都是由人 (或者其他機器人)用機械零部件組裝而成,都被用來完成一些特定的枯燥、臟污或危險的工作。同時,它們都被擬人化了或者是易于人格化的。R2-D2機器人不具有人的外形特征,但是它的喜怒哀樂卻清晰可見。電影里的機器人就是一種情節工具,且在向其賦予 (或使其欠缺,例如在 《終結者》中)⑧當然,后面探索了這些機器人的人性。電影 《終結者2:審判日》的結尾仍是阿諾德·施瓦辛格在第一部電影里為了拯救人類犧牲自己的過時模型的復制。人類品質時效果最佳。

而那些模糊的情形又是如何呢?機器人哈爾9000(來自影片 《2001太空漫游》)是一款控制大型宇宙飛船的智能電腦。在一定意義上飛船是哈爾的 “身體”,那哈爾是機器人嗎?很顯然它符合我們認為機器人應有的兩個特征:可以移動并能操縱事物。電影 《銀翼殺手》里的復制人,《太空堡壘卡拉狄加》里的賽昂人 (Cylons),以及電影 《異形》里的合成人畢肖普 (Bishop),它們是機器人嗎?它們有人的外表,而且由有機物質而非金屬合成而來。它們符合我們衡量機器人的標準嗎?

還有當下熱門的無人飛行器或者叫 “無人機”又如何界定呢?它們顯然是機器,很難被人格化。而且,它們 (通常在某種程度上)由人類進行遠程控制。那么它們究竟是人類的延伸,還是其本身就是某種實體呢?

對這些問題,即使是專業的機器人學家也很難給出一個明確的定義。裝配汽車的機械臂、探索深海的遙控潛艇、馳騁天際的太空探測器、通過小型電腦和傳感器增強感應的遙控汽車以及人形機器人都可以叫作 “機器人”,而這取決于你問誰。

從本文的目的出發,我們應如何有效地定義 “機器人”?在上述例子中,大部分機器人能夠在它們的世界里四處活動,并通過操縱一些事物來影響世界。它們與這個世界互動時十分機智,它們同樣出自人類之手。這些特質在我們看來就是機器人的標志。我們提出了以下工作定義:機器人是一種顯示生理和心理機構但在生物意義上不存在的結構化系統。也就是說,機器人是一種在其世界四處活動的、可以理性決定應當做什么的制成品,而且是一種機器。值得注意的是,機構的歸屬是主觀的:系統似乎只在對外部觀察者具有某種機構時才符合我們的標準。⑨這種機構的外部歸屬在精神層面與經典的圖靈測試類似,當外部觀察者試圖識別一個對話伙伴時,使用相當于人或者計算機的即時信息傳遞系統。據說如果一臺電腦能夠讓觀察者肯定地把它看做另一個人,那么它就通過了圖靈測試。盡管這個測試總是被當做一個智力測試和人工智能測試,但是更準確地說它更像是一種人性測試。另外我們的定義排除了現實世界中不運用任何機構且完全基于軟件的人工智能。

我們的定義故意對形成明顯機構的機制留有空間。智能系統可由機敏的電腦軟件來控制,或可由操作員進行遠程操控。雖然在該定義中這兩種系統都屬于機器人,但它們在立法意義上大不相同,如下章所述。

二、機器人可以做什么

既然我們對機器人有了一個定義,那么接下來討論機器人當前能做什么。由于我們很多人被電影、原聲摘要媒體 (sound-bite media)以及其他一些不可靠的資源所影響,我們對于最先進的機器人長什么樣以及它們能做什么知之甚少,目前機器人還沒有達到公眾在科幻小說中看到的那種水平,但已與其驚人地接近了。

直到最近,世界上大多數 “機器人”(據統計超過一百萬)⑩International Federation of Robotics web site,http://www.ifr.org/industrial-robots/statistics/.都是組裝汽車、搬運重型零件、或減輕工人負荷的工業自動機。基于本文意圖以及上述我們對機器人的定義,這些都不是真正意義上的機器人;他們的確具有生理機構 (physical agency),但缺乏心理機構 (mental agency)。這些系統大多數都是簡單地重復已經設置好的動作,從不考慮外部世界在發生什么。例如點焊機器人,即使面前沒有汽車底盤它們仍會進行點焊。

但屬于我們定義范疇的 “機器人”在今天是真實存在的。當下最常見的就是iRobot公司的魯姆巴,一款能夠自主真空打掃的小型機器人。iRobot公司稱在2010年底已有六百多萬臺魯姆巴售出。①Transcript of iRobot Q4 2010 Earnings Call,http://seekingalpha.com/article/252090-irobot-ceo-discusses-q4-2010-results-earingscall-transcript.這些小家伙們就是我們定義中的機器人。其兼具生理和心理機構,控制它們的電腦算法很簡單,但它們似乎能在某些情境下作出理性決定。在地板上奔走時它們可以輕松避開障礙物,甚至還能逗逗你的貓。縱使在凌亂的工作環境中,仍是完全自主且無需任何人協助。這是一個比想象中更令人印象深刻的成就,尤其是考慮到消費者們僅花費幾百美元就可以使用到這些不貴的機器人時。

另外,在全世界范圍內,昂貴的機器人正被大量用于軍事領域。巡航導彈——一個符合我們定義的機器人,②巡航導彈顯然具有生理機構,因為它可以移動。對于外部觀察者來說,它也具有心理機構,因為它在低空飛行的時候可以避開地形障礙。雖然這是利用了現代導彈中詳細的地圖和GPS設備完成的,但是這種機制對我們的定義并不重要。當然,它不能避開地圖上沒有的障礙,但是它很少會遇到這種障礙;外部觀察者也將不會看到這種明顯的機構的失敗。它已經被美國軍方以及其他國家使用很多年。最近,遠程遙控的無人機被廣泛應用于情報搜集及攻擊領域。它們中有許多被我們歸為機器人。地面遙控機器人在現代軍事領域隨處可見,如Packbot機器人 (iRobot公司)和Talon機器人 (Foster-Miller公司)。這些系統可以代替人類士兵處理危險情況:拆彈,在大火中執行偵察行動,向建筑物發起攻擊。基于對某遙控機器人先前單一類型的銷售數據③iRobot Delivers 3,000th Packbot,ROBOTICS TRENDS,http://www.webcitation.org/5xPANQOLV.的推斷,可以合理估計目前全世界大約有一萬個這樣的系統被應用于軍事和民事領域。這些機器人可以在遠程控制之下四處移動,通常有一個可以操控物體的手臂和一套能將數據傳輸給操作員的傳感系統。盡管它們完全由人類控制且目前沒有自主能力,但對于外部觀察者 (人們可能沒有意識到有人在幕后操作)而言它們看起來十分聰明。

美國國家航空航天局 (NASA)在將機器人送入太空和其他星球方面已有多年歷史。近期例子可能就是火星探測器:精神號和機遇號。它們在2003年被送上火星,盡管自2010年3月起沒有收到任何來自精神號的反饋,但機遇號抵達火星表面后經過9年仍然可以操作。這些探測器是混合驅動式或共享自主式系統。它們接收來自人類操作者的高級指令 (如:朝大石頭走去),但也要為它們自身的低端行為 (如:躲避障礙)負責。

再如,由Kiva Systems公司設計的自動倉庫機器人,目前正幫助人們完成在線零售商的訂單,其中包括Zappos和亞馬遜這樣的大公司 (2012年以7.75億美元收購了Kiva Systems公司)。④Amazon toBuy Kiva Systems for$775 Million,REUTERS,Mar.19,2012,http://www.reuters.com/article/2012/03/19/us-amazoncomidUSBRE82I11720120319.這些機器人把貨架上的商品帶至一個人,由該人根據收到的訂單選擇合適的貨物并將其放入裝運箱。這些機器人由庫存系統協調,并進行自主操作。它們沒有機載傳感器,而是依賴埋置在工廠地板中的電線確定自身的位置。然而,當其互相避讓并根據客戶要求重新配置倉庫內貨物存放位置的時候,它們似乎也有自己的心理機構。

雖然目前對世界上正被使用的機器人尚無一個詳盡的清單,但上述例子代表了當今機器人被利用的情況。它們有如下共同點:在機器人自主的情況下,任務是完全限定的,自主性相對較低(如躲避障礙物,而非決定誰是戰場敵人)。在某些情況下,它們甚至沒有自主性,只是遠程操作員身體和知覺的延伸。這在軍事環境中起到了作用,其在一定程度上被納入命令鏈中,對任何既定行動所負的責任都取決于這個鏈中的人。然而,由于現實問題是錯綜復雜的,目前還沒有一個能完美運轉的自主系統。最后,這些系統中沒有一個是與人類直接互動的,除了與操作員。⑤至少他們不與那些關注有關機器人的立法和消費者保護措施的人互動。事實上,人類總是故意與機器人保持距離,這是60多年來工業化的常態。清單中唯一的例外就是魯姆巴,然而互動的方式無異于與桌子互動。機器人并不會區分人類障礙物與非人類障礙物。

機器人的實際用處太多了。目前機器人在實驗室能實現哪些功能呢?谷歌上 “酷炫機器人視頻”的熱門搜索超過了3100萬點擊量:機器人跳舞、攀爬、游泳、疊毛巾、取啤酒、向人們提問題、在商場做向導,表演驚險的雜技。視頻里還有機器人做蛋糕、曲奇、正宗巴伐利亞式早餐,甚至制作世界地圖和模型。功能清單似乎可以一直列下去。這些視頻大部分來自學術界或工業界的實驗室,而且通常展示一些妙趣橫生的先進技術。如,讓機器人具備精準控制和適當力度的靈活性。用勺子攪拌蛋糕粉直至恰好稠度且做出來的蛋糕可供食用,就是對這種靈活性的極佳示范。

盡管不能將世界范圍內的研究項目進行簡單統計,但我們可找出一些共同點。⑥我們在對當下機器人研究資料和機器人商業市場既有工作進行總體評估的基礎上,提出了這些新興的主題。第一,目前很多研究型機器人都是多功能的,并非專為單個任務而設計。例如,Willow Garage公司的PR2機器人⑦http://www.willowgarage.com/pr2/, 2018年10月15日訪問。就能完成多種任務。第二,機器人已開始與對其一無所知的人們互動。⑧國家機器人計劃是對與大眾互動的機器人興趣與日俱增的典型代表,這是一個由美國國家科學基金會,美國國立衛生研究院,美國國家航空航天局和國家農業部聯合機構資助項目。在提議的請求中強調的是 “合成機器人”的發展,即 “在身邊工作或者與人合作”(NSF NRI solicitation,http://www.nsf.gov/pubs/2014/nsf14500/nsf14500.htm)。目前的研究關注到了機器人帶來的便利,在商場、⑨例如,T.kanda et al,A Communication Robot in a Shopping Mall,26 IEEE TRANSACTIONS ON ROBOTICS 897-913(2010).養老院、⑩J.Broekenset.al.,Assistive Social Robots in Elderly Care,8 GERONTECHNOLOGY 94-1003(2009).機場、①M.Joosse et al.,Short-duration Robot Interaction at an Airport:Challenges from a Social-Psychological Point-of-View,PROCEEDINGS OF THE INTERANTIONAL CONFERENCE ON SOCIAL ROBOTICS(ICSR)WORKSHOP ON ROBOTICS IN PUBLIC SPACES BRISTOL,UK(2013).甚至人行道上的慈善募集處隨處可見機器人的身影。②M.Kim et al.,Dona:Urban Donation Motivating Robot,PROCEEDINGS OF THE INTERNATIONAL CONFERENCE ON HUMANROBOT INTERACTION,OSAKA,JAPAN(2010).它們不再需要研究員的陪同。而在以前,研究員充當了機器人的看護人、翻譯、修理工以及保鏢。那些沒有機器人使用經驗的人現在也能與它們直接接觸與合作。若我們想挖掘科技的長期潛力,這些行為是有必要的,但也讓我們面臨的問題更加復雜。人類不好捉摸且難以取悅,因此相當一部分研究都致力于讓機器人優雅而安全地與人類打交道。第三,機器人在處理有關知覺和推理等方面越來越具有自主性。最后,人們越來越關注現實中的機器人,而不只是實驗室里的機器人。這就要求我們處理好現實世界所固有的不確定性和不可預測性。

目前,研究型機器人已經開始向現實世界 (或至少向商界)過渡。谷歌擁有一批自動駕駛汽車,這些汽車已在美國以零事故記錄駕駛15萬英里以上;治療助手機器人因其實用性強迅速在全球得到推廣;③Paro therapeutic robot,http://www.parorobots.com/.機器人在殘障家庭被當做家庭助手。④Robots for Humanity Project,http://www.willowgarage.com/blog/2011/07/13/robots-humanity.未來十年,會有更多的機器人走進我們的日常生活。到2024年,一部分人或許會擁有私人機器人,而這將會引發一系列立法挑戰。

隨著機器人多功能化,我們很難想象他們將會被如何使用,也很難為其創設出完備的立法和消費者保護措施。在極端情況下 (在很遠的未來),它們能做所有人類能做的事情。此時就會使機器人可以做什么與機器人應當被用來做什么之間的界限變得模糊。那么如何以立法方式建立這樣的制度呢?以往沒有過像機器人這樣的設備,這意味著我們必須為機器人想出一種合適的類比和隱喻,而這的確是一個棘手的問題。

隨著機器人逐漸走進我們的公共生活和私人空間,與其相關的保護方案必須比目前針對研究型機器人所使用的保護方案更加全面和有力。多數研究型機器人都有很多的警告和免責聲明,并依賴于用戶 (經過專業訓練)不做任何愚蠢的事情。而這對公眾來說顯然是不切實際的。畢竟公眾沒有經過任何訓練,也不能依賴他們作出適當的評估和注意。

隨著機器人的自主化,當它出錯時,責任的歸屬問題也是一個難題。我們應將其歸責于制造商、程序員、用戶 (發出錯誤指令的人)、還是他們的某種組合呢?而這個問題又會在那種時而自主時而被遠程操控的系統中變得更為復雜。因為這又牽扯到遠程操作員的問題,他們操作機器人時,雖然可能持有善意,但感官信息有限。

隨著機器人進入現實世界,一切變得更加難以預料。坎坷的地面,意想不到的障礙,小孩子以及其他因素使得安全操作機器人變得十分困難。同時,設計出一種既全面又不過度限制系統用途的制度也將是立法所要面臨的極大挑戰。

三、機器人法和網絡法

機器人將會被大量應用,同時也給法律系統帶來巨大的壓力。如:侵權、合同中消費者的保護、隱私、以及憲法等方面。盡管目前有少數學者已經開始系統地思考法律和機器人的問題,但對二者交叉領域的學術研究仍然較少。⑤E.g.,Ian Kerr.Bots,Babes,and Californication of Commerce,1 UNIV.OTTAWA L.&TECH.J.285(2014);M.Ryan Calo,Open Robotics,70 MD.L.REV.571(2011);M.Ryan Calo,Robots and Privacy,in ROBOT ETHICS:THE ETHICAL AND SOCIAL,IMPLICATIONS OF ROBOTICS,(Patrick Lin et al.,eds.)(2014).雖然我們開始看到第一批機器人專門法的制定,但這樣的法律還是太少,不足以讓人眼前一亮。2011年6月,內華達州成為第一個為自動駕駛汽車立法的州。⑥Nev.Rev.Stat.Ch.482A(effective March 1,2012),available at http://www.leg.state.nv.us/Session/76th2011/Bills/AB/AB511_EN.pdf.該法律授予內華達州交通運輸部以規則制定權,來規范有關測試、安全性能以及最終 “自動駕駛汽車”上路的問題。根據該法,自動駕駛汽車是指 “使用人工智能、傳感器以及全球定位系統且沒有任何人類操作員干預的機動車”。⑦Nev.Rev.Stat.Ch.428A.020.而 “人工智能”是指 “通過計算機以及相關設備使機器能夠復制或模仿人類行為的技術。”⑧Nev.Rev.Stat.Ch.428A.030.該法律是與汽車制造商、谷歌、保險公司、以及消費者團體協商的產物,現已被普遍接受并于2012年2月12日頒布實施。⑨Nev.Adopted Reg.Regulation R081-11,LCB File No.R084-11,Effective March 1,2012,available at http://www.leg.state.nv.us/register/RegsReviewed/$R084-11_ADOPTED.pdf.

這樣的學術和立法干預仍是孤立的。一個對將會發生機器人革命都普遍缺乏意識的社會,更別提會對法律如何規制甚至認識機器人有更具體的理解了。這的確是一個問題,因為機器人帶來的責任的不確定性或將阻礙創新的發展以及廣大消費者對此類實用且有潛力的變革性技術的普遍接受程度。究竟應該怎樣看待這個問題呢?我們認為法律和機器人項目應借鑒其他部門法的經驗。從它們幾十年來監管新技術取得的成就和面臨的困境中吸取教訓。⑩See sources cited supra note 3.網絡法以及其他受技術影響的法律領域的經驗揭示了新技術上有關法律應用問題的一個重要教訓——當涉及新技術時,對新技術準確運用隱喻尤為重要。如何規范機器人將取決于用來認識它的隱喻是什么。對不同的機器人有多種不同的隱喻,并且一個正確的隱喻將會對機器人法將要面臨的成功和失敗帶來極其重要的影響。

二十世紀一個經典的案例就說明了對新技術運用恰當隱喻的重要性。這個案例主要涉及 《第四修正案》如何理解政府竊聽的性質。根據 《第四修正案》的規定,政府部門在搜查公民的 “人身、房屋、文件和財產”之前必須取得搜查令,①U.S.Const.amend.IV.在1928年的Olmstead訴美國一案中,②277 U.S.438,466(1928).最高法院被要求明確警方未經授權的電話竊聽是否構成對Olmstead的 “搜查”。而該 “搜查”本應該以取得搜查令為前提。首席大法官塔夫脫采取了一個物理概念來解釋 “搜查”而非一種對新型電子技術的廣義理解。法庭也據此主張竊聽既不需要在物理意義上侵入房間,也不需要扣押 “有形物質財產”。因此,認定第四修正案不適用于竊聽。

相比之下,布蘭代斯法官則從更為開闊的角度來看待這個問題。他認為 《第四修正案》保護措施的應用不以新技術的物理入侵為前提。布蘭代斯法官認為現有法律確立了 《第四修正案》保障“公民家庭和隱私的神圣不可侵犯性”③Id.at 465(Brandeis,J.,dissenting).的原則。然而,他還警告道:“這些保護措施正在被一些新興技術所威脅,比如電子竊聽技術。這種技術使一種更微妙、影響更深遠的隱私入侵手段得以實現……對政府來說各種發明已經使這種現象成為可能。他們通過一種比伸手到架子上去拿更為便捷的方法在法庭上獲取法官們合議的機密信息。”④Id.at 473-74(Brandies,J.,dissenting).布蘭代斯法官還表示,未來科技的發展將會給政府帶來比竊聽更具侵入性和隱蔽性的監視方式。他還警告道:“隨著技術的不斷發展,政府可以在不取出秘密箱中文件的情況下將這些文件復印下來,并可用這種方式將家中最私密的情況向陪審團公開。思想和相關科技的進步會帶來更多探索未被表達出來的信念、想法及情感的方式。”⑤Id.at 474(Brandeis,J.,dissenting).布蘭代斯承認法院的理解其實是對 《第四修正案》文本的一種直觀解讀,他認為這種解讀是存在嚴重缺陷的,這是在堅持了一種狹隘且陳舊的觀點,即 《第四修正案》僅保護有形財產。因而這種理解并沒有抓住新技術帶來的威脅的本質。由于沒能充分理解新技術的本質——僅用一種專注于 “侵犯”的物理隱喻而非植根于隱私意義上的更廣泛的理解——法院的立場在面對新技術時不能保護好值得保護的重要價值。

隨后的搜查及扣押法的程序證明了布蘭代斯法官的看法,即用恰當的隱喻來理解竊聽技術。該案判決后不久,國會就頒布了 《聯邦通訊法》,其中第605條確立了非法竊聽罪。1937年,最高法院認為聯邦探員不能在法庭上將通過非法竊聽獲取的信息作為證據使用。⑥Nardonev.United States,302 U.S.379(1937).1967年Katz訴美國案中,最高法院最終采取了布蘭代斯法官的立場,將 《第四修正案》應用于竊聽。⑦389 U.S.347(1967).這就是一個典型的案例。本案中 《第四修正案》不僅局限于物理意義上的入侵,它同時也保護人身,而不只是某個場所不受非法搜查和扣押。⑧Id.at 351.后來,一個著名的同類案件成為了構筑當代 《第四修正案》的藍圖,在該案中哈蘭法官認為 《第四修正案》的適用應當 “采取雙重要求。第一,個人對隱私具有真實的 (主觀的)期望。第二,這種期望能夠被社會視為 ‘合理’”。⑨Id.at 361(Harlan,J.,concurring).

Olmstesd案和Katz案意義重大。首先,它清晰地呈現了對用于人類活動的新技術持不同理解會帶來截然不同的法律后果。同時對新興技術的誤解 (無論是關于其如何運作還是其威脅到何種價值觀)將會產生惡性影響。審理Olmstesd案的法院沒有認識到不受監管的政府竊聽給隱私帶來的威脅。該案的判決堅持了陳舊的無證搜查的物理隱喻。相比之下,布蘭代斯法官則更好地理解了新技術給既有價值觀帶來的威脅。他并不是在問新的偵查技術是否構成一種物理入侵,而是在問這是否屬于國家對廣義上的公民隱私的威脅。他問了一個更好的有關新技術的問題,并在保留法律原有的規范性價值基礎上調整法律以適應變化的技術環境,從而最終誕生出更好的法律制度成果。

有趣的是,由Olmstesd案和Katz案等一系列案件引發的 《第四修正案》有關非法入侵/隱私的問題至今仍至關重要。在2012年Jones案的判決中,最高法院裁定在未被下達搜查令的犯罪車輛上安裝GPS應答器是違反 《第四修正案》的。雖然整個法庭都一致認為這樣做的確違反 《第四修正案》,但法官們就本案為何違反產生了嚴重分歧。斯卡利亞等多數法官認為基于陳舊入侵理論 (源于Olmstead案)的規定是無效的,而阿利托和其他三位法官則更愿意采取一個更為廣泛的隱私權辯護理由以防止非侵入性的GPS監控。索托馬約爾法官被夾在兩個陣營中間。⑩United States v.Jones,132S.Ct.945(2012).就像Olmstead案和Katz案那樣,Jones案揭示了我們用來看待技術和法律的隱喻至關重要,它可以對法律限制和允許哪些新做法產生重要影響。

四、隱喻的重要性

這個例子揭示了隱喻在法律遭遇新技術時的重要性。當我們設計或者實施新的技術時,必須對我們用來理解這些技術的隱喻持謹慎態度。正如上述案例所示,隱喻在不同層級上發揮著作用。在概念設計層級上,前沿技術的設計者們通常可以憑借其他事物理解問題所在及其解決之道。隱喻選擇 (不論隱式或顯式)是將一項技術設計為一個既有事物的新版本,這對研究命題的型構和開展均有實質影響,從而擴大或者限縮可被測試或策劃的可能結果的范圍。例如,一項視頻流服務可能將自身定義為影院、書店、圖書館或者電視網。這些理解形塑了這些技術被設計的方式以及工程師們所需預測的潛在問題的可能種類。就這點而言,我們可以思考iTunes這一類下載服務軟件和Netflix或Spotify之類串流服務軟件的區別。iTunes被設計成一個具有嚴格數字版權管理保護措施的圖書館。Netflix如同視頻商店一樣允許用戶短期 “租用”視頻。Spotify則像無線電臺一樣,在收取一定費用后向用戶不限量開放音樂資源。相似地,當一項技術走出實驗室進入外部社會時,用戶和法律制度都將嘗試使用隱喻理解該技術。以數字音樂為例,在混合磁帶的傳統下,很多早期用戶用mp3音樂文件免費分享數字音樂。相反,版權持有人 (和法律系統)日益將這種分享視為偷竊,類似于版權法上的 “盜版”且帶有該術語所需的隱喻裝備。在機器人領域,①See,e.g.,A,Michael Froomkin,The Metaphor is the Key:Cryptography,the Clipper Chip,and the Constitution,143 U.PENN.L.REV.709(1995);Dan Hunter,Reason is too Large:Analogy and Precedent in Law,50 Emory L.J.1197(2001);Mark A.Lemley,Place and Cyberspace,91 CAL.L.REV.521(200).盡管本文并非首次論證隱喻的重要性,但選擇適當的隱喻尤其重要。我們如何理解和定義機器人,將在機器人的定義、設計、法律和用戶等不同層級產生切實影響。在定義階段,我們怎么思考機器人 (以及它們的人類操作者)將影響對它們的設計。要讓機器人成為虛擬管家、虛擬寵物、虛擬孩子嗎?這些問題的回答,不僅影響它們在解決特定問題時如何被配置,而且影響其物理呈現。管家和孩子往往不具有進攻能力;而某些寵物則反之。孩子和寵物相較于管家自主性偏低,而孩子和管家 (而非寵物)具有人性。管家、孩子和寵物這個清單也是不可窮盡的;我們可以把機器人設想成個人電腦或帶輪子的游戲系統,或者女管家、室友、性伴侶甚至配偶。

在法律層面,隱喻也同樣重要。法律人自進入法學院的第一天就被訓練 “像律師一樣思考”:其精髓是從一個案例到另一個案例進行類推的法律論證活動。②E.g.KARL LLEWELLYN,THE BRAMBLE BUSH(1930);FREDERICK SCHAUER,THINKING LIKE A LAWYER(2009).特別是在科技不斷更新的背景下,法律總是將新技術僅認定為既有技術的新形式。像我們在前面看到的,竊聽裝置一開始被類比為物理搜查,直到后來才被類比為更廣泛的隱私侵犯。網站被認為是個人財產 (而不是諸如未被主張的領地、商標、電話號碼或其他某種全新的東西),并且經受了反域名搶注制度。③The Anticybersquatting Consumer Protection Act(ACPA),15 U.S.C.1125(d)(1999).在這一制度下,公司擁有的商標類似于統一資源定位符 (Universal Resource Locators,URLs),誰主張,誰就可以獲得,除非他們可以證明搶注者惡意淡化了商標。電子信息則被類比為 “e-mail(其內容在既有法律下獲得的保護相對較少)”,并且加大保護措施以防窺探,盡管基礎的分組交換技術 (underlying packetswitchingtechnology)被認為更接近于明信片。對于自主機器人而言,隱喻的重要性不僅涵蓋法律體系如何理解 (并調整)機器人本身,還包括法律體系如何理解 (并調整)半自主機器人的人類操作者。在現有技術能力不能生產全自主機器人的背景下,這些半自主機器人將首先進入市場,彌補空白。

最后,在消費者層面,隱喻也有其重要性。很多研究已經表明,根據相關技術的呈現方式和市場化方式的不同,人們的反應也有所不同。研究表明,面對形體上擬人化 (或非擬人化)、具有(或沒有)如人類般可視眼睛、或以人類聲音說話 (而非可讀文本)的技術,人們的反應是不一樣的。這些不同的反應似乎是天性使然,但即便有社會建構在運行,類人技術與非類人技術的明顯差異仍將對消費者如何應對、接受和信任家中機器人產生真正的影響。④See M.Ryan Calo,Against Notice Skepticism in Privacy(And Elsewhere),87 NOTRE DAME L.REV.1027(2013);M.Ryan Calo,People Can Be So Fake:A New Dimension to Privacy and Technology Scholarship,114 PEEN ST.L.REV.809,849(2010)(collecting such studies).

隱喻可以限制思維,有時以一種不必要的限制方式 (如果他們依賴已經不復適用的陳舊社會規范或者技術限制),有時以某種體現日積月累的智慧成果的方式。我們在法律和機器人項目中的目標之一,就是發現一個更為宏觀的圖景——隱喻呈現人們如何理解并應對機器人的運作方式——并通過一種揚長避短的方式來設計機器人。

五、人形機器人 (android)陷阱

我們要警惕具有誘惑力但卻危險的隱喻。一提到機器人,我們總是習慣性地把它們想象成人的形象;如星球大戰里的斯瑞皮歐 (C-3PO)。即便機器人并未被賦予人類的形象,我們也很難不把人類的特征、意志和動機加諸到機器人身上。即便在實驗室,我們也把相機描述成 “眼睛”,提到機器人 “畏懼”障礙,認為它們需要 “思考”如何前進。但當我們嘗試為機器人立法時,這種將人類特征投射到機器人身上的做法是危險的。機器人現在是,并仍將是工具。誠然,它們是 (可以)運用復雜軟件的高級工具,但本質上無異于一把錘子、一臺電鉆、一個文字處理軟件、一個網絡瀏覽器或者你車里的剎車系統。隨著系統自主性的增加,越來越難以型塑輸入 (你的命令)與輸出(機器人行為)之間的聯系,但是,這一聯系存在并且確定無疑。內容相同的系列輸入每次都會產生內容相同的系列輸出。但問題是機器人永遠無法看到兩次完全相同的輸入。拿相機來說,光影的微妙變化以及相機自身的測算錯誤導致從來沒有兩個相機影像是相同的。人類或無法發現不同,但是機器人的軟件可以。

問題是,這種在相似背景下的不同的行為可以被解釋為 “自由意志”或者機器人自身的機構使然。盡管這種心理機構是我們對機器人定義的一部分,但弄清是什么導致了這種機構才是至關重要的。普通人或許不知道或不關心,但當我們進行立法設計時必須常懷心中。否則,將導致立法設計流于機器人的外在形式,不能觸及其內在功能。這將是致命的錯誤。

舉例而言,如果我們陷入過度地將人形機器人擬人化的陷阱,就會認為,對于機器人的行為,設計者將會比一個自動化的機器人 (robotic robot)負更少的責任。而它所擁有的自由意志的形式非常有限,我們又怎能期待設計者涵蓋所有的可能性呢?另一方面,我們支持汽車的制造商負較高的責任。如果汽車由于設計缺陷在行駛時突然拋錨,這是制造商的過錯。汽車只是一個機械裝置 (機器),設計者應該預料到在特定情況下它的表現。⑤例如,我們目前正在目睹第一個機器人過失致死案件,這個人的女兒被一個粗心的外科機器人殺害。http://robotland.Blogspot.com/2012/04/did-da-vinci-robot-kill-24-year-old.html?utm_source=feedburner&utm_medium=feed&utm_campaign=Feed%3A.

在這些設想下,如果我們駕駛汽車行駛在高速公路上,并且在轉動方向盤時它沒有響應,毫無疑問這是制造商的錯誤。若一個人形機器人在駕駛汽車,并且當其進行轉彎時是它的 “手”在操控方向盤,那么我們可以主張機器人制造者負責嗎?也許不能。這意味著,對于汽車異常脫離公路這一相同結果的立法調整是不同的,而其根據在于誰或者什么在駕駛汽車。

當我們將這種觀念和論證技術運用到已經嵌入汽車擎罩下的機器盒子里的人形機器人時,就會出現問題。現在,由于該技術是汽車的組成部分,立法將其作為汽車加以調整。而將該技術安置在人型機器人之中時,立法卻將它作為人型機器人加以調整。我們已經對 (機器人的不同)形式進行了立法調整,但未關注到機器人的功能。相同的傳感器和相同的軟件會產生相同的結果,但是從法律角度,我們卻將其分別對待。⑥這將會在機械的安排上產生細微的差別,人形機器人將會用它們的手臂來轉動方向盤,而車載系統可能會使用電動機。然而我們認為這種差異與我們的論點不相關。

當然,這有些荒誕。我們怎能如此輕易地被誤導呢?盡管我們用擬人化的語言來描述并思考它,但人形機器人顯然是機器。我們期待人們 (甚至是不具有技術背景的人士)認識到這一事實,并且設計出妥適的立法調整它。或者我們可以這樣做嗎?一項研究表明,人們將人形機器人更多地認定為人而非機器,⑦Peter H.Kahn,et al.,Do People Hold a Humanoid Robot Morally Accountable for the Human It Causes?PROCEEDINGS OF THE 7TH ACM/IEEE INTERNATIONAL CONFERENCE ON HUMAN-ROBOT INTERACTION,(2012).實驗中,人形機器人剝奪了人類受試者20美元的酬勞,65%的受試者認為應向人形機器人進行道德問責。但這種情況不會發生在自動售貨機故障的時候。⑧或者至少基本上不經常發生。它們僅是普通機器,是可以發生故障的。而人形機器人有所不同甚至很特殊,應適用不同的標準。盡管這個試驗并未直接支持我們的上述示例,但它的確表明人類將人形機器人人格化、歸因和設計的做法是不合理的。

我們必須避免人形機器人陷阱。機器人僅是機器,再復雜的機器人也不例外。未來,它們也不可能超越機器的范疇,我們應依此做出相應的立法。陷入 (機器人)人格化的陷阱,將導致我們陷入自相矛盾的處境,就像我們上文談及的例子。

但是,這里有一個分界線。不僅是立法者,法律適用的社會公眾也將受人形機器人陷阱的影響。他們也有 (可感知的)機器人人格化的傾向。但僅因為機動車駕駛員對人形機器人駕駛汽車與對自動駕駛汽車的反映有所不同,我們就必須為人形機器人駕駛汽車起草不同的法律嗎?達令(Darling)主張賦予特定種類機器人 (雖然它們是機器)有限的法律權利,以作為保護我們人類社會價值觀的一種機制。⑨Kate Darling,Extending Legal Rights to Social Robots,WE ROBOT CONFERENCE(2012).若我們主張機器人僅是機器,為什么沒有為烤箱、洗碗機和電動螺絲刀爭取法律權利的呼聲呢?達令的觀點是:因為我們人格化了這些社會機器人,⑩事實上,社會機器人被有意地設計來喚起我們強烈的情感反應,放大我們對人格化的自然傾向。那么法律即應賦予其比作為一般機器更多的權利。我們完全贊同這種觀點。相反地,這種觀點洞悉普通大眾的偏見以及他們陷入人形機器人陷阱的傾向。這一點或許細微但我們仍相信兩者還是具有如下區別:我們本不應該僅因為機器人看起來像人就為之單獨立法 (陷入人形機器人陷阱),但是,考慮到一般社會大眾與這些機器人接觸時,在某些特定環境下將遭受人形機器人陷阱之苦,我們即應該為此專門立法,如此我們才能更好地保護人類的社會價值觀。實際上,這很可能意味著我們應該將那些社會公眾不會過分人格化的機器人 (當有必要立法時)立法為機器,并在將來明確地將人形機器人陷阱納入考慮的范圍。在現實社會中,這兩種情況的相對頻率 (relative frequehcy)仍然是一個開放的問題,有待繼續研究。

六、并發癥:解圍之神

對于明顯自主化或者遠程遙控的系統而言,明白如何理解和類比它們已相當困難。當我們開始思考新一代的共享自主式系統時,問題將變得更為困難。在這些系統中,人類操作者 (通常在遠處)與機器人里的自主軟件合作操控這一系統。當機器人既非完全自主也非完全依賴遠程操控時,外界觀察者很難判斷系統在特定的時間究竟處于哪一種模式 (完全自主或者遠程控制)。這使得用來理解這些系統的隱喻選擇變得復雜。我們必須謹慎地選擇對操作者角色的隱喻,他們實際上僅擁有這些系統的部分控制權。①遠程操作員不太可能直接控制一個復雜機器人的所有關節,因為難度實在太大。相反,他們會給出更高層次的指令,比如選擇一個對象來抓取,并依靠低級的自主軟件來執行這些命令。因此,盡管他們能夠完全操控機器人能做什么,但是卻控制不了機器人是如何去做這些事的。

機器人對其他領域的專家來說 (比如管道工)是一個入口或化身,還是說人類機器人系統本身就是位 “專家”?當操控者發布命令,而機器人內部的自主軟件并未有效執行時,法律責任應當如何分配?如果不知道家用機器人是否被某人遠程操控時,又會產生哪些隱私問題呢?我們如何來提供有效的隱私隱喻以及用于保護機器人所有者和遠程操作員的措施呢?

七、結論與最后的思考

本文,我們提出了關于法律界應該如何思考機器人的四項基本主張。它們彼此聯系,如果要為即將到來的機器人時代設計有效的立法及消費者保護措施,我們必須全盤考慮這些主張以及它們之間的聯系。

第一, 要仔細思考我們對機器人的定義。盡管存在大眾媒體對 “傳統”機器人所做描述的影響,但這種定義因過于狹窄而不付實用。機器人和機器人技術會以其他形式悄然混入我們的生活。對此,立法必須統一,且專注機器人系統的功能而非形式。

第二, 要理解現階段機器人的技術能力,無論是在現實生活中的還是在實驗室里的。盡管絕大多數機器人較它們科幻小說中的表兄弟們差的很遠,但許多研究型機器人確實可以做到令人驚奇的事情并且展現出非凡的智力。為創設有效的立法,我們必須清楚機器人目前的水平,以及在將來它們都不能做到的事情。②當然,永遠是一段很長的時間,我們采用了 “我死后很久”的實用主義定義。例如機器人將 “永遠”(根據我們有效的定義)不會在未經允許的前提下讀取人類的想法。我們在被迫玩一個概率游戲,很難斷定什么是不可能的。但對其中有用的知識及其缺陷的有效認知,使我們能夠做出高概率的預測。這些預測使人類可以將自己 (有限的)的努力聚焦于機器人系統的立法以及未來幾年可能發生的問題。

第三, 我們應當汲取網絡法的豐富經驗,關注其如何向現有的技術和立法適用類比,特別是網絡法的成敗經驗。這將幫助我們在選擇合適調整工具的同時,了解我們為機器人和機器人技術所做隱喻和類比的選擇。

最后,我們應不惜一切代價避免人形機器人陷阱。并非所有機器人都是人形的,以高度人格化的方式構造我們的類比是危險的。即便盡力去避免,但仍阻擋不了我們對機器人能力做出誤判,并認為他們不僅僅只是機器。反過來,這將導致我們運用不恰當的類比,并且設計出糟糕的立法。

機器人正向我們走來,而且來勢洶洶。我們要做好充分的準備,并設計出有效的制度和消費者保護措施以迎接它們的到來。我們相信只有理解技術,汲取經驗,并且避免那些對新金屬霸主迷惑性的人格化陷阱,才能實現這一目的。

猜你喜歡
法律
見義勇為的法律保護
新少年(2023年9期)2023-10-14 15:57:47
法律推理與法律一體化
法律方法(2022年1期)2022-07-21 09:17:10
法律解釋與自然法
法律方法(2021年3期)2021-03-16 05:57:02
為什么法律推理必須是獨特的
法律方法(2019年4期)2019-11-16 01:07:16
法律適用中的邏輯思維
法律方法(2019年3期)2019-09-11 06:27:06
法律擬制與法律變遷
法律方法(2019年1期)2019-05-21 01:03:26
非正義法律之解釋與無效
法律方法(2018年2期)2018-07-13 03:21:38
《歡樂頌》中的法律“梗”
學生天地(2016年23期)2016-05-17 05:47:10
讓人死亡的法律
山東青年(2016年1期)2016-02-28 14:25:30
“互助獻血”質疑聲背后的法律困惑
中國衛生(2015年1期)2015-11-16 01:05:56
主站蜘蛛池模板: 欧美午夜网| 色偷偷综合网| 亚洲国语自产一区第二页| 狠狠色丁婷婷综合久久| 亚洲娇小与黑人巨大交| 亚洲VA中文字幕| 亚洲综合经典在线一区二区| 日韩毛片免费观看| 日韩美毛片| 亚洲成年网站在线观看| 黄色一及毛片| 中文字幕无码制服中字| 91在线丝袜| 无码视频国产精品一区二区| 天天综合色网| 黄色一级视频欧美| 国产成人调教在线视频| 亚洲精品福利视频| 亚洲精品你懂的| 国产中文一区二区苍井空| 91精品综合| av大片在线无码免费| 成年av福利永久免费观看| 国产91丝袜在线观看| 国产成人精品亚洲日本对白优播| 亚洲中久无码永久在线观看软件| 中文无码精品a∨在线观看| 亚卅精品无码久久毛片乌克兰| 国产成人精品一区二区免费看京| 国产麻豆aⅴ精品无码| 在线另类稀缺国产呦| 91无码网站| 蜜桃视频一区| 亚洲色欲色欲www在线观看| www欧美在线观看| 国产微拍一区| 色哟哟国产精品| 狠狠五月天中文字幕| 欧美成a人片在线观看| 国产福利小视频高清在线观看| 日本欧美视频在线观看| 国产av色站网站| 丁香五月激情图片| 国产性生大片免费观看性欧美| 三上悠亚精品二区在线观看| 日韩精品一区二区三区中文无码| 四虎国产成人免费观看| 成人日韩视频| 超清无码一区二区三区| 人人妻人人澡人人爽欧美一区| 国产精品中文免费福利| 免费a级毛片18以上观看精品| 日本伊人色综合网| 伊人久综合| 国产成人h在线观看网站站| 亚洲成肉网| 午夜限制老子影院888| 九九精品在线观看| 日本五区在线不卡精品| 亚洲精品无码av中文字幕| 91精品伊人久久大香线蕉| 亚洲精品国产成人7777| 在线观看国产精品日本不卡网| 一级成人a毛片免费播放| 亚洲中字无码AV电影在线观看| 一级香蕉视频在线观看| 欧美人在线一区二区三区| 亚洲成a人在线播放www| 激情综合网激情综合| 中国一级特黄大片在线观看| 伊人国产无码高清视频| 中文字幕无码中文字幕有码在线 | 在线视频精品一区| 中国国产一级毛片| 制服丝袜亚洲| 国产高清免费午夜在线视频| 成人福利在线看| 亚洲欧美日韩中文字幕在线| 久久综合AV免费观看| 亚洲一级色| 国产精品手机在线观看你懂的 | 久久久久亚洲精品无码网站|