999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

算法時代傳統(tǒng)隱私理論之困境與出路

2021-03-24 06:08:13張慧
重慶社會科學(xué) 2021年2期

張慧

摘 要:《中華人民共和國民法典》明確規(guī)定隱私與個人信息的保護(hù)范疇相互交叉,隱私的本質(zhì)是私密性。在算法時代,衡量“數(shù)據(jù)是否符合私密性標(biāo)準(zhǔn)”的價值立場應(yīng)從人格尊嚴(yán)和人格自由轉(zhuǎn)換到人格獨(dú)立,理論基礎(chǔ)應(yīng)從領(lǐng)域論和信息自主決定原則轉(zhuǎn)換到思想自主決定層面。隱私范圍的界定模式應(yīng)由“內(nèi)外限制”轉(zhuǎn)變?yōu)椤皠屿o結(jié)合”。個性化推薦中的數(shù)據(jù)性質(zhì)宜認(rèn)定為隱私,因?yàn)閺撵o態(tài)的角度,其符合個人性、人格性、隱蔽性等“個性化”標(biāo)準(zhǔn),且形式上多元,不局限于信息的形式。從動態(tài)的角度,若未獲得用戶的允許,個性化推薦算法,包括基于內(nèi)容的推薦、協(xié)同過濾推薦和基于知識的推薦等,計算判別用戶喜好的行為,既干擾了用戶的私有領(lǐng)域,又窺探了用戶的人格圖像。其行為結(jié)果符合隱私的“主體性”標(biāo)準(zhǔn)。

關(guān)鍵詞:個性化推薦;算法;數(shù)據(jù);隱私

[中圖分類號] D923?????[文章編號] 1673-0186(2021)002-0125-012

[文獻(xiàn)標(biāo)識碼] A???? ????[DOI編碼] 10.19631/j.cnki.css.2021.002.010

個性化推薦是一種基于機(jī)器推薦方式來預(yù)測用戶的評分或偏好的信息過濾行為,最早于1995年應(yīng)用在美國的導(dǎo)航系統(tǒng)中。我國是從2009年開始,將其廣泛應(yīng)用在淘寶等電子商務(wù)網(wǎng)站上,向潛在消費(fèi)者推薦滿足其需求的產(chǎn)品和服務(wù)。發(fā)展到今天,幾乎每個網(wǎng)站都采用個性化推薦技術(shù)以優(yōu)化客戶服務(wù)。其技術(shù)功能是解決信息過載和長尾問題,彌補(bǔ)信息平臺在提供針對性意見建議和服務(wù)等方面的缺陷,從而更好地滿足用戶個性化檢索和匹配需求。要實(shí)現(xiàn)這一功能,信息平臺不得不利用用戶的網(wǎng)絡(luò)行為數(shù)據(jù)去挖掘用戶的個人喜好。時至今日,小到衣物的選擇、新聞的獲取,大到股票等商業(yè)交易的完成,人們越來越多的選擇由信息平臺的個性化推薦完成。由此引發(fā)了學(xué)界對個性化推薦場景中隱私權(quán)保護(hù)的擔(dān)憂,百度隱私案更是一度成為討論熱點(diǎn)[1-3]。該案的焦點(diǎn)是,百度網(wǎng)站通過cookie所收集使用的用戶數(shù)據(jù)是否構(gòu)成了個人隱私。一審判決認(rèn)為構(gòu)成個人隱私,而二審判決認(rèn)為不構(gòu)成個人隱私,并最終否認(rèn)了百度侵權(quán)。學(xué)者們也基本上支持二審的認(rèn)定標(biāo)準(zhǔn)和結(jié)果。由于該案判決時,我國民法規(guī)范未明確規(guī)定隱私的概念,隱私和個人信息的保護(hù)范疇模糊不清,這直接影響了個性化推薦中關(guān)于數(shù)據(jù)法律性質(zhì)的界定標(biāo)準(zhǔn)。

本質(zhì)上,個性化推薦服務(wù)由一系列程序構(gòu)成,程序由算法和數(shù)據(jù)組成[4],數(shù)據(jù)是信息的載體,而算法是將數(shù)據(jù)從一種形式轉(zhuǎn)化成另一種形式的一套方法、規(guī)則,用戶在網(wǎng)絡(luò)上的行為信息實(shí)際上是承載于這些數(shù)據(jù)之上的。可以說,個性化推薦都是由數(shù)據(jù)和算法共同描述,缺一不可。要判斷個性化推薦服務(wù)是否構(gòu)成隱私侵權(quán)的法定要件,最核心的是要探討其本質(zhì),即算法的執(zhí)行——加工處理數(shù)據(jù)的行為是否符合侵犯隱私權(quán)的構(gòu)成要件。而隱私權(quán)是對隱私的權(quán)益,若無法確定個性化推薦中數(shù)據(jù)的法律性質(zhì),則難以進(jìn)一步研究算法侵權(quán)的請求權(quán)基礎(chǔ)和責(zé)任機(jī)制。

此外,百度隱私案涉及的數(shù)據(jù)使用情形僅僅是推薦技術(shù)應(yīng)用的“冰山一角”,基于cookie的個性化推薦僅僅為眾多推薦技術(shù)之一。推薦系統(tǒng)種類眾多,學(xué)術(shù)界從領(lǐng)域、實(shí)時性、推薦內(nèi)容等方面進(jìn)行了不同的分類:從領(lǐng)域上分為垂直推薦和全網(wǎng)推薦;從實(shí)時性上分為實(shí)時推薦和離線推薦;從推薦內(nèi)容上分為新聞推薦、電子商務(wù)推薦和娛樂推薦。百度使用的推薦僅是全網(wǎng)、實(shí)時推薦,因此,該案對隱私問題的相關(guān)認(rèn)定,是否能完全適用于所有個性化推薦的場景,亦值得反思。

欣慰的是,我國《民法典》就隱私和個人信息作出了明確規(guī)定,隱私和個人信息的聯(lián)系與區(qū)別實(shí)現(xiàn)了立法層面的確定化和清晰化。那么,在《民法典》出臺的背景下,個性化推薦中用戶數(shù)據(jù)的法律性質(zhì)應(yīng)如何認(rèn)識呢?該問題誠值梳理和思考,以辟理論和司法實(shí)踐中的混淆之態(tài)。

一、隱私范疇的立法修正與保護(hù)困境

“隱私權(quán)”這個概念為美國舶來品,指對隱私的權(quán)益。在《民法典》出臺前,我國關(guān)于隱私的規(guī)定散見于《民法總則》第110條、《侵權(quán)責(zé)任法》第2條等條文,這些規(guī)定均未直接明確隱私的內(nèi)涵,進(jìn)而導(dǎo)致了隱私與個人信息的邊界難以區(qū)分。

(一)隱私與個人信息的關(guān)系

就如何處理隱私與個人信息的關(guān)系這一問題,學(xué)界主要提出了廣義說、狹義說和折中說三種觀點(diǎn)。這些觀點(diǎn)的共性在于,都認(rèn)為隱私包括私密領(lǐng)域、私生活安寧和私生活秘密,隱私的核心在于個人的私密性不受他人干擾、刺探和公開;分歧在于,個人信息是分別歸屬于隱私或個人信息兩個范疇進(jìn)行保護(hù),還是與隱私存在交叉。

1.廣義說

對隱私作廣義解釋,隱私包括個人信息。如王澤鑒認(rèn)為,隱私包括私人生活、私人信息、私人空間及個人生活安寧等方面,其必須僅與特定人的人身存在密切利益聯(lián)系,且該特定人不愿被他人知悉。

其核心范疇有兩點(diǎn):一是包括個人生活私密領(lǐng)域。即個人生活不受他人侵?jǐn)_,私人有權(quán)享有完全自我的私密空間,且決定是否向他人公開或完全自處,因此亦可稱為空間隱私;二是包括信息自主,即個人可以決定私人信息是否及如何向他人公開,因此又被稱為信息隱私。相應(yīng)地,隱私權(quán)亦包括信息自主權(quán)[5],采納該觀點(diǎn)的,如美國等[6]。而德國立法上起初并無隱私權(quán)的規(guī)定,僅通過一般人格權(quán)來保護(hù)涉及隱私的權(quán)益,之后為應(yīng)對信息技術(shù)的發(fā)展,逐漸將該權(quán)益的保護(hù)范圍從領(lǐng)域私密擴(kuò)展到信息自主[5]。

2.狹義說

對隱私作狹義解釋,隱私不包括個人信息,兩者是相互獨(dú)立、并列的范疇。如王利明認(rèn)為,隱私和個人信息存在差別,應(yīng)明確二者的區(qū)別[7]。

一方面,隱私強(qiáng)調(diào)的是信息或行為的私密性。即使某信息或者行為與權(quán)利主體的身份不直接相關(guān),但只要與公共利益無關(guān),且該權(quán)利人不愿意公開披露,就能被認(rèn)定為隱私。而個人信息更強(qiáng)調(diào)信息的主體身份,無論是單個信息或與其他信息相結(jié)合,都需確定有可以被識別出的身份。

另一方面,除了信息這種方式,隱私還包括私人行為、私生活空間等無記載媒介的存在方式。因此,隱私權(quán)僅包括兩方面:一是獨(dú)處的生活狀態(tài)或私人事務(wù);二是私生活秘密不受他人的非法披露[7]。侵害隱私權(quán)即為侵害個人保有私密性的權(quán)利,如非法的披露和騷擾。典型的案件類型有“錄像帶案”“安裝攝像頭偷窺案”等[5]。

3.折中說

即隱私與個人信息相互交叉。如張新寶認(rèn)為,私人信息一旦被高度公開,則不再受隱私權(quán)保護(hù)。而未公開披露,且具有私人屬性的敏感信息,仍應(yīng)被認(rèn)定為隱私[8]。

根據(jù)《民法典》第1032條第2款和第1034條第3款,我國已通過立法的形式,明確將個人信息作為獨(dú)立的民事權(quán)益進(jìn)行保護(hù),且采納了折中說,即隱私與個人信息的保護(hù)范疇相互交叉。用戶就個人資料找尋請求權(quán)規(guī)范基礎(chǔ)進(jìn)行權(quán)利救濟(jì)時,究竟是只能通過隱私權(quán)或個人信息,還是既可通過隱私權(quán),也可通過個人信息進(jìn)行,最重要的是判斷該個人資料是否具有隱私的私密性特征。

(二)傳統(tǒng)認(rèn)定模式在算法時代的局限性

為避免隱私權(quán)的保護(hù)范圍過廣,學(xué)者提出了“控制論”和“合理期待理論”兩種學(xué)說,分別從內(nèi)外兩個視角對“私密性”予以限定。具體而言,在隱私內(nèi)部,通過控制論,強(qiáng)調(diào)了自我對隱私需具有控制力,且是絕對的控制力。若某信息或空間領(lǐng)域具有公共性,便不屬于隱私。而當(dāng)某信息符合“控制論”的內(nèi)部要求時,還需進(jìn)一步探討其是否符合外部要求。外部要求指“合理期待理論”,即民法規(guī)范將其作為隱私加以保護(hù),必須為一般第三人普遍同意[9]。但無論是“控制論”的內(nèi)部說還是“合理期待理論”的外部說,都無法有效回應(yīng)算法中的隱私范圍應(yīng)如何界定這一問題。

首先,用戶輸入算法中的個人資料,不都屬于“應(yīng)被絕對保護(hù)與控制”的自我領(lǐng)域,因此對初始輸入的個人資料無法完全通過隱私權(quán)加以保護(hù)。但算法的反復(fù)計算、描畫功能,可能使資料的組合變成真實(shí)或者接近真實(shí)的人格圖像,那么該學(xué)習(xí)和計算的結(jié)果,是否仍屬于個人控制的私密領(lǐng)域,受個人控制呢?若該資料的組合結(jié)果不屬于私密性領(lǐng)域,不受個人控制,那么在算法時代,個人信息一旦被輸入,則意味著用戶放棄了對該信息所擁有的“控制力”。隨著算法的功能日益強(qiáng)大,擁有的個人信息也日益龐大,那么個人的私密領(lǐng)域則逐漸被算法控制,個人也逐漸失去控制自身權(quán)利的法律依據(jù),這將不利于人格權(quán)的保護(hù)。而若資料的組合結(jié)果屬于私密性領(lǐng)域,受個人控制,應(yīng)如何處理其和初始輸入的數(shù)據(jù)之間的關(guān)系呢?顯然,“控制論”難以回答。

其次,算法的發(fā)展是不可逆轉(zhuǎn)的技術(shù)趨勢和商業(yè)趨勢。當(dāng)用戶勾選表示同意算法運(yùn)行的選項(xiàng)時,是否體現(xiàn)為同意算法對自我信息的加工和處理?如果依一般人的合理期待,體現(xiàn)為同意,那么在算法時代,個人資料一旦被輸入,則意味著用戶喪失了對自我信息的決定權(quán)。久而久之,不再是我們控制自我,而是算法控制了我們[10]。若人失去了“人格獨(dú)立”,又何談“人格尊嚴(yán)和人格自由”呢?如果依一般人的合理期待,這無法體現(xiàn)為同意,由此導(dǎo)致的權(quán)利義務(wù)邊界不清晰,也難以為算法技術(shù)的發(fā)展提供有效的法律保障。

(三)隱私保護(hù)在分析視角上的轉(zhuǎn)變

在傳統(tǒng)物理空間的語境下,隱私所預(yù)設(shè)的權(quán)利范圍一般由“領(lǐng)域論”予以解釋,即人區(qū)別于動物,應(yīng)保有自我私密的空間領(lǐng)域,享有安寧。該理論是以人性的尊嚴(yán)為本質(zhì)內(nèi)容,強(qiáng)調(diào)每個人都對自己的領(lǐng)域享有法律承認(rèn)的絕對保護(hù)[5]。

隨著信息和網(wǎng)絡(luò)技術(shù)的發(fā)展,個人資料被新型技術(shù)不斷收集、儲存、使用與傳送的情形出現(xiàn)。“領(lǐng)域論”無法解釋“自我對個人資料的絕對控制與社會公益需要之間的矛盾關(guān)系”,因此逐漸被“信息自主決定原則”所替代[5],即個人可以自行決定與本人相關(guān)的生活事實(shí)在何種范圍、何種程度公開。相較于“領(lǐng)域論”首次體現(xiàn)“人非動物”的基本立場,弘揚(yáng)的價值是“人格尊嚴(yán)”,“信息自主決定原則”更關(guān)注的是“人格自由”,即自然人面對未知的周遭尤其是公權(quán)力時,其所享有的自由空間是否具有邊界。換言之,“信息自主決定原則”是在信息時代對“領(lǐng)域論”絕對性的修正。

發(fā)展到算法時代,要清晰界定隱私的范圍,不得不處理的必要矛盾轉(zhuǎn)變?yōu)椤皞€人資料保護(hù)與算法深度計算學(xué)習(xí)功能之間的關(guān)系”,這也是算法中數(shù)據(jù)性質(zhì)界定的關(guān)鍵所在。要處理好這一矛盾,隱私權(quán)所保護(hù)的價值重心應(yīng)由“人格尊嚴(yán)和人格自由”轉(zhuǎn)變?yōu)椤叭烁癃?dú)立”,強(qiáng)調(diào)對人之“自主思想的個性化”的尊重和宣示。

在計算機(jī)世界中,算法是動態(tài)的,而數(shù)據(jù)是靜態(tài)的,數(shù)據(jù)是算法的填充[11]。由于矛盾關(guān)系和價值立場的轉(zhuǎn)變,算法時代要確定隱私的保護(hù)范圍可分別從靜態(tài)存儲的數(shù)據(jù)和動態(tài)運(yùn)行的算法行為兩個層面著手分析。

在“靜”的層面,算法中的個人資料要符合隱私“私密性”的基礎(chǔ)特征,需滿足“個性化”標(biāo)準(zhǔn),包括:一是個人性,個人資料需與個人相關(guān);二是人格性,反映個人的思想特征;三是隱蔽性,未期待該個人資料挪作他用。

從“動”的層面分析,算法中的個人資料要符合隱私的“私密性”特征,需滿足“主體性”標(biāo)準(zhǔn),即這些個人資料能夠被組合起來,對應(yīng)到某用戶,描繪成人格圖像,并且仍屬于用戶個人的私有領(lǐng)域。

概言之,在算法時代,隱私權(quán)的保護(hù)范圍應(yīng)從“內(nèi)外限制”的界定模式,轉(zhuǎn)換為“動靜組合”的界定模式。

二、個性化推薦中數(shù)據(jù)結(jié)構(gòu)的靜態(tài)分析

基于“動靜組合”的分析視角,要確定個性化推薦中的數(shù)據(jù)是否構(gòu)成隱私,首先應(yīng)從靜態(tài)層面分析數(shù)據(jù)的物理特征和法律性質(zhì)。算法不是建立在單獨(dú)、割裂的數(shù)據(jù)之上,而是依靠數(shù)據(jù)結(jié)構(gòu)來實(shí)現(xiàn),數(shù)據(jù)結(jié)構(gòu)即數(shù)據(jù)元素的關(guān)系。因此,要研究數(shù)據(jù)的靜態(tài)特征,實(shí)際上應(yīng)研究算法的數(shù)據(jù)結(jié)構(gòu)。具體而言,數(shù)據(jù)按照結(jié)構(gòu)格式分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)[12]。

(一)數(shù)據(jù)的存儲方式

結(jié)構(gòu)化數(shù)據(jù)較容易理解,簡而言之就是數(shù)據(jù)庫,也稱作行數(shù)據(jù)。數(shù)據(jù)通常建立在一張表上進(jìn)行對應(yīng),比如一些物品(item)按照名稱、種類、顏色等屬性被記錄下來,因此可以通過一定的數(shù)據(jù)格式與長度規(guī)范讀取某一條記錄的屬性值。而非結(jié)構(gòu)化數(shù)據(jù)相對而言,在形式和格式上就豐富很多,一般以文本、圖形、圖像、音頻、視頻等復(fù)雜對象表現(xiàn)出來。不同于一條記錄對應(yīng)某個屬性的結(jié)構(gòu)化數(shù)據(jù),非結(jié)構(gòu)化數(shù)據(jù)需要通過比較復(fù)雜的分析才能理解數(shù)據(jù)含義,比如對這些物品的感覺的描述[13]。

半結(jié)構(gòu)化數(shù)據(jù)是結(jié)構(gòu)化的數(shù)據(jù),但是又不同于一般的結(jié)構(gòu)化數(shù)據(jù)。因?yàn)槠浣Y(jié)構(gòu)變化很大,很難建立一張表與之對應(yīng)。比如建立一個人員信息庫時,針對某一個人的信息可以建立一張表,但每個人的信息項(xiàng)不盡相同,因此一張表難以對應(yīng)所有人的信息,這時候就需要進(jìn)行半結(jié)構(gòu)化數(shù)據(jù)處理。基于以上數(shù)據(jù)分類,算法對數(shù)據(jù)的管理一般采用結(jié)構(gòu)化數(shù)據(jù)管理和非結(jié)構(gòu)化數(shù)據(jù)管理兩種方式,以便于合適地存儲數(shù)據(jù)。

從算法的角度,個性化推薦包括基于內(nèi)容的推薦(Content-based Recommendation,簡稱CB)、協(xié)同過濾推薦(Collaborative Filtering Recommendation,簡稱CF)、基于知識的推薦(Knowledge-based Recommendation,簡稱KB)和組合推薦這四種方式。組合推薦是指使用了兩種以上的推薦算法,此處不再作單獨(dú)介紹。

每種推薦算法使用的數(shù)據(jù)結(jié)構(gòu)不盡相同。具體而言,在基于內(nèi)容的推薦算法中,物品的特征屬性作為結(jié)構(gòu)化數(shù)據(jù)來存儲,用戶過往有關(guān)物品的所有行為數(shù)據(jù)都會被收集[14]。這種推薦算法的運(yùn)行,本質(zhì)上要求用戶在檢索過程中不斷填表,其對用戶信息的處理是“不加掩飾”的,直接對表中數(shù)據(jù)進(jìn)行加工甚至是原原本本的使用。

在協(xié)同過濾推薦中,用戶信息主要作為非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行存儲,最常見的是音樂推薦和電影推薦。首先推薦系統(tǒng)假定一個前提,偏好類似物品的用戶具有相同喜好的可能性更大。在該前提下,系統(tǒng)計算出當(dāng)前用戶的“朋友圈”。用戶在這個過程中是被動的,系統(tǒng)卻是主動的。這種推薦方式并不需要用戶直接“填表”,也不會對用戶選擇的內(nèi)容直接進(jìn)行引用,更多的是學(xué)習(xí)全體用戶的行為模式[15]。被系統(tǒng)引用的數(shù)據(jù)是基于大量用戶的歷史偏好數(shù)據(jù),當(dāng)前用戶不需要手動創(chuàng)建物品的特征屬性,其個人意愿的表達(dá)是“后置”的。

在基于知識的推薦和基于內(nèi)容的推薦中,用戶信息都是作為結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行存儲。不同的是,基于知識的推薦完全是由系統(tǒng)掌握主動,用戶只是被帶入設(shè)定好的情境[16]。用戶雖然針對物品有比較精確的意愿表達(dá),但是用戶不需要在這種表達(dá)里泄露與算法推薦結(jié)果無關(guān)的個人信息。同時,系統(tǒng)也不需要遍尋其他用戶的行為數(shù)據(jù)。

(二)數(shù)據(jù)的個性化特征

首先,個性化推薦中的數(shù)據(jù)信息無法用個人信息的概念完全涵蓋。協(xié)同過濾推薦中使用的非結(jié)構(gòu)化數(shù)據(jù),包括影片、圖片,不限于信息的形態(tài),不符合個人信息的形式特征。基于內(nèi)容的推薦和基于知識的推薦,雖然都是數(shù)據(jù)化的表格,但內(nèi)容指向的通常不是電話號碼、住址等非人格性的信息,而是直接關(guān)系著個人的喜好。

其次,在個性化推薦中,用戶的數(shù)據(jù)信息確實(shí)與傳統(tǒng)的隱私具有一些區(qū)別。一是不可控制性。數(shù)據(jù)信息難以被肉眼看見,如何被利用也難以察覺。其存在空間由線下的、自己身體可控制的物理空間移轉(zhuǎn)到線上的、被數(shù)據(jù)庫存儲的、自己不可控制的網(wǎng)絡(luò)空間。二是虛擬性。算法記錄的數(shù)據(jù)信息對應(yīng)著特定的網(wǎng)絡(luò)地址,這些網(wǎng)絡(luò)地址是用戶在算法世界的身份,或者稱為識別碼。換言之,與個性化推薦算法交互的對象形式上是虛擬的用戶。

但這些數(shù)據(jù)信息本質(zhì)上仍沒有突破隱私的界限。一是個人性,與個人直接相關(guān)。雖然網(wǎng)絡(luò)用戶形式上是虛擬的,但每個網(wǎng)絡(luò)用戶對應(yīng)的是真實(shí)的個人,相應(yīng)地,網(wǎng)絡(luò)用戶留下的信息也是與該網(wǎng)絡(luò)用戶息息相關(guān)的、專屬于該用戶個人的信息,具有真實(shí)性。隨著自主算法逐步走向無監(jiān)督趨勢,算法不斷學(xué)習(xí)挖掘用戶的數(shù)據(jù)信息時,甚至不需要用戶主動提供真實(shí)身份,就可以精準(zhǔn)識別到真實(shí)的個人。二是內(nèi)容的人格性。王澤鑒在“借書案”中指出,某甲在圖書館借閱的書目信息,由于可以窺探到本人的思想、信仰、性向、嗜好、研究工作等信息,從而組構(gòu)成人格圖像,因此應(yīng)認(rèn)定為隱私,圖書館未經(jīng)允許不可將借閱信息告知他人[5]。相應(yīng)地,個性化推薦算法依賴的數(shù)據(jù)信息也都刻畫了用戶的個性化喜好,算法可以通過不斷學(xué)習(xí)這些數(shù)據(jù),描繪出用戶的人格圖像,因此也具有人格性。三是隱蔽性。“隱私權(quán)的核心要義在于,尊重每個人擁有相當(dāng)程度的內(nèi)在自我,并可以在該范圍內(nèi)完全隱蔽并獨(dú)處。”[5]即使在個性化推薦中,與用戶交互的對象也僅僅是算法,而不是不特定的、公開的其他人。而且根據(jù)《民法典》第1194條,網(wǎng)絡(luò)用戶既然不能因?yàn)槠涮摂M性而否認(rèn)其“侵權(quán)責(zé)任主體”的法律地位,當(dāng)然也不能因?yàn)樘摂M性否認(rèn)其“權(quán)利主體”的法律地位。因此,即使存在方式由線下轉(zhuǎn)移到了線上,個性化推薦中的數(shù)據(jù)信息,依舊符合靜態(tài)層面隱私的基本特征。

三、個性化推薦中算法運(yùn)行的動態(tài)分析

個性化推薦不僅依靠靜態(tài)存儲的數(shù)據(jù)結(jié)構(gòu),還必須通過動態(tài)的執(zhí)行過程才能完成。因此,有必要在靜態(tài)分析的基礎(chǔ)上,進(jìn)一步探究算法的動態(tài)運(yùn)行機(jī)制,方能確定算法數(shù)據(jù)的法律性質(zhì),從而保證研究結(jié)論的可靠性。

(一)算法的執(zhí)行過程

由于基于內(nèi)容的推薦、協(xié)同過濾推薦和基于知識的推薦等推薦算法的運(yùn)行機(jī)制存在差異,需逐一分析其執(zhí)行過程,從而總體判定算法在收集、存儲和利用數(shù)據(jù)的過程中,涉及的用戶數(shù)據(jù)是否和隱私發(fā)生關(guān)聯(lián)。

1.基于內(nèi)容的推薦

基于內(nèi)容的推薦是對信息檢索系統(tǒng)的改進(jìn)。其運(yùn)行過程是,在用戶主動檢索自己感興趣內(nèi)容的基礎(chǔ)上,系統(tǒng)對用戶選擇的對象進(jìn)行特征值提取,在此過程中不斷學(xué)習(xí)研究用戶的興趣,最后通過特征值匹配來向用戶進(jìn)行推薦[17]。比如,現(xiàn)實(shí)生活中的淘寶平臺,其推薦主要是依靠用戶頻繁檢索來實(shí)現(xiàn)。

這種算法的原理和機(jī)制是:第一,輸入物品,系統(tǒng)抽取每個物品的特征屬性即物品的內(nèi)容來表示此物品,記錄在用戶的行為日志中;第二,利用用戶的行為日志來獲取該用戶所瀏覽、收藏、評價、分享的所有物品,根據(jù)用戶對這些物品喜歡與否的特征數(shù)據(jù),來學(xué)習(xí)出此用戶的內(nèi)容偏好;第三,比較得到的用戶內(nèi)容偏好與候選物品的特征,將相關(guān)度最大的一組物品輸出到推薦結(jié)果中。

2.協(xié)同過濾推薦

協(xié)同過濾推薦主要是研究人與人之間的關(guān)系,本著用戶參與和用戶貢獻(xiàn)的宗旨應(yīng)運(yùn)而生,目前已成為最熱門的推薦技術(shù)。它是通過大量分析所有用戶的訪問、瀏覽、操作等行為,找到與當(dāng)前用戶興趣愛好最相似的一群人,計算出每個對象對用戶的效用值大小,最后利用數(shù)學(xué)模型選出最合適的對象向用戶進(jìn)行推薦。這類似于日常生活中,我們通常會根據(jù)好朋友的推薦來決定自己的購買行為。

協(xié)同過濾推薦算法的原理和機(jī)制稍微復(fù)雜一些,模型簡單化處理就是:第一,系統(tǒng)對多個用戶的偏好進(jìn)行計算,發(fā)現(xiàn)A用戶偏好item1、item2,B用戶偏好item3,C用戶偏好item1、item2、item4;第二,系統(tǒng)通過計算每個物品(item)對用戶的效用值大小,斷定A用戶和C用戶偏好更相似一些,同時C用戶多一個偏好item4,則系統(tǒng)推斷A用戶喜歡item4的可能性很大,便將item4作為輸出結(jié)果推薦給A用戶[18]。

3.基于知識的推薦

當(dāng)系統(tǒng)能夠很清晰地獲取所推薦用戶過去的偏好數(shù)據(jù)時,可以采用基于內(nèi)容的推薦(CB)方法;當(dāng)系統(tǒng)有條件獲取大量用戶的偏好信息時,可以采用協(xié)同過濾推薦(CF)方法。但是,當(dāng)面對一些特定物品,諸如汽車、房屋、消費(fèi)類電子產(chǎn)品等涉及“單次”購買的物品時,前面兩種推薦方法往往會失靈,就需要用到基于知識的推薦(KB)來滿足特殊化的要求。這種方法并非通過用戶訪問系統(tǒng)的行為數(shù)據(jù)來進(jìn)行推薦,而是采用一定的規(guī)則,完成一套動作,最后向用戶推薦比較合適的對象。

這種推薦算法的原理和機(jī)制是“逆向化”的信息檢索過程,它不是讓用戶直接檢索,而是推薦系統(tǒng)預(yù)定一組具有相關(guān)性和遞進(jìn)式的“填空題”,用戶每完成一次填空,就將用戶檢索過程中輸入的參數(shù)反饋給推薦系統(tǒng)。系統(tǒng)采用會話式的窗口,向用戶連續(xù)發(fā)出問句:用戶喜歡哪個國家的物品?喜歡這個國家什么類型的物品?喜歡看這個國家這種類型哪個年代的物品……系統(tǒng)根據(jù)用戶連續(xù)作出的選擇動作,自行分析用戶喜好,向用戶推薦合適的物品。

(二)執(zhí)行結(jié)果的主體性特征

綜上,個性化推薦算法的主要運(yùn)行機(jī)制是,在分析社交網(wǎng)絡(luò)的基礎(chǔ)上,重點(diǎn)研究用戶的行為,用計算的方式判別用戶的個性化喜好,并完成推薦。要實(shí)現(xiàn)該任務(wù),不得不依賴的路徑就是對每個用戶的網(wǎng)絡(luò)行為進(jìn)行跟蹤、匯總,而為了保證個性化推薦的精準(zhǔn)度,就是要掌握最符合該用戶的數(shù)據(jù)信息。因此,可以將個性化推薦算法的行為過程概括為兩個步驟:第一步是收集信息,并判別喜好,可稱為“挖掘行為”[19];第二步,根據(jù)判別的喜好,向用戶推薦信息,可稱為“推薦行為”。

隱私權(quán)的應(yīng)有之義,就是保有個人的私密性。從動態(tài)層面來看,隱私權(quán)包括私有空間的不被干擾和人格圖像的不被窺探。因此,若算法進(jìn)行個性化推薦時,執(zhí)行結(jié)果干擾了私有空間、窺探了人格圖像,則該結(jié)果就符合了隱私的“主體性”標(biāo)準(zhǔn)。

1.干擾私有空間

即使在算法時代,人們?nèi)詰?yīng)擁有個人的空間。而這個私人空間的大小、開放與否,仍由人自己來決定,而不是被算法決定。無論用戶是主動鍵入,還是按算法提供的欄目被動進(jìn)行選擇,其存留下的信息應(yīng)是靜止不動的。用戶的數(shù)據(jù)信息反映著用戶此時或過去的喜好,此時,若用戶要將這些能反映個人喜好的隱私封存,像寫進(jìn)了日記本里不再被人察覺一樣,算法“未經(jīng)同意”的挖掘行為便構(gòu)成了對個人私有空間的干擾。

而且用戶受算法引導(dǎo)所存留信息的行為,不同于在博客、微博等公開互聯(lián)網(wǎng)平臺上的留言行為。因?yàn)楹笳呤敲魇镜墓_行為,其面向的就是不特定的第三人。一經(jīng)公開,便意味著放棄了私有空間。此時第三人將該信息進(jìn)行傳播,便不屬于對私有空間的干擾。而前者是否具有公開性,需分別觀察推薦行為和挖掘行為。

推薦行為建立在挖掘行為基礎(chǔ)之上,不同意挖掘當(dāng)然無法推薦。因此,認(rèn)定個性化推薦的算法的執(zhí)行是否干擾了個人的私有空間,關(guān)鍵在于判斷用戶作為主體,是否“同意”算法的“挖掘行為”。但用戶同意算法“挖掘”信息不等于同意算法“公開”信息,同意只是對本次算法“挖掘行為”的豁免,本質(zhì)上并未改變數(shù)據(jù)信息的私有性。此時算法將收集到的信息披露給第三方,仍是對私有空間的干擾。

2.窺探人格圖像

個性化推薦算法,特別是基于內(nèi)容的推薦,需要不斷挖掘用戶的過去。每一次個性化推薦,都建立在該用戶過去所有的數(shù)據(jù)基礎(chǔ)上。如果算法沒有被施加限制或者獲得授權(quán),那么算法的每一個推薦行為,都在窺探用戶的過去。而用戶每根據(jù)算法的指示完成一次選擇,都再次構(gòu)成了用戶的數(shù)據(jù)信息,成了算法下一次挖掘的對象。算法通過挖掘行為所收集計算判別的用戶喜好,若未獲得用戶的允許,實(shí)際上就構(gòu)成了用戶“被窺視的人格圖像”。

侵害隱私行為的始點(diǎn)從什么時候開始計算呢?是從第一次收集用戶的數(shù)據(jù)開始,還是從挖掘數(shù)據(jù)開始?理論上,應(yīng)認(rèn)定為從挖掘數(shù)據(jù)開始,也就是算法未經(jīng)授權(quán)便開始學(xué)習(xí)用戶的喜好開始。因?yàn)閿?shù)據(jù)的信息被算法收集,是用戶使用計算機(jī)程序所必須遺留下來的。單純地記錄數(shù)據(jù)不認(rèn)為是對隱私的侵犯,而用戶所享有的刪除這些數(shù)據(jù)的權(quán)利,也不是隱私權(quán)受到侵犯后產(chǎn)生的救濟(jì)性或防御性權(quán)利,而完全是基于用戶在網(wǎng)絡(luò)空間所享有的對個人數(shù)據(jù)信息的控制權(quán),有權(quán)處分個人數(shù)據(jù)信息。

四、百度隱私案的再思考

百度隱私案的案情是,原告朱某起訴被告百度公司,未經(jīng)其知情同意,記錄并跟蹤其搜索的“減肥”“豐胸”“流產(chǎn)”等關(guān)鍵詞,并向其推送相關(guān)廣告。這暴露了個人的興趣愛好、生活學(xué)習(xí)工作等特點(diǎn),侵害了隱私權(quán),主張損害賠償。

(一)回避了個性化推薦所使用的算法技術(shù)

該案的矛盾焦點(diǎn)集中在,百度網(wǎng)站的個性化推薦所收集并使用的數(shù)據(jù)信息是否構(gòu)成了個人隱私。針對該矛盾焦點(diǎn),被告百度網(wǎng)站的應(yīng)對策略是,從“個性化推薦的技術(shù)原理——cookie技術(shù)”角度出發(fā),辯稱cookie技術(shù)具有合法性,不涉及隱私侵權(quán)。而一二審判決也均圍繞該技術(shù)本身在爭論,cookie技術(shù)的運(yùn)行機(jī)制是否存在侵害隱私權(quán)行為。實(shí)際上,這是百度公司利用其技術(shù)優(yōu)勢,避重就輕,“巧妙”利用cookie技術(shù)的中立性,“完美”回避了算法技術(shù)中難以解釋的爭議性問題。

因?yàn)椋琧ookie技術(shù)是一種存儲方式,cookie本質(zhì)是一小段文本信息,存儲于本地的客戶端而非網(wǎng)絡(luò)的服務(wù)器端。當(dāng)用戶通過瀏覽器訪問某個頁面時,就會發(fā)送這段文本信息。而個性化推薦作為計算機(jī)技術(shù),本質(zhì)上是由一系列程序構(gòu)成,程序又由算法和數(shù)據(jù)結(jié)構(gòu)組成[4],百度網(wǎng)站對用戶數(shù)據(jù)信息的存儲,采用的是客戶端和服務(wù)端相結(jié)合、本地存儲與網(wǎng)絡(luò)存儲的方式。即使用戶刪除了或者禁用了瀏覽器的cookie,但是百度網(wǎng)站仍然可以通過算法的運(yùn)行機(jī)制,實(shí)現(xiàn)用戶信息在服務(wù)器端或者網(wǎng)絡(luò)端的存儲。

換言之,百度網(wǎng)站之所以能夠針對用戶完成個性化推薦,依靠的不僅僅是cookie技術(shù),而主要是算法。判斷百度網(wǎng)站是否侵犯隱私權(quán),不應(yīng)僅判斷cookie技術(shù),還應(yīng)重點(diǎn)研究隱藏在網(wǎng)站程序之后的算法。

(二)混淆了個性化推薦中隱私的判斷標(biāo)準(zhǔn)

百度公司之所以將問題關(guān)鍵聚焦在cookie技術(shù),是因?yàn)槠淇梢越Y(jié)合網(wǎng)絡(luò)數(shù)據(jù)信息的特點(diǎn),提出三個具體化標(biāo)準(zhǔn),以表明cookie技術(shù)收集的信息不符合“隱私”的定義。標(biāo)準(zhǔn)一是構(gòu)成隱私的網(wǎng)絡(luò)數(shù)據(jù)信息應(yīng)直接且明確對應(yīng)到某網(wǎng)絡(luò)用戶的真實(shí)身份,即可直觀地識別出個人身份。標(biāo)準(zhǔn)二是用戶主動登錄的網(wǎng)絡(luò)平臺不視為私有領(lǐng)域。標(biāo)準(zhǔn)三是用戶擁有“使用或禁用cookie技術(shù)”的選擇權(quán)和知情權(quán),未禁用cookie技術(shù)而留下的數(shù)據(jù)信息不是隱私。這三個標(biāo)準(zhǔn)看似有力地支持了百度公司未侵犯用戶隱私權(quán)的主張,實(shí)則隱藏多個含混之處。

1.混淆了可識別與已識別

標(biāo)準(zhǔn)一雖然使用了“個人信息的可識別性”的表述方式,但混淆了“可識別”與“已識別”的關(guān)系。按照百度公司所主張的“身份可識別性”標(biāo)準(zhǔn),因個性化推薦算法使用的數(shù)據(jù)信息通常只能對應(yīng)到用戶的“虛擬身份”,無法構(gòu)成隱私。顯然,其所依據(jù)的標(biāo)準(zhǔn)是“已識別”標(biāo)準(zhǔn):在認(rèn)定數(shù)據(jù)信息是否符合隱私的“主體性”特征時,仍采取靜態(tài)的判斷視角,未對數(shù)據(jù)的組合行為和組合結(jié)果作進(jìn)一步分析。

實(shí)際上,只要進(jìn)行個性化推薦,算法就必須運(yùn)用到個人的數(shù)據(jù)。互聯(lián)網(wǎng)的后臺,每天進(jìn)行這樣一種操作:填由各種特征屬性界定的表,用戶的網(wǎng)絡(luò)行為都記錄在里面。該操作的功能與攝像頭類似,既負(fù)責(zé)跟蹤又實(shí)時匯總。而且這些表格非常條理,并不散亂。根據(jù)這些表格,算法可以不斷豐富對該用戶的信息描述。

若按照百度公司靜態(tài)的“已識別”標(biāo)準(zhǔn),認(rèn)為數(shù)據(jù)無法與個人真實(shí)身份相對應(yīng),則意味著,只要算法不登記用戶的真實(shí)身份,“表面上”無法將用戶的數(shù)據(jù)與用戶的真實(shí)身份相對應(yīng),就可以不斷記錄、跟蹤和檢索用戶的網(wǎng)絡(luò)信息,甚至不需要經(jīng)過用戶的允許。其可能產(chǎn)生的權(quán)利保護(hù)漏洞是:是否構(gòu)成隱私不再取決于用戶對個人私密性的保留與否,而是取決于某算法程序是否直接登記了用戶的身份信息。

2.混淆了互聯(lián)網(wǎng)與非私有領(lǐng)域

按照標(biāo)準(zhǔn)二關(guān)于“私有領(lǐng)域”的界定,如果認(rèn)為用戶主動登錄的網(wǎng)站不再是私有領(lǐng)域,那么將至少產(chǎn)生兩種法律和社會后果。其一,即使輸入的是應(yīng)受法律保護(hù)的私密信息,也只能被認(rèn)定為“公開性的信息”,不構(gòu)成隱私。換言之,無論是任何信息,都不得通過我國現(xiàn)行民法規(guī)范獲得隱私權(quán)保護(hù)的法律救濟(jì)。其二,隨著算法技術(shù)的發(fā)展及人機(jī)互動的日益頻繁,人們將逐漸喪失了“私密性的私有領(lǐng)域”,成為透明的裸體人。這將不可避免造成人格權(quán)保護(hù)和技術(shù)發(fā)展的矛盾對立。

3.混淆了cookie信息與數(shù)據(jù)庫信息

知情同意標(biāo)準(zhǔn)反映的是信息自主決定原則,即采集、編輯、利用個人的數(shù)據(jù)信息必須讓當(dāng)事人知情并得到其同意[20]。按照標(biāo)準(zhǔn)三,用戶所享有的“允許使用或禁用cookie技術(shù)”的選擇權(quán)和知情權(quán),并不等于“允許或禁止算法收集、使用、利用用戶數(shù)據(jù)”的選擇權(quán)和知情權(quán)。因?yàn)閏ookie技術(shù)存儲的數(shù)據(jù)是物理存在的靜態(tài)信息,主要存儲在用戶自身控制的硬盤[21],而算法掌握的用戶網(wǎng)絡(luò)行為信息存儲在后臺的數(shù)據(jù)庫中。用戶即使禁用了cookie技術(shù),也只是刪除了自己可以控制的信息,而算法控制的、存在網(wǎng)絡(luò)服務(wù)器上的信息并沒有刪除。概言之,標(biāo)準(zhǔn)三混淆了cookie信息與數(shù)據(jù)庫信息,也就是混淆了用戶知情同意的對象。

以上,雖然二審判決認(rèn)為不構(gòu)成個人隱私,并最終否認(rèn)了百度侵權(quán),但判決理由圍繞cookie而非算法本身展開,該案尚難為“個性化推薦算法是否侵犯隱私權(quán)”的爭議提供指導(dǎo)性方向。而且,百度隱私案中對隱私的界定標(biāo)準(zhǔn)仍偏重于靜態(tài)可控的視角,不適用于個性化推薦算法的動態(tài)運(yùn)行場景。

五、結(jié)語

個性化推薦基于用戶個人的喜好數(shù)據(jù),有針對性地提供推薦服務(wù),體現(xiàn)了技術(shù)發(fā)展帶來的便利和快捷,但“存在即合理”的同時,仍需進(jìn)一步反思“存在是否合法”。以上論述證明了,雖然算法技術(shù)已融入每一個智能手機(jī)用戶的日常工作和生活中,但其對隱私權(quán)也存在著一定程度的威脅。互聯(lián)網(wǎng)技術(shù)的發(fā)展和進(jìn)化遠(yuǎn)超出規(guī)則制定并實(shí)施的速度。能否在互聯(lián)網(wǎng)技術(shù)發(fā)展的同時,更新和完善相關(guān)的法律規(guī)則,是對每一個法律共同體成員的考驗(yàn)和挑戰(zhàn)。在該過程中,始終要堅持的基本價值是人格自由、人格尊嚴(yán)、人格獨(dú)立不受侵犯和妥協(xié),這不僅是民法典制定人格權(quán)編的重大內(nèi)涵,也是法律人在應(yīng)對快速發(fā)展的網(wǎng)絡(luò)技術(shù)時所應(yīng)堅持的重要理念。

參考文獻(xiàn)

[1]? 李謙.人格、隱私與數(shù)據(jù):商業(yè)實(shí)踐及其限度——兼評中國cookie隱私權(quán)糾紛第一案[J].中國法律評論,2017(2):122-138.

[2]? 黃偉峰.個人信息保護(hù)與信息利用的平衡——以朱某訴北京百度網(wǎng)訊科技公司隱私權(quán)案為例的探討[J].法律適用(司法案例),2017(12):37-43.

[3]? 李艷霞,龍維.個性化推薦行為法律規(guī)制路徑的選擇——基于中國Cookie隱私權(quán)糾紛第一案的思考[C]//胡云騰.法院改革與民商事審判問題研究——全國法院第29屆學(xué)術(shù)討論會獲獎?wù)撐募ㄏ拢?北京:人民法院出版社,2018:1191-1197.

[4]? 李愛君.人工智能法律行為論[J].政法論壇,2019(3):176-183.

[5]? 王澤鑒.人格權(quán)法:法釋義學(xué)、比較法、案例研究[M].北京:北京大學(xué)出版社,2013:178-209.

[6]? 張里安,韓旭至.大數(shù)據(jù)時代下個人信息權(quán)的私法屬性[J].法學(xué)論壇,2016(3):119-129.

[7]? 王利明.論個人信息權(quán)的法律保護(hù)——以個人信息權(quán)與隱私權(quán)的界分為中心[J].現(xiàn)代法學(xué),2013(4):62-72.

[8]? 張新寶.從隱私到個人信息:利益再衡量的理論與制度安排[J].中國法學(xué),2015(3):38-59.

[9]? 張民安,宋志斌.隱私合理期待分論——網(wǎng)絡(luò)時代、新科技時代和人際關(guān)系時代的隱私合理期待[M].廣州:中山大學(xué)出版社,2015:7.

[10]? 克里斯托弗·斯坦納.算法帝國[M].李筱瑩,譯.北京:人民郵電出版社,2014:5.

[11]? 張凌寒.算法規(guī)制的迭代與革新[J].法學(xué)論壇,2019(2):16-26.

[12]? 謝華成,陳向東.面向云存儲的非結(jié)構(gòu)化數(shù)據(jù)存取[J].計算機(jī)應(yīng)用,2012(7):1924-1928+1942.

[13]? 李慧,顏顯森.數(shù)據(jù)庫技術(shù)發(fā)展的新方向——非結(jié)構(gòu)化數(shù)據(jù)庫[J].情報理論與實(shí)踐,2001(4):287-288+261.

[14]? 楊博,趙鵬飛.推薦算法綜述[J].山西大學(xué)學(xué)報(自然科學(xué)版),2011(3):337-350.

[15]? 黃正.協(xié)同過濾推薦算法綜述[J].價值工程,2012(21):226-228.

[16]? 艾磊,趙輝.基于知識的推薦系統(tǒng)用戶交互模型研究[J].軟件導(dǎo)刊,2015(3):15-17.

[17]? 王曉佳.機(jī)器學(xué)習(xí)的個性化推薦算法[J].電子技術(shù)與軟件工程,2019(15):113-114.

[18]? 劉勇,李永杰.基于協(xié)同過濾推薦算法的微信小程序智能助手[J].計算機(jī)系統(tǒng)應(yīng)用,2019(5):71-76.

[19]? 王光宏,蔣平.數(shù)據(jù)挖掘綜述[J].同濟(jì)大學(xué)學(xué)報(自然科學(xué)版),2004(2):246-252.

[20]? 彭禮堂,饒傳平.網(wǎng)絡(luò)隱私權(quán)的屬性:從傳統(tǒng)人格權(quán)到資訊自決權(quán)[J].法學(xué)評論,2006(1):57-62.

[21]? 鐘子云.Cookie機(jī)制分析及其安全問題對策[J].桂林航天工業(yè)高等專科學(xué)校學(xué)報,2001(1):10-13.

The Dilemma and Outlet of Traditional Privacy Theory in the Algorithmic Era:

Based on Personalized Recommendation

Zhang Hui

(School of Guanghua Law, Zhejiang University, Hangzhou, Zhejiang? 310008)

Abstract:The Civil Code of China clearly stipulates that the protection categories of privacy and personal information cross each other, and the essence of privacy is personal secret. In the age of algorithm, the value standpoint of measuring whether data conforms to the standard of privacy should be transformed from personal dignity and personal freedom to personal independence. The theoretical basis should be transformed from the domain theory and the principle of information autonomy to the level of thought autonomy. The definition mode of privacy should be changed from "internal and external restriction" to "dynamic and static combination". Data in personalized recommendation should be regarded as privacy. First of all, from the static point of view, it conforms to the personalized characteristics of individual, personality and concealment, and is diversified in form, not limited to the form of information. Secondly, from the perspective of dynamic, personalized recommendation algorithm, including content-based recommendation, collaborative filtering recommendation, or knowledge-based recommendation, collects and calculates the user preferences without the permission of the user, interfering with the user's private domain and peeping into the users personality image. The execution result of the algorithm conforms to the “subjectivity" characteristic of privacy.

Key Words:Personalized recommendation; Algorithm; Data; Privacy

主站蜘蛛池模板: 91在线无码精品秘九色APP| 久草国产在线观看| 黄色国产在线| 国产精品香蕉在线| 色综合久久88| 国产日韩欧美精品区性色| 人妻精品久久久无码区色视| 青青操国产| 欧美国产精品拍自| 国产精品lululu在线观看| 全免费a级毛片免费看不卡| 国产成人精品午夜视频'| 成人福利视频网| 日韩国产亚洲一区二区在线观看 | 爱色欧美亚洲综合图区| 婷婷丁香色| 国产导航在线| 日本日韩欧美| 国产在线一区二区视频| 毛片网站免费在线观看| 青青草国产精品久久久久| 天堂在线亚洲| 99久视频| 亚洲无码视频喷水| …亚洲 欧洲 另类 春色| 国产素人在线| 操国产美女| 日本人妻丰满熟妇区| 丰满人妻中出白浆| 欧美视频在线播放观看免费福利资源| 99er精品视频| 一区二区三区成人| 在线观看无码av免费不卡网站| 亚洲天堂视频在线免费观看| 国产成人精品2021欧美日韩| 久久国产精品麻豆系列| 成人午夜福利视频| 国产视频大全| 国产精品xxx| 国产一区二区色淫影院| 尤物精品视频一区二区三区| 老色鬼欧美精品| 精品久久久久久久久久久| 农村乱人伦一区二区| AV不卡无码免费一区二区三区| 欧美劲爆第一页| 国产在线日本| 成人久久精品一区二区三区| 国产乱人伦精品一区二区| 在线国产你懂的| 国产欧美性爱网| 蜜臀AV在线播放| 亚洲无码日韩一区| 在线观看亚洲成人| 色男人的天堂久久综合| 亚洲视频影院| 色哟哟精品无码网站在线播放视频| 日本不卡在线视频| 在线精品亚洲一区二区古装| 中文字幕亚洲另类天堂| 日韩精品无码免费专网站| 亚洲第一视频免费在线| 一本大道东京热无码av| 国产精品美人久久久久久AV| 亚洲精品亚洲人成在线| 国产成人精品高清在线| 无码av免费不卡在线观看| 精品国产91爱| 亚洲一欧洲中文字幕在线 | 久久先锋资源| 日本伊人色综合网| 日韩av无码DVD| 国产福利小视频在线播放观看| 美女内射视频WWW网站午夜 | 欧美三级视频在线播放| 国产精品欧美在线观看| 无码丝袜人妻| 曰AV在线无码| 亚洲高清在线播放| 老熟妇喷水一区二区三区| 国产午夜看片| 亚洲AⅤ无码国产精品|