999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

自動駕駛數(shù)據(jù)風(fēng)險及安全防護(hù)技術(shù)

2020-11-28 05:55:10國家工業(yè)信息安全發(fā)展研究中心等
工業(yè)經(jīng)濟(jì)論壇 2020年5期

文/國家工業(yè)信息安全發(fā)展研究中心等

當(dāng)前,汽車在智能化升級的同時,面臨的網(wǎng)絡(luò)安全風(fēng)險也在持續(xù)增加,構(gòu)建全面高效的智能汽車網(wǎng)絡(luò)安全體系是智能網(wǎng)聯(lián)汽車快速發(fā)展的基石。本文節(jié)選自《自動駕駛數(shù)據(jù)安全白皮書(2020)》,聚焦自動駕駛數(shù)據(jù)安全問題,針對自動駕駛數(shù)據(jù)多樣性等特點,詳細(xì)剖析自動駕駛數(shù)據(jù)在數(shù)據(jù)全生命周期各環(huán)節(jié)潛在的安全威脅,提出了相應(yīng)的防護(hù)技術(shù)措施和防護(hù)手段,以及建設(shè)完整的自動駕駛數(shù)據(jù)安全體系目標(biāo)。

自動駕駛功能實現(xiàn)依賴于海量數(shù)據(jù),其安全運(yùn)行的關(guān)鍵在于數(shù)據(jù)安全。如何在保障安全的基礎(chǔ)上促進(jìn)數(shù)據(jù)的充分利用,是發(fā)展自動駕駛及更多“智能+”領(lǐng)域需要面對和解決的問題。

一、自動駕駛數(shù)據(jù)安全概述

有別于傳統(tǒng)人工駕駛車輛,自動駕駛車輛的最大特點是AI 技術(shù)的主導(dǎo),其駕駛過程是機(jī)器不斷收集駕駛信息并進(jìn)行信息分析和自我學(xué)習(xí)從而達(dá)到自動駕駛的系統(tǒng)工程。伴隨自動駕駛汽車的發(fā)展,每輛汽車將從過去的封閉轉(zhuǎn)向開放,融入到聯(lián)網(wǎng)的平臺中進(jìn)行實時的信息交互。黑客可以通過網(wǎng)絡(luò)對車輛進(jìn)行遠(yuǎn)程攻擊,使車輛做出熄火、剎車、加減速、解鎖等操作,也可以通過截獲通訊信息、攻擊云端服務(wù)器,達(dá)到竊取用戶信息和車輛數(shù)據(jù)的目的,嚴(yán)重的還會威脅駕駛員和乘客的生命安全。同時,在自動駕駛產(chǎn)業(yè)鏈中,數(shù)據(jù)的采集、存儲、處理、傳輸、共享等生命周期各環(huán)節(jié)潛在的安全威脅都給自動駕駛數(shù)據(jù)防護(hù)帶來了全新的挑戰(zhàn),要想實現(xiàn)自動駕駛汽車規(guī)模化、商業(yè)化落地,必須解決“數(shù)據(jù)安全”這一“攔路虎”。

二、自動駕駛數(shù)據(jù)風(fēng)險分析

根據(jù)自動駕駛功能實現(xiàn)的相關(guān)要求,結(jié)合自動駕駛數(shù)據(jù)的特點、產(chǎn)生流程、應(yīng)用技術(shù)與場景,提出了自動駕駛技術(shù)應(yīng)用架構(gòu)。該架構(gòu)根據(jù)自動駕駛數(shù)據(jù)的采集、傳輸、應(yīng)用和銷毀等全生命周期的過程特點,自下而上依次分為采集層、通信層、平臺層和應(yīng)用層。其中,采集層主要涉及自動駕駛數(shù)據(jù)從采集到存儲的全過程;通信層包含了數(shù)據(jù)在車內(nèi)傳輸和車端與云端傳輸?shù)倪^程;平臺層主要涉及各類平臺對相關(guān)數(shù)據(jù)的管理與控制;應(yīng)用層包含了在接收到數(shù)據(jù)后,按功能需求對數(shù)據(jù)進(jìn)行處理,并將處理后的數(shù)據(jù)送到各個終端進(jìn)行響應(yīng)和應(yīng)用。

(一)采集層數(shù)據(jù)安全風(fēng)險

1.采集設(shè)備安全風(fēng)險

目前,包括實驗室測試車輛、公開道路上路測車輛、封閉園區(qū)的接駁車輛以及城市局部運(yùn)營車輛在內(nèi)的大部分均為二次改裝車輛。由于二次改裝的非工程化作業(yè),致使自動駕駛系統(tǒng)的傳感組件(如激光、毫米波、超聲波雷達(dá),攝像頭,組合慣導(dǎo)等)、中央處理器及各種線纜等都裸露在汽車內(nèi)外,除了自動駕駛系統(tǒng)組件丟失或損壞造成的直接數(shù)據(jù)丟失之外,系統(tǒng)里的數(shù)據(jù)也很容易被竊取、丟失或遭到不法分子的篡改、破壞。同時二次改裝也會存在后增加設(shè)備一致性差、性能不穩(wěn)定的情況,也給自動駕駛數(shù)據(jù)安全埋下了隱患。

2.路測基礎(chǔ)設(shè)施建設(shè)安全風(fēng)險

路端基礎(chǔ)設(shè)施改造成本巨大,再加上自動駕駛何時可以規(guī)模量產(chǎn)、落地尚不明朗,國內(nèi)雖有一些省份在試點V2X 樣板工程,但路段長度非常有限。小規(guī)模試點建設(shè)周期漫長,同時各單位的關(guān)注點更多仍聚焦于V2X 功能的實現(xiàn),從而導(dǎo)致路測基礎(chǔ)設(shè)施在采集數(shù)據(jù)時,并沒有考慮數(shù)據(jù)安全防護(hù)機(jī)制的設(shè)計和部署,導(dǎo)致路側(cè)設(shè)施在采集數(shù)據(jù)時面臨較大的安全風(fēng)險。

3.感知數(shù)據(jù)完整性安全風(fēng)險

感知類數(shù)據(jù)通過傳感器數(shù)據(jù)采集車速、油門、剎車、車窗,雨刷器等各種有用數(shù)據(jù)信息,這個過程中,攻擊者可通過干擾,欺騙攻擊等手段造成傳感器設(shè)備失靈,如對傳感器的干擾易造成感知數(shù)據(jù)的識別錯誤或在采集的樣本數(shù)據(jù)中增加特定的攻擊樣本,也會造成感知數(shù)據(jù)污染,使得算法無法識別或識別錯誤。另一方面,在數(shù)據(jù)采集階段,人為偽造的感知設(shè)備也會造成采集到的數(shù)據(jù)真實性難以保證,或采集過程被阻斷等風(fēng)險。

(二)通信層數(shù)據(jù)安全風(fēng)險

1.惡意節(jié)點攻擊風(fēng)險

自動駕駛數(shù)據(jù)通信是節(jié)點與節(jié)點之間的通信,攻擊者可以通過身份偽造等方式惡意攻擊或威脅數(shù)據(jù)安全。自動駕駛汽車在運(yùn)行過程中通過傳感器采集大量感知數(shù)據(jù)上傳至云端進(jìn)行整合分析,在傳感器節(jié)點與云端通信的過程中。由于傳感器節(jié)點和云端接口缺少認(rèn)證機(jī)制,攻擊者可以通過偽造傳感器節(jié)點或者云端接口,從而偽造和篡改自動駕駛數(shù)據(jù),威脅自動駕駛數(shù)據(jù)安全。

經(jīng)過云端整合分析向車端下發(fā)的決策和執(zhí)行控制數(shù)據(jù),這些數(shù)據(jù)在自動駕駛車端通過車內(nèi)通信總線到達(dá)ECU 執(zhí)行元件,由于通信總線與ECU 之間缺少相應(yīng)的認(rèn)證保護(hù)機(jī)制,攻擊者可以通過偽造ECU 接收數(shù)據(jù),并對數(shù)據(jù)進(jìn)行重寫、偽造和篡改,使自動駕駛汽車做出錯誤的執(zhí)行操作,引發(fā)安全問題。

自動駕駛汽車需要不斷地與外界環(huán)境進(jìn)行交互,實時的獲取車與車、車與路側(cè)單元等節(jié)點的數(shù)據(jù),但節(jié)點之間缺少認(rèn)證機(jī)制,攻擊者可以通過惡意節(jié)點偽造數(shù)據(jù),給自動駕駛數(shù)據(jù)安全帶來安全風(fēng)險。

2.傳輸風(fēng)險

當(dāng)自動駕駛車輛數(shù)據(jù)內(nèi)部交互時,主要還是采用如傳統(tǒng)的CAN總線或以太網(wǎng),保護(hù)措施相對較弱,存在CAN 報文被篡改和偽造的安全風(fēng)險,或連接接口、通信總線被阻塞從而導(dǎo)致感知數(shù)據(jù)不可用或無法及時反饋的風(fēng)險。

當(dāng)自動駕駛車輛與外部交互時,通過車外通信網(wǎng)絡(luò)(藍(lán)牙/WIFI 等短距或 4G/5G/C-V2X 等遠(yuǎn)距通信)傳輸數(shù)據(jù),會面臨數(shù)據(jù)在通信鏈路上被竊聽或遭受中間人攻擊的風(fēng)險。自動駕駛車輛在進(jìn)行車道級輔助駕駛時,會通過V2V 廣播本車的坐標(biāo)和軌跡信息,此類地理信息數(shù)據(jù)在傳輸時默認(rèn)不采用加密機(jī)制,一旦惡意車輛有意圖的監(jiān)聽周邊車輛,就會很容易獲取大量地理信息數(shù)據(jù),進(jìn)而計算出敏感區(qū)域的信息,嚴(yán)重情況下會造成國家秘密泄露。

另外,車輛所產(chǎn)生的個人信息通常使用短距離無線通信方式傳輸,其中個人敏感信息會面臨在通信線路上被竊聽造成隱私泄露的風(fēng)險,如通過不安全的藍(lán)牙及WIFI 連接,通過中間人攻擊或協(xié)議認(rèn)證時的漏洞,能夠從通信鏈路上獲得用戶敏感數(shù)據(jù)。

3.協(xié)議風(fēng)險

伴隨多種無線通信技術(shù)和接口的廣泛應(yīng)用,自動駕駛車輛需要部署多個無線接口實現(xiàn)WIFI、藍(lán)牙、5G、V2X 等多種網(wǎng)絡(luò)的連接,從而滿足數(shù)據(jù)獲取和傳輸?shù)囊蟆6祟愅ㄐ艆f(xié)議的安全漏洞會直接威脅到數(shù)據(jù)傳輸?shù)陌踩缱詣玉{駛數(shù)據(jù)傳輸至車內(nèi)網(wǎng)絡(luò)時,會通過CAN 總線或車載以太網(wǎng)傳輸至各個執(zhí)行單元,而非法分子可以對通信協(xié)議認(rèn)證機(jī)制進(jìn)行破解,或采取中間人攻擊竊取或篡改敏感數(shù)據(jù)。

(三)平臺層數(shù)據(jù)安全風(fēng)險

平臺層作為自動駕駛數(shù)據(jù)匯集、存儲、計算、管理的中心,為自動駕駛車輛、道路設(shè)施、應(yīng)用等提供數(shù)據(jù)處理、支持、更新等服務(wù)。作為自動駕駛數(shù)據(jù)匯聚和遠(yuǎn)程管控的核心,平臺層除面臨傳統(tǒng)大數(shù)據(jù)、云平臺所面臨的安全風(fēng)險之外,對應(yīng)于自動駕駛數(shù)據(jù)的處理流程,也會面臨新的安全風(fēng)險。

1.云平臺安全風(fēng)險

不同類型、不同級別的自動駕駛數(shù)據(jù)都會在云平臺匯聚、處理、流轉(zhuǎn)。其數(shù)據(jù)價值越大,就越會成為攻擊的焦點。同時云平臺開放的服務(wù)架構(gòu)及按需使用的服務(wù)模式,使得云平臺越來越成為攻擊的首要目標(biāo),尤其是對于大量使用云服務(wù)功能的自動駕駛車輛,遠(yuǎn)程嘗試入侵云平臺相比物理接觸攻擊車輛會更容易,而且?guī)淼奈:Ω螅瑢τ诠粽叨允找嬉矔酱蟆T破脚_往往作為突破車輛控制的第一道關(guān)口,易受到DDos 攻擊、僵尸網(wǎng)絡(luò)、非法授權(quán)訪問、審計存儲空間消耗等網(wǎng)絡(luò)威脅,或利用手機(jī)APP 入侵云平臺服務(wù)端從而控制并獲取大量的車輛數(shù)據(jù)。

2.大數(shù)據(jù)處理安全風(fēng)險

自動駕駛海量數(shù)據(jù)的分析處理,必然用到大數(shù)據(jù)技術(shù),如感知數(shù)據(jù)中的視頻、圖像以及激光雷達(dá)產(chǎn)生的點云數(shù)據(jù),路測數(shù)據(jù)、測試仿真數(shù)據(jù),大量車輛狀態(tài)監(jiān)控數(shù)據(jù)等。這些非結(jié)構(gòu)化數(shù)據(jù)在大數(shù)據(jù)平臺上進(jìn)行批處理或流處理時,對不同級別的數(shù)據(jù)如果沒有相應(yīng)的細(xì)粒度訪問控制機(jī)制,就會存在訪問權(quán)限過大、數(shù)據(jù)遭到濫用的風(fēng)險。另外,目前大數(shù)據(jù)存儲采用分布式存儲技術(shù),往往對于不用級別不同類型的數(shù)據(jù)在物理上是混合存儲,不利于進(jìn)行分類隔離和分級防護(hù)。同時數(shù)據(jù)在大數(shù)據(jù)平臺上進(jìn)行數(shù)據(jù)分析和數(shù)據(jù)挖掘時,對于數(shù)據(jù)融合所產(chǎn)生的隱私泄露問題,也是大數(shù)據(jù)處理時面臨的主要風(fēng)險之一。

3.隱私泄漏安全風(fēng)險

隱私泄露風(fēng)險在平臺層尤為嚴(yán)重,不僅是個人隱私數(shù)據(jù),也包括商業(yè)秘密等敏感數(shù)據(jù)。這類數(shù)據(jù)在處理的不同環(huán)節(jié)均存在如內(nèi)部權(quán)限濫用、外部攻擊等方式導(dǎo)致的數(shù)據(jù)泄露風(fēng)險。如感知數(shù)據(jù)中,地理信息數(shù)據(jù)、個人隱私數(shù)據(jù),仿真測試平臺積累的商業(yè)化的測試數(shù)據(jù),仿真場景化數(shù)據(jù),以及平臺提供的高精地圖數(shù)據(jù)等,在平臺層進(jìn)行存儲、處理時,一些關(guān)鍵隱私數(shù)據(jù)會流轉(zhuǎn)至非信任區(qū)域,導(dǎo)致數(shù)據(jù)所有者失去對這些關(guān)鍵數(shù)據(jù)的控制,從而產(chǎn)生隱私數(shù)據(jù)泄露問題。測試、仿真數(shù)據(jù)的泄露不僅會給企業(yè)帶來較大的經(jīng)濟(jì)損失,還會影響自動駕駛車輛測試、優(yōu)化進(jìn)程,而地圖類數(shù)據(jù)的泄露會給國家安全帶來重大影響。

另外,在數(shù)據(jù)銷毀階段,數(shù)據(jù)銷毀之后還存在一些未被擦除的殘留,存在數(shù)據(jù)重新創(chuàng)建和恢復(fù)可能,會使用戶隱私遭到泄露,造成隱私泄露安全風(fēng)險。

4.越權(quán)訪問風(fēng)險

主要是防止內(nèi)部人員越權(quán)訪問或濫用權(quán)限,造成安全機(jī)制被繞過,非法獲取用戶數(shù)據(jù)或造成數(shù)據(jù)的破壞。安全管理制度和相應(yīng)的安全配置基線不完善,也容易給攻擊者可乘之機(jī)。非授權(quán)用戶的訪問,不僅會導(dǎo)致自動駕駛相關(guān)數(shù)據(jù)、用戶個人隱私數(shù)據(jù)被非法瀏覽,攻擊者還能通過篡改、重寫數(shù)據(jù),影響自動駕駛車輛的行車安全和應(yīng)用服務(wù)的質(zhì)量。在OTA 平臺上,通過越權(quán)訪問篡改未經(jīng)加密的升級包,致使系統(tǒng)無法升級至正確的版本,阻止自動駕駛車輛安全漏洞、風(fēng)險的修復(fù)。

5.系統(tǒng)及軟件漏洞風(fēng)險

攻擊者通過對平臺系統(tǒng)及其應(yīng)用軟件的惡意修改達(dá)到攻擊車輛的目的,如在軟件中植入木馬、后門,二次打包應(yīng)用程序等。在OTA 平臺升級過程中攻擊者可以利用固件校驗、簽名漏洞等篡改升級包、注入惡意代碼,進(jìn)而獲取用戶個人隱私、自動駕駛相關(guān)數(shù)據(jù)甚至獲得車輛控制權(quán)。用戶從服務(wù)平臺獲取的娛樂、資訊類信息容易被非法注入病毒,會破壞、刪除、改寫敏感數(shù)據(jù),影響自動駕駛系統(tǒng)的運(yùn)行效率。

(四)應(yīng)用層數(shù)據(jù)安全風(fēng)險

1.決策與控制數(shù)據(jù)安全風(fēng)險

決策和控制類數(shù)據(jù)通過云端收集的多方數(shù)據(jù)進(jìn)行分析向車端下發(fā)控車指令。攻擊者通過對云端存儲的數(shù)據(jù)進(jìn)行竊取和篡改,破壞數(shù)據(jù)的可用性和完整性,使其無法用于數(shù)據(jù)分析和決策。當(dāng)從云端向車端下發(fā)決策指令時,攻擊者通過傳輸信道截取指令數(shù)據(jù),對數(shù)據(jù)進(jìn)行偽造或者通過偽造接收者和發(fā)送方進(jìn)行數(shù)據(jù)的截取和重寫,使車端接收到錯誤的決策和控制指令,引發(fā)安全事故。

自動駕駛汽車通過車輛狀態(tài)估計、車道保持、車輛加減速等數(shù)據(jù)做出相應(yīng)的控車指令,攻擊者對存儲此類數(shù)據(jù)的固件進(jìn)行攻擊,竊取、偽造、重寫此類數(shù)據(jù),使自動駕駛汽車做出錯誤的車輛狀態(tài)估計,威脅駕駛員的生命財產(chǎn)安全。

自動駕駛數(shù)據(jù)的分析和決策主要借助AI 模型和相應(yīng)的算法來實現(xiàn)。每一個AI 模型和相應(yīng)的算法由大量代碼構(gòu)成,在某種程度上也增加了數(shù)據(jù)安全的風(fēng)險。攻擊者通過惡意代碼注入或非法注入并執(zhí)行惡意程序的方式,使算法產(chǎn)出的數(shù)據(jù)出現(xiàn)偏差或?qū)λ惴ê湍P彤a(chǎn)出的數(shù)據(jù)進(jìn)行篡改,導(dǎo)致決策出現(xiàn)誤差。自動駕駛汽車通過聲音、手勢、指紋、面部特征等人機(jī)交互信息和車身控制指令(如開門、啟動、車窗控制、啟動應(yīng)用等)等數(shù)據(jù)控制車輛,此類信息在應(yīng)用層傳輸過程中一旦遭遇泄露、偽造或重寫,將造成車輛失竊或發(fā)生車輛不受控制的風(fēng)險。

2.測試與仿真數(shù)據(jù)安全風(fēng)險

測試與仿真數(shù)據(jù)作為自動駕駛車輛上路前的實驗數(shù)據(jù)和上路后的參考數(shù)據(jù),起到?jīng)Q策輔助作用。這類數(shù)據(jù)貫穿自動駕駛車輛的全生命周期。

測試場景數(shù)據(jù)是自動駕駛車輛在封閉環(huán)境下進(jìn)行自動行駛時所獲取的數(shù)據(jù)信息,包括障礙物信息、交通規(guī)則信息等。此類數(shù)據(jù)的完整性和可用性是決定測試結(jié)果準(zhǔn)確性的重要前提。如果此類數(shù)據(jù)被篡改會導(dǎo)致測試數(shù)據(jù)集的準(zhǔn)確性降低,直接影響自動駕駛功能的安全性和可靠性。確保此類數(shù)據(jù)的存儲安全、使用安全,防止未授權(quán)人對于數(shù)據(jù)的訪問,是在做數(shù)據(jù)安全防護(hù)時應(yīng)重點考慮的。

3.用戶個人信息安全風(fēng)險

車輛信息相關(guān)數(shù)據(jù)、用戶駕駛習(xí)慣、用戶信息這些數(shù)據(jù)是用戶較為隱私的數(shù)據(jù)。越權(quán)訪問、存儲未采用安全措施等導(dǎo)致的數(shù)據(jù)泄露,可能會致使車輛被盜或在行駛狀態(tài)下被非法控制等后果,造成一定的經(jīng)濟(jì)損失和威脅人們的生命安全。

除此之外,今后自動駕駛車輛在實際運(yùn)行過程中,將可能面臨的車輛實體出國出境、高精地圖感知數(shù)據(jù)存儲于車內(nèi)所引發(fā)的數(shù)據(jù)安全風(fēng)險,同樣值得高度關(guān)注。

三、自動駕駛數(shù)據(jù)安全體系

(一)目標(biāo)體系

自動駕駛不同于單一的應(yīng)用系統(tǒng),而是由整車企業(yè)、軟件平臺、算法應(yīng)用、tier-1 廠商、研究機(jī)構(gòu)、監(jiān)管部門以及最終用戶等多個角色構(gòu)成的復(fù)雜生態(tài)系統(tǒng)。因此,自動駕駛數(shù)據(jù)不僅涉及算法開發(fā)、道路測試,實際應(yīng)用等各個階段所產(chǎn)生收集使用的各類數(shù)據(jù),還包括在產(chǎn)業(yè)生態(tài)鏈上共享利用的各類數(shù)據(jù)。因此,自動駕駛數(shù)據(jù)的安全并不是靜態(tài)的數(shù)據(jù)防護(hù),而是圍繞數(shù)據(jù)全生命周期進(jìn)行的動態(tài)安全防護(hù),是以數(shù)據(jù)為中心,為保證數(shù)據(jù)的可見、可管、可控以及在自動駕駛產(chǎn)業(yè)生態(tài)中協(xié)同共享安全而構(gòu)建的數(shù)據(jù)安全體系。

其中,在基本原則層面,需要遵守政府制訂的一系列管理規(guī)范,確保所有利益相關(guān)方對數(shù)據(jù)的使用情況知情,且不可強(qiáng)迫任何一方貢獻(xiàn)出其擁有的數(shù)據(jù);各數(shù)據(jù)的傳輸和使用應(yīng)遵循平等、完整、可溯源的原則;數(shù)據(jù)的使用者還需要遵循《網(wǎng)絡(luò)安全法》《信息安全等級保護(hù)條例》《數(shù)據(jù)安全管理辦法》等政策法規(guī),并遵循已經(jīng)出臺的“云計算服務(wù)安全能力評估”“移動終端安全保護(hù)”“大數(shù)據(jù)服務(wù)安全”“信息系統(tǒng)安全運(yùn)維管理”等相關(guān)國家標(biāo)準(zhǔn)與行業(yè)標(biāo)準(zhǔn)。

圖1 自動駕駛數(shù)據(jù)安全技術(shù)架構(gòu)

(二)安全防護(hù)技術(shù)

圍繞自動駕駛數(shù)據(jù)全流程安全,其安全防護(hù)技術(shù)的目標(biāo)主要包括以下幾個部分。

防止數(shù)據(jù)的過度采集。自動駕駛數(shù)據(jù)的采集包括自動駕駛車輛在運(yùn)行過程中的采集、路測設(shè)施采集、高精度地圖制圖時的采集等。在這些采集環(huán)節(jié),主要應(yīng)保障數(shù)據(jù)的采集合規(guī),防止過度采集,尤其是對地理測繪或涉及敏感及隱私數(shù)據(jù)的過度采集,造成數(shù)據(jù)的不合規(guī)濫用。

保障數(shù)據(jù)的機(jī)密性、完整性和可用性。數(shù)據(jù)采集后在車端的存儲,通過專線、5G、WIFI 等傳輸?shù)铰穫?cè)端或云端時的存儲,均應(yīng)保障數(shù)據(jù)存儲和傳輸時不被泄露和破壞。

注重數(shù)據(jù)的隱私保護(hù)。自動駕駛過程均會產(chǎn)生涉及個人、企業(yè)及組織的隱私數(shù)據(jù),在對數(shù)據(jù)進(jìn)行集中分析和應(yīng)用的過程中,不同數(shù)據(jù)的融合也會帶來隱私問題。因此,應(yīng)防止數(shù)據(jù)在全流程環(huán)節(jié)中的隱私泄露。

保障運(yùn)營服務(wù)數(shù)據(jù)的合規(guī)性。自動駕駛涉及多個不同的產(chǎn)業(yè)生態(tài),包括自動駕駛數(shù)據(jù)的生產(chǎn)者、算法及平臺的開發(fā)者、高精度地圖數(shù)據(jù)運(yùn)營者,以及其他開發(fā)、測試等環(huán)節(jié)所涉及的數(shù)據(jù)提供方等。數(shù)據(jù)在整個環(huán)節(jié)流通運(yùn)營時,應(yīng)保障數(shù)據(jù)所有者、數(shù)據(jù)使用者、數(shù)據(jù)運(yùn)營者等多方的權(quán)益,分清責(zé)任邊界,保障數(shù)據(jù)生產(chǎn)流轉(zhuǎn)過程中的合規(guī)。

保障數(shù)據(jù)跨組織、跨平臺應(yīng)用安全。自動駕駛數(shù)據(jù)從管理權(quán)屬來說也會涉及不同的監(jiān)管部門和管理平臺,因此在數(shù)據(jù)的跨部門和跨平臺應(yīng)用時,應(yīng)保障數(shù)據(jù)的安全交換及共享,以及對交換過程的安全監(jiān)管,防止數(shù)據(jù)的非授權(quán)訪問和濫用。

持續(xù)加強(qiáng)數(shù)據(jù)安全監(jiān)管。自動駕駛數(shù)據(jù)涉及不同類型、不同級別、不同部門,且都是影響安全風(fēng)險的重要因素。同時,隨著自動駕駛技術(shù)的發(fā)展,安全技術(shù)也會隨之更新,因此應(yīng)建立持續(xù)的安全監(jiān)管機(jī)制,持續(xù)加強(qiáng)自動駕駛數(shù)據(jù)安全監(jiān)管。

技術(shù)手段是構(gòu)建自動駕駛數(shù)據(jù)安全體系的關(guān)鍵一環(huán)。結(jié)合自動駕駛數(shù)據(jù)架構(gòu)及自動駕駛數(shù)據(jù)的分類分級,在自動駕駛數(shù)據(jù)安全體系框架下,提出此自動駕駛數(shù)據(jù)安全技術(shù)架構(gòu)。該技術(shù)架構(gòu)包括采集層數(shù)據(jù)安全防護(hù)技術(shù)、通信層數(shù)據(jù)安全防護(hù)技術(shù)、平臺層數(shù)據(jù)安全防護(hù)技術(shù)和應(yīng)用層數(shù)據(jù)安全防護(hù)技術(shù)。在這四層層次中,每一層的數(shù)據(jù)安全防護(hù)均不可或缺,需逐一對其加以防護(hù),具體的思路和技術(shù)如下。

1.采集層數(shù)據(jù)安全防護(hù)技術(shù)

(1)物理防護(hù)

自動駕駛汽車的一些關(guān)鍵部件,例如T-BOX、IVI、OBU 等,通常既可以與車內(nèi)的網(wǎng)絡(luò)進(jìn)行通信,獲取車內(nèi)網(wǎng)絡(luò)數(shù)據(jù),同時也可以與外界進(jìn)行通信。如果這些關(guān)鍵部件的系統(tǒng)被物理攻擊,很容易通過物理方式將關(guān)鍵數(shù)據(jù)提取出來,所以需要對關(guān)鍵部件的系統(tǒng)進(jìn)行物理防護(hù)。如采取安全啟動、固件防提取等技術(shù),在設(shè)備啟動的各個階段對啟動過程進(jìn)行安全校驗,防止攻擊者通過串口或者其他方式對設(shè)備的固件系統(tǒng)進(jìn)行篡改或直接提取。

(2)采集防護(hù)

自動駕駛汽車依靠大量傳感器對周邊環(huán)境進(jìn)行感知,首先應(yīng)確保數(shù)據(jù)來源真實性,對采集設(shè)備進(jìn)行認(rèn)證防止非法的采集設(shè)備接入車輛;其次,確保數(shù)據(jù)的真實性,一方面應(yīng)具備對采集數(shù)據(jù)進(jìn)行完整性驗證的機(jī)制,防止數(shù)據(jù)的非法篡改,一方面也應(yīng)針對不同的采集設(shè)備開發(fā)相應(yīng)的精確感知識別技術(shù),防止傳感器欺騙和干擾;同時,還應(yīng)對采集時的數(shù)據(jù)進(jìn)行限制,不加限制隨意采集數(shù)據(jù),也會帶來合規(guī)風(fēng)險。

(3)安全存儲

車端運(yùn)行的自動駕駛算法,傳輸及認(rèn)證使用的密鑰、證書等自動駕駛相關(guān)數(shù)據(jù)非常重要,不能采用常規(guī)的方式存儲在車輛設(shè)備上,需要采用安全的硬件設(shè)備進(jìn)行存儲。通常采用安全芯片、硬件安全模塊(HSM)等技術(shù)確保敏感數(shù)據(jù)在車端的存儲安全,防止證書密鑰被非法獲取。同時需要開發(fā)針對自動駕駛算法的固件防提取、代碼保護(hù)等技術(shù),防止算法被非法竊取,造成核心商業(yè)秘密的泄露。

2.通信層數(shù)據(jù)安全防護(hù)技術(shù)

對于自動駕駛數(shù)據(jù)存在的惡意節(jié)點攻擊風(fēng)險、傳輸風(fēng)險和協(xié)議風(fēng)險提出相應(yīng)的防護(hù)技術(shù)。

(1)車內(nèi)通信數(shù)據(jù)的認(rèn)證加密技術(shù)

自動駕駛汽車的車內(nèi)通信主要包括CAN 總線通信、車載以太網(wǎng)通信等。其中,由于CAN 總線協(xié)議設(shè)計簡單、沒有復(fù)雜的分層以及加密擴(kuò)展協(xié)議支持的考慮,易被竊取和偽造。目前主流的技術(shù)是采用AutoSAR 標(biāo)準(zhǔn)組織制定并實現(xiàn)的SecOC 技術(shù),在發(fā)送端和接受端對報文進(jìn)行驗證,以抵御第三方的入侵。而車載以太網(wǎng)協(xié)議可滿足高帶寬、低延遲的數(shù)據(jù)傳輸需求,主要應(yīng)用在車內(nèi)控制域和車身控制域之間的通信、激光雷達(dá)的點云數(shù)據(jù)通信等。依據(jù)車載以太網(wǎng)遵循的OSI 分層結(jié)構(gòu),可通過IPSec、MACSec 技術(shù)等進(jìn)行設(shè)備驗證和數(shù)據(jù)加密,以保證車內(nèi)網(wǎng)絡(luò)通信數(shù)據(jù)的安全。

(2)車外通信數(shù)據(jù)認(rèn)證加密技術(shù)

自動駕駛V2X 通信層數(shù)據(jù)安全主要考慮基于DSRC 與LTEV2X 兩種路線的V2X 通信數(shù)據(jù)安全。為保護(hù)車主隱私提高網(wǎng)絡(luò)的安全系數(shù),V2X 設(shè)計了匿名密鑰體制,周期性變更標(biāo)識和信息簽名,為此需要在車輛中安裝幾百甚至幾千個證書,以完成V2X 所需的每秒上千次的簽名和驗簽要求。基于LTE 移動通信技術(shù)形成的V2X車聯(lián)網(wǎng)無線通信技術(shù),包括蜂窩Uu 和直接通信PC5 兩種工作模式,在已制定的通信標(biāo)準(zhǔn)中兩種模式均已定義了通過TSL 加密、SSL 加密技術(shù)來保障承載層安全和V2X 應(yīng)用層安全的認(rèn)證加密實現(xiàn)機(jī)制。但是針對V2V 的數(shù)據(jù)廣播,對敏感數(shù)據(jù)的保護(hù)需要在現(xiàn)有的廣播加密技術(shù)基礎(chǔ)上進(jìn)行改進(jìn),以適應(yīng)廣播車輛隨機(jī)的情況。

(3)海量數(shù)據(jù)實時安全傳輸技術(shù)

自動駕駛車輛會實時產(chǎn)生海量的數(shù)據(jù),自動駕駛算法的訓(xùn)練、實際路測、車車運(yùn)行情況等也均會產(chǎn)生大量數(shù)據(jù),如何安全地將這些數(shù)據(jù)以接近零延遲的速度、超高的帶寬上傳到AI 計算平臺,即時產(chǎn)生正確地決策控制,數(shù)據(jù)是自動駕駛落地的關(guān)鍵問題。對于自動駕駛的某些應(yīng)用程序,短暫的延遲對于其功能的實現(xiàn)沒有太大影響,但是它會影響整體的性能和效率。在某些情況下,汽車內(nèi)部應(yīng)用程序響應(yīng)的延遲就有可能會釀成悲劇。因此,針對海量數(shù)據(jù)的實時在線傳輸技術(shù)除應(yīng)用當(dāng)前較為成熟的技術(shù)以外,還應(yīng)從解決大流量高速安全傳輸、傳輸設(shè)備認(rèn)證、資質(zhì)監(jiān)管等問題出發(fā),開發(fā)相應(yīng)的實時高速傳輸技術(shù)。

(4)入侵檢測和防護(hù)技術(shù)

為了防止在自動駕駛數(shù)據(jù)傳輸?shù)倪^程中,攻擊者通過流量監(jiān)控,分析獲取數(shù)據(jù)信息,通過采用多層網(wǎng)絡(luò)防護(hù)和多重檢測技術(shù)結(jié)合的理念,實時對自動駕駛數(shù)據(jù)傳輸?shù)木W(wǎng)絡(luò)流量進(jìn)行深度檢測,精準(zhǔn)判斷出攻擊行為和異常行為,對傳輸中的異常報文進(jìn)行阻斷或?qū)π袨楫惓5目偩€節(jié)點進(jìn)行通信阻斷。其中包括自動駕駛車內(nèi)網(wǎng)絡(luò)CAN總線入侵檢測(CAN 幀深度檢測,行為狀態(tài)機(jī)檢測,上下文分析檢測,DOS 攻擊基于負(fù)載率、信息熵、幀間隔的檢測等)和自動駕駛汽車車內(nèi)以太網(wǎng)入侵檢測(以太網(wǎng)報文深度檢測,車載以太網(wǎng)SOME/IP、DOIP、AVB 應(yīng) 用 協(xié)議檢測)等。外部網(wǎng)絡(luò)接口入侵檢測,包括對OBD 接口、BLE、WIFIHotspot、USB、其它主流近場無線通信、5G 等接口輸入的流量,提供檢測及防護(hù)功能。

3.平臺層數(shù)據(jù)安全防護(hù)技術(shù)

作為自動駕駛汽車數(shù)據(jù)存儲和計算、分析的平臺,為自動駕駛智能決策、規(guī)劃、遠(yuǎn)程服務(wù)等提供數(shù)據(jù)支撐。面對海量的數(shù)據(jù),平臺需要從數(shù)據(jù)分級、分類的角度出發(fā),結(jié)合自動駕駛數(shù)據(jù)特點、業(yè)務(wù)應(yīng)用特點,在數(shù)據(jù)面臨的安全存儲、越權(quán)訪問、泄露、篡改等方面做好安全防護(hù)。

(1)安全域邊界隔離技術(shù)

在各類平臺網(wǎng)絡(luò)入口、重要網(wǎng)絡(luò)域入口處部署防火墻等安全設(shè)備,對所有流經(jīng)網(wǎng)絡(luò)邊界的自動駕駛感知類、業(yè)務(wù)類數(shù)據(jù)進(jìn)行嚴(yán)格的安全規(guī)則過濾,將所有不符合安全規(guī)則的數(shù)據(jù)屏蔽,嚴(yán)格控制區(qū)域間的數(shù)據(jù)訪問權(quán)限。

(2)基于標(biāo)記的訪問控制技術(shù)

對不同安全等級的數(shù)據(jù)訪問的權(quán)限不同,因此根據(jù)自動駕駛數(shù)據(jù)應(yīng)用場景的多樣性、多方參與等特點,在建立完善的分級分類基礎(chǔ)上,應(yīng)針對不同級別、不同類型的數(shù)據(jù)基于用戶角色進(jìn)行標(biāo)記,設(shè)置精細(xì)的訪問控制規(guī)則,控制不同類型數(shù)據(jù)的訪問權(quán)限,從而適應(yīng)復(fù)雜的自動駕駛數(shù)據(jù)應(yīng)用場景。同時設(shè)置不同等級的鑒權(quán)條件,控制不同優(yōu)先級數(shù)據(jù)的開放范圍,在保障自動駕駛不同場景下的業(yè)務(wù)需求得到滿足的同時,做好數(shù)據(jù)安全工作。

(3)數(shù)據(jù)脫敏技術(shù)

平臺層的自動駕駛數(shù)據(jù)在存儲、分析、下發(fā)使用過程中,均需要采用數(shù)據(jù)脫敏技術(shù)來有針對性的去除數(shù)據(jù)中攜帶的與平臺業(yè)務(wù)無關(guān)的敏感信息,包括可能出現(xiàn)的圖片、地理位置、用戶隱私、關(guān)聯(lián)信息等。數(shù)據(jù)脫敏技術(shù)對所采集和存儲的自動駕駛數(shù)據(jù)進(jìn)行掃描,形成敏感數(shù)據(jù)分類、分級分布視圖,對不同種類、不同級別敏感數(shù)據(jù)進(jìn)行脫敏處理,同時保持?jǐn)?shù)據(jù)屬性和數(shù)據(jù)間的依賴關(guān)系,確保脫敏后數(shù)據(jù)的有效性。

(4)面向自動駕駛的高精度地圖專屬云技術(shù)

自動駕駛車輛所依賴的高精度地圖數(shù)據(jù)涉及到地理信息坐標(biāo)等國家秘密范疇,這類數(shù)據(jù)在云端集中存儲、處理和計算過程均要滿足安全監(jiān)管要求,因此,需要構(gòu)建面向自動駕駛的高精度地圖專屬云,利用專屬云安全技術(shù)建立計算、存儲、網(wǎng)絡(luò)資源的物理隔離機(jī)制,除應(yīng)用已有的云平臺安全防護(hù)技術(shù)之外,應(yīng)形成相對獨(dú)立的高安全等級的高精度地圖數(shù)據(jù)處理云環(huán)境。

(5)基于區(qū)塊鏈的數(shù)據(jù)安全共享技術(shù)

自動駕駛數(shù)據(jù)的共享應(yīng)用是促進(jìn)產(chǎn)業(yè)發(fā)展的必然要求,共享數(shù)據(jù)的同時又會帶來數(shù)據(jù)失控的風(fēng)險,并且難以追責(zé)。結(jié)合區(qū)塊鏈技術(shù)實現(xiàn)對數(shù)據(jù)共享過程的全生命周期管理,采用智能合約對數(shù)據(jù)共享過程進(jìn)行細(xì)粒度管控,同時保障數(shù)據(jù)操作的可追溯性,解決數(shù)據(jù)所有者的共享數(shù)據(jù)“誰在用、在哪用、怎么用”等問題,在發(fā)生數(shù)據(jù)安全事件后,有效追責(zé)。通過引入動態(tài)安全許可技術(shù),實現(xiàn)協(xié)同場景下數(shù)據(jù)動態(tài)訪問控制和授權(quán);通過標(biāo)簽標(biāo)記技術(shù),實現(xiàn)數(shù)據(jù)可溯源;使用基于區(qū)塊鏈的分層訪問控制機(jī)制,對數(shù)據(jù)全生命周期過程中的訪問信息、授權(quán)信息進(jìn)行記錄,保障數(shù)據(jù)操作的可追溯性,解決協(xié)同共享數(shù)據(jù)安全失控問題。

4.應(yīng)用層數(shù)據(jù)安全防護(hù)技術(shù)

(1)訪問控制技術(shù)

自動駕駛汽車的車載娛樂系統(tǒng)、智能座艙系統(tǒng)、遠(yuǎn)程診斷接口等負(fù)責(zé)與駕駛員、乘客或遠(yuǎn)程診斷系統(tǒng)進(jìn)行交互,因此會保存大量涉及用戶個人的隱私數(shù)據(jù)和車輛狀態(tài)數(shù)據(jù)。這類數(shù)據(jù)的保護(hù)除利用安全存儲技術(shù)保存在安全硬件設(shè)備之外,還應(yīng)考慮采用數(shù)據(jù)訪問控制技術(shù),限制對個人隱私類數(shù)據(jù)和車輛敏感狀態(tài)的非法訪問和提取。如結(jié)合生物特征的身份認(rèn)證及授權(quán)技術(shù),基于角色的強(qiáng)制訪問控制技術(shù)、遠(yuǎn)程安全診斷技術(shù)等,保證只有合法用戶或設(shè)備才能訪問車端數(shù)據(jù)。

(2)自動駕駛應(yīng)用加固技術(shù)

要保護(hù)用戶隱私數(shù)據(jù),可以結(jié)合自動駕駛數(shù)據(jù)特點,把加固技術(shù)集成到客戶端內(nèi),為客戶提供涵蓋應(yīng)用開發(fā)、打包、發(fā)布、運(yùn)行全生命周期一體化安全保障服務(wù),有效防止針對移動應(yīng)用的反編譯、二次打包、內(nèi)存注入、動態(tài)調(diào)試、數(shù)據(jù)竊取、交易劫持、應(yīng)用釣魚等惡意攻擊行為,從而全面保護(hù)應(yīng)用軟件安全。

(3)自動駕駛算法的抗攻擊及保護(hù)技術(shù)

自動駕駛算法應(yīng)能夠具備識別和檢測正常數(shù)據(jù)樣本和攻擊樣本的能力,增強(qiáng)自動駕駛算法的抗攻擊能力。同時,自動駕駛算法自身的保護(hù)技術(shù)除傳統(tǒng)的對算法代碼的保護(hù)之外,通常也會結(jié)合對不斷輸入數(shù)據(jù)的反饋增加噪聲的方式來防止對自動駕駛算法的試探攻擊,從而防止竊取算法的關(guān)鍵特征。

(4)安全測評自動化技術(shù)

傳統(tǒng)的檢測技術(shù),主要是通過配置文件核查以及反編譯查看靜態(tài)代碼的手段來配置相應(yīng)的檢測項。現(xiàn)有比較突出的測評技術(shù),均開始使用動態(tài)檢測的手段。應(yīng)用層動態(tài)檢測技術(shù)主要是構(gòu)造模擬攻擊者的真實攻擊場景并發(fā)起攻擊行為,通過是否成功取得預(yù)期的攻擊效果,來判斷在自動駕駛功能實現(xiàn)的某個環(huán)節(jié)上是否存在安全隱患。

四、發(fā)展建議與展望

自動駕駛作為新一輪科技革命和產(chǎn)業(yè)變革的典型代表,成為各大研究機(jī)構(gòu)、整車廠、互聯(lián)網(wǎng)巨頭公司的重要競爭方向。自動駕駛需要針對海量的多源多維異構(gòu)數(shù)據(jù)進(jìn)行深度學(xué)習(xí),最終達(dá)到無人駕駛、智慧出行的目標(biāo)。針對前幾章所述自動駕駛數(shù)據(jù)安全問題,建議從以下四個方面著手開展工作。

(一)規(guī)范數(shù)據(jù)共享治理模式,促進(jìn)自動駕駛數(shù)據(jù)開放共享

自動駕駛數(shù)據(jù),需要通過共享和流轉(zhuǎn),才能釋放其最大價值。在建立數(shù)據(jù)分類分級的安全技術(shù)防護(hù)架構(gòu)的支撐下,可以將自動駕駛數(shù)據(jù)安全使用與區(qū)塊鏈技術(shù)相結(jié)合,推動數(shù)據(jù)開放共享體系建設(shè),加快對生態(tài)鏈上各個環(huán)節(jié)的參與者的梳理,界定清晰各參與主體的權(quán)利和責(zé)任邊界。并由國家相關(guān)部門通過制定立法、管理條例、標(biāo)準(zhǔn)規(guī)范等方式,加強(qiáng)對數(shù)據(jù)共享參與方和數(shù)據(jù)共享過程的監(jiān)管。并分階段制定自動駕駛數(shù)據(jù)的治理和安全共享的實施細(xì)則,進(jìn)一步推動自動駕駛的快速發(fā)展。

(二)加強(qiáng)對自動駕駛云平臺的數(shù)據(jù)安全管控

自動駕駛數(shù)據(jù)在云端處理、存儲及應(yīng)用過程中仍然面臨較大風(fēng)險,如對于涉及國家秘密的地理信息數(shù)據(jù)資源,在云端可能存在跨境傳輸、非授權(quán)訪問等合規(guī)性問題,并且由于云計算的分布式特點,數(shù)據(jù)流轉(zhuǎn)難以監(jiān)管。因此,應(yīng)加強(qiáng)對云端數(shù)據(jù)安全的管控,綜合應(yīng)用區(qū)塊鏈、數(shù)據(jù)安全標(biāo)記、強(qiáng)制訪問控制、資源隔離等技術(shù)構(gòu)建具有較強(qiáng)數(shù)據(jù)安全防護(hù)能力的云平臺。建議對自動駕駛應(yīng)用及系統(tǒng)按照國家網(wǎng)絡(luò)安全等級保護(hù)相關(guān)要求建設(shè),對于高精地圖等涉及國家秘密范圍的數(shù)據(jù)和系統(tǒng),建議部署具備較強(qiáng)安全隔離機(jī)制和安全監(jiān)管措施的專屬云平臺,滿足等級保護(hù)四級要求。

(三)加強(qiáng)智能網(wǎng)聯(lián)測試示范區(qū)和運(yùn)行區(qū)域的數(shù)據(jù)安全監(jiān)管與防護(hù)體系建設(shè)

探索建立智能網(wǎng)聯(lián)測試示范區(qū)和運(yùn)行區(qū)域的安全管理機(jī)制,確保示范區(qū)在數(shù)據(jù)采集、處理、存儲和傳輸過程中的機(jī)密性、完整性和可用性,明確相關(guān)主體的數(shù)據(jù)安全保護(hù)責(zé)任。定期開展數(shù)據(jù)風(fēng)險評估,加強(qiáng)數(shù)據(jù)安全監(jiān)督檢查。同時,針對智能網(wǎng)聯(lián)測試示范區(qū)和運(yùn)行區(qū)域可能面臨的非法入侵攻擊和信息安全風(fēng)險,建立端- 管- 云立體的威脅態(tài)勢感知系統(tǒng),確立信息安全評估機(jī)制,制定應(yīng)急響應(yīng)體系,設(shè)計針對不同信息安全等級的響應(yīng)機(jī)制和恢復(fù)策略,實現(xiàn)多層面的漏洞資源共享與合作,聯(lián)合建立智能網(wǎng)聯(lián)汽車信息安全漏洞庫。

(四)加強(qiáng)自動駕駛汽車底層固件的安全防護(hù)

自動駕駛汽車運(yùn)行固件支撐著汽車的各個邏輯功能。從目前的自動駕駛實踐來看,很多重大的安全問題都出現(xiàn)在構(gòu)成自動駕駛汽車各個零部件的固件程序中。因此在汽車投入市場之前,需要對汽車底層固件進(jìn)行諸如靜態(tài)分析、模擬執(zhí)行、形式化驗證之類的安全測試,有助于減少自動駕駛汽車在實際道路上出現(xiàn)安全問題的概率。科研單位與企業(yè)也應(yīng)該加強(qiáng)對自動駕駛汽車底層固件的安全研究,以防止可能的攻擊行為,提升自動駕駛汽車行駛的安全性和穩(wěn)定性。

主站蜘蛛池模板: 国产噜噜噜| 国产日韩欧美视频| 午夜精品久久久久久久无码软件| 91一级片| 54pao国产成人免费视频| 91极品美女高潮叫床在线观看| 亚洲天堂免费观看| 男人的天堂久久精品激情| 久久99精品久久久大学生| 黄色网站在线观看无码| 99视频精品全国免费品| 欧美a在线| 亚洲精品福利网站| 国产精品无码一区二区桃花视频| 久久中文电影| 成年看免费观看视频拍拍| 日韩欧美成人高清在线观看| 国产视频a| 在线观看热码亚洲av每日更新| 国产一区二区精品福利| 在线精品自拍| 久久综合干| 毛片基地视频| 日日拍夜夜操| 99精品高清在线播放| 综合色婷婷| 日韩精品成人网页视频在线| 国产日韩精品一区在线不卡 | 欧美精品在线看| 亚洲免费三区| 91久久大香线蕉| 国产女主播一区| 国产在线自揄拍揄视频网站| 午夜国产理论| 国产福利观看| 亚洲人在线| 男人天堂亚洲天堂| 国产成年女人特黄特色大片免费| 国产在线欧美| 美女被操91视频| 波多野结衣一二三| 色网站在线视频| 欧美午夜小视频| 日韩在线观看网站| 精品国产欧美精品v| www精品久久| 美女啪啪无遮挡| 999精品在线视频| 伊人久久久久久久久久| 欧美69视频在线| 波多野吉衣一区二区三区av| 一区二区无码在线视频| 精品视频免费在线| 欧美亚洲网| 福利一区在线| 国产乱子伦无码精品小说| 中文国产成人精品久久| 久久精品无码中文字幕| 国产99免费视频| 久久成人18免费| 中国成人在线视频| 无码精品国产dvd在线观看9久| 亚洲午夜福利精品无码| 亚洲精品国产乱码不卡| 国产91av在线| 亚洲午夜国产精品无卡| 欧美精品啪啪| 日韩人妻精品一区| 伊人查蕉在线观看国产精品| 四虎永久免费网站| 国产av无码日韩av无码网站| 伊人色天堂| 成人精品区| 亚洲欧美另类日本| 国产真实乱子伦精品视手机观看| 国产成人av一区二区三区| 视频二区中文无码| 免费中文字幕一级毛片| 福利在线不卡一区| 青青青国产免费线在| 久久天天躁狠狠躁夜夜躁| 制服丝袜在线视频香蕉|