邊緣協作的輕量級安全區域建議網絡

熊金波，畢仁萬，陳前昕，劉西蒙

（1.福建師范大學數學與信息學院，福建 福州 350117；2.福建師范大學福建省網絡安全與密碼技術重點實驗室，福建 福州 350007；3.福州大學數學與計算機科學學院，福建 福州 350108；4.福州大學網絡系統信息安全福建省高校重點實驗室，福建 福州 350108）

1 引言

隨著人工智能和物聯網技術及其覆蓋面不斷擴延，智慧城市[1]、智能家居[2]、智能物流等概念自提出以來就受到廣泛關注。根據中國智能物聯網（AIoT,artificial intelligence and Internet of things）白皮書預測[3]，到2025 年，中國物聯網設備接入量將達200 億臺。自動駕駛車輛[4]、視頻監控[5]、機器人等依賴物聯網設備的群智感知視覺應用[6]，同時扮演著數據生產者和消費者的角色，通過裝載的高清攝像頭實時拍攝室內或室外場景信息，正確識別視野內目標的類別和位置，進而提供適當的行為策略或應用服務。

考慮目標檢測任務本身的復雜開銷問題，智能設備通常將預處理后的圖像數據及檢測任務外包給第三方進行存儲和分析處理[7-8]，以最大程度地減少存儲空間占用、計算開銷和設備電源損耗。同時，由于網絡容量、帶寬等限制，邊緣計算范式[9]將計算任務卸載至網絡邊緣，可以大大降低智能終端與邊緣節點間的通信時延，從而滿足時延敏感的智能應用需求。

目前，已經有學者結合邊緣計算展開目標檢測模型研究[10-11]，Ren 等[12]針對實時監控的應用需求，利用邊緣計算來實現分布式、時延敏感的目標檢測任務，有效地降低了通信開銷和應用程序部署成本。Nikouei 等[13]提出了一種輕量級卷積神經網絡，并將該網絡部署在邊緣節點上，利用邊緣計算的優勢實現了實時的密集行人目標檢測。Zhang 等[14]提出了一種匹配邊緣計算設備與建議區域的濾波算法，該算法利用有限的計算能力和內存來實現目標的跟蹤和檢測，并能保持較高的精度和較低的計算開銷。

就目標檢測技術而言，根據對檢測精度和計算開銷之間的權衡程度，主流的目標檢測模型可以分為單目標檢測與雙目標檢測模型兩類[11]。Girshick等[15]最早提出了一種分類和位置檢測分離的目標檢測方法R-CNN（region-convolutional neural network），利用選擇性搜索方式裁剪獲得固定數量的目標位置區域，將這些區域縮放為固定尺寸后，順序地通過卷積神經網絡（CNN,convolutional neural network）進行分類[16]。顯然，這需要大量的時間開銷，縮放過程中的裁剪操作也會破壞完整的圖像信息，導致檢測精度下降。為了高效、準確地捕捉目標區域，Ren 等[17]提出了優化的端對端網絡模型Faster R-CNN，利用卷積神經網絡獲取圖像的特征圖，并引入了區域建議網絡（RPN,region proposal network）概念，利用多種長寬比和尺寸的錨在特征圖上進行檢測，根據每個目標的殘差值生成對應的邊界區域，通過共享圖像特征和邊界框坐標，同時獲得所有目標的位置及其類別。相比于雙目檢測模型，Redmon 等[18]將目標檢測視為包含類別信息的位置回歸問題，提出端對端的單目檢測模型（YOLO,you only look once），具有計算效率方面的優勢，但這類模型的檢測精度相對較低。

然而，攝像頭收集的圖像數據通常包含大量隱私信息，例如自動駕駛車輛所拍攝的圖像涉及特定目標的位置和車輛自身的移動軌跡信息[5]、室內監控圖像包含私人的生活環境信息[6]等。當數據擁有者將原始數據與任務提交至邊緣節點時，邊緣節點是否可信、邊緣環境是否存在惡意敵手是數據擁有者無從得知的，這意味著原始數據所包含的隱私信息存在泄露的風險，因此，原始數據必須以密文形式上傳至邊緣節點進行存儲或處理[19]。目前，學者們主要基于同態加密（HE,homomorphic encryption）[20]或加性秘密共享方案來尋求處理密態數據的解決方法。Dowlin 等[21]提出了基于HE 的隱私保護卷積神經網絡模型CryptoNets，該模型允許數據所有者以加密形式將數據發送至云服務器來執行圖像分類任務，但只能支持簡單的線性運算。為了彌補網絡模型單一的缺陷，Hesamifard 等[22]設計了一些低階多項式函數，利用線性HE 可以近似處理線性修正單元（ReLU,rectified linear unit）、Sigmoid函數等激活操作。Juvekar 等[23]結合HE 和安全兩方計算，設計了一些支持向量的密態計算協議。相比于基于HE 的解決方案，在犧牲少量通信開銷的前提下，Huang 等[24]結合加性秘密共享方案設計了安全乘法與安全比較協議，提出了一種輕量級特征提取框架，具有較高的執行效率。然而，ReLU 激活層耗費了大量時間開銷計算符號進位加法，難以應用于實時深層CNN 任務。Liu 等[25]提出了第一種隱私保護目標檢測模型SecRCNN，設計的一系列安全計算協議可以保證檢測過程中圖像數據的隱私性，但多輪迭代計算的特征使目標檢測任務需要耗費大量的時間開銷。

針對當前目標檢測模型只專注于檢測精度和執行效率的提升與優化，忽視了圖像數據的隱私性，本文借鑒數據信息全生命周期的隱私保護和計算體系結構[26]，基于加性秘密共享方案為RPN 設計相應的安全模型，同時貼合網聯自動駕駛車輛等實時應用的低延時需求，在不影響圖像隱私性的前提下盡可能地壓縮時間和通信開銷。本文的主要貢獻具體如下。

1) 基于加性秘密共享方案設計了安全激活（SRU,secure ReLU）、安全Softmax（SST,secure softmax）、安全錨變換（SAT,secure anchor transform）、安全邊界框裁剪（SBC,secure bounding-box clip）、安全邊界框過濾（SBF,secure bounding-box filter）、安全非極大值抑制（SNMS,secure non-maximum suppression）等安全計算協議，實現網絡函數功能的同時避免泄露隱私信息。相比于同態加密原語和多輪迭代逼近方法，本文方案具有計算和通信復雜度優勢。

2) 提出一種安全RPN 結構SecRPN，智能終端隨機地拆分圖像數據并分別上傳至邊緣節點，2 臺邊緣服務器調用上述安全計算協議協同執行SecRPN，依次包含安全特征處理、安全錨變換、安全邊界框修正、安全非極大值抑制等計算模塊，最終獲得圖像內目標的邊界框和相應的分類概率。由于雙方均不能獲得完整的計算結果，SecRPN 可以保證目標位置區域和所屬類別的隱私性。

3) 通過完備的理論分析證明安全計算協議和SecRPN 的正確性、安全性和高效性。實驗性能評估表明，SecRPN 的計算誤差可以維持在10?5左右，所獲得的安全邊界框與明文環境下的安全邊界框幾乎完全重合，并且時間成本僅為0.34 s。

2 基礎知識

2.1 區域建議網絡

RPN 將圖像內擬合的目標邊界區域提取出來，分別送入全連接層模塊進行分類，進而實現目標位置和類別檢測的雙重目的。在提取CNN 特征圖后，RPN 分別利用大小為2×9 和4×9 的單位卷積核執行逐點卷積操作，起到聯通所有特征通道的作用。圍繞每個特征點匹配9 種不同比例和尺寸的錨（示范邊界框），根據錨的左上角和右下角坐標，以及是否包含目標的分數進行描述，并利用Softmax 函數將分數映射至區間[0,1]。為了獲得所需要的目標邊界框，RPN 將錨{xup,xbottom,yup,ybottom}變換為{wa,ha,xa,ya}，其中，(xup,yup)和(xbottom,ybottom)分別表示錨的左上角和右下角坐標，wa、ha和(xa,ya)分別表示錨的寬、高和中心坐標，然后利用三類方向上的位移值(dw,dh,dx,dy)執行錨變換獲得目標邊界框{wb,hb,xb,yb}，即計算wb=waedw、hb=haedh、xb=wdx+xa和yb=hady+ya。隨后，執行的裁剪和過濾操作的目的是為了將邊界框控制在圖像邊界內，并刪除小于單位面積的無意義邊界框。NMS協議用于剔除檢測分數較低、冗余的邊界框，保留分數較高、有價值的邊界。為了判定2 個邊界框的相似程度，本文定義交占比（IoU,intersection over union）為邊界框重疊區域面積與覆蓋區域面積的比值，當IoU 低于設定的閾值時，則認為2 個邊界框是相似的，進而保留檢測分數較高的檢測框。經過這一系列操作之后，所得到的一批目標邊界框可以代表整個特征圖內的目標區域。

2.2 基本安全計算協議

3 模型定義

3.1 系統模型

本文旨在解決智能物聯網環境下數據采集設備將目標檢測任務移動至邊緣節點導致的圖像數據隱私問題，并盡可能地減少計算和通信開銷浪費。系統模型如圖1 所示，參與實體包含數據擁有者O、可信第三方服務器T、2 臺邊緣服務器(S1和S2)、應用服務提供商P，具體職能描述如下。

1) O 負責采集物聯網智能終端中的實時圖像，將特征圖隨機拆分為2 份加法副本，并分別提交給 S1和 S2。

2) T 僅負責離線生成隨機數，并按照協議要求分別傳遞給 S1和 S2。

3) 接收到上傳的加法特征副本后，S1和 S2將加法副本隱藏至隨機數中進行交互，根據安全計算協議執行安全特征處理、安全錨變換、安全邊界框修正、安全NMS 等模塊操作，然后將各自獲得的檢測結果副本發送給P。

4) P 僅需要執行加法便可以恢復出完整的檢測結果，包含目標的類別和位置信息。

圖1 SecRON 網絡模型

3.2 安全模型

本文定義隱私為檢測目標的類別和位置信息，具體表現為網絡處理過程中檢測目標的每一位特征值。在半可信模型中，T 對于其他實體而言是完全可信的，不直接參與 S1和 S2的交互計算，因此不會影響模型的安全性。S1和 S2被認為是誠實且好奇的實體，嚴格遵循所設計協議的要求，并期望通過已知信息推測出完整的隱私信息。S1和 S2是不能共謀的，只能通過傳遞隨機數進行交互，并且安全模型參與方的信息傳遞需要經過安全信道，以避免信息被惡意篡改。在計算過程中，若完整的隱私信息不會被 S1和 S2及概率多項式時間敵手A 截獲，那么認為提出的模型是安全的。

類似于安全模型定義[24-25,28-30]，假設具備以下攻擊能力：①A至多可以竊聽一類（圖1 中的“鏈路1”或“鏈路2”）通信鏈路并獲得傳遞的特征副本；②A至多可以破壞一臺邊緣服務器（S1或S2）并獲得擁有的特征副本；③A不能惡意干擾數據擁有者與(S1,S2)、T 與(S1,S2)、P 與(S1,S2)、S1與S2之間的正常通信，不能篡改傳遞的信息內容。

4 構造SecRPN

4.1 SecRPN 概述

SecRPN 結構如圖2 所示。當接收到2 份特征圖副本后，S1和 S2順序地交互執行安全特征處理、安全錨變換、安全邊界框修正和安全NMS 等模塊操作，然后分別輸出目標檢測結果副本。為了便于區分，S1執行圖2 中深灰色部分的操作，S2執行淺灰色部分的操作。在安全特征處理模塊中，S1和 S2利用大小為3×3的卷積核計算線性卷積，并在ReLU激活層中將2份加法副本之和的負特征值設置為0。為了聯通所有深度特征通道，S1和 S2利用大小為1×1 的卷積核協同執行逐點卷積操作生成目標邊界框的分數和位移特征，額外地，S1和 S2需要執行安全Softmax 操作將錨的分數映射至區間[0,1]。隨后，S1和 S2生成9 種不同比例和尺寸的錨，并利用目標邊界框的位移特征執行安全的錨變換操作。安全邊界框修正操作的目的是將逾越圖像邊界的邊界框限制在圖像邊界內，并且剔除小于單位大小的邊界框。根據邊界框的概率大小及修正邊界框之間的重疊程度，S1和 S2執行安全NMS 操作刪除概率較低的相似邊界框。

4.2 安全特征處理模塊

特征圖中隱含著圖像目標的類別和位置邊界信息，經過安全特征處理操作，S1和 S2可以采用2路卷積模塊輸出目標的分類概率和邊界框坐標位移量。關于常規卷積和逐點卷積的線性計算，S1和S2分別擁有特征圖副本x1和x2，已知公共的卷積核權重和偏置參數(ω,b)，S1和 S2利用加性秘密共享獨立計算z1=ωx1+b和z2=ωx2+b，可以獲得完整特征圖(x1+x2)的卷積結果，即z1+z2=ωx+b。然而，ReLU 激活層負責計算非線性函數max(y,0)，這顯然不能直接拆分，因此本文提出了SRU 協議。已知輸入z1和z2，滿足z=z1+z2，S1和 S2協同執行SComp 協議獲得y與0 的比較結果，即z的符號位b。若z≥ 0，則b=0；若z< 0，則b=1。S1和S2直接將輸入與相乘獲得激活結果，若z≥ 0，則；否則。具體過程如協議1 所示。

圖2 SecRPN 結構

4.3 安全錨變換模塊

4.4 安全邊界框修正模塊

4.5 安全非極大值抑制模塊

為了進一步縮減目標邊界框的數量，提高位置檢測效率，SecRPN 采用NMS 方法來剔除相似的目標邊界框，保留概率較高的目標邊界框。IoU 用來描述2 個邊界框的相似程度，其定義為重疊區域面積與覆蓋區域面積的比值，取值范圍為[0,1]。如果IoU=0，表示邊界框無重疊；如果IoU=1，表示邊界框完全重疊。已知邊界框H和R的位置關系如圖3 所示，則IoU 可表示為，其中，ΩH表示邊界框H的面積，ΩR表示邊界框R的面積，ΩH∩R表示邊界框H和邊界框R的重疊區域面積。選擇公共的相似閾值η′，若η′≤IoUH,R≤ 1，則認為邊界框H和R是相似的。

圖3 邊界框H 和R 的位置關系

在此基礎上，S1和 S2協同執行SNMS 協議，如協議7 所示。已知目標邊界框副本U1和U2，以及其相應的概率副本P1和P2，S1和 S2通過傳遞坐標差值間接地計算邊界框的面積S（步驟2)～步驟4)），而不會泄露完整的邊界框坐標值。然后，S1和S2調用SDS 協議計算概率值降序排列后的索引列表?（步驟5)），保留概率最高的邊界框索引d（步驟8)），將剩余邊界框與之進行相似性判比，相似性問題可以歸納于重疊區域面積的安全計算。對于索引為d和k的2 個邊界框，首先借助圖3 來判斷兩者的位置關系，比較左上角和右下角坐標值，獲得重疊區域T1+T2（步驟11)～步驟14)），接下來，S1和 S2計算T1+T2的面積s，若s≤ 0，則認為2個邊界框無重疊，此時IoU=0（步驟15)～步驟16)）。若IoU≥η′，則認為邊界框存在冗余，并從列表?中刪除這些冗余索引（步驟18)～步驟19)）。經過若干次迭代分類邊界框索引，直到?←?，終止迭代。根據索引列表Ψ，S1和 S2可以獲得NMS抑制的邊界框副本V1和V2。

5 理論分析

5.1 正確性分析

5.2 安全性分析

在半可信模型中，假設存在概率多項式時間的模擬器M，為敵手A 生成一組模擬視圖，若該視圖在計算上與真實視圖無法區分，則認為提出的計算協議是安全的。在安全性證明之前，需要引入下述引理[28-30]。

引理1若協議調用的所有子協議在概率多項式時間內是可模擬的，那么該協議是可模擬的。

引理 2若a∈?m是均勻分布的，并且與b∈?m相互獨立，那么認為a±b也是均勻分布的，并且與b相互獨立。

根據引理1 所述，SecRPN 的安全性可以歸結于所設計協議的安全性證明。其中，SMul、SComp協議和SExp 協議的子協議的安全性在文獻[22,26]中已經得到證明。同時，所設計協議以數組作為輸入，由于每個數組元素的計算形式一致，根據引理2 可知，參與計算的隨機數組也是均勻分布的。

定理1在半可信模型中，SRU 協議、SST 協議和SAT 協議是安全的。

5.3 復雜度分析

本節從計算復雜度和通信復雜度兩方面評估和分析所提SecRPN 中安全計算協議的效率，其結果分別如表1 和表2 所示。從表1 可以看出，相比于明文環境下的RPN[17]，引入安全計算協議后顯然會增加計算開銷。在SRU 協議中，SecRCNN[25]采用的比較協議[24]與數值的二進制位長度相關，而SecRPN 基于順序結構的SComp 協議可以完成激活計算，其計算復雜度為O(N)。在SST 協議中，相比于SecRCNN[25]，SecRPN 調用的SExp 協議不需要多輪迭代，并且采用傳遞公共分母方式可以避免額外的比較計算，其計算復雜度為O(N)。關于SAT協議、SBC 協議和SBF 協議，由于SecRPN 底層的SComp 協議是順序執行的，因此計算復雜度均與RPN[17]相同。關于SDS 協議，SecRCNN[25]的每一次比較均需要調用比較協議，而SecRPN 的SDS 協議與RPN[17]的快速排序相似，其計算復雜度為O(NlogN)。此外，SecRPN 的SNMS 協議順序執行SDS 協議和計算IoU 的循環結構，其計算復雜度為O(NlogN)。

表1 安全計算協議的計算復雜度

表2 描述了協議中 S1和 S2之間的通信輪數及其通信開銷，底層的SMul協議、SExp協議和SComp協議均不依賴任何循環操作，僅需要一輪或3 輪通信。在SecRPN 中，SRU 協議執行一次SComp 協議，SST 協議執行2 次SExp 協議和一次數據傳遞，均需要3 輪通信。在SAT 協議中，包含4 次乘法和2 次指數計算，共需要6 輪通信。SBC 和SBF 分別執行8 次和2 次SComp 協議，分別需要24 輪和6輪通信。SDS 協議僅需要一輪通信傳遞虛構概率副本，SNMS 協議的通信開銷依賴于IoU 循環次數，需要2 +13logN輪通信。

表2 安全計算協議的通信復雜度

6 性能評估

本節將對所提安全計算協議和SecRPN 的實際性能進行評估，同時分析驗證基于SecRPN 的目標檢測結果的正確性和安全性。本文實驗環境為Intel(R) Core(TM) i7-8565U CPU@1.80 GHz，20 GB RAM 硬件配置的64 位計算機，在Pycharm 仿真平臺上進行實驗，利用Numpy 工具完成協議的數組傳遞和計算。

6.1 安全計算協議性能

本文將從實際計算開銷、通信開銷和計算誤差3 個方面評估安全計算協議的性能。通過斷點測試，利用安全計算協議的運行時間衡量計算開銷，服務器之間傳輸的數據量大小衡量負載的通信開銷，將安全計算協議與明文函數的輸出結果的最大差異作為計算誤差。批處理大小（數組長度N）是影響計算和通信開銷的主要因素，從圖4(a)～圖4(f)可知，安全計算協議的計算開銷隨著批處理的增大而增加。相比于文獻[22]中的安全ReLU 協議，當N=105時，SRU 協議的計算效率提高了近30 倍，其時間開銷約為ReLU 計算的4 倍（圖4(a)）。SST和SAT 協議的時間開銷與原始的Softmax 函數和錨變換操作相比較，時間開銷沒有明顯增加，若利用泰勒展開方式[32]設計這2 種安全協議，時間開銷會隨著迭代次數m而增加，且遠高于本文提出的協議（圖4(b)和圖4(c)）。相比于明文環境下RPN 的邊界框裁剪、邊界框過濾和NMS 計算，SBC 協議、SBF協議和SNMS 協議處理長度為104以內的數組，計算開銷沒有明顯增長趨勢，即使處理長度為105的數組，計算開銷也可以分別控制在95 ms、410 ms和1 150 ms 內（圖4(d)～圖4(f)）。

由圖4(g)和圖4(h)可知，計算協議的通信開銷隨著數組長度N的增大而增加，當處理長度為105的數組，SRU 協議、SST 協議、SAT 協議和SBF協議的通信開銷控制在4 MB內，SBC協議和SNMS協議的通信輪數相對頻繁，其通信開銷也可以控制在15 MB 內。輸入范圍是影響計算誤差的主要因素。圖4(i)顯示當輸入在1～20 時，SST 協議的計算誤差維持在10?5量級，等同于迭代40 次的SecST 協議。從圖4(j)可知，SAT 協議的計算誤差與錨的坐標值范圍和位移值范圍有關，當位移大于10后，SAT 協議的計算誤差增長比較緩慢，且遠小于SecAT 協議。由于SComp 協議的計算誤差不會影響到整數部分，因此輸出的符號位不會影響比較結果，不考慮系統抖動因素，在此基礎上設計的SRU 協議、SBC 協議、SBF 協議和SNMS協議可以實現零誤差。

6.2 目標檢測結果

本文采用數據集PASCAL VOC 2007[31]進行實驗，該數據集包含20 個類別，共9 963 張圖片（其中，5 011 張為訓練圖片，4 952 張為測試圖片），超過27 000 個目標邊界框。隨機挑選一張圖片，S1和 S2利用設計的安全計算協議交互執行SecRPN，開銷如表3 所示，執行512 條通道的安全卷積操作需要52.0 ms，相應的安全ReLU 激活需要178.5 ms，然后利用大小為1×1 的卷積核獲得目標位移值和分數需要0.6 ms，針對目標和背景2 個類別執行安全Softmax 操作需要3.0 ms。根據9 種不同比例和尺寸的錨，執行安全錨變換、安全邊界框修正（裁剪和過濾）及安全NMS 操作均可以維持在毫秒級。在SecRPN 中，因數值精度引入的計算誤差如圖5(a)所示，SST 協議的計算誤差約為10?8，后續協議操作的計算誤差可以維持在10?5量級。綜上所述，SecRPN 實際產生的計算開銷為340.7ms，約為明文環境下RPN 的4 倍，通信開銷為27.21 MB，均優于現有工作[25]，具體如表4 所示。

圖4 安全計算協議性能結果

隨機挑選的圖片經過SecRPN 處理后，S1和 S2將各自的目標邊界框副本和分類概率向量發送給P，如圖5(b)所示，P利用加法可以恢復出完整的目標檢測邊界框[80,46,422,298]和預測類別“bus”，并且與明文環境下的目標檢測邊界框僅存在10?5誤差。圖5(c)顯示，相比于正確的目標邊界框，S1和S2獲得的邊界框副本[374,501,2974,1 038]和[?294,?455,?2 552,?740]是無意義的。特別地，為了進一步凸顯SecRPN 的安全性，下面提出一種測試方法。S1和 S2獨自地進行檢測操作，重復獨立執行3 次后，檢測結果分別如圖5(d)和5(e)所示，相比于正確的目標邊界框和類別，S1和 S2獲得的目標類別和位置結果是隨機的，并且目標概率近似于均勻分布，約為0.05。由此可見，S1和 S2及約束下的敵手A 均無法獲得正確的檢測結果，證明了SecRPN 是正確且安全的。

表3 網絡層的開銷比較

表4 網絡的開銷比較

圖5 SecRPN 的檢測結果

7 結束語

針對物聯網外包環境下目標檢測任務的圖像隱私泄露問題，本文在雙邊緣協作模式下基于加性秘密共享方案設計了一系列安全計算協議，組合的SecRPN 可以在保證目標特征和位置隱私性的前提下實現目標檢測。完備的理論分析證明了安全計算協議和SecRPN 的正確性、安全性和高效性，實驗結果表明SecRPN 僅耗費0.34 s 的時間成本，邊緣節點之間需要負載27.21 MB 的通信開銷，并且計算誤差可以控制在10?5左右，這對于實時需求嚴苛的物聯網服務具有良好的應用前景。在未來工作中，將繼續研究降低隱私目標檢測任務開銷和誤差的解決方法。

附錄 協議的構造過程