面向深度神經(jīng)網(wǎng)絡(luò)的安全計(jì)算協(xié)議設(shè)計(jì)方法

畢仁萬(wàn)，陳前昕，熊金波，劉西蒙

面向深度神經(jīng)網(wǎng)絡(luò)的安全計(jì)算協(xié)議設(shè)計(jì)方法

畢仁萬(wàn)1，陳前昕1，熊金波1，劉西蒙2

(1. 福建師范大學(xué)數(shù)學(xué)與信息學(xué)院，福建 福州 350117；2. 福州大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，福建 福州 350108)

針對(duì)深度神經(jīng)網(wǎng)絡(luò)模型計(jì)算過(guò)程中存在的信息泄露問題，結(jié)合加性秘密共享方案，在兩臺(tái)非共謀的邊緣服務(wù)器間設(shè)計(jì)安全高效的交互計(jì)算協(xié)議。考慮到非線性函數(shù)不能直接拆分，首先提出一組基本轉(zhuǎn)換協(xié)議，實(shí)現(xiàn)加性副本和乘性副本的安全轉(zhuǎn)換，經(jīng)過(guò)少量調(diào)用，可以安全計(jì)算冪函數(shù)、比較、指數(shù)、對(duì)數(shù)、除法等底層函數(shù)。由于數(shù)據(jù)傳遞和計(jì)算特點(diǎn)，協(xié)議可以擴(kuò)展至數(shù)組計(jì)算。理論分析證明了協(xié)議的正確性、高效性和安全性，實(shí)驗(yàn)結(jié)果表明，協(xié)議具有較小的誤差，其計(jì)算和通信開銷均優(yōu)于現(xiàn)有設(shè)計(jì)方案。

深度神經(jīng)網(wǎng)絡(luò)；加性秘密共享；安全計(jì)算協(xié)議；加法?乘法轉(zhuǎn)換；數(shù)組單元

1 引言

隨著人工智能和物聯(lián)網(wǎng)時(shí)代的全面到來(lái)，智能終端設(shè)備被賦予自主采集各種類型數(shù)據(jù)的能力，如高清攝像機(jī)捕捉圖像數(shù)據(jù)、聲學(xué)設(shè)備采錄語(yǔ)音數(shù)據(jù)、LiDAR設(shè)備探測(cè)點(diǎn)云數(shù)據(jù)[1]等。為了進(jìn)一步挖掘、分析出有意義的信息，相比傳統(tǒng)的機(jī)器學(xué)習(xí)算法，采用深度神經(jīng)網(wǎng)絡(luò)模型處理數(shù)據(jù)可以獲得更高的預(yù)測(cè)精度。例如，Ren等[2]利用卷積神經(jīng)網(wǎng)絡(luò)提取圖像目標(biāo)的特征信息，Zhou等[1]采用稀疏卷積神經(jīng)網(wǎng)絡(luò)提取云目標(biāo)的特征信息等。然而，深度神經(jīng)網(wǎng)絡(luò)由于模型深度、參數(shù)數(shù)量等特征會(huì)耗費(fèi)高額的計(jì)算開銷，資源受限的智能終端選擇將數(shù)據(jù)和任務(wù)需求提交給邊緣服務(wù)器進(jìn)行處理。隨著數(shù)據(jù)控制權(quán)的遷移，包含在數(shù)據(jù)內(nèi)的隱私信息存在極高的泄露風(fēng)險(xiǎn)，如何在不泄露隱私信息的前提下快速準(zhǔn)確地將原始數(shù)據(jù)分析轉(zhuǎn)化為有價(jià)值的內(nèi)容，是當(dāng)前應(yīng)用研究的熱點(diǎn)。

實(shí)際上，隱私信息是否安全可以歸結(jié)于網(wǎng)絡(luò)函數(shù)計(jì)算的安全性，目前，主要結(jié)合同態(tài)加密[3]和加性秘密共享[4]方案構(gòu)思解決方法。同態(tài)加密概念自提出以來(lái)被廣泛應(yīng)用于密文處理，Hesamifard等[5]通過(guò)構(gòu)造非線性函數(shù)的低階近似多項(xiàng)式，采用線性同態(tài)加密可以實(shí)現(xiàn)線性修正單元（ReLU）、雙曲正切（Tanh）、Sigmoid等網(wǎng)絡(luò)激活函數(shù)的密態(tài)計(jì)算，但煩瑣的加密計(jì)算開銷難以滿足智能終端低延遲性需求。針對(duì)這一問題，Mohassel等[6]最早將加性秘密共享概念引入線性回歸、邏輯回歸和神經(jīng)網(wǎng)絡(luò)等模型訓(xùn)練任務(wù)中，基于安全兩方計(jì)算[7]提出了一系列隱私保護(hù)協(xié)議，相比同態(tài)加密算法提高了計(jì)算效率。隨后，唐春明等[8]針對(duì)兩臺(tái)非共謀服務(wù)器訓(xùn)練線性回歸模型過(guò)程中的信息泄露問題，結(jié)合加性秘密共享設(shè)計(jì)了安全加法、乘法交互計(jì)算協(xié)議，并將Sigmoid激活函數(shù)中的指數(shù)函數(shù)展開為泰勒多項(xiàng)式形式，利用加法和乘法計(jì)算協(xié)議可以獲得其近似值。然而，這些協(xié)議采用不經(jīng)意傳輸機(jī)制[9]傳遞數(shù)據(jù)，并且需要多輪近似迭代計(jì)算，計(jì)算效率較低，并且沒有分析協(xié)議的誤差范圍。顯然，神經(jīng)網(wǎng)絡(luò)模型的正確性和效率依賴于底層計(jì)算函數(shù)，劉新等[10]探索基本初等函數(shù)的安全高效計(jì)算方法，終端將模糊化的數(shù)據(jù)傳遞給云服務(wù)器，由兩者共同計(jì)算目標(biāo)函數(shù)的結(jié)果，計(jì)算復(fù)雜度降低為常數(shù)階，并且設(shè)計(jì)的計(jì)算協(xié)議可以擴(kuò)展至數(shù)組計(jì)算，但計(jì)算過(guò)程需要終端同步參與數(shù)據(jù)傳遞。

近年來(lái)，研究學(xué)者結(jié)合加性秘密共享在隱私保護(hù)神經(jīng)網(wǎng)絡(luò)方面取得較大進(jìn)展，Huang等[11]提出了一種隱私保護(hù)圖像特征提取方案，設(shè)計(jì)的安全比較函數(shù)可以正確實(shí)現(xiàn)ReLU激活函數(shù)功能。Ma等[12]提出了一種隱私保護(hù)語(yǔ)音識(shí)別方案，利用長(zhǎng)短期記憶網(wǎng)絡(luò)提取關(guān)聯(lián)語(yǔ)音特征信息，設(shè)計(jì)的安全Sigmoid函數(shù)和Tanh函數(shù)可以實(shí)現(xiàn)門控的迭代計(jì)算。Liu等[13]提出了一種隱私保護(hù)圖像目標(biāo)檢測(cè)方案，設(shè)計(jì)的安全指數(shù)、對(duì)數(shù)和倒數(shù)計(jì)算協(xié)議可以正確實(shí)現(xiàn)檢測(cè)網(wǎng)絡(luò)的底層函數(shù)功能。這些安全計(jì)算協(xié)議可以為網(wǎng)絡(luò)模型提供足夠的安全性，遺憾的是，需要多輪迭代[14]降低誤差以達(dá)到計(jì)算精度需求，計(jì)算開銷依賴于迭代次數(shù)。

為了克服上述安全計(jì)算協(xié)議的缺陷，本文面向深度神經(jīng)網(wǎng)絡(luò)底層函數(shù)探索安全高效的計(jì)算協(xié)議設(shè)計(jì)方法，主要貢獻(xiàn)總結(jié)如下。

1) 考慮到非線性函數(shù)拆分困難的特性，設(shè)計(jì)了安全乘法-加法轉(zhuǎn)換（STMA，secure transforming multiply-add）和安全加法-乘法轉(zhuǎn)換（STAM，secure transforming add-multiply）協(xié)議，實(shí)現(xiàn)加性副本與乘性副本的安全等值轉(zhuǎn)換。

2) 在安全轉(zhuǎn)換協(xié)議的基礎(chǔ)上，結(jié)合基本運(yùn)算性質(zhì)可以實(shí)現(xiàn)對(duì)非線性函數(shù)的計(jì)算拆分，設(shè)計(jì)的安全冪函數(shù)、比較、指數(shù)、對(duì)數(shù)、除法等計(jì)算協(xié)議不需要引入復(fù)雜迭代操作，并且可以擴(kuò)展至數(shù)組計(jì)算。協(xié)議的輸入和輸出僅需要加法計(jì)算完成拆分與合并，構(gòu)建安全的深度神經(jīng)網(wǎng)絡(luò)模型可以自由選擇和替換固有的函數(shù)模塊。

3)詳細(xì)的理論分析證明了所提協(xié)議的正確性和安全性，并且計(jì)算和通信復(fù)雜度可以控制在常數(shù)階。實(shí)際性能測(cè)試結(jié)果表明，協(xié)議的誤差在可接受范圍內(nèi)，計(jì)算和通信效率均優(yōu)于最新的研究工作。

2 系統(tǒng)模型與安全模型

2.1 系統(tǒng)模型

圖1 系統(tǒng)模型

Figure 1 System model

2.2 安全模型

3 基本安全轉(zhuǎn)換協(xié)議

3.1 安全乘法-加法轉(zhuǎn)換協(xié)議

協(xié)議1 安全乘法-加法轉(zhuǎn)換

3.2 安全加法-乘法轉(zhuǎn)換協(xié)議

協(xié)議2 安全加法-乘法轉(zhuǎn)換

4 安全協(xié)議設(shè)計(jì)方法

4.1 安全冪計(jì)算協(xié)議

4.2 安全比較計(jì)算協(xié)議

4.3 安全指數(shù)與對(duì)數(shù)計(jì)算協(xié)議

4.4 安全除法計(jì)算協(xié)議

5 理論分析

5.1 正確性分析

第3和第4節(jié)的諸多協(xié)議是針對(duì)深度神經(jīng)網(wǎng)絡(luò)模型需求而設(shè)計(jì)的，正確性是計(jì)算協(xié)議可行性的一部分，接下來(lái)，本節(jié)提供詳細(xì)的推導(dǎo)過(guò)程證明協(xié)議的正確性。

5.2 復(fù)雜度分析

表1 協(xié)議的計(jì)算復(fù)雜度比較

注：表示輸入數(shù)組長(zhǎng)度；表示二進(jìn)制位長(zhǎng)度；表示子協(xié)議迭代次數(shù)

表2 協(xié)議的通信復(fù)雜度比較

注：表示二進(jìn)制位長(zhǎng)度；表示子協(xié)議迭代次數(shù)

5.3 安全性分析

引理1 若協(xié)議調(diào)用的所有子協(xié)議在多項(xiàng)式時(shí)間內(nèi)是可模擬的，那么該協(xié)議是可模擬的。

定理1 在半可信模型中，STMA和STAM協(xié)議是安全的。

證畢。

定理2 在半可信模型中，SPow、SRec和SMul協(xié)議是安全的。

證畢。

定理3 在半可信模型中，SComp、SExp、SLog和SDiv協(xié)議是安全的。

證畢。

6 協(xié)議性能分析

6.1 誤差分析

表3 協(xié)議的絕對(duì)誤差和相對(duì)誤差

6.2 實(shí)際開銷分析

6.2.1 計(jì)算開銷

6.2.2 通信開銷

表4 協(xié)議的計(jì)算開銷

表5 協(xié)議的通信開銷

7 結(jié)束語(yǔ)

智能終端由于自身資源受限，選擇將復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)模型計(jì)算任務(wù)卸載至邊緣節(jié)點(diǎn)。考慮到計(jì)算過(guò)程的安全性，本文為網(wǎng)絡(luò)底層函數(shù)量身設(shè)計(jì)了一系列安全計(jì)算協(xié)議，可以擴(kuò)展至數(shù)組計(jì)算，不需要迭代操作即可實(shí)現(xiàn)函數(shù)的線性分割，兩臺(tái)非共謀邊緣服務(wù)器及潛在敵手均不能獲得完整的輸入和輸出。經(jīng)過(guò)實(shí)際性能評(píng)估，協(xié)議的計(jì)算誤差可以忽略不計(jì)，并且計(jì)算和通信開銷均優(yōu)于現(xiàn)有工作，十分適合深度神經(jīng)網(wǎng)絡(luò)函數(shù)的安全替換。在未來(lái)工作中，將繼續(xù)尋找進(jìn)一步提升協(xié)議計(jì)算和通信效率的方法，同時(shí)設(shè)計(jì)更多通用函數(shù)對(duì)應(yīng)的安全計(jì)算協(xié)議。

[1] ZHOU Y, TUZEL O. Voxelnet: end-to-end learning for point cloud based 3d object detection[C]//The IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2018: 4490-4499.

[2] REN S Q, HE K, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 39(6): 91-99.

[3] YANN L, BERNHARD B, JOHN S D, et al. Backpropagation applied to handwritten zip code recognition[J]. Neural Computation, 1989, 1(4): 541-551.

[4] XIONG J B, BI R W, SZHAO M F, et al. Edge-assisted privacy-preserving raw data sharing framework for connected autonomous vehicles[J]. IEEE Wireless Communications, 2020, 27(3): 24-30.

[5] HESAMIFARD E, TAKABI H, GHASEMI M. CryptoDL: deep neural networks over encrypted data[J]. arXiv preprint arXiv:1711.05189, 2017.

[6] MOHASSEL P, ZHANG Y P. SecureML: a system for scalable privacy-preserving machine learning[C]//IEEE Symposium on Security and Privacy (S&P). 2017: 19-38.

[7] YAO A C. Protocols for secure computations[C]//The 23rd Annual Symposium on Foundations of Computer Science (SFCS). 1982: 160-164.

[8] 唐春明, 魏偉明. 基于安全兩方計(jì)算的具有隱私性的回歸算法[J].信息網(wǎng)絡(luò)安全, 2018(10): 10-16.

TANG C M, WEI W M. Regression algorithm with based on secure two-party computation[J]. Information Network Security, 2018(10): 10-16.

[9] RABIN M O. How to exchange secrets with oblivious transfer[J]. IACR Cryptology ePrint Archive, 2005:187.

[10] 劉新, 李順東, 陳振華. 基本初等函數(shù)的保密云計(jì)算服務(wù)協(xié)議[J]. 計(jì)算機(jī)科學(xué), 2015, 42(10):159-163.

LIU X, LI S D, CHEN Z H. Secure cloud computing service protocols of elementary functions[J]. Computer Science, 2015, 42(10): 159-163.

[11] HUANG K, LIU X M, FU S J, et al. A lightweight privacy-preserving CNN feature extraction framework for mobile sensing[J]. IEEE Transactions on Dependable and Secure Computing, 2019: 1.

[12] MA Z, LIU Y, LIU X M, et al. Privacy-preserving outsourced speech recognition for smart IoT devices[J]. IEEE Internet of Things Journal, 2019, 6(5): 8406-8420.

[13] LIU Y, MA Z, LIU X M, et al. Privacy-preserving object detection for medical images with Faster R-CNN[J]. IEEE Transactions on Information Forensics and Security, 2019: 1.

[14] VOLDER J E. The cordic trigonometric computing technique[J]. IRE Transactions on Electronic Computers, 1959, 8(3): 330-334.

[15] ZHU Y W, HUANG L S, YANG W, et al. Three new approaches to privacy-preserving add to multiply protocol and its application[C]//The 2nd International Workshop on Knowledge Discovery and Data Mining. 2009: 554-558.

[16] 李禾, 王述洋. 關(guān)于除法的安全雙方計(jì)算協(xié)議[J]. 計(jì)算機(jī)工程與應(yīng)用, 2010, 46(6): 86-88.

LI H, WANG S Y. Several secure two-party protocols of division[J]. Computer Engineering and Applications, 2010, 46(6): 86-88.

[17] BOGDANOV D, LAUR S, WILLEMSON J. Sharemind: a framework for fast privacy-preserving computations[C]//European Symposium on Research in Computer Security. 2008: 192-206.

[18] BOGDANOV D, NIITSOO M, TOFT T, et al. High-performance secure multi-party computation for data mining applications[J]. International Journal of Information Security, 2012, 11(6): 403-418.

Design method of secure computing protocol for deep neural network

BI Renwan1，CHEN Qianxin1，XIONG Jinbo1，LIU Ximeng2

1. College of Mathematics and Informatics, Fujian Normal University, Fuzhou 350117, China2. College of Mathematics and computer science, Fuzhou University, Fuzhou 350108, China

Aiming at the information leakage problem in the process of deep neural network model calculation, a series of secure and efficient interactive computing protocols were designed between two non-collusive edge servers in combination with the additive secret sharing scheme. Since the nonlinear function cannot be split directly, a set of basic conversion protocols were proposed to realize the secure conversion of additive and multiplicative shares. After a few invokes, the power, comparison, exponential, logarithm, division and other low-level functions can be calculated securely. Due to the characteristics of data transfer and computation, the proposed protocols can be extended to array computation. Theoretical analysis ensures the correctness, efficiency and security of these protocols. The experimental results show that the error of these protocols is negligible, and the computational costs and communication overhead are better than the existing schemes.

deep neural network, additive secret sharing, secure computing protocol, add-multiply transformation, array unit

TP393

A

10.11959/j.issn.2096?109x.2020050

畢仁萬(wàn)（1996-），男，湖南常德人，福建師范大學(xué)碩士生，主要研究方向?yàn)榘踩疃葘W(xué)習(xí)、安全多方計(jì)算。

陳前昕（1996-），男，福建泉州人，福建師范大學(xué)碩士生，主要研究方向?yàn)榘踩疃葘W(xué)習(xí)、隱私保護(hù)技術(shù)。

熊金波（1981-），男，湖南益陽(yáng)人，博士，福建師范大學(xué)教授，主要研究方向?yàn)榘踩疃葘W(xué)習(xí)、移動(dòng)群智感知、隱私保護(hù)技術(shù)。

劉西蒙（1988-），男，陜西西安人，博士，福州大學(xué)教授，主要研究方向?yàn)樵瓢踩?yīng)用密碼學(xué)、大數(shù)據(jù)安全。

：2020?04?17；

2020?07?03

熊金波，jinbo810@163.com

：國(guó)家自然科學(xué)基金（61872088, U1804263, 61702105, 61872090）；福建省自然科學(xué)基金資助項(xiàng)目（2019J01276）；貴州省公共大數(shù)據(jù)重點(diǎn)實(shí)驗(yàn)室開放課題（2019BDKFJJ004）

The National Natural Science Foundation of China (61872088, U1804263, 61702105, 61872090), The NaturalScience Foundation of Fujian Province, China (2019J01276), The Guizhou Provincial Key Laboratory of Public Big DataResearch Fund (2019BDKFJJ004)

論文引用格式：畢仁萬(wàn), 陳前昕, 熊金波, 等. 面向深度神經(jīng)網(wǎng)絡(luò)的安全計(jì)算協(xié)議設(shè)計(jì)方法[J]. 網(wǎng)絡(luò)與信息安全學(xué)報(bào),2020, 6(4): 130-139.

BI R W, CHEN Q X, XIONG J B, et al. Design method of secure computing protocol for deep neural network[J]. Chinese Journal of Network and Information Security, 2020, 6(4): 130-139.