深度學習在云和終端上的混合分布式部署研究

鄧 暢，陸 駿，李 廣

（中國電子科技集團公司第三十二研究所，上海 200233）

0 引言

近年來，深度學習算法在多個領域的應用中大放異彩，如深層卷積神經網絡不斷刷新計算機視覺算法的紀錄。伴隨著物聯(lián)網等終端設備的急劇增多以及海量數據流的產生，深度學習算法在終端設備中的應用越來越受到人們的關注。

但是，深度學習算法模型規(guī)模大的特點，在執(zhí)行任務時對存儲資源與計算資源的要求較高，因此算法的訓練和運行往往在云端進行。深度學習算法在終端設備上的應用始終存在著一些問題：要么終端設備采集數據，傳至云上的大型深度神經網絡模型進行處理，導致通信成本提高，帶來了延遲問題和隱私問題；要么在終端執(zhí)行的深度神經網絡模型必須進行大幅壓縮刪減，因此損失一定的系統(tǒng)精度。

為了克服這些缺點，本文提出了云端結合的深度學習部署方案：終端設備中部署深度神經網絡壓縮模型，快速完成特征提取的推理運算，輸出的檢測結果滿足置信度的標準則結束；若終端結果不能滿足要求，則終端實現的初始特征提取樣本將傳至云端，由完整復雜的深度神經網絡模型進行進一步處理。這種方法可根據不同精度要求，靈活兼顧實時性、系統(tǒng)精度與通信成本的平衡。另外，由于終端已經實現了特征提取，傳至云上的并非傳感器采集的原始數據，因此能夠提供更好的數據隱私保護。

1 背景與相關工作

1.1 深度神經網絡

在人工智能眾多技術中，深度神經網絡（Deep Neural Network，DNN）[1]是一種通過模擬人腦神經網絡實現類人工智能的機器學習技術。……