深度學(xué)習(xí)框架和加速技術(shù)探討

余偉豪+李忠+安建琴+宋奕瑤

引言

2016年3月，谷歌公司開(kāi)發(fā)的人工智能圍棋程序AlphaGo和韓國(guó)九段圍棋選手李世乭進(jìn)行了五場(chǎng)比賽，最終AlphaGo以4：1的結(jié)果大勝對(duì)手。隨后，升級(jí)版的AlphaGo，即Master又在網(wǎng)絡(luò)上與中日韓選手對(duì)戰(zhàn)，橫掃中日韓圍棋高手，無(wú)一敗績(jī)。最近全新升級(jí)的AlphaGo與世界排名第一的中國(guó)九段棋手柯潔進(jìn)行對(duì)戰(zhàn)，結(jié)果三戰(zhàn)全勝！這使得人工智能在全球范圍內(nèi)引起了廣泛的關(guān)注和討論，而AlphaGo采用的深度學(xué)習(xí)方法，也掀起了一股深度學(xué)習(xí)的浪潮。

1深度學(xué)習(xí)簡(jiǎn)介

深度學(xué)習(xí)從傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)發(fā)展而來(lái)。自20世紀(jì)80年代以來(lái)，人工神經(jīng)網(wǎng)絡(luò)得到了巨大的發(fā)展，其中以BP算法為代表的傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)方法的在分類、聚類方面得到了廣泛應(yīng)用。然而，BP算法本身的缺陷也是明顯的，容易過(guò)擬合以及只能訓(xùn)練有標(biāo)簽的數(shù)據(jù)。與傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)相比，深度學(xué)習(xí)網(wǎng)絡(luò)增加了網(wǎng)絡(luò)中的隱含層數(shù)，傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)一般在5層以內(nèi)，而深度學(xué)習(xí)網(wǎng)絡(luò)至少達(dá)到7層及以上。隨著網(wǎng)絡(luò)規(guī)模的增加，對(duì)神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練和優(yōu)化難度也變得困難。2006年，Geoffrey Hinton等人在《Science》上發(fā)表了文章，提出的用于深度信任網(wǎng)絡(luò)（Deep Belief Network，DBN）的無(wú)監(jiān)督學(xué)習(xí)算法，解決了深度學(xué)習(xí)模型優(yōu)化困難的問(wèn)題，拉開(kāi)了深度學(xué)習(xí)的大幕。同時(shí)，計(jì)算機(jī)技術(shù)不斷發(fā)展，使得計(jì)算能力大大提升，也極大地促進(jìn)了深度學(xué)習(xí)地發(fā)展。目前，基于深度學(xué)習(xí)的人工智能應(yīng)用在各個(gè)方面，主要包括計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、語(yǔ)音識(shí)別、信息檢索等方向。

2深度學(xué)習(xí)框架

深度學(xué)習(xí)的研究方式和過(guò)去傳統(tǒng)的研究方式大不相同。在深度學(xué)習(xí)領(lǐng)域，已經(jīng)有很多的科研機(jī)構(gòu)和世界一流的院校開(kāi)發(fā)了多種深度學(xué)習(xí)工具，這些學(xué)習(xí)工具或者說(shuō)深度學(xué)習(xí)庫(kù)在許多領(lǐng)域大顯身手，如計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、自動(dòng)駕駛等。對(duì)于研究者來(lái)說(shuō)，選擇合適的框架來(lái)解決某一方面的問(wèn)題是十分必要的。下面介紹目前流行的幾種深度學(xué)習(xí)框架，并進(jìn)行分析比較，以期為研究人員選擇合適的框架提供參考。

2.1TensorFlow

TensorFlow最初是谷歌公司內(nèi)部使用的深度神經(jīng)網(wǎng)絡(luò)庫(kù)，屬于谷歌“BRAIN”項(xiàng)目。2015年11月，谷歌正式發(fā)布這一系統(tǒng)并宣布開(kāi)源。TensorFlow支持多種編程語(yǔ)言，比如c++和Python，用戶可以在TensorFlow下靈活地構(gòu)建神經(jīng)網(wǎng)絡(luò)模型，并且可以方便地修改和優(yōu)化模型。在TensorFlow框架中，所有的計(jì)算任務(wù)都是基于“圖”的。在圖中，可以存在很多個(gè)節(jié)點(diǎn)（operation），一個(gè)節(jié)點(diǎn)可以獲得零個(gè)或者多個(gè)張量（tensor），每個(gè)張量是一個(gè)類型化的多維數(shù)組。這種特殊的數(shù)據(jù)表示形式，可以讓用戶高效方便地構(gòu)建深層神經(jīng)網(wǎng)絡(luò)。TensorFlow框架自帶一個(gè)非常好用的工具Tensorboard，它是一款可視化工具，可以讓用戶直觀地看到數(shù)據(jù)在神經(jīng)網(wǎng)絡(luò)中的變化，也可以看到整個(gè)網(wǎng)絡(luò)的結(jié)構(gòu)。用戶通過(guò)這個(gè)功能，會(huì)非常方便和直觀地觀察自己的神經(jīng)網(wǎng)絡(luò)模型，并且很直觀地進(jìn)行修改。

一個(gè)TensorFlow程序通常可分為兩個(gè)過(guò)程，一個(gè)是構(gòu)造階段，另一個(gè)是執(zhí)行階段。在構(gòu)造階段，用戶通過(guò)編寫程序構(gòu)造出一張計(jì)算圖，創(chuàng)建圖本質(zhì)上來(lái)說(shuō)就是創(chuàng)建節(jié)點(diǎn)（op）對(duì)象以及如何把它們連接起來(lái)的過(guò)程。在執(zhí)行階段，因?yàn)樗械膱D都是在Session中啟動(dòng)，所以第一步是創(chuàng)建Session對(duì)象，第二步對(duì)變量進(jìn)行初始化，然后執(zhí)行節(jié)點(diǎn)間相應(yīng)操作并更新變量值，最終保存數(shù)據(jù)。

2.2Caffe

Caffe是由FaceBookAI平臺(tái)的首席工程師賈揚(yáng)清開(kāi)發(fā)，它集成了許多優(yōu)秀的深度卷積模型，在圖像處理方面表現(xiàn)優(yōu)秀，在2014年的ImageNet挑戰(zhàn)賽中，Caffe獲得冠軍，使得它一鳴驚人。Caffe網(wǎng)絡(luò)結(jié)構(gòu)是通過(guò)編輯文檔構(gòu)建的，對(duì)于初學(xué)者來(lái)說(shuō)易于使用，因?yàn)椴恍枰獙?duì)具體的代碼有深刻了解，便可以構(gòu)建自己的網(wǎng)絡(luò)模型，也可以對(duì)一些先進(jìn)的網(wǎng)絡(luò)模型進(jìn)行分析和改進(jìn)。Caffe框架支持并行計(jì)算，配合英偉達(dá)公司的cuda技術(shù)，使用GPU加速使得計(jì)算高效。根據(jù)相關(guān)計(jì)算，Caffe可以在單個(gè)英偉達(dá)K40 GPU上每天處理6000萬(wàn)張圖像，相當(dāng)于一張圖片僅用2.5 ms！因此被廣泛地部署于商業(yè)應(yīng)用和實(shí)驗(yàn)研究。

Caffe使用的核心語(yǔ)言是c++，具有跨平臺(tái)的特性，便于移植，同時(shí)提供給用戶Python和Matlab接口進(jìn)行開(kāi)發(fā)，同時(shí)還提供了很多已經(jīng)訓(xùn)練好的深度學(xué)習(xí)模型，如LeNet-5、AlexNet等。用戶使用這些模型的時(shí)候，只需針對(duì)具體問(wèn)題模型的參數(shù)或結(jié)構(gòu)做一些改進(jìn)，就可以快速、高效地開(kāi)發(fā)出新的應(yīng)用。

2.3CNTK

CNTK（Computational Network Toolkit）是由軟件巨頭微軟公司研發(fā)的開(kāi)源平臺(tái)框架，最初用于處理自然語(yǔ)言，支持Windows系列平臺(tái)，也支持Linux。與Caffe相同，CNTK也是基于c++架構(gòu)，為用戶提供的編程接口是Python和c++，支持跨平臺(tái)的CPU/GPU部署，但不支持Arm架構(gòu)，所以不能部署在移動(dòng)設(shè)備上。

CNTk使用圖進(jìn)行計(jì)算，這一點(diǎn)和Tensorflow相同。另外，CNTK支持細(xì)粒度的網(wǎng)絡(luò)層構(gòu)建，用戶不需要使用低層次的語(yǔ)言就能構(gòu)建復(fù)雜的層類型。

2.4MxNet

MXNet是一款為效率和靈活性而設(shè)計(jì)的深度學(xué)習(xí)框架，由美國(guó)華盛頓大學(xué)和卡內(nèi)基梅隆大學(xué)聯(lián)合開(kāi)發(fā)，核心是一個(gè)動(dòng)態(tài)的依賴調(diào)度，允許用戶進(jìn)行混合符號(hào)編程和命令式編程，最大限度地提高效率和生產(chǎn)力。

MXNet很容易定義數(shù)據(jù)結(jié)構(gòu)，支持多GPU并行計(jì)算，并方便地加以擴(kuò)展，為分布式系統(tǒng)提供了優(yōu)化的數(shù)值計(jì)算模式，像Python和R語(yǔ)言一樣，可以自動(dòng)執(zhí)行常見(jiàn)的操作。因此，在使用標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)時(shí)，只需要幾行簡(jiǎn)單的代碼就可以表示。endprint

2.5Theano

Theano是一個(gè)基于Python的深度學(xué)習(xí)框架，出自于蒙特利爾大學(xué)的實(shí)驗(yàn)室。Theano最早是用來(lái)做線性代數(shù)運(yùn)算，但目前已專門用來(lái)計(jì)算由張量表示的重復(fù)操作的數(shù)學(xué)表達(dá)式。對(duì)于這類復(fù)雜的數(shù)學(xué)表達(dá)式，用戶可以在Theano框架下快速編碼和計(jì)算，無(wú)論是通過(guò)GPU還是CPU都可以編譯和執(zhí)行。Theano有著龐大的用戶群，使得Theano在不斷地完善。

還有其他幾種深度學(xué)習(xí)框架，如Torch、Deeplea.rning4J、PyTorch、PaddlePaddle等，感興趣的讀者可以查閱相關(guān)文獻(xiàn)資料。

2.6幾種框架的分析比較

可以說(shuō)，以上幾種常用的深度學(xué)習(xí)框架各具特色，都可以完成深度學(xué)習(xí)建模和計(jì)算，對(duì)人工智能的發(fā)展具有深遠(yuǎn)影響。下面從是否開(kāi)源、核心語(yǔ)言、編程接口、CPU、GPU、操作系統(tǒng)和現(xiàn)有模型等七個(gè)方面對(duì)它們進(jìn)行分析比較，結(jié)果見(jiàn)表1。

3高性能計(jì)算加速技術(shù)

近些年來(lái)，計(jì)算機(jī)技術(shù)飛速發(fā)展，一方面計(jì)算機(jī)的運(yùn)算能力得到了巨大提升，另一方面，隨著工藝和技術(shù)的不斷改進(jìn)，計(jì)算機(jī)硬件已經(jīng)變得越來(lái)越便宜，高性能的計(jì)算機(jī)不斷向著微型化和民用化的方向發(fā)展。正因?yàn)橛?jì)算機(jī)硬件越來(lái)越便宜同時(shí)計(jì)算性能越來(lái)越強(qiáng)大，才為深度學(xué)習(xí)提供了硬件基礎(chǔ)。深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過(guò)程中會(huì)進(jìn)行大量的浮點(diǎn)運(yùn)算，如果僅僅靠CPU計(jì)算去訓(xùn)練一個(gè)深度網(wǎng)絡(luò)模型，需要花費(fèi)很長(zhǎng)的時(shí)間。目前解決這個(gè)問(wèn)題的方案主要有三種：

第一種是使用GPU加速。圖形處理器GPU（Graphics Processing Unit）是相對(duì)于CPU的一個(gè)概念，伴隨著多媒體計(jì)算的迅猛增長(zhǎng)而被提出，并最終成為一個(gè)獨(dú)立于傳統(tǒng)CPU的處理器。如今，GPU通用計(jì)算技術(shù)發(fā)展已經(jīng)引起業(yè)界很大的關(guān)注，事實(shí)也證明在浮點(diǎn)運(yùn)算、并行計(jì)算等部分計(jì)算方面，GPU可以提供數(shù)十倍乃至上百倍于CPU的性能。與CPU相比，GPU有以下優(yōu)點(diǎn)：

（1）計(jì)算能力強(qiáng)大

GPU具有更加強(qiáng)大的計(jì)算能力，在相同時(shí)期，GPU的浮點(diǎn)計(jì)算的理論峰值能力相比CPU要高出一個(gè)數(shù)量級(jí)。

（2）價(jià)格相對(duì)便宜

對(duì)于個(gè)人和小機(jī)構(gòu)用戶來(lái)說(shuō)，要獲得高性能計(jì)算，如果使用傳統(tǒng)的基于CPU集群的計(jì)算機(jī)系統(tǒng)，價(jià)格昂貴，對(duì)場(chǎng)地、供電等各方面要求也較高。而對(duì)于GPU，只需在支持獨(dú)立顯卡的PC上安裝一塊顯卡，就能獲得相同數(shù)量級(jí)的并行計(jì)算能力。一塊英偉達(dá)GTX TITAN的價(jià)格只在一萬(wàn)元左右，對(duì)于個(gè)人和一般小機(jī)構(gòu)用戶基本滿足需求。

第二種方案是使用ASIC（Application SpecificIntegrated Circuit），即專用集成電路，這是一種比GPU更加高效的硬件加速方式，一方面因其高度的定制化在提升計(jì)算能力的同時(shí)也限制了它的可遷移性。另一方面，ASIC的價(jià)格昂貴，個(gè)人和一些小機(jī)構(gòu)用戶難以承擔(dān)。綜合這兩方面，目前深度學(xué)習(xí)的研究者幾乎很少考慮使用ASIC為計(jì)算機(jī)加速。

第三種解決方案是使用FPGA（Field-Program-mable Gate Array），即現(xiàn)場(chǎng)可編程門陣列，它是在PAL、GAL、CPLD等可編程器件的基礎(chǔ)上進(jìn)一步發(fā)展的產(chǎn)物，是作為專用集成電路（ASIC）領(lǐng)域中的一種半定制電路而出現(xiàn)的，既解決了定制電路的不足，又克服了原有可編程器件門電路數(shù)有限的缺點(diǎn)。FPGA在GPU和ASIC中取得了權(quán)衡，很好地兼顧了處理速度和控制能力。一方面，F(xiàn)PGA是可編程重構(gòu)的硬件，因此相比GPU有更強(qiáng)大的可調(diào)控能力；另一方面，與日增長(zhǎng)的門資源和內(nèi)存帶寬使得它有更大的設(shè)計(jì)空間。更方便的是，F(xiàn)PGA還省去了ASIC方案中所需要的流片過(guò)程。FPGA的一個(gè)缺點(diǎn)是其要求使用者能使用硬件描述語(yǔ)言對(duì)其進(jìn)行編程。但是，已經(jīng)有科技公司和研究機(jī)構(gòu)開(kāi)發(fā)了更加容易使用的語(yǔ)言，比如Impulse Accelerated Tech-nologies Inc開(kāi)發(fā)的C-to-FPGA編譯器，使得FPGA更加契合用戶的使用；耶魯?shù)腅-Lab開(kāi)發(fā)了Lua腳本語(yǔ)言等，這些工具在一定程度上縮短了用戶的開(kāi)發(fā)時(shí)限，使研究更加簡(jiǎn)單易行。

4深度學(xué)習(xí)云平臺(tái)

盡管高性能加速技術(shù)發(fā)展迅速，GPU也變得越來(lái)越便宜，降低了深度學(xué)習(xí)的門檻，但是對(duì)于個(gè)人和小微用戶來(lái)說(shuō)，搭建自己的深度學(xué)習(xí)硬件環(huán)境存在一定困難。這是因?yàn)椋环矫嬗脩粜枰獙?duì)硬件非常了解；另一方面，隨著數(shù)據(jù)量的不斷增加，搭建的硬件平臺(tái)容量不足，擴(kuò)展能力有限；還有就是成本因素，購(gòu)買并維護(hù)深度學(xué)習(xí)的硬件環(huán)境是一筆不低的開(kāi)銷。有鑒如此，深度學(xué)習(xí)云平臺(tái)應(yīng)運(yùn)而生。云平臺(tái)很好地解決了硬件的可拓展性問(wèn)題，用戶可以按需分配硬件資源，一切都在“云”上運(yùn)行。

目前，各大科技巨頭都相繼推出了自己的深度學(xué)習(xí)云平臺(tái)，為研究者和數(shù)據(jù)科學(xué)家提供在線的高性能云計(jì)算服務(wù)。國(guó)內(nèi)的深度學(xué)習(xí)云平臺(tái)包括百度的百度深度學(xué)習(xí)，騰訊的DI-X深度學(xué)習(xí)平臺(tái)，阿里巴巴的阿里云等；國(guó)外的有Google的基于Tensor-Flow的Google Cloud Machine Learning平臺(tái)，亞馬遜的Amazon Web Services（AWS）等。每個(gè)平臺(tái)都有自己特色，用戶可以根據(jù)自己的需要去選擇相應(yīng)平臺(tái)。

百度深度學(xué)習(xí)是一款面向海量數(shù)據(jù)的深度學(xué)習(xí)平臺(tái)，基于PaddlePaddle/TensorFlow開(kāi)源計(jì)算框架，支持GPU運(yùn)算，依托百度云分布技術(shù)，為深度學(xué)習(xí)技術(shù)的研發(fā)和應(yīng)用提供可靠性高、擴(kuò)展靈活的云端托管服務(wù)。通過(guò)百度深度學(xué)習(xí)平臺(tái)，可以輕松訓(xùn)練神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)情感分析、機(jī)器翻譯、圖像識(shí)別等，也可以利用百度云的存儲(chǔ)和虛擬化產(chǎn)品直接將模型部署到應(yīng)用環(huán)境。

5結(jié)束語(yǔ)

深度學(xué)習(xí)已然成為人工智能的代名詞，越來(lái)越多的科研人員和機(jī)構(gòu)都紛紛投入到深度學(xué)習(xí)的研究當(dāng)中。盡管深度學(xué)習(xí)的發(fā)展歷史很短，但深度學(xué)習(xí)編程框架已有多種，研究人員可以根據(jù)需要選擇合適的深度學(xué)習(xí)開(kāi)發(fā)平臺(tái)。由于深度學(xué)習(xí)層數(shù)很多，計(jì)算任務(wù)多數(shù)基于“計(jì)算圖”完成，計(jì)算量巨大，因此需要硬件加速提高效率，以滿足用戶要求。人工智能正經(jīng)歷著歷史上最迅猛的發(fā)展時(shí)期，可以預(yù)見(jiàn)，隨著深度學(xué)習(xí)理論和計(jì)算機(jī)技術(shù)的發(fā)展，未來(lái)高度智能化的人工智能產(chǎn)品將會(huì)遍布在人類生活的方方面面，人工智能正在改變著世界。endprint