更深入更低廉的機(jī)器學(xué)習(xí)

曹兵/編譯

更深入更低廉的機(jī)器學(xué)習(xí)

曹兵/編譯

●隨著硬件設(shè)備的計(jì)算能力不斷提升，深度學(xué)習(xí)在各個(gè)領(lǐng)域——從微型設(shè)備到大型數(shù)據(jù)中心——也將加速進(jìn)步。

2016年3月，谷歌的計(jì)算機(jī)以巨大優(yōu)勢打敗了世界圍棋冠軍李世石，這標(biāo)志著人工智能發(fā)展的一個(gè)新里程碑。獲勝的計(jì)算機(jī)程序由位于倫敦的谷歌下屬DeepMind公司的研究者開發(fā)，它充分利用了所謂的深度學(xué)習(xí)機(jī)制，創(chuàng)建了一套人工神經(jīng)網(wǎng)絡(luò)。深度學(xué)習(xí)機(jī)制簡單地說，就是模擬進(jìn)行多層次任務(wù)處理的神經(jīng)網(wǎng)絡(luò)以自動運(yùn)行的方式來處理手頭的問題。

當(dāng)時(shí)普通大眾并不知曉的是，谷歌手頭還有一張王牌。你要明白，谷歌用來打敗李世石的計(jì)算機(jī)群含有一組專用硬件：谷歌把它稱為張量處理單元。

谷歌硬件工程師諾姆·朱庇（Norm Juppi）在公司贏得圍棋大賽兩個(gè)月之后宣布了張量處理單元的存在，并在一篇博文中做了進(jìn)一步的解釋說明。谷歌已經(jīng)在一年前為其數(shù)據(jù)中心配備這些新型加速卡。谷歌并沒有詳細(xì)地分享這些電路板上到底安裝了什么硬件。很顯然，它代表了加速深度學(xué)習(xí)計(jì)算的一個(gè)新的流行策略：使用了應(yīng)用專有集成電路（ASIC）。

各家公司（主要是微軟公司）采取的另一種策略則是使用現(xiàn)場可編程邏輯門陣列（FPGA）。它所帶來的好處是：一旦計(jì)算要求發(fā)生變化，則陣列可以被重新設(shè)置。然而最普遍采用的方法是使用圖形處理單元，即GPU，它可以平行處理許多數(shù)學(xué)操作。目前正在大力推廣這種方法的是GPU制造商英偉達(dá)公司（Nvidia）。

確實(shí)，GPU領(lǐng)域的進(jìn)步在2009年啟動了人工神經(jīng)網(wǎng)絡(luò)的發(fā)展。當(dāng)時(shí)，斯坦福大學(xué)的研究人員證實(shí)，GPU硬件能在合理的時(shí)間范圍內(nèi)培訓(xùn)深度神經(jīng)網(wǎng)絡(luò)。

“每個(gè)人都在進(jìn)行深度學(xué)習(xí)的研究。”威廉姆·達(dá)利（William Dally）說。他目前領(lǐng)導(dǎo)著斯坦福大學(xué)的另一個(gè)深度學(xué)習(xí)研究組——VLSI建筑組，他同時(shí)還是英偉達(dá)公司的首席科學(xué)家。鑒于當(dāng)前的發(fā)展，他認(rèn)為，GPU技術(shù)是目前最好的選擇。他這樣講并不奇怪，因?yàn)橹灰纯此木吐殕挝痪兔靼琢恕?/p>

達(dá)利進(jìn)一步解釋說，有三個(gè)方向可供考慮。第一個(gè)方向是他所稱的數(shù)據(jù)中心的培訓(xùn)。他指的是構(gòu)建任何深度學(xué)習(xí)系統(tǒng)的第一步：調(diào)節(jié)神經(jīng)元之間數(shù)以百萬計(jì)的連接，以便讓整個(gè)網(wǎng)絡(luò)能完成所分配的任務(wù)。

為了構(gòu)建這樣的硬件體系，Nervana系統(tǒng)公司正在進(jìn)行相應(yīng)的開發(fā)，這家公司最近剛剛被英特爾公司收購。Nervana系統(tǒng)公司的計(jì)算機(jī)科學(xué)家斯考特·萊希曼（Scott Leishman）介紹，公司開發(fā)的ASIC深度學(xué)習(xí)加速器——Nervana引擎將于2017年上半年投入生產(chǎn)。萊希曼還提到，另外一種需要大量數(shù)學(xué)計(jì)算的工作——比特幣挖礦——最開始使用CPU單元，然后轉(zhuǎn)移到GPU單元，接著轉(zhuǎn)移到FPGA技術(shù)，最后轉(zhuǎn)移到ASIC技術(shù)上，首要原因就是這樣的定制硬件可以大幅度提升能效、降低能耗。“深度學(xué)習(xí)領(lǐng)域也在發(fā)生著同樣的變化。”他說。

深度學(xué)習(xí)硬件所承擔(dān)的第二類而且也是一類比較特殊的工作是數(shù)據(jù)中心的推理任務(wù)，達(dá)利解釋道。這里的推理是指云端人工神經(jīng)網(wǎng)絡(luò)不斷進(jìn)行的操作，它之前被訓(xùn)練用來完成許多工作。每天，谷歌的神經(jīng)網(wǎng)絡(luò)進(jìn)行著指數(shù)級別的此類推理運(yùn)算，例如對圖像進(jìn)行歸類，對不同語言進(jìn)行翻譯，對口頭詞匯進(jìn)行識別。盡管還無法斷言，谷歌的張量處理單元很可能就是專為此類計(jì)算而生。

培訓(xùn)和推理很多時(shí)候需要不同的技能組合。通常，培訓(xùn)需要計(jì)算機(jī)能夠以相對較高的精度進(jìn)行計(jì)算，經(jīng)常使用32位浮點(diǎn)計(jì)算。而對于推理來說，可以犧牲精度，讓位于更快的運(yùn)行速度或者更低的能量消耗。“這是研究的熱點(diǎn)區(qū)域，”萊希曼說，“你的能量消耗到底能低到多少？”

谷歌的張量處理單元加速其服務(wù)器上的深度學(xué)習(xí)計(jì)算

深度學(xué)習(xí)軟件預(yù)計(jì)營收將很快超過10億美元（單位：10億美元）

盡管達(dá)利拒絕就英偉達(dá)公司的具體計(jì)劃作進(jìn)一步說明，他還是指出，公司的GPU技術(shù)已經(jīng)在不斷推進(jìn)演化。英偉達(dá)公司早先的麥克斯韋爾架構(gòu)可以進(jìn)行雙精度（64位）和單精度（32位）操作，而當(dāng)前的帕斯卡架構(gòu)能將運(yùn)算能力提升到16位操作，相對于單精度運(yùn)算，它能使運(yùn)算通量和效率翻番。可以預(yù)見，英偉達(dá)公司未來將發(fā)布可以進(jìn)行8位操作的GPU單元。這樣的進(jìn)展可以理想地應(yīng)用于云端推理計(jì)算，從而能降低能耗、削減成本。

達(dá)利補(bǔ)充道，深度學(xué)習(xí)三駕馬車中的最后一架是嵌入設(shè)備的推理運(yùn)算，例如智能手機(jī)、照相機(jī)和平板電腦。這些運(yùn)算應(yīng)用的關(guān)鍵是低能耗的ASIC。未來幾年，深度學(xué)習(xí)軟件將在智能手機(jī)應(yīng)用中發(fā)揮越來越重要的作用，例如，它當(dāng)前已經(jīng)被用于監(jiān)測惡意程序或者翻譯圖像中的文字。

無人機(jī)制造商大疆已經(jīng)在其精靈4無人機(jī)產(chǎn)品上應(yīng)用了與深度學(xué)習(xí)ASIC技術(shù)相類似的系統(tǒng)，后者使用了特殊的視覺處理芯片，這款芯片由位于加利福尼亞州的Movidius公司生產(chǎn)，它可以識別障礙物。Movidius公司是另一家最近剛剛被英特爾收購的神經(jīng)網(wǎng)絡(luò)公司。而高通公司則在其驍龍820處理器中集成了特殊電路，幫助實(shí)現(xiàn)深度學(xué)習(xí)計(jì)算。

盡管硬件設(shè)計(jì)能夠加速深度神經(jīng)網(wǎng)絡(luò)的運(yùn)行并帶來一系列益處，但同時(shí)也存在著一個(gè)巨大的風(fēng)險(xiǎn)：如果技術(shù)進(jìn)步足夠快，則昨天設(shè)計(jì)的運(yùn)行神經(jīng)網(wǎng)絡(luò)的芯片投入生產(chǎn)，制造出成品時(shí)可能已經(jīng)成為明日黃花了。“算法的變革日新月異，”達(dá)利說，“每一個(gè)在此領(lǐng)域投入大量精力的公司都在進(jìn)行一場賭博，希望能夠早日收回投資。”

[資料來源：IEEE Spectrum][責(zé)任編輯：遙醒]

本文作者大衛(wèi)·施耐德(David Schneider)，高級編輯，擁有哥倫比亞大學(xué)地質(zhì)學(xué)博士學(xué)位。在加入IEEE Spectrum雜志前曾效力于《科學(xué)美國人》和《美國科學(xué)家》。在此前的工作中，他從事的是地球物理研究，專注于計(jì)算，經(jīng)常在博客上發(fā)表有關(guān)無人機(jī)的內(nèi)容，還經(jīng)常為IEEE Spectrum雜志的“親力親為”專欄撰文。