基于容器技術(shù)的機(jī)器學(xué)習(xí)計(jì)算平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)

黃曼綺

基于容器技術(shù)的機(jī)器學(xué)習(xí)計(jì)算平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)

黃曼綺

（電子科技大學(xué)成都學(xué)院 云計(jì)算科學(xué)與技術(shù)系，四川 成都 611731）

針對(duì)機(jī)器學(xué)習(xí)實(shí)驗(yàn)對(duì)環(huán)境的高要求，設(shè)計(jì)實(shí)現(xiàn)了適用于普通高校的公用計(jì)算平臺(tái)架構(gòu)。該平臺(tái)通過LXC容器技術(shù)配置，既能實(shí)現(xiàn)硬件資源的共享，也能實(shí)現(xiàn)實(shí)驗(yàn)環(huán)境的隔離，并按需提供計(jì)算資源，確定平臺(tái)實(shí)現(xiàn)的具體方法和維護(hù)管理流程。該平臺(tái)具有易于管理，資源利用率高，界面直觀，開放性較好等特點(diǎn)。通過對(duì)該平臺(tái)進(jìn)行測(cè)試，驗(yàn)證了其良好的管理效率，為后續(xù)該平臺(tái)的進(jìn)一步優(yōu)化奠定了良好的基礎(chǔ)。

機(jī)器學(xué)習(xí)；公用計(jì)算平臺(tái)；Linux容器；運(yùn)行時(shí)透?jìng)?/p>

1 背景介紹

隨著機(jī)器學(xué)習(xí)算法的逐步成熟和人工智能相關(guān)的應(yīng)用的加速部署落地，人工智能進(jìn)入了全新的階段。中國(guó)人工智能市場(chǎng)高于全球增速，據(jù)BBC預(yù)測(cè)全球人工智能總體市場(chǎng)規(guī)模2020年將達(dá)到1190億元，復(fù)合增長(zhǎng)率約為19.7%；國(guó)內(nèi)人工智能市場(chǎng)規(guī)模2020年將達(dá)到91億元，年復(fù)合增長(zhǎng)率約50%[1]。

中國(guó)也將人工智能發(fā)展提升到國(guó)家戰(zhàn)略，明確了階段性發(fā)展目標(biāo)。2018年4月，教育部在研究制定《高等學(xué)校引領(lǐng)人工智能創(chuàng)新行動(dòng)計(jì)劃》的同時(shí)，研究設(shè)立人工智能專業(yè)，進(jìn)一步完善我國(guó)高校人工智能學(xué)科體系。雖然一些中國(guó)高校開設(shè)了相關(guān)課程，但總體上缺乏人工智能的基礎(chǔ)教學(xué)能力，高校在培養(yǎng)具有動(dòng)手能力的應(yīng)用型人才上有所欠缺[2-3]。

總的來說，人工智能產(chǎn)業(yè)的高速發(fā)展正在推動(dòng)高校大力布局人工智能學(xué)科建設(shè)[4]。因此，本文的目的是使用容器技術(shù)中的LXC和LXD以及資源分配的解決方案來設(shè)計(jì)一個(gè)公用計(jì)算平臺(tái)，解決高校公共實(shí)驗(yàn)平臺(tái)GPU資源共享的問題，為實(shí)驗(yàn)參與者提供一個(gè)穩(wěn)定高效的機(jī)器學(xué)習(xí)實(shí)驗(yàn)環(huán)境；同時(shí)，實(shí)驗(yàn)室管理者也可以輕松擴(kuò)展和部署實(shí)驗(yàn)環(huán)境資源。

本公用計(jì)算平臺(tái)完全使用開源軟件，獨(dú)立選取設(shè)計(jì)組件，獨(dú)立搭建、運(yùn)行和維護(hù)。涉及的開源軟件代碼公開并且由開源社區(qū)維護(hù)，非常適合高校這種研發(fā)經(jīng)費(fèi)相對(duì)較少但是資源需求較多的環(huán)境。

分析普通高校現(xiàn)有的機(jī)器學(xué)習(xí)實(shí)驗(yàn)運(yùn)作方式，大多分為2類；

（1）單機(jī)方式，即給每位學(xué)生或?qū)嶒?yàn)團(tuán)隊(duì)提供一臺(tái)獨(dú)立的計(jì)算機(jī)；雖然實(shí)驗(yàn)者不會(huì)相互干擾，但機(jī)器學(xué)習(xí)實(shí)驗(yàn)的特點(diǎn)是通過構(gòu)建隱層的機(jī)器學(xué)習(xí)模型和海量的數(shù)據(jù)來訓(xùn)練機(jī)器，驅(qū)動(dòng)機(jī)器去自主學(xué)習(xí)并發(fā)掘特征，從而最終提升分類和推理的準(zhǔn)確性[5]。因此，機(jī)器學(xué)習(xí)需要大量的并行計(jì)算，而傳統(tǒng)的CPU通常需要數(shù)百甚至成千上萬(wàn)條指令才能完成神經(jīng)單元的處理，不能支撐深度學(xué)習(xí)大規(guī)模數(shù)據(jù)并行計(jì)算，因此主流硬件框架大都基于CPU+GPU搭配；其主要特點(diǎn)是高功耗、高計(jì)算能力以及通用性。但是由于GPU價(jià)格高昂，加之高校資源有限，很難保證每臺(tái)單機(jī)都能提供足夠的硬件支持。

（2）公用服務(wù)器方式，即提供一組高性能的公用服務(wù)器硬件資源，由所有參與者共享使用；但環(huán)境共享帶來隔離性的問題，大家都在公用機(jī)器運(yùn)行訓(xùn)練和驗(yàn)算，而各自所需要的運(yùn)行環(huán)境版本（如Cuda、TensorFlow等）卻可能不一樣，這樣很容易因?yàn)榘姹締栴}而導(dǎo)致程序無(wú)法運(yùn)行，而且如何合理分配硬件資源也是實(shí)驗(yàn)管理員無(wú)法回避的難題。

綜上所述，本文提出作為一個(gè)應(yīng)用于高校機(jī)器學(xué)習(xí)實(shí)驗(yàn)課程的公用計(jì)算平臺(tái)應(yīng)該具備以下基本功能：

（1）用戶之間不會(huì)相互影響；

（2）用戶可以安裝、訪問自己的應(yīng)用；

（3）用戶能夠使用GPU；

（4）用戶不被允許直接操作宿主機(jī)；

（5）管理員能輕松地管理用戶。

2 公用計(jì)算平臺(tái)架構(gòu)設(shè)計(jì)思路

2.1 基礎(chǔ)架構(gòu)實(shí)現(xiàn)方案選擇

從需求出發(fā)，首先解決的問題是實(shí)現(xiàn)用戶的隔離。目前機(jī)器學(xué)習(xí)用戶隔離使用的是支持PCI Pass- through的虛擬技術(shù)，帶來的問題是GPU使用過程中只能被一臺(tái)虛擬機(jī)獨(dú)占，其他虛擬機(jī)就無(wú)法使用該顯卡。在實(shí)際的實(shí)驗(yàn)案例中，一般的執(zhí)行案例是無(wú)法長(zhǎng)時(shí)間占滿GPU，GPU利用率只會(huì)達(dá)到10%~30%左右[6]。在多用戶的高校實(shí)驗(yàn)環(huán)境中，共享同一個(gè)GPU是合理的，也能提高硬件資源的利用率。另外CPU/IO等硬件的虛擬化的額外開銷較大，所以考慮到性能問題，本文的設(shè)計(jì)方案不選用虛擬化技術(shù)。

由于實(shí)驗(yàn)室公用主機(jī)一般安裝防火墻和還原保護(hù)等措施，是一個(gè)相對(duì)安全和可控的環(huán)境，并且現(xiàn)在主流的深度學(xué)習(xí)平臺(tái)都是在Linux上，因此可以直接利用Linux內(nèi)核提供的隔離機(jī)制來解決安全問題。Linux的隔離機(jī)制帶來的額外開銷微乎其微，加上共享硬件資源，能最大化地利用硬件資源。

目前比較成熟的隔離的有KVM和LXC。KVM的虛擬化方案提供了完整的物理隔離功能；LXC的隔離方案則是資源隔離（namespace）能提高資源利用率。結(jié)合表1的基礎(chǔ)架構(gòu)實(shí)現(xiàn)方案的比較，本文選擇LXC。

表1 基礎(chǔ)架構(gòu)實(shí)現(xiàn)方案比較

2.2 公共計(jì)算平臺(tái)基礎(chǔ)框架構(gòu)建

為了保證公用GPU在LXC中正常使用，采用了目前常用的解決方法：在 LXC 容器中使用GPU時(shí)把宿主機(jī)中顯卡設(shè)備文件掛載到LXC容器中。而對(duì)于在容器內(nèi)使用NVIDIA GPU的場(chǎng)景，則可以通過nvidia. runtime配置，結(jié)合nvidia-container-cli和liblxc實(shí)現(xiàn)自動(dòng)檢測(cè)主機(jī)系統(tǒng)上的所有正確位，并在引導(dǎo)時(shí)將它們傳遞到容器中，以保持用戶空間庫(kù)與內(nèi)核驅(qū)動(dòng)程序同步。這樣可以節(jié)省大量的空間，簡(jiǎn)化了維護(hù)。為了限制終端用戶直接操作宿主機(jī)，容器可以提供SSH服務(wù)，既提供遠(yuǎn)程控制服務(wù)，也可以實(shí)現(xiàn)傳輸文件等基本操作。

因此選擇LXC搭建公共計(jì)算平臺(tái)基礎(chǔ)框架，如圖1所示。

圖1 公用計(jì)算平臺(tái)架構(gòu)及組件

3 關(guān)鍵技術(shù)分析

3.1 基于容器的隔離與LXC

LXC是一個(gè)Linux容器工具，提供輕量級(jí)的虛擬化的隔離進(jìn)程和資源。LXC在資源管理方面依賴Linux內(nèi)核的Cgroups系統(tǒng)[7]。Cgroups系統(tǒng)是Linux內(nèi)核提供的一個(gè)基于進(jìn)程組的資源管理框架，用于限定特定進(jìn)程組可用資源。它最初由Google的工程師提出，之后又集成到Linux內(nèi)核。Cgroups也是LXC用于實(shí)施虛擬化的資源管理手段。LXC現(xiàn)已加入Linux內(nèi)核，這意味著LXC技術(shù)將是目前最有競(jìng)爭(zhēng)力的輕量級(jí)虛擬容器技術(shù)[8]，具體隔離機(jī)制如圖2所示。

圖2 LXC容器隔離實(shí)現(xiàn)機(jī)制

3.2 鏡像管理與LXD

在實(shí)驗(yàn)室平臺(tái)中操作LXC指令相對(duì)比較難用，為了給用戶提供更好的容器管理平臺(tái)體驗(yàn)，在本文中引入了LXD。LXD是一個(gè)提供REST API的LXC容器管理器，在LXD操作時(shí)，事先將boot.autostart設(shè)置為true，則在Linux啟動(dòng)時(shí)會(huì)自動(dòng)啟動(dòng)LXD容器。LXD還支持與OpenStack的集成，并提供Restful API的支持，所以使用者可以定制web頁(yè)面的直觀的管理容器[9]。

3.3 共享計(jì)算能力與GPU Passthrough

容器本身是通過物理機(jī)內(nèi)核調(diào)度的一組權(quán)限受限的進(jìn)程，物理機(jī)的內(nèi)核和驅(qū)動(dòng)擁有對(duì)GPU 100%的訪問。本平臺(tái)利用物理機(jī)的內(nèi)核執(zhí)行訪問GPU的系統(tǒng)調(diào)用達(dá)到GPU Passthrough實(shí)現(xiàn)。

LXD本身提供了詳盡的GPU Passthrough支持，本平臺(tái)在添加GPU設(shè)備之后，容器里可以看到對(duì)應(yīng)的GPU。本平臺(tái)在執(zhí)行過程中需要安裝必要的庫(kù)或工具。特別注意因?yàn)槿萜鱟ontainer里裝的庫(kù)是在與物理機(jī)的內(nèi)核配合工作，所安裝的庫(kù)必須與物理機(jī)內(nèi)核里的GPU driver版本對(duì)應(yīng)。

4 平臺(tái)實(shí)施與評(píng)估

下面介紹如何搭建生產(chǎn)環(huán)境，并進(jìn)行基本的評(píng)估。

4.1 硬件環(huán)境

結(jié)合目前高校實(shí)驗(yàn)室的現(xiàn)狀，在控制預(yù)算的前提下，本文用于驗(yàn)證的硬件配置如表2所示。

表2 計(jì)算平臺(tái)硬件配置

4.2 軟件環(huán)境

在人工智能領(lǐng)域，通過開源的方式推動(dòng)產(chǎn)業(yè)的快速向前發(fā)展，已經(jīng)成為面向未來的一種趨勢(shì)[10]。因此，本文設(shè)計(jì)的公用計(jì)算平臺(tái)也是基于目前主流的開源軟件，主要軟件配置如表3所示。

表3 計(jì)算平臺(tái)軟件配置

4.3 平臺(tái)部署

4.3.1 創(chuàng)建容器

使用LXC作為隔離機(jī)制，給每個(gè)用戶分配一個(gè)LXC容器，具體分為以下幾個(gè)步驟：

（1）更新并安裝LXC；

（2）共享內(nèi)核安裝，宿主機(jī)和容器內(nèi)的顯卡驅(qū)動(dòng)要求完全一致，且共享內(nèi)核，需要在宿主機(jī)上安裝NVIDIA顯卡驅(qū)動(dòng)，并把顯卡設(shè)備文件掛載到 LXC 容器中。通過實(shí)驗(yàn)發(fā)現(xiàn)在安裝NVIDIA顯卡驅(qū)動(dòng)時(shí)，需要事先禁用nouveau模塊待安裝好后再啟用；

（3）創(chuàng)建容器，并將NVIDIA設(shè)備添加到容器中，并修改配置文件；

（4）設(shè)置容器以通過Shell進(jìn)行訪問，運(yùn)行l(wèi)xc-attach后，所在的控制臺(tái)是容器中的根提示符?？梢允褂萌萜鲀?nèi)的NVIDIA的run安裝CUDA SDK，或者將CUDA二進(jìn)制文件復(fù)制到容器中。

4.3.2 實(shí)現(xiàn)多用戶共用平臺(tái)，制作LXC鏡像模板

因?yàn)槭嵌嘤脩艄糜?jì)算平臺(tái)，需要保證每個(gè)用戶對(duì)GPU的并行使用。而測(cè)試用的開源機(jī)器學(xué)習(xí)框架TensorFlow默認(rèn)搶占服務(wù)器所有GPU顯存，所以需要限定每個(gè)用戶的GPU占用率。為了限定GPU占用率，在此步驟中制定GPU使用策略[11]。

（1）在TensorFlow中設(shè)置參數(shù)，啟用最少的GPU運(yùn)行程序。

（2）在TensorFlow中設(shè)置參數(shù)，強(qiáng)制程序只占用指定比例的GPU。

config = tf.ConfigProto()

# 占用GPU40%的顯存

config.gpu_options.per_process_gpu_memory_fraction = 0.4

session = tf.Session(config=config)

為了方便后續(xù)添加用戶，先制作一個(gè)LXC 容器模板，這樣之后每次新建容器的時(shí)候就從這個(gè)模板克隆一份。

配置好模板容器之后，復(fù)制到 /root/lxc-public- images/template。本平臺(tái)提供將容器或容器快照發(fā)布為鏡像選項(xiàng)。關(guān)閉容器，并把它復(fù)制到/root/lxc-public- images/template。將容器或容器快照發(fā)布為鏡像，只需要在模板容器上完成操作即可。

4.3.3 使用鏡像創(chuàng)建新容器

在本公用平臺(tái)中，LXD守護(hù)程序可充當(dāng)鏡像服務(wù)器。在默認(rèn)情況下加載到鏡像存儲(chǔ)中的所有鏡像都會(huì)被標(biāo)記為私有，只有受信任的客戶端可以檢索這些鏡像。如果要?jiǎng)?chuàng)建公共鏡像服務(wù)器，需要做的是將一些鏡像標(biāo)記為公開，并確保LXD守護(hù)進(jìn)程監(jiān)聽網(wǎng)絡(luò)[12]。通過這一方式可使用鏡像創(chuàng)建新容器。

4.3.4 容器的管理

可通過terminal管理容器，也可以通過Restful API配置WEB管理系統(tǒng)實(shí)現(xiàn)容器的管理。

4.3.5 結(jié)果展示

我院云計(jì)算科學(xué)與技術(shù)系在本科階段開設(shè)了“基于Python的人工智能”課程，本課程取得了四川省首批普通高校應(yīng)用型本科示范課程建設(shè)項(xiàng)目資助。其中實(shí)驗(yàn)部分就使用本公用計(jì)算平臺(tái)進(jìn)行機(jī)器學(xué)習(xí)實(shí)驗(yàn)。

在使用該平臺(tái)之前，全班30名學(xué)生使用分配虛擬機(jī)的CPU進(jìn)行訓(xùn)練，占有率高、訓(xùn)練速度慢。通過公用計(jì)算平臺(tái)，多人可以共享共用，表4為改進(jìn)后訓(xùn)練一個(gè)TensorFlow測(cè)試樣本平臺(tái)使用情況和時(shí)間對(duì)比。實(shí)驗(yàn)證明，在對(duì)同一個(gè)測(cè)試樣本進(jìn)行測(cè)試時(shí)，公用計(jì)算平臺(tái)的環(huán)境下，人均節(jié)約40%~60%的時(shí)間（見表4）。

表4 實(shí)驗(yàn)平臺(tái)使用時(shí)間對(duì)比

5 結(jié)語(yǔ)

本文嘗試使用容器技術(shù)中的LXC和LXD技術(shù)設(shè)計(jì)并配置了一個(gè)公用計(jì)算平臺(tái)，解決了高校實(shí)驗(yàn)平臺(tái)GPU資源共享的技術(shù)難題。實(shí)驗(yàn)參與者在使用計(jì)算平臺(tái)進(jìn)行機(jī)器學(xué)習(xí)的實(shí)驗(yàn)時(shí)不僅可以共享數(shù)據(jù)和計(jì)算能力，也可以通過容器實(shí)現(xiàn)資源的隔離，同時(shí)能夠充分利用有限資源完成實(shí)驗(yàn)任務(wù)。借助LXD的可視化平臺(tái)，管理者也可以方便地新建及管理實(shí)驗(yàn)環(huán)境；由于物理服務(wù)器采用容器集群模式，平臺(tái)可以支持快速的橫向擴(kuò)展，能為使用者節(jié)省一半以上的時(shí)間,將來會(huì)考慮對(duì)平臺(tái)進(jìn)行深度優(yōu)化。

[1] 中國(guó)產(chǎn)業(yè)信息. 2018年中國(guó)人工智能行業(yè)發(fā)展現(xiàn)狀及發(fā)展前景分析[EB/OL]. (2018-03-15). http://www.chyxx.com/industry/ 201803/619321.html.

[2] 國(guó)務(wù)院. 關(guān)于印發(fā)新一代人工智能發(fā)展規(guī)劃的通知[EB/OL]. (2017-07-08). http://www.xinhuanet.com//tech/2017-07/21/c_ 1121355212.htm.

[3] 奎曉燕，劉衛(wèi)國(guó)，郭克華，等. 構(gòu)建智能型虛擬實(shí)驗(yàn)平臺(tái)，推進(jìn)現(xiàn)代教育技術(shù)改革[J]. 計(jì)算機(jī)工程與科學(xué)，2018, 40(增刊1): 12–15.

[4] 中國(guó)大數(shù)據(jù)產(chǎn)業(yè)觀察. 國(guó)內(nèi)高校人工智能教育現(xiàn)狀[EB/OL]. (2018-04-22). https://www.sohu.com/a/2290865 85_353595.

[5] 人工智能. 人工智能市場(chǎng)巨大AI芯片有望成為下一個(gè)爆發(fā)點(diǎn) [EB/OL]. (2018-05-05). http://www.elecfans.

[6] 陳樂群. 為實(shí)驗(yàn)室建立公用GPU服務(wù)器[EB/OL]. (2017-11- 03). https://zhuanlan.zhihu.com/p/25710517.

[7] 汪愷，張功萱，周秀敏. 基于容器虛擬化技術(shù)研究[J]. 計(jì)算機(jī)技術(shù)與發(fā)展，2015, 25(8): 138–141.

[8] 高巖，林軍，云龍，等. 云計(jì)算主機(jī)內(nèi)核虛擬化技術(shù)框架及其性能分析[J]. 計(jì)算機(jī)系統(tǒng)應(yīng)用，2017, 26(8): 278–283.

[9] wangke0809. 搭建多人共用的GPU服務(wù)器[EB/OL]. (2018- 04-22). https://blog.csdn.net/wangke0809/article/details/80235989.

[10] 趙智興，段鑫星. 人工智能時(shí)代高等教育人才培養(yǎng)模式的變革：依據(jù)、困境與路徑[J]. 西南民族大學(xué)學(xué)報(bào)(人文社科版)，2019(2): 213–219.

[11] Mr Caleb. tensorflow gpu使用說明[EB/OL]. (2016-10-22). https://blog.csdn.net/qq_30159351/article/ details/52892577.

[12] LXD 2.0. Introduction to LXD [EB/OL]. (2016-03-11) https:// stgraber.org/2016/03/11/lxd-2-0-introduction-to-lxd-112/.

Design and realization of machine learning computing platform based on container technology

HUANG Manqi

(Department of Cloud Computing Science and Technology, Chengdu College of University of Electronic Science and Technology of China, Chengdu 611731, China)

In view of the high requirement of machine learning experiment for environment, a common computing platform architecture suitable for colleges and universities is designed and realized. Through the configuration of LXC container technology, this platform can not only share hardware resources, but also realize the isolation of the experimental environment and provide computing resources on demand. The specific method of platform realization and maintenance management process are determined. This platform has the characteristics of easy management, high resource utilization, intuitive interface and good openness. The platform is tested to verify its good management efficiency, which lays a good foundation for further optimization of the platform.

machine learning; common computing platform; LXC container; runtime passthrough

G642.0

B

1002-4956(2019)09-0028-04

2019-02-14

教育部2018年第一批產(chǎn)學(xué)合作協(xié)同育人項(xiàng)目（教高司函[2018]47號(hào)，編號(hào)201801014012）；四川省教育廳自然科學(xué)一般項(xiàng)目（18ZB0256）；四川省地方普通本科高校應(yīng)用型示范課程支持項(xiàng)目（川教函[2018]527號(hào)（255-256）；電子科技大學(xué)成都學(xué)院教改重點(diǎn)項(xiàng)目（JG201808）

黃曼綺（1981—），女，四川內(nèi)江，碩士，講師，云計(jì)算教研室主任，研究方向?yàn)樵朴?jì)算架構(gòu)、機(jī)器學(xué)習(xí)。

E-mail: qiluoli@126.com

10.16791/j.cnki.sjg.2019.09.008