高校人工智能實驗室的規(guī)劃與建設

吳湘寧，彭建怡，羅勛鶴，劉遠興，李 敏

（1. 中國地質大學（武漢） 計算機學院，湖北 武漢 430078；2. 中國地質大學（武漢） 實驗室與設備管理處，湖北 武漢 430074；3. 荊楚理工學院 計算機工程學院，湖北 荊門 448000）

隨著我國人工智能（artificial intelligence，簡稱AI）技術的快速發(fā)展以及相關商業(yè)應用的快速推廣，社會對AI 人才的需求越來越大。據(jù)工信部估算，每年AI 人才缺口達100 萬人，近幾年AI 人才缺口已累計超過500 萬人，部分AI 職位供求比甚至高達1∶10。

2017 年7 月，國務院發(fā)布了《新一代人工智能規(guī)劃》，把高端人才隊伍建設作為人工智能發(fā)展的重中之重[1]。2018 年4 月，教育部印發(fā)了《高等學校人工智能創(chuàng)新行動計劃》，要求加快構建高校新一代人工智能領域人才培養(yǎng)體系和科技創(chuàng)新體系，全面提升高校人工智能領域人才培養(yǎng)、科學研究、社會服務、文化傳承創(chuàng)新、國際交流合作的能力，推動人工智能學科建設、人才培養(yǎng)、理論創(chuàng)新、技術突破和應用示范全方位發(fā)展，為我國構筑人工智能發(fā)展先發(fā)優(yōu)勢和建設教育強國、科技強國、智能社會提供戰(zhàn)略支撐[2]。

由于國家的政策導向，高校培養(yǎng)人工智能人才的熱情不斷高漲。全國有幾十所高校相繼成立了人工智能學院。2019 年3 月，教育部公布了2018 年度普通高等學校本科專業(yè)備案和審批結果。“智能科學與技術” 專業(yè)以新增96 個，累計155 個的數(shù)量排在第3位[3]。最引人注目的是，“人工智能” 正式成為了新設專業(yè)，而且以35 所高校開設的數(shù)量排在第5 位，其中包括南京大學、上海交通大學、東南大學、天津大學等高校。由于AI 技術也是信息技術和中國智能化產(chǎn)業(yè)的關鍵，因此，排第1 的“數(shù)據(jù)科學與大數(shù)據(jù)技術”（新增196 個），排第2 的“機器人工程” 專業(yè)（新增101 個），以及排第4 位的“智能制造工程” 專業(yè)（新增50 個）其實都與人工智能技術存在著密不可分的聯(lián)系。也就是說，新增數(shù)量排名前五的專業(yè)實際上都和人工技術相關。2019 年新增本科專業(yè)前5 名見表1。

表1 2019 年新增本科專業(yè)前5 名

然而，由于我國高校的人工智能教育起步較晚，專業(yè)建設仍然困難重重，目前大多數(shù)新成立的 “人工智能” 專業(yè)在建設人工智能專業(yè)實驗室方面缺少足夠的積累和經(jīng)驗，普遍面臨著實驗室基礎設施配置困難、無系統(tǒng)的實驗項目、無合適的實驗教材、無實訓項目、專業(yè)師資緊缺等一系列問題。因此，合理、高效地建設人工智能實驗教學和實訓環(huán)境，并培養(yǎng)合適的師資力量就成為新開設 “人工智能” 專業(yè)的高校急需解決的問題。

1 開展人工智能實驗的三大要素

開展人工智能實驗離不開三大要素，即：計算能力、訓練數(shù)據(jù)集、算法及框架。

人工智能計算的第一個要素是計算能力。據(jù)統(tǒng)計，在AI 訓練過程中所使用的計算力每3.43 個月便會增長一倍，這個規(guī)律也被稱為“AI 計算的新摩爾定律”。這對智能計算實驗室計算能力的設計提出了不小的挑戰(zhàn)。不但要能夠滿足現(xiàn)有算法所需的算力，而且還要考慮未來的進一步擴展。

人工智能計算的第二個要素是訓練數(shù)據(jù)集。由于許多人工智能算法大多屬于監(jiān)督式學習算法，需要從一些輸入數(shù)據(jù)集中訓練出模型，因此，提供了標注信息，并具有一定普適性的訓練數(shù)據(jù)集就顯得尤為重要。有代表性的數(shù)據(jù)集有鳶尾花分類數(shù)據(jù)集IRIS、手寫體識別數(shù)據(jù)集 MNIST ， 圖像數(shù)據(jù)集 IMAGENET/CIFAR-10/COCO/PASCAL VOC/OPEN IMAGE 等、人臉數(shù)據(jù)集CASIA WEBFACE、語料庫TEXT8/康奈爾電影對話庫、垃圾郵件語料庫TREC06C、建筑圖片庫FACADES、視頻庫UCF101 等。

人工智能計算的第三個要素是算法及框架。由于深度學習計算在AI 領域取得了非常好的應用效果，因此目前深度學習計算幾乎已成為人工智能算法的代名詞。深度學習算法大多是建立在卷積神經(jīng)網(wǎng)絡（CNN）的基礎上，只是產(chǎn)生的模型在層數(shù)上、每層的寬度和參數(shù)上存在差別，算法通常和具體的應用領域關聯(lián)，例如圖像分類、目標檢測與識別、圖像的語義分割、圖像生成、自然語言處理、視頻動作捕捉、時間序列預測等。大多數(shù)的經(jīng)典算法是在 2012 年AlexNet 之后引發(fā)的AI 熱潮后出現(xiàn)，例如： VGGNet、GoogleNet、R-CNN、LSTM、YOLO、FCN、ResNet、U-Net、NMT、R-C3D 等算法，此外，還有新出現(xiàn)的DCGAN、CycleGAN 等生成對抗神經(jīng)網(wǎng)絡（GAN）算法。

當前流行的深度學習框架有 TensorFlow[4]、Caffe[5]、PaddlePaddle[6]、MXNet、Theano、CNTK[7]、DeepLearning4J、Torch 和PyTorch[8]等。根據(jù)近兩年GitHub 的統(tǒng)計，目前使用人數(shù)和貢獻人數(shù)最多的深度學習框架是TensorFlow，主要是因為其接口語言種類最豐富，接下來是Caffe，其新版本Caffe2 更加精簡和實用。排第三位的是PyTorch，主要得益于對Torch底層做了優(yōu)化修改并且開始支持Python 語言。排第四的MXnet 有著很好的分布式支持，而且占用顯存低，且有豐富的語言接口。排第五的CNTK 在微軟體系比較受歡迎，雖然也開始提供Python 支持，但語言多采用C++/C#。DeepLearning4J 因其獨特的對Java、Spark及Hadoop 生態(tài)的支持占據(jù)了第六的位置。而百度的PaddlePaddle 以其工業(yè)化級別應用、優(yōu)異的性能、完整的生態(tài)、良好的社區(qū)活躍度異軍突起，取得了不錯的成績。從增長性來看，從PyTorch 的上升速度遠高于其他框架，而PaddlePaddle、MXNet、DeepLearning4J、Caffe2 也都有超過50%的增長。

2 人工智能實驗室架構

2.1 單機深度學習實驗平臺

如果實驗室主要面向做科研的研究生，可采用單機實驗環(huán)境，為每一機位配備一個高性能的深度學習工作站。深度學習工作站的體系結構示例見圖1。一個完整的深度學習過程是：數(shù)據(jù)從硬盤調入內存，由CPU 計算并在內存中完成預處理，然后數(shù)據(jù)從內存中拷貝到顯存中，然后在GPU 中計算，計算結果再從顯存通過CPU 返回到內存中，最后保存到硬盤。以自然語言處理為例，語料訓練材料從硬盤調入內存，然后在內存中完成分詞及詞向量計算等工作，然后再調入到GPU 運算加速卡上的顯存，供GPU 訓練神經(jīng)網(wǎng)絡模型，得到的神經(jīng)網(wǎng)絡模型返回內存，最后以文件的形式存儲到硬盤。因此，在配置工作站的時候，不但要考慮CPU、GPU 的計算性能，同時也要考慮顯存、內存、硬盤的容量及吞吐率、數(shù)據(jù)總線帶寬、顯存帶寬等性能，不可因出現(xiàn)數(shù)據(jù)瓶頸而影響工作站的整體計算性能。

圖1 深度學習工作站的體系結構示例

每個工作站可帶1～4 路GPU 運算加速卡。市面上雖然有AMD GPU、Google Cloud TPU、Intel Xeon Phi 等加速計算產(chǎn)品，但是出于和深度學習框架兼容性的考慮，大多數(shù)系統(tǒng)采用Nvidia（英偉達）GPU 運算加速卡，Nvidia 已從早期的Fermi、Kepler、Maxwell架構發(fā)展到Pascal、Volta、Turing 架構[9]，HPC 主流Nvidia 架構見表2，其中列出了Nvidia 幾代架構的對比。工作站可選PASCAL 架構的GTX 系列、Turing（圖靈）構架的RTX 系列，Tesla M/P/V/T 系列也是不錯的選擇。GTX 基于 16 納米制造工藝，使用GDDR5X 顯存。而RTX 采用基于12 納米制造工藝，使用新的GDDR6 顯存。GDDR6 的帶寬、頻率、功耗相比GDDR5X 更優(yōu)異。GPU 卡可分為16 位還是32位的。選擇GPU 卡的時候還要考慮顯存大小，如果是基礎實驗和入門學習性質，4G～8G 顯存就足夠，但是如果傾向于復雜神經(jīng)網(wǎng)絡設計，則需要8G～12G 顯存甚至更多。

表2 HPC 主流Nvidia 架構

GPU 運算加速卡的FP64/FP32/FP16（雙/單/半精度）浮點計算能力、核心頻率、CUDA 核心、張量核心（Tensor Core）數(shù)量也是需要考慮的參數(shù)，浮點計算能力越大，核心頻率越高，CUDA 核心、Tensor 核心數(shù)越多越好。工作站用的 GPU 卡大多采用傳統(tǒng)PCI-e 總線，但自Volta 架構以后開始出現(xiàn)NV-Link 總線，傳輸速度更快，但需主板支持這種總線結構。

在深度學習計算過程中，大量的運算都是在高維矩陣（Tensor）間進行，Tensor Core 可以讓Tensor 的計算速度急速上升。顯存帶寬是指GPU 芯片與顯存之間的數(shù)據(jù)傳輸速率，具有較大顯存帶寬的GPU 允許設置較大的batch_size，也就是可以同時讓更多的數(shù)據(jù)一起訓練。顯存容量決定著顯存可臨時存儲數(shù)據(jù)的多少，比如在圖像分類模型訓練過程中，較大的顯存容量能一次性把更多的訓練圖片讀入內存中。

針對不同深度學習的需要，GPU 運算加速卡參數(shù)的選擇優(yōu)先級也不一樣。對于卷積網(wǎng)絡訓練，參數(shù)重要性依次為：Tensor 核心數(shù) ＞ FLOPS（每秒浮點運算次數(shù)）＞顯存帶寬。而對于循環(huán)神經(jīng)網(wǎng)絡訓練，參數(shù)重要性依次為：顯存帶寬 ＞ F16 計算能力 ＞ Tensor 核心數(shù)＞FLOPS。

由于GPU 承擔了大多數(shù)的計算量，CPU（中央處理器）的計算量相對較少。但是CPU 仍然需要處理一些重要工作事情，如執(zhí)行指令、函數(shù)調用、數(shù)據(jù)從存儲設備調入內存、數(shù)據(jù)從內存調入GPU 顯存、數(shù)據(jù)預處理、計算任務的調度和負載均衡、結果存儲及顯示。CPU 除了頻率要盡量高以外，三級緩存也要盡量大，CPU 核數(shù)要比GPU 的卡數(shù)多，一般1 核對應1 卡，核數(shù)還要有至少2 個冗余。為了和內存匹配，主板和CPU 最好支持四通道（至少雙通道）。

工作站的內存（RAM）主要用來存放預處理的數(shù)據(jù)，等待GPU 讀取處理，以及中間結果的存放。為了避免數(shù)據(jù)在內存和顯存中兜轉，內存應和GPU 顯存大小相同。為了讓數(shù)據(jù)帶寬最大化，應采用2～4 通道DDR4 內存，雙CPU 可以考慮4～8 通道DDR4 內存。

存儲的數(shù)據(jù)類型包括文字、圖像、聲音、視頻、數(shù)據(jù)庫等，可以采用本地PCI-e 總線接口硬盤存儲，也可采用高帶寬（如InfiniBand 網(wǎng)絡）訪問專門的存儲服務器。

由于深度學習是密集型計算，會產(chǎn)生大量的熱量及噪音，所以工作站需采用液冷降溫、靜音降噪等工藝。

人工智能計算的工作站可安裝CentOS、Ubuntu等主流Linux 操作系統(tǒng)，并根據(jù)實驗項目內容來選擇使用PyTorch、TensorFlow、Caffe2、PaddlePaddle、MXNet、DeepLearning4J 等深度學習框架。

在選擇或配置深度學習工作站的時候，需要考慮整個系統(tǒng)的技術成熟度以及工程效率，像DGX 這種GPU 一體機，有著非常好的成熟度，從總線到GPU架構，再到操作系統(tǒng)及框架支持都經(jīng)過優(yōu)化處理，效率自然比較高，但價格也會比較貴。出于預算方面的考慮，也可以自己組裝工作站，雖然在兼容性上不一定能夠得到保證，但是優(yōu)點在于可自定義配置，比如配置價格相對便宜的GPU 運算加速卡，如不使用Volta架構的Tesla V100，而使用GTX 1080 或GTX 1070，基本上可以勝任Kaggle 競賽里的大多數(shù)圖像數(shù)據(jù)集、自然語言理解等計算任務。

2.2 基于GPU 加速云服務的共享深度學習實驗平臺

如果實驗室是面向本科教學，每個機位配置一臺深度學習工作站就顯得不太現(xiàn)實。主要是因為成本太高，而且維護不易，資源利用率也不高。此時，可以考慮采用虛擬化技術來實現(xiàn)GPU 運算資源的共享。

虛擬化技術就是指將宿主物理主機上內存、CPU、GPU、FPGA、存儲、網(wǎng)絡等硬件資源通過虛擬化管理程序（Hypervisor）統(tǒng)一調度，并分配給多臺虛擬機使用。虛擬機之間雖然共享宿主機上的硬件資源，但是相互之間卻互不干擾，在邏輯上相互獨立。

虛擬化完成了物理資源到邏輯資源的轉化，解決了物理資源使用效率低、成本高等缺點，虛擬化是云計算技術的核心。云平臺的主要功能就是提供虛擬化管理云服務，包括物理資源的池化、虛擬機的監(jiān)控及生命周期管理等。

云計算從低到高分為 IaaS（Infrastructure as a Service， 基礎設施即服務）、 PaaS（ Platform as a Service，平臺即服務）、SaaS（Software as a Service，軟件即服務）三層。IaaS 是最底層云服務，提供一些基礎資源服務。PaaS 提供軟件研發(fā)平臺，抽象掉了硬件和操作系統(tǒng)細節(jié)，可以無縫地擴展，開發(fā)者只需要關注自己的業(yè)務邏輯，不需要關注底層。SaaS 是將軟件的開發(fā)、管理、部署都交給第三方，不需要關心技術問題，可以拿來即用。云計算可以分為公有云、私有云和混合云。私有云需要較多的運維費用。

如果是一兩個月就可結課的短期課程，有移動教學需求（在Internet 環(huán)境下仍可開展實驗），在Internet速度和穩(wěn)定性能夠得到保證的情況下，可以從阿里[10]、百度、華為、亞馬遜[11]等公有云租借虛擬GPU 服務器開展實驗。如果是長期課程，則需要考慮搭建私有云。

無論采用公有云還是私有云，其基本結構都是基于虛擬化技術，常采用應用容器引擎 Docker 實現(xiàn)，Docker 讓AI 開發(fā)者可以打包他們的應用、相關配置以及依賴包到一個容器中，容器具有很好的移植性。

KVM、Xen 等云平臺生成的虛擬機包括完整的操作系統(tǒng)，虛擬機的操作系統(tǒng)一旦運行會占用預先分配的硬件資源，而Docker 容器則是建立在操作系統(tǒng)上的虛擬化技術，Docker 容器直接和宿主機的操作系統(tǒng)內核交互，性能損耗比較少。Docker 容器屬于輕量級虛擬化技術，容器的創(chuàng)建和啟動都很迅速，達到秒級別，而其他的云平臺運行虛擬機通常達到分鐘級。因此，Docker 容器用來打包和快速運行不同的AI 框架，可以節(jié)省AI 開發(fā)人員大量的安裝、配置系統(tǒng)及設置參數(shù)的時間。Docker 容器已經(jīng)成為最主流的GPU 加速云服務解決方案。為了便于管理，常采用Kubernetes統(tǒng)一規(guī)劃和部署Docker 容器。

GPU 加速云平臺應該不但可以提供純的GPU 云服務器（IaaS 級，需自己進一步安裝深度學習框架），而且還可以提供預裝了不同AI 框架的GPU 云服務器（PaaS 級，如預裝了TensorFlow、PyTorch 等）、甚至可以提供具體的AI 應用（SaaS 級，如基于AI 的圖像識別系統(tǒng)、翻譯系統(tǒng)、智能推薦系統(tǒng)等）。

GPU 加速云平臺的體系結構見圖2。底層是云平臺物理集群，包括CPU/GPU/FPGA 等運算資源、陣列等存儲資源，以及網(wǎng)卡等網(wǎng)絡資源。再上一層便是虛擬化管理程序（Hypervisor），負責將所有的硬件資源虛擬化并放入統(tǒng)一管理和分配的虛擬資源池，然后通過虛擬服務器（或容器）來對用戶需要的計算資源、存儲資源、網(wǎng)絡資源進行定制和封裝，并通過網(wǎng)絡提交給用戶使用。只要網(wǎng)絡穩(wěn)定、高速，用戶基本上很難感覺出虛擬GPU 服務器和物理虛擬GPU 服務器的差別。通常GPU 加速云平臺物理服務器采用機架式結構，在數(shù)據(jù)中心以集群方式運行。

圖2 GPU 加速云平臺的體系結構

圖3 所示為一個基于GPU 加速云平臺的典型實驗過程。用戶可以申請不同配置的虛擬GPU 服務器，配置的資源越高，租賃的時間越長，費用就越高。如果計算量比較大，還需租借多臺虛擬GPU 服務器構成計算集群，通過并行計算來加快模型的訓練速度。申請成功后，云平臺會從資源池中劃出資源，分配給從模板中克隆出的GPU 服務器。此時用戶可將訓練資料從資料庫中提取出來并送入虛擬GPU 計算集群進行AI模型訓練。訓練結束后生成的模型存入AI 模型庫。在需要使用AI 模型的時候，將AI 模型調入AI 推理機，同時為AI 推理機送入實時數(shù)據(jù)，最后將AI 推理結果以報表、圖表等形式進行展示。為了方便數(shù)據(jù)共享，鏡像/容器模板庫、訓練資料庫、AI 模型庫均可采用基于網(wǎng)絡云盤或云對象存儲來實現(xiàn)。

建設GPU 加速私有云時，通常需配置一個云管理服務器及若干計算服務器。在計算服務器上插GPU 運算加速卡，以單臺計算服務器插8 塊GTX 1080 Ti GPU運算加速卡為例，主機需配置單路或雙路8 核以上CPU，因為所有顯存合計11G×8=88G，所以主機需配4～6 塊32G 的DDR4 內存。如果采用的是本地存儲而非網(wǎng)絡存儲，為了提高訓練資料的加載速度，可將數(shù)據(jù)放入SSD 固態(tài)硬盤。一臺計算服務器可以同時滿足8 人實驗需求，平均每人可分到 3584CUDA 核、11.5TFLOPS 的AI 計算資源。以此類推，每增加8 人需增加一臺計算服務器。因此，若32 人實驗，需配備1 臺云管理服務器+4 臺計算服務器。如果每人分配的資源再少一些的話，32 人配2～3 臺計算服務器也是可行的。

圖3 基于GPU 加速云平臺的典型實驗過程

3 人工智能實驗項目設計

要開展人工智能實驗，必須要具備一定的編程基礎，以及機器學習基礎知識，因此，人工智能實驗室必須提供相關基礎實驗內容。此外，還要針對人工智能的主要應用領域，分別提供計算機視覺、語音識別、自然語言處理的基礎AI 實驗[12-13]。另外，還需提供卷積神經(jīng)網(wǎng)絡、循環(huán)神經(jīng)網(wǎng)絡、對抗網(wǎng)絡等深度學習實驗，以及人臉識別、車牌識別、運動物體位置檢測、AI 翻譯等實戰(zhàn)項目。人工智能實驗課程體系見圖4。

表3 是一些具體AI 實驗項目的示例。大多數(shù)AI實驗都是數(shù)據(jù)集、模型（算法）、深度學習框架、所解決問題的組合。例如：“基于VGGNet 模型和CASIA WebFace 數(shù)據(jù)集的人臉識別（TensorFlow）” 實驗就是將 “CASIA WebFace 數(shù)據(jù)集”“VGGNet 模型（算法）”“TensorFlow 框架” 結合起來進行 “人臉識別”的實驗。

圖4 人工智能實驗課程體系

表3 AI 實驗項目示例

4 結語

建設人工智能實驗室是一項綜合工程，需要深入分析人工智能計算的三大要素，除了要構建擁有強大GPU 并行計算能力的人工智能工作站或云平臺以外，也要考慮采用合適的深度學習框架以及與不同AI 算法匹配的訓練數(shù)據(jù)集，并合理設計實驗體系和實驗項目，才能設計出性價比高、軟硬件搭配合理，并可靈活擴展的人工智能實驗平臺。