人工智能模型訓練中的加速芯片調度效果優化實踐

張致江 吳婷 于振華 潘青華

摘要：針對研究和生產中模型訓練集群中異構、同構的NPU調度效率問題，提出4種調度策略;經過在科大訊飛實際生產實踐，可以有效提高調度效果，提升NPU資源的利用率。

關鍵詞：人工智能;NPU;并行策略

引言

自 1956 年人工智能概念被提出之后，人工智能技術因算法收斂、計算機計算力的問題，經歷幾次波峰波谷式迭代發展。近幾年經過不同領域科學家的堅持研究，如 BP 算法提出、高性能計算芯片的研發成功，促進了人工智能技術飛速發展。現在，人工智能技術在語音語言、圖像視頻、自然語言理解等方向上有重大突破，并在醫療、教育、工業制造等領域取得了顯著的成績。

人工智能技術是模型驅動型技術，利用模型和輸入的參數進行計算從而實現語音語言、圖像視頻、自然語言理解的任務。在研究和生產實踐過程中，有兩個重要的過程;其一、進行人工智能模型的訓練，其二、使用模型進行生產實踐。訓練過程需要很大的計算量，常規的CPU難以高效率的完成訓練任務，例如1萬小時的語音數據訓練如果使用一顆常規的CPU需要1個月時間;為此，學術界和工業界都是使用專門的加速芯片（統稱NPU）進行模型的計算訓練;1萬小時的語音數據訓練，使用專用的GPU進行計算，只需要半天時間。所以，使用NPU進行模型訓練是必須的選擇。在大規模的研究和生產實踐中，提升加速芯片調度效率非常重要。

一、同構加速芯片調度優化

（一）同構芯片

如圖中所示，模型訓練程序面向加速芯片的運行時驅動進行編程;運行時驅動調用物理芯片進行實際計算。隨著物理芯片工藝制程提升以及芯片微架構的演進，芯片廠商在不同階段會生產出使用方式不同的物理芯片。運行時驅動可以屏蔽不同時期的芯片的使用方式的差異。使用統一運行時API的不同物理芯片稱為同構芯片，如Nvidia公司的Tesla K40、Tesla M40、Tesla P40、Tesla V100等;對于同構芯片，可以使用同一套代碼編譯的程序。

（二）調度策略

策略一，按照任務需要芯片數量分組。因服務器制造工藝的水平，現在一臺服務器有支持4顆NPU、8顆NPU兩種規格;考慮到計算與傳輸平衡的問題，訓練有使用1顆NPU進行計算的單芯片程序，有使用4顆、8顆、16顆NPU進行計算的多芯片程序。本文提出按照單芯片程序和多芯片程序的應用場景，將NPU集群中的服務器分成兩個組即單芯片程序運行組和多芯片程序運行組。同時，規范單芯片程序只能運行在單芯片程序運行組中。

策略二，常規和預留分組策略。在實際研究和生產過程中，研究和生產活動有輕重緩急;人工智能訓練任務是數據密集型任務，一次訓練需要很長的時間進行訓練。如果不能處理好緊急任務和常規任務，那么緊急任務的需求很難滿足。在這種情況下，設置常規運行組和預留應急運行組，以滿足不同緊急度的任務需求。

二、異構加速芯片聯合調度優化

（一）并行計算

著研究和生產推進，人工智能模型訓練的數據越來越多、模型結構越來越復雜，導致計算量越來越大，單芯片很難滿足研究和生產的需要。為了加快計算時間，提升研究和生產的效率，采用并行計算策略非常重要。并行計算策略有2種具體的方案，即數據并行和模型并行。數據并行即將訓練數據分布在不同的NPU上計算，最后匯總不同NPU上的模型計算結果;模型并行即將模型計算的不同部分分布在不同的NPU上進行計算，最后直接輸出計算好的模型。

（二）調度優化

其一，異構芯片各自計算不同數據。訓練服務器集群在建設的過程中，會存在不同廠商的NPU芯片的情況。如圖1所示，訓練程序針對不同廠商的運行時驅動進行適配編譯，即可運行在不同的廠商的硬件芯片上。這種情況下，可以采用數據并行的策略。需要注意兩點：第一，不同芯片運行的程序的二進制文件不同，注意做好調度;其二，不同芯片計算性能不同，注意針對不同的芯片分配不同的計算數據。

其二，異構芯片分別計算模型不同部分。隨著研究的深入，人工智能模型結構越來越復雜、模型的規模越來越大;NPU芯片因“加速性能-存儲性能”的平衡考慮，NPU集成存儲的可用空間有時不能滿足實際研究和生產的需要。這種情況下，可以將模型的不同計算部分拆分成不同的計算程序運行在不同的計算部件上。如，在自然語言理解的模型上，大部分情況下模型最后一層參數非常龐大，這一層存儲在內存中，使用CPU進行計算;即，使用CPU和NPU協同進行模型的計算。

三、結語

人工智能實際應用給社會帶了翻天覆地的變化;可被采集的大規模有效數據和高性能的計算芯片出現，推動了人工智能技術的演進。與此同時，帶了實際研究和生產中計算資源調度復雜度的挑戰。本文闡述了在同構、異構的NPU場景下，不同復雜度的模型訓練任務的調度優化策略;經過在科大訊飛公司的實際實踐，能提升實際研究和生產的計算資源的綜合使用效率。