人工智能芯片的性能如何評估？

CPS中安網

［摘要］如何評估芯片的AI性能？對于芯片來說，PPA指標尤為重要，包括Power（功耗），Performance（性能），Aera（面積）。

TOPS是不是能夠真實的反映芯片的AI性能？這是地平線乃至行業都在思考的問題。

伴隨著對這個問題的思考，2019年，地平線聯合創始人兼副總裁黃暢在全球人工智能和機器人峰會上表示，地平線希望定義真實的AI芯片性能。

時隔一年，地平線再次亮相于2020全球人工智能和機器人峰會，并提出了一種新的芯片AI性能評估方式——MAPS，即Mean Accuracy-guaranteed processing speed（在精度有保障范圍內的平均處理速度），意思是在精度有保障的范圍，測AI芯片的平均效能如何，得到一個全面、完整、客觀、真實的評估。

如何評估芯片的AI性能？

對于芯片來說，PPA指標尤為重要，包括Power（功耗），Performance（性能），Aera（面積）。

黃暢表示，我們需要針對應用場景進行設計，可以指導研發調整優化防線，引導客戶進行正確選擇，同時能夠促進行業有序協同向前發展。

歷史上有很多常用的性能評估指標，比如CPU用MIPS，傳統GPU用Textur和Pixel，在高性能計算上，GPU開始使用TFLOPS，進入到NPU時代，業內普遍使用TOPS。

不過，當提到TOPS的時候，往往說的都是芯片的峰值算力，體現的是整個芯片的理論上限，但這顯然不能代表AI芯片的全部性能。

地平線曾表示，真正的AI芯片性能還包括算法處理速度和精度，算力的有效利用率以及算力轉化為AI性能的效率等。

那么，如何評估芯片的AI性能？黃暢表示，可以從準、快、省這三個維度來看。

黃暢進一步指出，準是反映實際需求任務上的算法精度，比如說圖像分類里面我們用Top-1或者Top-5的精度判斷它是不是準，還有COCO里面可以用mAP這樣的指標描述它，不同的任務里面，在學術界已經有比較多共識的指標描述它。在快的方面，通常有兩個維度，一個是延遲，一個是吞吐率，前者更側重于處理單個任務的最快反應時間，后者應用于你可以在服務器層面上用最大的處理方式處理它的吞吐率。省就是看它的成本和功耗。對于AI芯片的性能評估來講，準和快是兩個非常重要的因素。

更具包容性、更開放的評估標準

基于對AI芯片的深刻理解，地平線提出一個更有包容性、更開放的評估標準——MAPS。

黃暢表示，MAPS對行業有以下六大點創新之處，第一，能夠可視化芯片的Benchmark，可以通過可視化的圖形更精確的表達。第二，關注真實、面向結果的需求，只在乎精度和速度，不在乎中間任何關于算法的取舍和選擇。第三，可以統一表示精度與速度，關注主流精度區間。第四，隱藏與最終結果無關的中間變量，包括模型、輸入大小、批處理。第五，通過這種方法可以在算力之外幫助用戶理解芯片到底能跑多快以及多好，最終留有最大的空間引導客戶使用最優的方式使用這顆芯片。

作為AI領域的奧林匹克競賽，ImageNet比賽產生了幾乎所有機器視覺中最重要的模型，它們在ImageNet上的精度可充分遷移到其他機器視覺任務（如物體檢測、語義分割等）。在ImageNet的主流精度范圍（75～80%）下，速度最快的模型所代表的點（由精度和幀率確定）所圍多邊形面積大小即為芯片處理ImageNetAI任務的能力大小，其公式為MAPS=所圍面積（/最高精度-最低精度）。在演講現場，黃暢還展示了MAPS評估方式在在ImageNet上的定義與主流芯片測試結果。

黃暢表示，MAPS由三個要素構成，更能真實反映AI性能指標。

第一是TOP/Watt、TOPS/$，即理論峰值計算效能這是傳統的方式。

第二是芯片有效利用率，把算法部署在芯片上，根據它的架構特點，動用編譯器等系統化地解決一個極其復雜的帶約束的離散優化問題，而得到一個算法在芯片上運行的實際的利用率，實際上是軟硬件計算架構的優化目標。

第三是AI算法效率。我們每消耗一個TOPS算力，能帶來多少實際的AI算法的性能，它體現的是AI算法效率的持續提升，也是算法研發、算法工程師、算法科學家始終努力在提升的，在過去幾年里面，這個提升速度是非常快的。

黃暢指出，這三個要素中，理論峰值計算效能反映的是舊摩爾定律，AI算法效率反映的是新摩爾定律，就是AI算法持續快速發展提升得到的結果。我們希望有更多的軟件、算法工作者，在MAPS評估指導體系的啟發下，從自己最擅長的能力上持續推動AI芯片能力的發揮。