AI芯片的應用與發展趨勢

■ 文/北京的盧深視科技有限公司 朱海濤

關鍵字：AI 芯片 神經網絡 應用

1 引言

自1956年達特茅斯會議以來，關于人工智能(artificial intelligence， AI)的研究由于受到智能算法、計算速度、存儲水平等多方面因素的影響，經歷了兩起兩落的發展，近年來在語音識別、計算機視覺等領域取得了重大突破。究其原因，業界普遍認為有三大要素合力促成了這次突破：豐富的數據資源、深度學習算法和充足的計算力支持。豐富的數據資源取決于互聯網的普及和隨之產生的海量信息；以深度學習為代表的機器學習算法的精確性和魯棒性越來越好，適用于不同場景的各類算法不斷優化完善，具備了大規模商業化應用的潛力；而充足的算力則得益于摩爾定律的不斷演進發展，高性能芯片大幅降低了深度學習算法所需的計算時間和成本。

雖然當前摩爾定律逐漸放緩，但作為推動人工智能技術不斷進步的硬件基礎，未來10年仍將是人工智能芯片(AI芯片)發展的重要時期，如圖1所示，到2021年，我國的人工智能芯片產值預計將達到52億美元。面對不斷增長的市場需求，各類專門針對人工智能應用的新穎設計理念和架構創新將不斷涌現。

當前對人工智能芯片的定義并沒有一個公認的標準。比較通用的看法是面向 AI應用的芯片都可以稱為AI芯片，按設計思路主要分為三大類:專用于機器學習尤其是深度神經網絡算法的訓練和推理用加速芯片；受生物腦啟發設計的類腦仿生芯片；可高效計算各類人工智能算法的通用AI芯片。

圖1 我國人工智能芯片市場規模預計（單位：億美元）

隨著智能化逐漸滲透進入能源、交通、農業、公共事業等更多行業的商業應用場景中，考慮到智能化任務運算力需求，以及傳輸帶寬、數據安全、功耗、延時等客觀條件限制，AI芯片在越來越多的場景中表現出廣闊的應用前景。

2 AI芯片的應用場景與發展現狀

下面我們將基于三個典型應用場景對AI芯片的目前發展現狀進行介紹。

2.1 三維點云的神經網絡支持

在過去的數十年中，隨著基于神經網絡的深度學習技術以及計算機處理能力的飛速發展，二維圖像中的圖像識別、檢測、分類等任務取得了前所未有的進步。然而，我們處在一個三維的世界里，在將三維環境擠壓成二維圖像的過程中，很多有用的信息會被丟棄，從而造成信息量的丟失。而使用三維圖像則可以有效地解決這一問題。

三維圖像是一種特殊的信息表達形式，其特征表達空間中擁有三個維度的數據。和二維圖像相比，三維圖像借助第三個維度的信息，可以實現天然的物體——背景解耦。除此之外，對于視覺測量來說，物體的二維信息往往隨著投影方式的變化而變化，但其三維特征對不同測量方式具有更好的統一性。與二維圖像不同，三維圖像是對一類信息的統稱，信息還需要有具體的表現形式。其表現形式主要包括：深度圖（以灰度表達物體與相機的距離），幾何模型（由CAD軟件建立）和點云模型（所有逆向工程設備都將物體采樣成點云）。在這三種形式中，點云模型是最為常見也是最基礎的三維模型。圖2中展示了包、飛機、汽車、被子等常見物體的點云示意圖。點云模型往往由測量直接得到，每個點對應一個測量點，無需經過其他處理手段，故其包含了最大的信息量。然而，這些隱藏在點云中的信息需要以其他手段將其提取出來，提取點云中信息的過程即為三維點云分析。

圖2 常見物體（人臉、包、飛機、汽車、杯子）點云示意圖

三維點云分析在諸多領域有著廣泛的應用，例如三維人臉識別、三維人體姿態分析等。對于這些任務而言，都要涉及到點云數據的處理、分析和理解。隨著以卷積神經網絡（CNN）為代表的深度學習方法的興起，大量的研究工作致力于將CNN在圖像分析上的巨大成功復制到點云學習領域。

一般來說，在點云上進行卷積學習主要面臨三大挑戰：

（1）點云由無序的點集構成，因此卷積需要對點的輸入順序具有置換不變性。

（2）點云分布于三維幾何空間中，因此卷積應當對點云的剛體變換具有魯棒性，比如平移、旋轉等。

（3）點云形成一個隱含的形狀，因此卷積得到的表征應當具備有區分力的“形狀意識”。

為了應對上述挑戰，目前常用的做法是點云分割，即利用一個小型網絡，對輸入點云進行仿射變換，從而將其轉換為一個固定的、規范的空間，確保即使對于最細微的變化，整個網絡也是穩定的。最近的一些工作則在點云分割的基礎上，從其他領域汲取靈感來進一步提高性能。例如Wang 等人的論文 Dynamic Graph CNNs ，就使用基于圖形的深度學習方法來改善點云中的特征提取。這些方法對AI芯片提出了很多要求，例如：如何設計合理的卷積方式，使得其對于非結構化輸入數據具有位置不變性；如何設計有判別能力的三維點云特征表示，對點云的“形狀”進行建模等。而當前的主流AI芯片集中于二維圖像的網絡處理，對三維點云的支持還較少。部分公司在點云的采集、傳輸等方面進行了一些嘗試，例如以色列Vayyar公司研發的汽車雷達芯片，可以實時采集車內外人員物體的三維圖像，韓國高等科學技術研究院的Park Hyo-hoon教授團隊則研發出一種三維圖像傳感器芯片，可采集特定方向的三維圖像數據，進行無線傳輸，從而實現高分辨率、高容量的圖像信息無限制通信。但是，如何針對三維點云數據的特點，開發出集采集、傳輸、處理等功能為一體的AI芯片仍是當前亟待解決的問題。

三維深度學習方法已經從使用三維數據的派生表示轉變為使用原始數據（點云）。在這個過程中，我們采用的方法已經從簡單地將二維卷積神經網絡應用到三維數據上轉變為專門為三維場景設計的方法，這大大提高了物體分類和語義分割等任務的性能。這些結果非常有前景，因為它們證明了通過三維技術觀察和表示這個世界是有價值的。然而，這個領域才剛剛步入發展的快車道。當前的工作不僅要著眼于提高這些算法的準確率和性能，還要確保魯棒性和可擴展性。盡管目前大多數研究是由無人駕駛應用驅動的，但直接在點云上運行的新方法在諸如三維醫學影像、虛擬現實和室內地圖等領域也將發揮重要的作用。

2.2 低功耗AIoT

AIoT（人工智能物聯網），是AI（人工智能）與IoT（物聯網）的合并稱謂。AIoT融合AI技術和IoT技術，通過物聯網產生、收集海量的數據存儲于云端、邊緣端，再通過大數據分析，以及更高形式的人工智能，實現萬物數據化、萬物智聯化。從廣泛的定義來看，AIoT就是人工智能技術與物聯網在實際應用中的落地融合。它并不是新技術，而是一種新的IoT應用形態，從而與傳統IoT應用區分開來。如果物聯網是將所有可以行使獨立功能的普通物體實現互聯互通，用網絡連接萬物，那AIoT則是在此基礎上賦予其更智能化的特性，做到真正意義上的萬物互聯互通。

AIoT追求的是一個智能化生態體系，除了技術上需要不斷革新，技術的落地與應用更是現階段物聯網與人工智能領域亟待突破的核心問題。在消費互聯網領域，包括自動駕駛、城市大腦、人工智能養老、醫療影像、智能語音等（如圖3），AloT已從學術界走向產業界，并為城市建設提供越來越多的應用場景。在產業級市場，AIoT作為各大傳統行業智能化升級的最佳通道，應用場景遍地開花。

2.2.1 智能手機

智能手機無疑是未來很多“萬物互聯”的入口，AI、物聯網、移動設備三大技術將強強聯合，成為行業新的“標配”技術。 AIoT為智能手機賦能，將智能裝置、設備都聯接起來，打造新生態。蘋果、三星、華為等國內外各大廠商都在推出具有不同AI功能的手機。

2.2.2 智能家居

智能家居目前仍處在初級發展階段，AIoT將把智能應用、智能家居產品、硬件家族和平臺全部串聯起來，讓我們和這些物體實現更智慧的互動，智能家居是未來離消費者最近的AIoT場景。

2.2.3 工業機器人

工業機器人在自動化普及的工業時代，生產過程幾乎完全自動化，機器人具備高度的適應能力。工業互聯網不只是實現機器互聯，還引入了大量的人工智能。AIoT在幫助機器人實現智能互聯的同時，還能讓管理者任意自如的操控，尤其是在很多危險性較大的工業領域。

2.2.4 自動駕駛

自動駕駛需要很多技術支持，除了數據，就是人工智能，幫助車做正確的決策。車的智能解決之后，就得實現車輛的互聯和管控，在自動駕駛狀態中，如何保證乘客安全，是AIoT技術正在研究的重點。

需要注意的是，在上述多種應用中，場景承載硬件很多為低功耗設備，這就對AIoT的功耗提出了嚴格的要求。實際上，低功耗和高性能計算是AIoT智能硬件設計的重要要素。此外，AIoT對設備端芯片的并行計算能力和存儲器帶寬提出了更高的要求，盡管基于GPU的傳統芯片能夠在終端實現推理算法，但其功耗大、性價比低的弊端卻不容忽視。在AIoT的大背景下，IoT設備被賦予了AI能力，一方面在保證低功耗、低成本的同時需要完成AI運算(邊緣計算)；另一方面，IoT設備與手機不同，形態千變萬化，需求碎片化嚴重，對AI算力的需求也不盡相同，很難給出跨設備形態的通用芯片架構。因此，只有從IoT的場景出發，設計定制化的芯片架構，才能在大幅提升性能的同時，降低功耗和成本，同時滿足AI算力以及跨設備形態的需求。

由于許多應用場景都是基于三維數據，因此在設計AIoT芯片的時候，往往需要考慮到三維數據的計算。而三維數據相比與二維數據而言，數據量更大，數據結構更復雜，這對芯片架構提出了更高的要求。目前業界已經有多家公司推出了相應的三維AIoT產品，例如日本瑞薩公司推出的e-AI解決方案，提供手勢數據的學習工具、錄制工具、AI的學習工具，可以達到很高分辨率的3D手勢識別和控制；國內埃瓦電子公司推出了Ai3100超低功耗AIoT芯片和開放平臺，做到了即開即用。目前在人臉識別智能門鎖、車載3D刷臉開門場景，是當前唯一達到冷啟動時間100毫秒的人臉識別AIoT專門芯片。

盡管目前包括百度、阿里、華為、小米等公司在內的各大廠商都對AIoT智能硬件芯片投入了大量的人力物力，由于AIoT所面臨場景，尤其是三維場景的復雜性，目前這些芯片還遠遠沒有達到令人滿意的地步。隨著人工智能以及芯片制造技術的進一步發展，AIoT智能硬件芯片有望實現集成化、定制化、高效化的發展，從而使物聯網和人工智能的優勢發揮到最大。

2.3 小樣本學習

在深度學習領域，通常需要大量的訓練數據來指導學習過程，而在真實場景下，往往大部分類別并沒有數據積累。所以我們希望在學習了一定類別的大量數據后，對于新的類別，我們只需要少量的樣本就能快速學習。這被稱之為小樣本學習（Few-shot Learning）。

圖3 AIoT應用場景實例

從定義上來說，小樣本學習的訓練集中包含了很多的類別，每個類別中有多個樣本。在訓練階段，會在訓練集中隨機抽取C個類別，每個類別K個樣本（總共CK個數據），構建一個meta-task，作為模型的支撐集（support set）輸入；再從這C個類中剩余的數據中抽取一批樣本作為模型的預測對象（test set）。即要求模型從C*K個數據中學會如何區分這C個類別。訓練過程中，每次訓練都會采樣得到不同meta-task，所以總體來看，訓練包含了不同的類別組合，這種機制使得模型學會不同metatask中的共性部分，比如如何提取重要特征及比較樣本相似度等，忽略與任務相關的部分。通過這種學習機制學到的模型，在面對新的未見過的 meta-task 時，也能較好地進行分類。

圖4 小樣本學習示例

圖4表示一個10分類問題，傳統的方法是基于左邊這些訓練集，獲得模型，然后對右邊測試集進行自動標注。而對于小樣本學習而言，我們大量擁有上方的5種數據，而新問題（下方5種）只有很少的標注數據，從而給訓練與測試帶來了很大的挑戰。

目前小樣本學習的解決方法主要包括：基于微調（fine-tune）的方法；基于度量（metric）的方法和基于元學習（meta learning）的方法等；而對于小樣本學習而言，其應用的主要場景包括醫學圖像處理、安全場景監控等。

2.3.1 醫學圖像處理

與自然場景下自然圖像獲取不同，醫學影像的獲取十分艱難。一方面，患者對于個人的就醫隱私要更為重視，醫學圖像幾乎不會上網和共享，此外圖像采集的“高門檻性”也制約著訓練樣本的獲取。醫學影像采集需要專門的設備，有一些設備非常昂貴，比如CT和核磁。另一方面，大部分數據缺乏標注。對于自然圖像來講，其標定相對容易，即便是普通人也能夠直接標注。但醫學影像不同，其標注需要行業頂尖的專業醫生參與，而現實中，臨床、科研任務重，做數據標注對于醫生來說“有心無力”。

2.3.2 安全場景監控

對于公共安全場景下的智能監控而言，往往也存在著“小樣本”的問題。雖然大部分的場景下可以獲得大量的原始數據，但是一方面由于這些數據往往很復雜，標注起來需要耗費大量的人力物力。另一方面這些數據很多時候存在著安全性要求，因此很難利用社會力量進行大規模的人工標注。此外，由于場景具有多樣性，在某個場景下訓練好的模型在另外的場景中往往性能表現不佳，因此利用少量數據，尋找數據間的共性部分，是很重要的研究方向。

對于目前的AI芯片而言，小樣本學習的訓練樣本很少，因此對芯片提出了多種要求，如在較少的訓練數據下達到較高的性能；隨時對新增樣本進行增量訓練，以滿足用戶更多個性化的需求；覆蓋多種應用場景，對各個場景中的個性化數據也能準確處理等。而目前主流的AI芯片廠商仍舊將其作為傳統的深度學習任務進行處理，缺乏對“小樣本”的深層優化。國內廠商曾于2018年推出一款芯片，該芯片的最大特色是能做到小樣本訓練達到較高識別率，并通過大量的并行計算使得訓練的速度和識別的速度基本一致，從而實現圖像的快速“片上訓練”與“片上識別”，達到片上學習和在線學習兩者并存。

隨著應用場景的不斷豐富，小樣本學習以及相應的芯片設計還有很多可以研究的東西。由于“片上學習”不需要聯網，便能在芯片端實現本地化學習，進而讓基礎算法的研發迭代，產品的升級有著更短的周期和更高的效率。因而在未來網絡環境，可用數據相對嚴苛或有限的情況下，基于小樣本“片上學習”的芯片將有著廣闊的應用前景。

3 結語

底層芯片是人工智能硬件產業鏈最基礎部分，AI芯片將在人工智能各個行業領域得到廣泛應用。從芯片發展的大趨勢來看，現在還是 AI芯片的初級階段。無論是科研還是產業應用都有巨大的創新空間。從確定算法、應用場景的 AI加速芯片向具備更高靈活性、適應性的通用智能芯片發展是技術發展的必然方向。當前已經有一批企業在產品研發和市場推廣上做出了一定的成績，其中包括海外和國內的科技巨頭和創業公司，如：英偉達、華為海思、寒武紀、比特大陸等，其產品在云端、自動駕駛、智慧安防、移動互聯網等場景中獲得了較好的應用。應該看到，由于發展較晚，積累不足，我國在傳統IT架構，系統軟件等領域國產化率非常低，而AI芯片作為新興的產業領域，其是否能夠實現國產化和自主可控是我國人工智能產業能否實現彎道超車的關鍵，值得大力探索。