Graphcore：全面布局AI生態

王永

2020年7月15日，Graphcore發布了第二代IPU Colossus Mk2 GC200以及基于第二代IPU處理器的一系列的產品。在此之前，Graphcore在中國的IPU開發者云也正式上線，面向中國的商業用戶、大學以及科研機構和創新者免費使用。

Graphcore作為成立于2016年的英國初創公司，目前已經成長為全球性企業，總融資超過4.5億美金，其全球辦公室遍布了歐洲、亞洲和北美。目前在亞太區，Graphcore在北京、上海、深圳、臺北、首爾設立了辦公室，并計劃下一步在日本東京設立新的辦公室。

“Graphcore當前專注于三個方面：專門為AI應用設計IPU處理器、基于IPU處理器及面向AI應用的Poplar軟件棧、圍繞硬件和軟件打造IPU平臺?！盙raphcore高級副總裁兼中國區總經理盧濤在接受筆者的采訪時表示，在Graphcore的產品戰略下已經推出了三種產品形態：IPUMachine、IPU服務器以及大規模橫向擴展的IPUPOD的系統級產品。

據了解，此次Graphcore推出的新品有三大顛覆性技術突破：計算、數據和通信。

從單一芯片來看，Colossus Mk2 GC200處理器是目前世界上最復雜的單一處理器，基于臺積電7納米的技術，里面集成了近600億個晶體管，擁有250TFlops AI-Float的算力和900 MB的處理器內存儲。處理器內核（IPU-Tiles）從上一代的1217個提升到了1472個獨立的處理器內核，相對于第一代產品，其系統級的性能提升了8倍以上。

“針對數據處理問題，Graphcore提出了IPU Exchange Memory（交換式存儲）概念。”盧濤表示，與英偉達當前使用HBM的技術的產品比較，Graphcore在每個IPU-Machine： M2000（IPU-M2000） 里面通過IPU Exchange Memory技術，提供了將近超過100倍的帶寬以及大約10倍的容量，這對于很多復雜的AI模型算法提升有很大幫助。

通信方面，Graphcore專為AI橫向擴展設計了IPU-Fabric。這樣一個結構可以做到2.8 Tbps的超低時延，同時最多可支持64000個IPU之間的橫向擴展。通過IPU-Fabric技術，用戶可以把集群無縫地從一個IPU擴展到64000個IPU，通過直聯或以太網的交換機等技術進行互聯。同時，IPU-Fabric支持諸如AI運算中的集合通信或全縮減（All-Reduce）操作。IPU-Fabric也是專門為AI應用從零開始設計的。

事實上，如果把計算和數據結合來看，IPU和GPU有著較大區別。在數據和計算密集的前提下，GPU的優勢明顯，反之，如果數據的稀疏性越高，和GPU相比，IPU的優勢會越來越明顯——領先會達到10-50倍，尤其是在NLP研究領域，對很多超大規模的AI模型有巨大的幫助。

另一方面，基于7納米Mk2的IPU，Graphcore構建了IPU-M2000。這是一個1U結構的即插即用計算刀片，易于部署。在1U這樣極小的空間內，Graphcore集成了1PFlops的計算能力，其密度非常之高。

此外，IPU-M2000還擁有450 GB的Exchange Memory；其2.8 Tbps的IPU-Fabric也提供了超低時延的通信。在1P的算力、450GB的Exchange Memory、2.8 Tbps的IPU-Fabric三項技術的結合下，IPU-M2000可滿足當前最為苛刻的機器智能工作負載。

“IPU-M2000使用了Graphcore的Poplar軟件棧，Poplar也可認為是IPU統一的軟件棧?！北R濤表示，IPU-M2000擁有多種配置形態，比如1個M2000的配置、4個M2000的配置、甚至IPU-POD64這樣的整機交付。“ IPU-M2000是Graphcore構建超大規模和彈性AI計算集群中的一個基本單元，幫助客戶解決大規模集群的可擴展性問題?！?/p>

IPU-POD是結合計算、數據、通信三種顛覆性技術的大規?？蓴U展系統，用于超算規模的IPU-POD形態。它基于IPU-POD64構建塊，并對AI的計算與邏輯控制進行了解耦，易于部署，網絡時延極低，能夠支持超大型算法模型以及安全的多租戶使用。

對于一家初創企業而言，從技術到產品落地或許并不困難，難的是如何在需求多變且競爭激烈的市場中找到屬于自己的位置。

“Graphcore在市場策略方面有三個維度：渠道合作伙伴、OEM合作伙伴，以及全球的云合作伙伴?！北R濤表示，Graphcore的首款IPU開發者云已經部署在金山云上。IPU開發者云支持當前最先進和最復雜的AI算法模型的訓練和推理工作，比如自然語言處理類和高級計算機視覺類應用。

對于商業用戶而言，敏捷、效率是其最為關心的問題，所以在較短時間內讓用戶快速體驗IPU性能以及編程的易用性是Graphcore給出的解決方案。對于大學研究機構和個人研究者，Graphcore提供較長時間內的免費訪問，幫助其用于研究的算法模型可以得到極大的優化、充分釋放潛力、縮短研究成果面市時間，以及觸發新的研究方向和領域。

與此同時，Graphcore也在中國積極組建其創新社區。據悉，Graphcore已在微信、知乎、微博和GitHub開通了官方頻道，旨在與開發者、創新者、研究者更好地交流和互動。”

寫在最后

關于未來的AI計算領域，盧濤表示，未來會是 “CPU、GPU、IPU并行” 的時代。

“GPU或部分CPU專注于業務場景的實現和落地，而IPU專為AI創新者帶來更多突破?！痹诒R濤看來，不管CPU還是GPU都無法從根本上解決AI問題，因為AI是一個面向計算圖的任務、與CPU的標量計算和GPU的矢量計算區別很大，Graphcore找到了屬于自己的賽道。