研制新型光子神經網絡 五十萬維向量下載到光學設備直接運行

“光子神經網絡？一個乘法可以用不到一個光子？起初我是不信的，也沒有人做過類似的實驗，但我們還是用很普通的器材做出了大家既沒想到、又認為短期內無法實現的實驗。”

日前，上海交大校友、目前在康奈爾大學做博后研究的王天宇在《自然·通訊》發表了最新一作論文，并擔任通訊作者。論文題為《每次乘法使用小于1個光子的光學神經網絡》。

這是一個光子神經網絡的新成果，但不同于此前芯片類的光子神經網絡，此次技術可直接接收圖像。也不同于其他基于空間光學的光子神經網絡，本次實驗設計能直接接收自然光，并且無需相干光照明。

王天宇

在該研究中，王天宇發現架構矩陣或向量維度可做到將近50萬。在此情況下，要想通過理論預測的功耗極限，每個乘法運算只需要小于一個光子就能進行，這個能耗水平遠遠超越傳統電子計算機的物理極限，可能有四五個數量級以上。

研究中，王天宇的重點在于研究光學神經網絡的能量極限和抗噪性，他認為進一步工程化改造的系統，能作為智能圖像傳感器、深度整合圖像傳感器和處理器。

這些傳感器可用于超低延時圖像處理，比如識別圖像和壓縮圖像，所需硬件數量可被降低幾個數量級，具體應用包括自動駕駛、無人機和機器人等。

相關論文

讓能耗優勢和速度優勢隨網絡擴大而擴大

要想詳細理解此次成果，就得先來聊聊光子神經網絡。

近年來，該領域獲得了長足發展，一方面源于光電硬件集成的成熟，另一方面光學系統的物理特性使得它十分適合計算大矩陣乘法，而這正是許多重要計算應用比如機器學習、優化問題和量子計算的基礎。

相比傳統電子深度學習加速器，光學神經網絡的核心優勢之一在于計算大矩陣乘法的速度，但在實現真正實用化前仍需克服許多工程問題，以達到足夠低的能耗和足夠高的精度。

自2017年起，全球多個課題組都做出了貢獻，包括畢業于麻省理工學院的沈亦晨和馬林· 索爾亞契奇，后來他們創辦了Lightelligence曦智科技。

另外還有同樣畢業于麻省理工學院的尼古拉斯·哈里斯和德克·英格蘭德，他們則創辦了Lightmatter。

加州大學洛杉磯分校的Xing Lin和艾多安·奧茲坎開創了衍射神經網絡，澳洲斯威本科技大學的徐興元和大衛·莫斯則首次達到了GPU的計算速度。

本次工作中，王天宇研究了光學神經網絡走向實用化的一個重要課題：即如何實現極低的能耗極限，以及在此條件下的穩定性。

比起電信號，光信號的根本優勢在于長距離通訊過程中的損耗很低，那么光學信號的傳輸優勢如何轉化為計算優勢？

其實，計算的本質是對比和總結大量不同的信息。當數據量很大時，信息在芯片里傳輸能耗，要遠遠高于信息處理的能耗，此問題在神經網絡應用中尤其突出。

說到這里王天宇打比方稱，神經網絡計算就像大家在一起開學術會議，每個人都有不同的信息碎片，不同的人聚在一起交流信息能產生不同的見解，一開始大家有各種見解，經過充分交流后，合理的觀點漸漸變成主流，直至得出一個能簡單概括事情全貌的結論。

在此過程中，每次信息交流并不需要很久，真正耗時的是把不同人在不同地方聚在一起開會。

正因此，當前主流GPU廠商和深度學習加速器廠商，都在致力于優化芯片的排線，以盡量減少數據的重復存儲讀寫和來回倒騰，原因在于芯片電能消耗和走線長度成正比關系。

而讓光作為信號載體，幾乎能徹底避免該問題，因為光在短距離傳輸中基本是無損的，并能立馬把同一信息傳到成千上萬個處理單元或者進行匯總，這會讓能耗優勢和速度優勢隨網絡擴大而擴大。

那么，上述兩大優勢的極限在哪里？為探索該問題，王天宇用簡單器材做了一個極為精密的實驗。

達到99%的識別手寫數字準確率

鑒于在計算機視覺應用中，神經網絡的輸入數據就是圖像，所以他用2D圖像編碼向量對逐個像素進行調制，最后匯聚到探測器上。

要知道光學計算占總計算的比重99.7%，而正是這個簡單的裝置，可以計算50萬維的向量乘法，且涵蓋絕大多數神經網絡中需要的計算。

實驗中，王天宇用Python機器學習庫Pytorch訓練了一個神經網絡，并下載到光學設備上運行，借此即可達到99%的識別手寫數字準確率，這和電子計算機是一樣的準確度。

訓練過程中，根本無需考慮具體硬件細節，這說明光學神經網絡具備很強的容錯性。此外，他還發現當每個乘法用少于一個光子的時候，該網絡仍能工作。

而且，光子數量越低，光信號噪聲就越大，這意味著光子神經網絡具備很強的抗噪聲能力，而這正是神經網絡作為計算模型的一個特點。

另一處讓人驚訝的是，光子神經網絡識別一個圖像需要進行9萬次乘法和9萬次加法計算，但是總共所需的光能只相當于電子計算機一次乘法的能量。

雖然除了光能以外的總體能耗，在現階段依舊不如純電子處理器低，但是隨著硬件的改進，有望將光學處理器總能耗，降低到比電子處理器低一個、甚至幾個數量級。

事實上對于這一項目，王天宇一開始只是想弄明白光學處理器的根本優勢。期間，他注意到2019年的一篇理論論文，里面論述了光子神經網絡的物理能耗極限可大大低于電子計算，尤其是每次乘法的能耗甚至低于一個光子的能量。

他表示：“這個結論讓人覺得不可思議，但是再仔細一看，我發現要做到這個能耗，需要用上千維的向量去乘矩陣，而現在大多數光子神經網絡做指定計算時，一次只能處理幾十維的向量，有些光子神經網絡可以處理甚至百萬維度的向量，但是這些向量不能人為任意指定，或者需要針對系統進行訓練，這時就不能直接使用標準機器學習庫（比如Pytorch）訓練的模型?！?/p>

至于一個乘法小于一個光子是怎么回事？其實光子當然不可分割，這個是一個平均值的概念，因為有些乘法的乘數是零，所以平均值就能小于1，這說明能耗可被降低到逼近物理極限的程度，甚至還可以繼續降低。

此外他還發現，光子神經網絡本質上有很強的抗噪聲能力，當減少光子神經網絡運算功耗的同時，比如在每個乘法運算小于一個光子時，它的噪聲非常大，但依舊可以穩定工作。

這一發現給實際應用提供了很好的啟發：即盡管因為硬件問題或環境噪聲較多，但依舊能通過系統優化保持高性能信息處理能力。

這篇論文也給了王天宇更多信心，改變了他之前認為光子計算的新潮概念離落地比較遠的想法。通過實驗，他發現該技術具備一定可靠性，有潛力在短期內進行工程實踐，并且實現產業化。下一階段光子神經網絡領域的趨勢是集成化：運算能耗雖然能降到很低，但是運算芯片要做很大，這時尺寸縮小必須經過集成化，這依舊需要很多工程創新。

或將創業以推廣面向圖像領域的智能傳感器

談及曦智科技創始人沈亦辰的成果，王天宇表示沈博士的論文是該領域開山之作，他的工作讓大家第一次認識到光子可用于神經網絡計算，并且沈亦辰團隊基于該技術做了一個原型機，還創辦了公司將技術進行集成化和產業化，以專注于光子芯的研發。

“而我所研究的成果當然也在該領域之內，同時對他們技術研發和產品也很有幫助。在光子芯片的實用化上，人們關心的是到底能把芯片計算的能耗降低到多少，并且在低功耗情況下光子神經網絡是否還能穩定工作？”王天宇說道。

因為光子神經網絡最大賣點在于，它比傳統電子處理器速度快、并且能耗低。但如果光子芯片處理數據能達到一定速度和能耗，需要非常龐大的神經網絡。

因此要想研發相關產品，集成化程度必須非常高。王天宇的研究目的，是想獲悉理論上光子芯片的矩陣列到底可以做多大？以及低功耗極限能做到多低？

目前，曦智科技和其他公司，主要聚焦于光學G P U，即通過光子芯片完成傳統GPU器件的功能。但是王天宇做的研究有一定的區別，其發現在很多應用場景下，神經網絡需要處理的對象就是圖像，比如自動駕駛技術需要大量攝像頭去識別圖像，這些圖像正是以光信號輸入的。

所以，他要做的不只是一個處理器，更多是一個智能傳感器，它能將傳感器和處理器兩個功能合二為一，這里可以理解為傳感器里面有處理器，其好處在于整合了硬件，在降低整體能耗的同時，還能大大降低處理過程的延時。

具體來說，自動駕駛、機器人、無人機等需要很快的反應速度的。例如，特斯拉曾報告該公司的計算機視覺硬件架構的延時極限在150毫秒左右，這個延時大小對于開車來說足矣。但在無人機場景，如此大的延時會極大影響無人機姿態調整的判斷。而如果能把傳感器和處理器進一步整合，即可減少光電轉換和數模轉化帶來的延時。

“就光子神經網絡來說，除了曦智科技的芯片集成化道路之外，還有另外一條道路——利用空間光和波長做光子神經網絡，但是這個技術仍然和圖像處理有關。不過，我們做的和過往技術路線并不一樣。此前可能需要激光去照射物體，然后得到反射進行圖像處理，而我們采用的是物體自身發出的光進行處理，不需要主動探測掃描，這和相機有一點相似?！彼硎尽?/p>

未來，王天宇打算結合傳感器和光學處理器整合的器件，通過光學神經網絡處理器和傳感器做出可實時分析圖像的智能器件，此外他還將研究架構在極低能耗下的表現。從另一角度看，這個智能傳感器可以用神經網絡進行實時圖像處理，而光學模塊就是神經網絡模型中不可分割的一部份，不但能直接利用環境中的光源，而且承擔了重要計算任務。

此外，關于創業的想法，他表示：“如果有可能創辦實體企業的話，我覺得這項工作與曦智科技最大的不同是，曦智科技重點是做運算芯片，而我的工作重點是面向圖像領域的智能傳感器，并能針對不同的應用場景進行圖像處理。事實上，光學處理這個領域很大，有很多的機會等待發掘。”