研發無透鏡光電神經網絡架構 提升端到端人臉識別隱私保護能力

“無透鏡傳感器，可以輸出無可視化的圖像，具有高隱私、高安全等特性。結合與其配套的光電智能神經網絡，將對大規模、甚至超大規模的智能感知應用，起到重要支撐作用，進而可用于智能安防、智能家居、自動駕駛及其他下一代終端上。審稿人表示這項工作將給光學神經網絡帶來長足的進步。”清華大學電子工程系陳宏偉教授表示。

陳宏偉

無透鏡傳感器模組

近日，該課題組提出一種無透鏡光電神經網絡架構。這是一項從研究伊始便面向工業及邊緣視覺感知的課題，具備較強的應用性。無透鏡光電神經網絡架構可用于機器視覺任務，利用成像光路中插入的無源光學掩模版，在光域執行卷積運算，借此解決了自然場景中非相干光源和寬帶光信號處理帶來的挑戰。

以手寫數字識別任務為例驗證該架構中光學卷積的性能時，使用單核掩模版的手寫數字識別準確率可以達到93.47%。在掩模版上并行排列多核實現單層多通道卷積運算，識別精度可提升至97.21%。相比傳統機器視覺鏈路，可節省大約50%的能耗。

借助該成果，可實現自然光場景下的光電混合神經網絡計算。面向特定任務時，可以聯合優化光電全鏈路，同時實現體積和功耗的極簡化，可使其便于部署在邊緣設備中。另外，無源的光學掩模版不僅可對入射光學場景進行卷積運算，而且還可進行天然的圖像加密，從而形成人眼不可辨認的光場景信息混疊圖像，借此可應用在隱私保護的各種視覺任務場景中。

相比傳統加密解密方式，該方法省略了在傳感器端與服務器端解密可視圖像的步驟，實現了從光學采集到視覺任務完成全過程的隱私保護，可從根本上保障傳感成像隱私性。使用時，用尺寸為不足一厘米的傳感芯片模組直接拍攝人臉，設備端便可傳回此人的身份信息。類似地，也可完成對人臉、動作、表情、姿勢及二維碼等多種特征的識別。

讓光學上無透鏡的編碼真正為任務服務

視覺是人類感知世界的重要途徑，人們也開發了諸多設備來采集視覺信息，比如相機、攝影機等。一般來說在相機架構里，一個精準的透鏡系統、配合后端的感光芯片、以及數據單元，完成數據處理，最終得到一張圖像。

近年來，人們對成像的理解越來越深入，也發展出了多種成像模式，以獲得更多的圖像信息，比如偏振、深度、光譜等。這些信息的獲取可以通過“光學編碼+計算解碼”的計算成像方式來完成。

相比傳統透鏡成像的“所見即所得”模式，計算成像采用“先編碼-再成像-最后解調”的方式，在光學域對圖像進行編碼，通過后端算法的解碼得到質量更高的圖像。可以說，計算成像根本上改變了成像方式，將成像從繁重的透鏡系統中解放出來，在成像系統的小型化上邁出了重要一步。

近年來，計算成像得到了更多應用，比如人臉識別、行人檢測等。各類智能化邊緣設備的興起，對成像系統的小型化提出了更高要求。于是，無透鏡成像應需而生。它的出現，大大地降低了整個系統的體積和重量，為設備部署提供了更多便利。

智能視覺感知的系統，包括光學端成像系統、光電圖像探測芯片、圖像處理芯片、以及執行視覺任務的計算單元。無透鏡成像系統運用了更優異的光學編碼器件，可得到更好的成像效果。其芯片端使用功耗更低、敏感度更高的器件，因此可進行更精準的探測；算法端則配合更龐大的數據集和更高的算力，可得到更準確的分類和識別等結果。

由于各個環節都是獨立優化的，在感存算一體架構中會造成很多冗余。舉例來說，無透鏡系統在整個架構中僅用于成像，其成像質量的評價指標也是針對人眼而制定的。而機器視覺和人眼不同，人眼可理解的圖形對于機器來說未必是最佳。

基于此，該團隊萌生如下想法：為何不直接面向機器視覺的任務，跳過成像的環節、把光路和各個部分級聯優化，讓光學上無透鏡的編碼真正為任務服務，而不再追求人眼看起來的效果？這便是此次成果的研究初衷。

面向機器視覺的任務，跳過成像環節

陳宏偉表示，上述想法和光計算有異曲同工之妙，如果在光上完成計算，而計算本身是直接由任務性能驅動，那么整個系統也就是其所構想的全鏈路級聯優化。以最常見的神經網絡為例，目前有很多全光的神經網絡可以完成視覺任務，比如衍射神經網絡等。

雖然光上運算是并行的，計算速度得到了巨大的提升，并且無額外的功耗。但是，由于衍射神經網絡原理的限制，只能使用相干的單色激光作為光源，盡管可以在光上完成計算，但是無法在自然光場景下應用。

而其他基于光電混合神經網絡的技術，也需要配備透鏡系統完成運算功能，這和邊緣設備的小型化要求也是相違背的。于是，該團隊開始思考：能否搭建一個無透鏡的光電混合神經網絡架構，使其既能在自然光下完成神經網絡功能，又能滿足邊緣設備小型化的要求？

基于上述構思，利用幾何光學理論，課題組探索出在非相干光下，通過無透鏡的掩膜版完成光域卷積運算的方法，實現了低成本的光上特征提取和光學加密，并在圖像分類和人臉加密識別兩個系統架構下完成了驗證。更特別的是，該系統可以在自然光環境下工作，與現有的機器視覺系統可以完美融合。

當人臉信息經過無透鏡系統，可直接得到對應ID

在數據爆炸的今天，人們對于人臉等隱私信息越來越重視，各種信息加密方法應運而生。對比電上計算的加密，光上并行加密運算的無功耗，是一個非常重要的優勢。

因此，該團隊實現的場景是：當人臉信息經過一個無透鏡的系統，可以直接得到人臉對應的ID。整個鏈路實現了端到端的隱私保護，芯片探測到的只是一個人眼根本無法理解的圖像。但其對于機器來說，卻可以輕易識別出的人物身份。此外，前端光學編碼和芯片端只有厘米量級，可以輕松集成于各個邊緣系統中。

2022年5月4日，相關論文以《LOEN：無透鏡光電神經網絡增強機器視覺》為題，發表在《自然》出版的頂級光學期刊上。

對于該成果，審稿人評價稱：“作者提出了一個用于機器視覺任務的無透鏡光電神經網絡。該方法使用無透鏡掩模對光學圖像進行卷積，使用后續的電硬件進行識別。該方法減少了傳統光神經網絡對光相干性的要求，可用于自然場景。光學加密也可用于對于保護隱私的面部識別。這一想法是創新性的，并得到了全面的理論分析和可靠的實驗驗證。”

用無透鏡光電神經網絡架構完成機器視覺任務

據介紹，陳宏偉所領導的課題組在光電子信號處理、集成微波光子學、光子智能等領域關鍵器件和技術、光電系統等方面均有深入研究。

實際上，對于隱私保護的視覺感知，是在該研究開展后才逐步確立的。陳宏偉及團隊成員在實驗中發現，光學域的卷積天然的具有圖像模糊特性，于是突發奇想地討論起來：模糊圖像到底是好事還是壞事？在調研了目前產業界對人臉數據隱私保護的需求程度和現存手段之后，其認為該系統的隱私保護功能在項目落地后會有極大的應用前景。

無透鏡傳感器模組

近年來，光的并行性、高速度和低損耗的優勢被逐漸關注，光學計算被認為可以突破電子計算的瓶頸限制，光神經網絡也逐漸進入了學術界和產業界的視線。國內外的一些研究團隊紛紛展開了對光神經網絡的研究。而在國內，該實驗室也是較早開展光計算的團隊。

陳宏偉關注到，目前的光計算離實用化還非常遙遠，許多關鍵問題并未得到很好解決，比如集成性、小型化、低功耗和易用性等。由于絕大部分光神經網絡計算，需要使用相干激光作為光源，或是基于龐大尺寸透鏡組的光電混合神經網絡，因此難以使用在自然光照場景下的機器視覺任務中，故此也無法部署在自動駕駛、機器人等物聯網外圍設備上。

結合智能社會的發展需求，該團隊提出了本次課題，即用無透鏡光電神經網絡架構完成機器視覺任務。目前，該團隊已經實現光學域上的卷積運算，后續計劃在光計算和整個鏈路的級聯優化上做更為深刻的探索。

首先，他們將嘗試把更多計算放在光域上去完成，進一步降低整個系統的功耗和計算量。具體來說，課題組準備嘗試將非線性材料集成到現有系統上，實現自然光下穩定的非線性運算。完成非線性運算的添加后，就能把單層卷積層擴展為多層，利用光上的并行性完成更多的計算，不僅可以使得計算結果更準確，還進一步降低功耗和計算量。

同時，該團隊在之前的探究中發現，目前成熟圖像傳感器對應的圖像信號處理過程，是一個相對黑箱的過程，中間的很多環節也是分立優化的，并且是以人眼為評價標準，而非面向最終的視覺任務。

故此，該團隊計劃對圖像信號處理過程，進行任務導向性的建模，以去除其中不必要的處理環節，并面向任務重新制定各個環節參數的評價指標，將光學端、芯片端、算法端更加緊密地級聯在一起，從而優化完整鏈路，最終在最大限度上實現功耗節省和性能提升。

未來，該團隊也會在產業化的道路上不斷探索，完成模塊的封裝，并在現有系統的基礎上進一步提升視覺任務性能。同時，也會積極開展校企合作，攻克工程產業化的各種難關，將系統落地、并真正用于智能化設備中，以完成對現有機器視覺系統的改造與升級。