圖像超分辨率技術應用于門禁系統

文/熊鷹 鄭君臨 劉曉蘭 毛文卉

當前，隨著全國疫情防控常態化政策的執行，基于人臉識別的智能門禁系統正在被高校廣泛應用。

在實際應用中，因為師生原始人臉圖像數據通常來源于不同的信息系統，所以圖像采集標準很難做到統一，各類人員的人臉圖像數據質量難以從源頭上得到保證?；A數據中，部分師生的人臉圖像分辨率過低，且不同品牌的智能門禁設備對于人臉圖像分辨率的最低要求也未形成統一標準，最終導致一小部分師生的人臉圖像無法導入智能門禁系統，影響師生正常通行。

通過采用圖像超分辨率處理技術，在后臺將低分辨率的人臉圖像重建為可以滿足要求的高分辨率人臉圖像，于師生無感知的情況下，解決其人臉圖像分辨率低的問題，成為當下高校信息化建設工作的創新點。

技術原理

圖像超分辨率基本概念

目前，圖像超分辨率通過充分利用深度學習技術，大幅提升了重建圖像的質量。圖像超分辨率不是簡單改變圖像尺寸大小，而是在將低分辨率圖像放大到對應尺寸的高分辨率圖像的基礎上，準確預測出低分辨率圖像相對高分辨率圖像所缺失的信息；基于深度學習的圖像超分辨率算法則通過學習訓練多層的神經網絡模型，達到恢復低分辨率圖像中所丟失的信息、復原成高分辨率圖像的目的。

假定原始高分辨率圖像Y，其低分辨率圖像為X，通過圖像超分辨率處理后的高分辨率圖像為Y_SR。圖像超分辨率處理的目標就是通過一定的算法來訓練模型并不斷迭代調優，最終讓Y_SR與原始高分辨率圖像Y盡可能接近?；谏疃壬窠浘W絡的圖像超分辨率算法，本質上都是將低分辨率圖像X經過若干層神經網絡的處理，最終生成超分辨率的圖像Y_SR，而不同算法的區別往往是在神經網絡的內部結構、功能模塊組成以及參數調優方法上的不同。

相關算法

基于卷積神經網絡的圖像超分辨率算法（Super Resolution Convolutional Neural Networks, SRCNN）是深度學習首次在圖像超分辨率問題中的應用。該算法首先對低分辨率圖像進行雙三次插值上采樣處理，將其放大到高分辨率圖像相同尺寸，再利用三層卷積神經網絡這一較為簡單的網絡結構，獲得超越以往傳統圖像超分辨率算法所能達到的最優結果。此后，Wenzhe等人提出了一種全新的高效亞像素卷積神經網絡（Efficient Sub-Pixel Convolutional Neural Network，ESPCN），直接在低分辨率圖像上提取特征，并計算得到高分辨率圖像，不需要將低分辨率圖像通過雙三次插值上采樣來預處理再輸入到網絡中，從而降低了網絡結構的復雜度，提升了圖像超分辨率處理的速度。Bee等人通過改造殘差神經網絡結構，刪除了殘差神經網絡中非必須的歸一化層，并通過擴大模型尺寸來提升結果質量。

采用超分辨率技術處理人臉圖像，不僅能夠放大圖像尺寸，還原圖像信息，還可以在圖像信息還原得足夠豐富的前提下，保障人臉識別的準確率。

方案設計與實現

常規的門禁數據管理方案

如圖1所示，常規的智能門禁人臉圖像數據同步方案首先由基礎數據庫從不同源頭采集各類人員的人臉圖像數據，人臉圖像數據按照統一標準結構化地存儲在學?；A數據庫中。數據共享交換平臺將基礎數據庫中的人臉數據自動、定時地同步到門禁中臺系統中；門禁中臺根據基礎數據庫中同步過來的人員狀態（學生為學籍狀態、教職工為當前在職狀態），以及預先設定的規則，將狀態有效的用戶數據下發到各個樓棟及校門的門禁中。

圖1 人臉識別門禁人臉圖像數據同步方案

基于圖像超分辨率的門禁數據管理方案

如圖2所示，本文對常規的門禁數據管理方案進行了改造，提出一種基于圖像超分辨率技術的人臉圖像閉環管理方案：在所有人臉數據批量導入到智能門禁后臺之前，預先篩選出數據質量不達標的人臉圖像，并對不達標的數據圖像按照特定比例進行圖像超分辨率處理，再對超分辨率處理完的圖像進行二次篩選，直到所有人臉圖像都能夠達到預設的標準并成功導入門禁。與常規門禁數據的更新維護不同，本方案不需要依靠用戶反饋被動發現人臉圖像質量問題，而是通過增加圖像篩選與質量控制模塊、圖像超分辨率處理模塊兩個核心功能，達到主動篩選人臉圖像、自動優化圖像質量的效果。

圖2 基于圖像超分辨率處理技術的門禁數據同步方案

圖像篩選與質量控制

當存儲在基礎數據庫中的圖像分辨率過低，圖像數據無法被正常導入門禁系統，用戶無法刷臉通行時，用戶需要自行找到對應數據源頭管理部門進行反饋。為保證數據準確性，新提交的高分辨率照片通常需要人工審核，審核通過后，才能更新到門禁系統。

基于圖像超分辨率的門禁數據管理方案引入了圖像篩選與質量控制模塊，系統能夠根據預先設置的分辨率最小值來批量自動篩選分辨率不達標的人臉圖像，主動發現質量不佳的圖像數據，并將分辨率達標和不達標的圖像數據分別輸出到不同路徑，大幅降低人工審核工作量。

圖像超分辨率系統

基于PyTorch這一開源機器學習平臺搭建深度學習環境，并基于ESPCN算法訓練得到的神經網絡模型建設圖像超分辨率處理系統。如圖3所示，只需要將低分辨率的圖片作為輸入，放置到對應的路徑下方，即可運用超分辨率系統批量處理該路徑下的所有圖片，并將高分辨率圖片自動輸出到對應的路徑下。

圖3 基于PyTorch的圖像超分辨率系統

應用效果

在實際應用中，華中科技大學于2021年9月中旬采用基于圖像超分辨率的門禁數據管理方案，共篩選出2800余張不達標的人臉照片，并將其以3倍的比例進行超分辨率處理，最終得到的超分辨率照片全部成功導入正在使用的門禁。圖4為2021年網絡與信息化運維系統中“門禁”相關問題的工單數量統計，剔除掉1月、2月、7月、8月寒暑假期間各類問題報修量較少外，自9月采用新的處理方案以來，系統中門禁相關問題咨詢報修數量出現明顯下降，證明應用效果良好。

圖4 2021年“門禁” 相關問題咨詢工單數量統計

基于圖像超分辨率技術的人臉圖像數據閉環管理方案主要有以下三方面優勢：一是能夠主動甄別篩選圖像質量不達標的數據，不再依靠人工反饋被動地發現數據質量問題；二是充分發揮當前先進的基于深度學習的圖像超分辨技術優勢，對質量不達標的人臉圖像中缺乏的信息進行高效而精準的預測；三是在不需要人工干預的情況下自動提升整體的圖像數據質量，大大提升學校師生的通行體驗。