基于小樣本深度學習的通風柜櫥窗狀態識別方法

馬振偉， 何高奇,2， 袁玉波

（1. 華東理工大學信息科學與工程學院，上海 200237；2. 華東師范大學計算機科學與軟件工程學院，上海 200062）

化學實驗室的安全管理一直是廣大科研機構關注的重點難題。近年來發生的一些安全事故的主要原因之一是實驗室人員離開實驗室或者下班后未關閉通風柜櫥窗，導致一些長時間加熱的設備過熱，進而造成火災事故，輕則造成設備、財產的損失，重則導致人員的傷亡[1]。同時由于通風柜櫥窗內通風排風系統均按照通風分壓傳感器進行設備的開啟和關閉，櫥窗不按照規定關閉也造成了大量的能源浪費。因此，對于通風柜櫥窗的安全管理是實驗室安全的重要一環，準確地識別通風柜櫥窗的開閉狀態，能夠有效杜絕火災等事故發生并減少能源浪費。

目前對通風柜櫥窗狀態識別的研究較少，較為相關的研究是關于門窗狀態的檢測，主要是通過檢測傳感器及各類電子控制系統來進行。文獻[2]提出了一種用于檢測汽車車窗開閉的系統，通過可編程邏輯單元以及RS232 通訊接口對車窗開閉狀態進行檢測。文獻[3]設計了一種家用門窗自動開關控制系統,利用CAN 總線作為通信總線與PC 機進行門窗開關狀態信息的傳遞。該類方法雖然識別準確率較高，技術較為成熟，但不適用于通風柜櫥窗安全管理，主要有以下兩方面的原因：（1）需要對現有通風柜櫥窗進行改造來安裝上述電子控制系統，安裝難度較高[4]，并且化學實驗設備有安全要求，肆意改造會造成潛在的安全風險。（2）無效識別次數過多。使用電子控制系統雖然能夠識別櫥窗狀態，但當實驗人員在場時都是無效識別，故需要增加額外的人員檢測傳感器等，使問題復雜化。

隨著人工智能的快速發展，將計算機視覺技術用于多種目標的開閉識別已成為可能。文獻[5]提出了基于圖像處理的電氣控制柜開關識別系統，對電氣柜圖像采用陰影去除、二值化等預處理方法結合方向灰度特征進行開關狀態識別。文獻[4]設計了基于視覺的電梯轎廂門狀態識別系統，在嵌入式Linux 系統上實現圖像采集、圖像預處理,采用基于Hough 線變換算法來實現開關門狀態監測。與電子控制系統相比，基于計算機視覺的櫥窗開閉識別具有3 個方面的優勢：(1)非接觸性。無需改造現有通風柜櫥窗，因此不會產生櫥窗自身的安全隱患。(2)擴展性強。支持通過不同算法實現通風柜櫥窗狀態識別和人員檢測，無需裝配新的傳感器硬件，并且方便擴充新功能。(3)可追溯性。通風柜櫥窗如未關閉，可以通過截圖保存實時狀態，作為事故追責的有力證據。此外，由于視頻監控設備的普及，利用實驗室現有的監控設備，可以進一步降低經濟成本，避免重復投資。然而，由于通風柜櫥窗中實驗設備類別較多，因此很難設計出類似文獻[4]的有效人工特征。

卷積神經網絡能夠自動從大量數據中學習到有用的特征表示，有效地解決了傳統方法的弊端，但該方法需要大量的圖像及對應的標注。與通用目標識別數據集如ImageNet[6]的目標類別(人，動物，車等)不同，通風柜櫥窗一般存在于大學及研究機構，并且一個機構中的櫥窗數量有限，若構建一個有1 萬張圖像以上規模的通風柜櫥窗數據集需耗費大量人力。因此，本文針對現有電子控制系統改造成本高、櫥窗特征難以提取和櫥窗數據樣本量少等問題，提出了一種基于小樣本學習的通風柜櫥窗狀態識別方法。利用視覺運動特征提取櫥窗區域，然后訓練改進的多尺度空洞原型網絡，用于通風柜櫥窗狀態的準確識別。同時，設計了櫥窗狀態識別的平臺架構，在中科院上海有機所進行了應用部署與識別優化。

1 相關工作

1.1 卷積神經網絡

自2012 年AlexNet[7]在ImageNet 數據集中取得巨大成功后，卷積神經網絡獲得了廣泛的關注。文獻[8]探索了卷積神經網絡中深度和性能之間的關系，通過反復堆疊3×3 小型卷積核來獲得增大的感受野，構建了16 層用于分類的VGGNet。文獻[9]基于稀疏結構提出了InceptionNet，利用1×1卷積核自然地將同一個空間位置中相關性很高的特征結合起來，并通過22 層的深度超越了VGGNet。文獻[10]提出了152 層深的ResNet，采用跳躍連接構建了殘差塊，解決了層數過深導致的梯度消失問題。

卷積神經網絡除了在網絡層數上的改進之外，研究者對于卷積運算也進行了多種改進以適應不同的任務。文獻[11]提出了轉置卷積運算，將傳統卷積進行轉置得到了可用于上采樣運算的卷積核，取代了傳統上采樣中使用的插值方法，能很好地運用于場景分割、生成模型等領域。文獻[12]提出了一種基于深度可分卷積的MobileNet，通過將傳統卷積分解為深度卷積和1×1 卷積的方式，大幅降低了卷積模型中的參數量和計算量，在不降低模型性能的前提下實現效率提升。文獻[13]提出了一種用于圖像分割的空洞卷積網絡，相對于傳統卷積神經網絡對圖像進行先卷積后池化所導致的信息損失問題，空洞卷積通過對卷積核進行擴張，在增大感受野的同時保證了信息的完整性，提取出的特征更為魯棒。

1.2 小樣本深度學習

深度學習的成功很大程度上歸功于大量有標簽的數據集。然而許多實際任務中，可用的標簽樣本數量有限，因而研究者們利用小規模的樣本數量開展目標任務的深度學習。樣本數量的規模與任務相對應，一般在10～102數量級。

文獻[14]提出了一種用于小樣本學習的孿生網絡，通過組合方式構造不同的成對樣本對孿生網絡進行訓練，在最上層通過樣本對的距離判斷它們是否屬于同一個類，并產生對應的概率分布。相比孿生網絡，文獻[15]提出了一個新的匹配網絡，為支持集和查詢集構建了不同的編碼器，最終分類器的輸出是支持集和查詢集之間預測值的加權求和。該方法在匹配網絡建模過程中使用了記憶和注意力機制，使模型的訓練速度加快，并且符合傳統機器學習中訓練和測試過程一致的原則。匹配網絡在框架設計以及速度上優于孿生網絡，并取得了更高的準確率。文獻[16]對匹配網絡進行改進，提出了原型網絡，其核心在于計算支持集在嵌入空間中的原型，然后通過度量測試圖像到原型的距離來進行分類。原型網絡選用歐式距離來代替匹配網絡中的余弦距離，取得了顯著優于匹配網絡的實驗結果。

2 通風柜櫥窗狀態識別平臺框架

2.1 任務定義

通風柜櫥窗狀態識別的任務定義如下：對于每一間實驗室，若有實驗人員在場則不需要對櫥窗的開閉狀態進行識別；若實驗人員離開超過t 分鐘，則對該實驗室中的第 1 ,2,···,n 個通風柜櫥窗的狀態進行識別，對未按規定關閉到位的櫥窗進行拍照存檔及通知警報。

2.2 技術方案

通常一個研究機構里有許多實驗室，并且已經部署了許多視頻監控設備。考慮到監控設備的可重用性以及降低監控設備硬件上構建的復雜性，本文將通風柜櫥窗安全管理系統構建在云平臺上，監控端只需發送抓取的畫面到云平臺上即可進行識別。采用這樣的架構可以方便地適配各類已安裝的監控設備，大大提升了本文方案的普及能力。

本文設計的通風柜櫥窗狀態識別平臺系統架構如圖1 所示。平臺分為監控端和服務端兩部分，監控端的功能是將實時視頻流發送到服務端；服務端包括配置階段和識別階段，并根據所處階段執行不同的功能。

實驗室監控設備抓取的圖像通常不僅包括通風柜櫥窗區域，還包括實驗臺、實驗器材等無關區域。這些無關區域會增加輸入數據的噪聲，影響最終櫥窗狀態識別的準確率。因此，配置階段需要對實驗室中每個需要進行狀態識別的櫥窗位置進行提取，為避免人工定位帶來的錯誤與不便，本文利用運動特征與幾何先驗知識進行實驗室通風柜櫥窗區域的提取。

在識別階段，首先通過改進的人員檢測方法判斷實驗室中是否有人，有人員時無需進行櫥窗狀態識別，無人員時通過小樣本深度學習方法對通風柜櫥窗的狀態進行識別，進而判斷是否需要拍照存檔并發出警報，該策略可以大大減少識別算法的運行次數，提高服務端的利用率。

3 通風柜櫥窗區域提取與人員檢測

3.1 通風柜櫥窗區域提取

3.2 人員檢測

Yolov3[19]是一種先進的實時目標檢測方法，但依然存在漏檢和誤檢情況。本文利用高斯混合前景模型對其進行改進以適用于實驗室環境。

首先，通過高斯混合模型對場景進行前景建模。設{I1,I2,…,It}為任意一個像素點{x,y}從1 時刻到t 時刻的灰度值，則t 時刻像素{x,y}屬于背景的概率如下：

圖1 通風柜櫥窗安全管理平臺系統架構Fig. 1 System architecture of fume hood safety management platform

4 通風柜櫥窗狀態識別

4.1 基于小樣本學習的通風柜櫥窗狀態識別

4.2 基于多尺度空洞卷積的原型網絡

在小樣本學習的過程中，首先需要將一幅W×H×C 維的櫥窗圖像轉換為一個M 維的特征表示，然后才能計算每種狀態的原型，因此，轉換模型結構的好壞直接影響到最終的預測效果。相比于直接使用多個全連接層對圖像進行特征轉換，原型網絡使用了全卷積的方式，利用卷積層的權重共享特性大幅減少參數量，加快了檢測速度。然而，原型網絡是基于手寫字符數據集提出的網絡模型，手寫字符的尺度相對較小，一般在28×28 像素左右，而櫥窗的尺寸在全高清(1 920×1 080)分辨率下約為400×300 像素。因此，需要對網絡結構進行改進以提取出較大尺度圖像的特征表示。本文利用空洞卷積(Dilated Convolution)[13]來改進傳統的卷積方式，能夠有效地擴大對圖像的感受野，提取更為全局的特征，二維空洞卷積的公式定義如下：

其中：x(m,n)是輸入張量；w(i,j)是一個M×N 的過濾器；y(m,n)是經過空洞卷積后得到的張量；參數r 表示空洞率，其值越大，對圖像的感受野越大。

本文利用InceptionNet 的思想改進ProtoNet，提出了多尺度空洞卷積的原型網絡(DProtoNet)，通過設置不同的空洞率來得到多尺度的感受野，進一步提高特征的魯棒性。圖2 所示為DProtoNet 的網絡結構。網絡前4 層是Inception 層，每層包括3 個不同空洞率的空洞卷積并進行深度連接，后3 層為卷積層。在網絡的每一層后，依次進行批標準化、Relu 非線性激活和步長為2×2 的最大池化。網絡中的所有卷積核尺寸均為3×3，圖像輸入尺寸為128×128×3，使用隨機梯度下降(SGD)作為訓練時的優化算法。

5 實驗與結果

實 驗 的 硬 件 環 境 為Dell T7810，Intel Xeon E5-2630 V4 2.20 GHz，32 GB RAM，顯卡為NVIDIA Quadro M4000。實驗代碼基于Python 3.6 實現，小樣本學習DProtoNet 及對比的卷積神經網絡采用開源深度學習框架Pytorch 實現，對比的機器學習方法采用開源庫opencv 與sklearn 實現，使用集成開發環境Spyder進行編碼測試。

5.1 實驗數據

本文收集并構建了一個包含300 張櫥窗圖像的數據集且進行了標注。其中櫥窗圖像采用2.1 節中的櫥窗區域方法從監控圖像中進行定位裁剪得到。狀態為開的圖像共147 張，狀態為關的圖像共153 張。利用水平和垂直翻折對數據集進行增強，將原始數據集擴充為原來的4 倍，使用留出法進行交叉驗證，隨機提取其中的960 個樣本作為訓練集，剩余的240 個樣本作為測試集。

5.2 評估方法

實驗采用分類準確率Accuracy=n'/n 來衡量算法的性能，并將本文方法與多種識別分類算法進行比較。其中，n'為測試集中預測結果與真實結果一致的樣本個數，n 為測試集的樣本總個數。分類準確率越高，則算法的性能越好。

5.3 實驗及結論

為了證明本文算法的有效性，分別與支持向量機(SVM)、隨機森林(Random Forest )和卷積神經網絡(CNN)的識別結果進行了比較。由于機器學習算法的性能與特征提取的好壞有很大的關聯，因此從紋理、降維、顏色、形狀等方面選取了局部二值模式(LBP)、主成分分析(PCA)、顏色直方圖(ColorHist)、方向梯度直方圖(HOG)作為分類特征進行實驗。實驗結果如表1 所示，本文提出的DProtoNet 算法通過對訓練數據的多輪學習準確率可以達到99.29%，比傳統方法中效果最好的HOG 結合Random Forest 的準確率提高了17.17%，說明通過深度網絡學習得到的特征，其魯棒性要優于傳統人工設計的特征；比直接使用卷積神經網絡的準確率提高了10.95%，說明基于小樣本的深度網絡學習方式效果顯著，適用于本文樣本量不足的應用場景；比原始的ProtoNet 提高了1.97%，說明多尺度空洞卷積的使用能夠提取到不同感受野組成更為魯棒的特征，取得了更好的實驗效果。

圖2 多尺度空洞原型網絡架構Fig. 2 System framework of DProtoNet

表1 不同方法的準確率對比Table 1 Accuracy of different methods

圖3 展示了一些實例樣本，包括櫥窗不同程度的開、閉情況，以及算法的預測結果。針對前8 個實例，本文方法能夠準確識別櫥窗的開關狀態識別。在櫥窗內化學品種類密集、櫥窗邊緣干擾以及櫥窗部分被遮擋情況下，本文方法依然給出了正確的結果，魯棒性很高。然而本文方法在某些邊界條件下會出現誤判，如圖3 中的實例9。在該實例中，櫥窗未關閉完全，但出現了關閉狀態下的特征域，因此算法基于學習的信息判斷櫥窗狀態為關閉，導致了誤判，但是，在數據集以及實際使用過程中，這種情況發生的概率很低，不影響系統的實際應用效果。

在實際應用中，光照變化是影響圖像算法性能的一個重要因素，為了實現全天候的化學實驗櫥窗安全管理，需要對不同光照條件下的櫥窗圖像進行實驗。由于采集條件的限制，實驗通過對比度變換(H,S,V)=(H,SRandom(β,γ),VRandom(β,γ))來 改 變 圖 像 的 光 照 情況。先將數據集中圖像的顏色空間從RGB 轉換到HSV，然后對飽和度S 和亮度V 通道進行指數運算，指數因子(β,γ)為對比度變化范圍，Random 函數表示隨機選取范圍中的一個浮點數。實驗中，設β=0.25，γ=4.0。圖4 展示了不同指數因子α 下的櫥窗圖像，可以發現，使用該指數因子范圍可以覆蓋不同時段的櫥窗光照狀態。

實驗結果如表2 所示。本文提出的DProtoNet方法在不同光照條件下取得了95.74%的準確率，比傳統方法中效果最好的HOG 結合Random Forest 的準確率提高了23.18%；比直接使用卷積神經網絡的準確率提高了18.49%，比原始的ProtoNet 提高了1.31%。此外，對比同一種方法在表1 和表2 中的準確率，發現本文算法的準確率變化為3.55%，低于HOG 集合Random forest 的9.56%和卷積神經網絡的11.09%。

圖3 樣本實例預測結果展示Fig. 3 Demonstration of sample prediction results

此外，針對本文提出的多尺度空洞網絡，進行了消融實驗，采用4 種不同的空洞率組合來驗證多尺度空洞率的有效性，結果如表3 所示。從結果中可以看到，多尺度空洞率有效地提高了準確率，但是使用過多的尺度組合的提升效果有限，并且會增加網絡參數數量，增加識別時間，因此最終選擇1、2、3 的空洞率組合作為實際應用。

圖4 不同指數因子的光照變換Fig. 4 Illumination transformation with different factors

表2 光照變化下的準確率對比Table 2 Accuracy under illumination changes

表3 不同空洞率組合下的準確率Table 3 Accuracy under different dilation rate combination

6 結 論

本文針對通風柜櫥窗安全管理問題，提出了基于小樣本深度學習的櫥窗狀態識別方法。利用運動特征及幾何先驗提出了櫥窗區域提取算法，避免了無關因素對櫥窗狀態識別的影響。利用改進的目標檢測算法來確定實驗室內是否有人，減少了無效的櫥窗識別次數。本文提出的多尺度空洞原型網絡（DProtoNet）充分利用了空洞卷積及小樣本學習的優勢，能夠對有限的櫥窗圖像數據進行有效學習。實驗結果表明：本文算法不僅在正常條件下準確率明顯高于傳統方法及卷積神經網絡，在光照變化條件下也可以取得較高的準確率。下一步工作將嘗試引入更多的干擾因素，進一步提高模型的魯棒性。