基于嵌入式視覺識別的透明液體液位實時檢測方法研究

曹承昊，錢炫言，伍哲

（1.海軍工程大學 動力工程學院，武漢 430033；2. 91999部隊）

0 引言

在容器中液體介質的高低叫做液位，使用液位計及其儀表指示可以測量出液體的液位。采用機器視覺的方法來實時監測并識別液位計讀數則可實現液位的遠距離監測、指示、記錄和控制。

隨著計算機及人工智能技術的發展，基于視覺的場景識別方法取得了許多成果，并被應用于在各類液位的識別場景中。劉治鋒[1]應用圖像識別的方法，對采集的水位圖像進行了一系列處理，包括形狀矯正、光強矯正、目標分析、信息過濾、區域定位等，從而實現了水位的自動檢測；任明武等[2]同樣應用圖像識別方法精確地檢測和定位出水位線；在瓶裝液體識別的場景中，黃玲等[3]建立了一種帶標桿的透明瓶裝液體液位檢測系統，有效地利用了液體的折射原理，通過圖像處理確定標桿斷開的位置從而得到液位的高度；同樣采用視覺識別的方式，李寧等[4]也將該技術應用自動讀取水銀溫度計讀數，測量偏差率為0.01 ℃；姚坤等[5]則基于OpenCV開源平臺提出了透明瓶裝無色液體液位的實時監測算法，其相對誤差在0.8%左右。

相對于傳統的圖像識別方法，神經網絡的興起也為基于機器視覺的研究提供了新思路。深度神經網絡模型，特別是深度卷積神經網絡（DCNN）[6]在各種機器視覺的應用中獲得了巨大成功。Laroca等[7]提出了一種利用卷積神經網絡的方法來解決自動抄表的問題；Salomon等引入深度學習方法實現了多刻度盤的識別，識別準確率可達93.6%；陳志恒等[8]采用基于EMD的BP神經網絡對儲油罐的液位進行檢測，識別準確率為99%。

隨著視覺技術的發展，OCR技術、傳統圖像處理技術、神經網絡技術等都得到了廣泛的應用，與此同時各類指示計的自動化識別需求也越來越多，如血管血清液位計的檢測[9]、試管液位檢測[10]、指針式儀表度數識別[13]、飲料灌裝液位識別[12]等。

因此，本文提出一種基于嵌入式環境下視覺識別的透明液體液位檢測方法，主要針對的是玻璃管液位計，例如YWZ系列液溫液位計，在對透明液體進行液位測量的場景中實現實時監測。該方法提出了一種激光輔助方式，基于液體本身的介質反射原理來增強液位面的視覺效果，并在面向嵌入式的應用環境中，采用MobileNets網絡模型來實現圖像的特征提取；最后利用多尺度特征融合的方法實現液位目標的檢測。實驗分析表明，本文提出的方法可有效實現透明液體的液位實時識別，可滿足工業化應用場景下對于該類型液位計進行實時數據監測的應用需求。

1 方法

本文提出的面向透明液體的液位檢測方法，檢測任務中包括液位計檢測和液位位置點檢測。該方法采用多任務學習策略，同時預測液位計輪廓以及液位位置點，在預測液位計輪廓的同時，加入了是否為液位計輪廓的類別識別任務（物體或背景）。 因此最終本方法識別任務包括3項：是否為液位計輪廓、液位計輪廓位置及液位位置點檢測。

由于主要是面向透明液體的液位計檢測，同時考慮到在嵌入式環境條件下計算資源有限的情況，本文提出的檢測方法主要包括以下幾個步驟：1）激光輔助。根據液體介質的光反射原理，利用激光照射來增強液位顯示的視覺效果。2）圖片尺寸調整。將圖像調整為640×640的尺寸，便于統一提取圖像特征。3）圖像特征提取。采用mobileNet網絡模型提取圖像特征，可以同時提取多尺寸的圖像特征。4）目標檢測。利用特征金字塔FPN網絡對各特征層進行獨立預測并實現多尺寸特征融合。5）識別結果輸出。基于多尺寸融合的特征，識別結果輸出包含的三部分任務結果：是否為液位計輪廓、液位計輪廓位置及液位位置，如圖1所示。

圖1 面向多任務的液位位置關鍵點檢測方法

1.1 激光輔助

液位計本身往往是透明的，因此在對透明液體進行液位顯示的時候，通常無法有效地識別液位的位置。黃玲等[3]利用了液體折射的原理根據液面處出現的虛擬斷開的現象來識別液位位置，而這種方式對于環境光線的要求較高。本文考慮到透明液體介質本身的光反射原理采用了激光照射增強的方式，如圖2所示。

圖2 基于激光輔助的液位指示

圖2（a）為透明液體液位在液位計中的顯示圖像，從圖中肉眼較難識別出液位的位置，圖2（b）為采用了激光照射方法后，透明液體液位在液位計中的顯示圖像，可以看出根據激光顏色較容易區分出液位區域，為后續基于視覺的分析方法提供了更加明顯的信號。

1.2 圖像尺寸調整

為了適應并更好地滿足面向圖像的特征分析與提取，本文對所有的分析圖像采用統一的尺寸640×640來進行分析。圖像尺寸的調整方式為按比例縮放，縮放不足部分采用灰色背景填充。部分尺寸調整效果如圖3所示。

(2)硫酸鹽的水溶性是發生TSR反應的重要影響因素，對于能夠啟動TSR反應的硫酸鹽，其溶解度越高，TSR反應速率越快，生成H 2 S越多。

圖3 圖像尺寸調整前后對比

如圖3所示，其中圖3（a）為原始圖像，經過按比例縮放將尺寸統一調整為640×640。由于原圖寬度與高度不同，同時寬度小于高度，因此進行圖像等比例縮放直至將長度縮放到640 px后, 寬度不足，因此將圖像的寬度不足部分用灰色背景補足，如圖3（b）所示。

1.3 圖像特征提取

卷積神經網絡（CNN）已經普遍應用在計算機視覺領域，并且已經取得了不錯的效果。根據近幾年來CNN在ImageNet的表現可以看到，為了追求分類準確度，模型深度越來越深，模型復雜度也越來越高，如深度殘差網絡（ResNet）層數已經多達152層。然而，在某些真實的應用場景（如移動端或者嵌入式設備）中，如此大而復雜的模型是難以被應用的。例如一些嵌入式平臺上的應用（比如機器人和自動駕駛），它們的硬件資源有限，就十分需要一種輕量級、低延遲（同時精度尚可接受）的網絡模型。如果采用CNN會導致模型過于龐大，設備內存占用過大，面臨著內存不足的問題，且無法滿足這些場景對低延遲、響應速度快的要求，所以必須要建立一個小型的神經網絡。事實上在建立小型和有效的神經網絡這一問題中，已經有了一些研究，如SqueezeNet、Google Inception、Flattened network等。大概可分為壓縮預訓練模型和直接訓練小型網絡兩種。

本文采用了由谷歌提出的一種輕量級深層神經網絡MobileNets。MobileNets是基于一個流線型的架構，主要關注優化延遲，同時兼顧模型大小。它使用深度可分離的卷積來構建輕量級的深層神經網絡，它可以將標準卷積分解成一個深度卷積和一個點卷積（1×1卷積核）,如圖4所示。深度卷積將每個卷積核應用到每一個通道，而1×1卷積用來組合通道卷積的輸出。標準卷積的分解如圖4所示。

圖4（a）為標準卷積過濾，圖4（b）是從標準卷積過濾中分解出的一個深度卷積，將每一個卷積和應用到每一個通道；圖4（c）是從標準卷積中分解出的1×1 卷積，用來組合通道卷積的輸出。

圖4 MobileNets對標準卷積的分解過程

本文應用MobileNets對640×640的液位計圖像進行特征提取，分別提取了多尺寸的特征，包括256×256、128×128、64×64、32×32。為了便于表達，將MobileNets每部分網絡層（conv2、conv3、conv4、conv5）的最后一個殘差塊，分別命名為{C2,C3,C4,C5}。

1.4 多尺度特征融合

在使用MobileNets獲取到多尺寸的圖像特征后，我們就可以結合該特征信息進行液位位置的目標檢測。在傳統方法中一般是對頂層特征做預測，而通常情況下底層的特征語義信息比較少，但是目標位置準確；高層的特征語義信息比較豐富，但是目標位置比較粗略，因此多尺寸的特征融合可以使目標檢測更準確。本文應用特征金字塔網絡FPN 來實現多尺寸的特征融合。整體融合預測方法如圖5所示。

如圖5所示，左側為原特征圖，是由MobileNets依次自下而上路徑提取的特征圖，右側新特征圖為自頂向下路徑融合后得到的特征圖。對于每一次的融合過程，先對新特征圖進行2倍上采樣，然后與原特征圖進行橫向連接，依次向下迭代，產生更大分辨率的新特征圖，具體過程為：1）上采樣過程采用簡單的最近鄰插值，使特征圖寬高變為2倍；2）橫向連接時，先對原特征圖進行1×1卷積操作調整通道數至d, 然后與新特征圖進行加法操作，二者通道數均為d；3）對于最頂層的新特征圖，是由原特征圖直接進行1×1卷積操作，調整通道數至d。

圖5 基于FPN特征金字塔的多尺寸融合預測

在通過橫向連接產生所有的新特征圖后，對每層新特征圖再分別使用3×3 卷積，得到最終的特征圖，可以用于后續的預測過程。根據對應關系依次命名為{P5,P4,P3,P2}。原特征圖和新特征圖下標相同時就有相同的分辨率。由于所有層的新特征圖最后會共享使用分類器，新特征圖的通道數均固定為d，文中設置d=256 。

1.5 候選框生成

常用的候選框生成方法是滑動窗口檢測器，通過在特征圖上滑動窗口來檢測目標，對于不同的目標類型，使用不同的窗口類型。以前的滑動窗口方法的致命缺陷在于使用窗口作為最終的邊界框，這就需要非常多的形狀來覆蓋大部分目標。更有效的方法是將窗口當作初始猜想，這樣就得到了從當前滑動窗口同時預測類別和邊界框的檢測器。本文借鑒了這一思路并在此基礎上進行優化，把目標框的回歸和檢測放到一個流程內完成。例如有一個8×8特征圖，并在每個位置做出2個預測，即總共有8×8×2個預測結果。本文中檢測的只有液位計，結合液位計的尺寸和實際實驗結果后，發現生成的anchor box的比例為2:1，這樣設計的目的是為了更好地區分前景和背景以及候選框的回歸，當候選框生成的尺寸大小和實際越接近，模型識別效果越好。為實現對不同尺寸的液位計進行識別，我們采用了2種不同大小的候選框。然后在此基礎上回歸實際液位計的坐標，具體效果如圖6所示。

圖6 基于anchor box的候選框檢測與回歸

1.6 損失函數設計

本任務的損失分為3個部分，分別為分類損失、bbox回歸損失及各液位關鍵點的回歸損失。整體損失函數設計如下式：

1.7 模型輸出

在特征金字塔上有3個檢測分支，分別對應3個步長（stride）：32、16、8。在stride32上一個特性圖（feature map）對應的原圖的32×16的感受野（receptive field, RF），可以用來檢測較大的區域液位計，同理stride16和stride8可用于中等和較小液位計的檢測。默認設置為每個stride對應1個ratio，每個ratio對應2個scale，即每個stride對應的feature map位置會在原圖上生成2個anchor box。

模型的最終輸出包括3類信息：1）識別的對象是否為液位計，其中1表示正例，表示當前識別的對象為液位計，0表示負例，表示當前識別對象不是液位計；-1表示丟棄，即識別失敗。2）識別的液位計位置信息：通過4個坐標點來標記液位計的輪廓框圖。3）識別的液位計液位目標點，識別結果是一個坐標值。

2 實驗結果與分析

2.1 數據準備

本實驗中標注出訓練集867張，測試集100張。針對每一個訓練或測試的圖像標注信息輸出，如圖7所示。

圖7 字符檢測與識別標注數據集示例

圖7（a）為圖像標注的示例，圖像中用矩形區域標注出液位計的區域，同時用點標注出液面的位置；圖7（b）為一個圖像的標注結果數據，其中imagePath代表了圖片的名稱，imageHeight及imageWidth分別代表了圖片的原始高度與寬度；接下來的3個對象point、class和box分別代表了本方法需要識別的3個任務，分別對應的是液位位置目標檢測、圖像前景及背景識別、液位計區域識別。針對Point對象中points代表了液位位置目標的坐標，整體坐標軸原點為圖像的右上角；class對象中type為1代表當前識別的圖像為前景，即識別出的box對象為液位計區域，type為0時代表當前識別的圖像區域為背景，即識別出的box對象為非液位計區域；box對象代表了液位計的區域，由points中4個坐標點來確認。

2.2 結果分析

基于目標檢測生成的網絡模型，將其應用于100篇已經標注的數據集，將模型識別結果與人工標記結果進行比對分析，分析結果如圖8 所示。針對液位位置的識別，誤差范圍在1 cm 范圍內的，準確率可達99%，誤差范圍在0.5 cm范圍內的，識別準確率可達96%。

圖8 液位位置識別誤差分析

3 結論

使用液位計及其儀表指示可以測量出液體的液位，而采用機器視覺的方法來實時監測并識別液位計讀數則可進一步實現液位的遠距離監測、指示、記錄和控制。但液位計本身往往是透明的，因此在對透明液體進行液位顯示的時候，通常無法有效地識別液位的位置。本文提出了一種基于嵌入式視覺識別的透明液體液位實時檢測方法，此方法利用了液體折射的原理根據液面處出現的虛擬斷開的現象來識別液位位置，并采用了激光照射的方式增強，再對圖片尺寸調整，隨即采用輕量級深層神經網絡MobileNets獲取到多尺寸的圖像特征后，應用特征金字塔網絡FPN來實現多尺寸的特征融合，生成候選框，并計算整體損失，最后對識別的對象是否為液位計、識別的液位計位置信息，以及識別的液位計液位目標點三項輸出。通過實驗驗證，針對液位位置的識別，誤差范圍在0.5 cm范圍內的識別準確率可達96%，且誤差范圍越大準確率越高（可達到99%）。該研究結果對玻璃管液位計所在無人場景的數字化轉型應用具有重要意義。