射頻技術輔助的三維視覺識別系統

張 智，劉子瑜，邱靈龍，王楦燁，董 旭

(1.浙江工業大學之江學院信息工程學院，浙江 紹興 312030；2.浙江工業大學計算機學院，浙江 杭州 310023；3.浙江工業大學信息工程學院，浙江 杭州 310023)

近年來，視覺識別被廣泛應用于視覺定位[1]、物品檢測[2]、生物鑒別[3]等。隨著智慧城市化、快遞貨運行業等方向的高速發展，視覺識別應用于機器人代替人工從事重復繁雜的工作非常普遍，且逐漸產生分揀機器人、自動包裝機器人和視障輔助識別等多元化應用。

隨著社會需求的增加，視覺識別的功能與性能也在逐步上升。利用視覺識別技術結合網絡化和信息化的模式實現自動分揀成為安全監控、產品檢查和自動包裝等行業的主要研究和發展方向之一[4－6]。在對物體進行精準操作的應用中，關注物體整體三維形狀是十分必要的。通過單目攝像頭只能做到二維目標識別，部分研究中通過單目攝像頭完成的三維物體識別需要結合圖像處理算法獲取其他信息，實質上識別的圖像還是二維的。視覺識別研究中通常需要多視角或多目攝像頭實現物體在三維空間上的目標識別。如Wiles等[7]提出的從單個和多個視圖預測雕塑的3D表面學習方法中，使用2D剪影圖像仍然受圖像尺寸的限制，而多視圖預測需要合成多個視圖來估計三維。三維目標識別一般具有兩個以上的攝像機[8－9]，隨著大量攝像頭的安裝，監管者需要不斷關注視頻屏幕并從中提取信息，這對于人員來說在耐力和工作強度上都存在挑戰。此外，隨著監控時間的增加，視頻錄像數據的不斷增長對存儲設備的性能提出了更高的要求。

射頻識別(Radio Frequency Identification，RFID)[10]通過射頻信號獲得有關數據，屬于無接觸式自動識別技術，可有效縮短識別目標對象的時長。通過射頻技術與視覺技術融合可以降低數據冗余[11]。但是當前關于RFID與視頻結合的研究更傾向于利用RFID獲取位置信息或者利用相位值這種無線信號的物理層屬性來輔助視覺算法完成目標的定位或追蹤任務[12－13]，沒有充分利用RFID標簽所關聯的物體信息。

在對現有視覺識別技術進行深入研究的基礎上，為了提高識別物體的速度和準確率，本文提出了一種可以在不同場景下通用的射頻技術輔助的視覺識別系統，借助RFID自動識別和動態收集功能，將物體特征數據綁定于RFID標簽作為先驗信息存儲于數據庫，通過讀取物體特征信息可以輔助攝像頭識別物體，以三維立體坐標形式復現物體所在平面的位姿。這樣可以對物體進行綜合判斷，提高原始視頻識別系統的智能性，可以廣泛的應用在未來的自動分揀、視障輔助、機器輔助操縱等場景。本文主要的創新點包括:①提出了一種通用的多傳感器融合的方法，能夠通過采用射頻標簽所關聯的先驗信息輔助不同視覺識別算法。②以Canny[14]和Faster R-CNN[15]兩種算法為例，詳述了如何運用本文方法使用標簽關聯的物體信息作為先驗信息輔助現有視覺算法完成單目三維識別，證明了本文方法的通用性。③對不同物體進行大量實驗，驗證了本文方法的有效性，與使用三維攝像頭、多目攝像頭實現三維識別的視覺算法相比，通過RFID輔助單目攝像頭進行物體識別可以降低復雜度，并提升處理速度，多傳感器的融合提高了識別的準確度。

1 設計原理

本文系統通過RFID標簽標記物品特性，讀取物品的重量、尺寸和材質等先驗信息輔助攝像頭對物體的識別、距離的判斷等操作。如圖1所示為本文系統框圖，系統包含的模塊有:傳感器模塊、控制模塊、傳輸模塊、數據庫。其中傳感器模塊包含RFID單元(射頻模塊)和攝像頭(視頻模塊)，RFID單元由電子標簽、天線和讀寫器組成；以電腦作為控制模塊；傳輸模塊采用RFID讀寫器和攝像頭上的有線網口通信。標簽中的物品信息存儲于數據庫作為先驗信息，方便識別物品時讀寫器讀取數據，減少計算機分析視頻識別物體的時間。

圖1 系統框圖

1.1 射頻識別原理

無接觸式自動識別技術RFID是由RFID電子標簽、讀寫器、天線三部分組成。無源超高頻RFID系統采用的是反向散射調制，如圖2所示，系統運行時，讀寫器發射查詢信號，無源電子標簽獲得查詢信號后，將其中部分信號整流為直流電，用于為電子標簽中的電路提供能量，另一部分信號由電子標簽反射并調制后，將數據反饋給讀寫器。讀寫器的作用是讀寫電子標簽中的內容，天線的作用是在電子標簽和讀寫器間傳送射頻信號(能量和數據)[11]。

圖2 反向散射調制

1.2 視覺識別算法介紹

視覺識別在物體檢測中的應用是機器視覺的經典研究方向之一，主要目的是得到圖像中物體的目標框，以及給出物體的類別。不管是機器視覺中解決物體檢測的基礎方法邊緣檢測，還是更加成熟的深度學習目標檢測算法，都無法做到單目攝像頭的三維目標識別。

邊緣檢測在視覺識別中是十分重要的研究方向，經典的邊緣檢測包括微分法、最優法和擬合法。最常見的是微分法，一般被劃分為一階邊緣算法和二階邊緣算法，如常用的Sobel[16]算子屬于一階邊緣算法，Sobel具有較強的抗噪聲干擾能力，在灰度漸變或者噪聲強的場景中圖像處理效果不錯，但是定位準確度較低。Laplacian[17]和Canny[14]算子屬于比較有名的二階邊緣算法，Laplacian算子在噪聲干擾下容易丟失邊緣梯度信息，因此更為常用的是Canny算子。

在使用Canny算法進行邊緣檢測任務之前，通常使用高斯函數對圖像進行平滑處理，以降低高斯噪聲，并設定分辨率，使得圖像的強度變化能夠更快速被檢測到，這個過程非常有利于檢測到灰度變化最大的邊緣。通過選擇圖像梯度可以定位這些最大邊緣的區域，返回水平梯度值Gx和垂直梯度值Gy。然后計算歐幾里得距離，作為梯度大小G，如式(1)所示。圖像的邊緣往往存在被延伸的情況，只確定梯度值不能很好地確定邊緣，因此有必要確定邊緣方向θ，計算方法如式(2)所示。

但是，Canny算法也存在一些缺點。例如無法識別物體周圍的弱邊緣，或者，由于噪聲的存在，有可能識別出虛假的邊緣。此外，它無法識別出分支的邊緣和一些重要的細節。Canny的漏檢率低于Sobel，但誤檢率更高。

隨著深度學習的發展，物體檢測算法中會加入卷積神經網絡(Convolutional Neural Network，CNN)框架對圖像進行訓練提升識別性能[18]。基于深度學習的視頻識別過程中，首先要使用攝像頭傳感器采集視頻信息，通過嵌入深度學習算法識別、檢測視頻圖像。

普通的識別方法是對單幀圖像進行深度學習表達，單個圖像粒度通過CNN網絡將得到一個輸出，CNN由輸入層、卷積層、歸一化層、池化層和全連接層組成。在靜態的識別過程中，需要提取圖像特征進行學習。而在快速運動的視頻中，為了減輕背景對視頻識別算法性能的影響，需要加強時間域上的學習。因此，為了提高識別精度，在運動量較明顯的視頻識別過程中，CNN網絡可以通過在更深層進行時間卷積，將同一層的參數傳遞給不同時間的同一層網絡。

R-CNN(Regions with CNN features)[19]系列的目標檢測算法一般包含候選區域提取、卷積特征提取、訓練分類器和邊界回歸。前人所提的R-CNN、SPP-Net[20]、Fast R-CNN[21]算法都對CNN在物體檢測上的應用做出了重要貢獻，但是仍然存在特征重復提取、耗時過大的問題。

Faster R-CNN使用了區域生成網絡(Region Proposal Network，RPN)[15]，和之前的R-CNN系列算法有所區別的是在特征圖上進行候選區域提取，而不是在原圖。Faster R-CNN使用預訓練模型訓練后可以得到卷積網絡層VGG－16[22]，輸入圖像至卷積層后能夠在第五個卷積block的第三個卷積層輸出最終的特征圖，然后使用RPN選擇候選區域。結合特征圖和候選區域的輸出結果，并執行感興趣區域池化(Region of interest pooling，RoI pooling)之后在全連接層可以實現目標的識別和定位。相比R-CNN和Fast R-CNN，Faster R-CNN在檢測精度和耗時方面都有所改進，但對于每個目標候選框的計算量還是比較大。

2 射頻輔助的三維視覺識別

本文提出的射頻輔助視覺識別方法是一種通用的三維識別輔助方法，適用于改進任意物體視覺識別檢測算法。本文以Canny邊緣檢測算法和Faster R-CNN目標檢測算法來證明新提出的射頻輔助視覺識別方法的通用性和有效性。

2.1 算法流程

射頻輔助視覺識別程序流程圖如圖3所示。

圖3 視頻識別原理流程圖

首先，啟動攝像頭后，開啟視頻流，然后捕獲視頻的一幀，根據選擇的視覺識別算法對捕獲的圖像進行數據預處理，隨后使用視覺識別算法能夠較好的對物體進行標定。若置信度過低則重新檢測。

在視覺識別過程中，由于相機拍攝畫面的畸變容易造成圖片桶形失真，因此本文采用相機標定算法[23]對圖像進行矯正處理。首先將世界坐標轉化為相機坐標，如式(3)所示，其中(Xw，Yw，Zw)表示某點的世界坐標，(Xc，Yc，Zc)表示該點的相機坐標，R為世界坐標系分別繞X，Y，Z軸旋轉的旋轉矩陣之積。T表示偏移向量。

然后結合小孔成像原理和三角形相似性原理計算二維圖像坐標，關系表達式如式(4)所示:

式中，f為圖像坐標系原點與相機坐標系原點之間的距離，(xg，yg)表示圖像坐標。

最后，通過圖像坐標計算像素坐標，雖然圖像坐標系和像素坐標系都在成像的平面中，但是兩者一般情況下是不垂直的(如圖4所示)，轉換關系如式(5)所示，(u，v)表示像素坐標，(u0，v0)為像素坐標系原點在圖像坐標系中的坐標值，θ為像素坐標系的夾角。

圖4 圖像坐標轉像素坐標示意圖

多目識別系統復雜度較高，而無論用何種單目識別方法得到的結果都是二維的，難以分析物體整體情況，因此本文引入RFID標簽信息作為先驗信息輔助識別物體。視覺識別獲得目標框的同時，也將返回物體的長、寬和高等信息，將其兩兩相乘得到不同面的面積，再將目標框面積與先驗信息計算得出的面積進行比較，設定誤差在某個區間內為同一個面，此時先驗信息中剩余的長(或者寬、高)則為實際的高，得知物體的高后可從目標框的中心點坐標映射出重心坐標，然后以目標框為頂面可以復現出三維物體。以圖5為例，加粗黑線框為檢測到的目標框，返回目標框的頂點像素坐標后，通過左上角頂點像素坐標(x，y，z)計算其真實坐標(X，Y，Z)，如式(6)所示，其中dx、dy、dz分別是指真實距離Dx、Dy、Dz對應的像素距離。通過頂點真實坐標可計算出目標框中心點的真實坐標。由俯視角度得到了目標框的中心點坐標，則以長方體為例，可映射出的重心坐標為。

圖5 識別目標框示意圖

本文以Canny邊緣檢測算法和Faster R-CNN目標檢測算法為例來詳述如何使用本文方法對現有算法進行改進，對Canny和Faster R-CNN的改進分別見2.2節和2.3節。

2.2 Canny的改進算法

當物體檢測過程中采用邊緣檢測算法時，為了盡可能減少噪聲對邊緣檢測結果的影響，采用高斯濾波對圖像進行平滑及過濾噪聲處理。然后計算圖像中不同像素點的梯度強度和方向，圖像邊緣一般會指向各個方向，于是Canny算法使用四種算法來識別圖像中的水平、垂直和對角邊緣。在傳統的Canny邊緣檢測中，偽邊的存在會導致物體尺寸的確定出現誤差[14]，因此基于原始的算法，本文做了如下的改進。

首先對圖像進行平滑時，通過每個像素的水平梯度和垂直梯度的高斯核計算梯度的絕對值，并得到邊緣方向，分別如式(7)和式(8)所示。

本文改進的Canny邊緣檢測方法中，為了消除邊緣檢測引起的虛假響應，采用非最大值抑制，然后采用雙閾值檢測方法進行標定真實邊緣和潛在邊緣，實質是結合了RFID標簽中準確的物體幾何信息和像素信息來確定濾波窗口的權重，像素值越接近幾何中心的像素，則權重越大，數學表達如式(9)所示。

式中，(ui，vj)為當前點的像素坐標，(uk，vl)為幾何中心點的真實坐標，獲取物體幾何信息后由具體的幾何中心計算公式得到。f(ui，vj)和f(uk，vl)分別表示當前點和幾何中心點的像素值。δd和δg分別表示空間距離標準差和灰度距離標準差。由上式可知，若像素值和附近目標點的像素很接近或者差異很大時，難以達到去噪目的，因此需要縮小邊緣的搜索范圍，本文采取減小搜索范圍閾值進行自適應雙閾值，表達式如下:

最后，通過抑制孤立的弱邊緣來完成邊緣檢測。分級后的強邊與弱邊相關聯，通過保留局部極大值和抑制所有其他的非極大值點可以實現將模糊的邊緣轉換成銳利的邊緣。

2.3 Faster R-CNN的改進算法

為了更全面對視覺識別方法進行改進，來展示此方法的通用性，本算法也提供了對目標檢測算法的輔助識別，輸入的數據集標定了RFID標簽中準確的物體幾何信息。由于對于分類較多的目標檢測任務，ResNet[25]模型在精確度和運行速度上都優于VGG模型，因此本文采用的基礎網絡為ResNet－50，預訓練模型選擇ImageNet，且在卷積層中運用ImageNet中的批歸一化(Batch Normalization，BN)方法。訓練迭代輪數為24，初始學習率設置為0.002 5，批大小為6，觀察到訓練集損失發散時降低學習率。

本文為了增強識別精度，改進的方法在原始的Faster R-CNN的RPN架構上引入了特征金字塔(Feature Pyramid Network，FPN)[26]，在每次的卷積下采樣時都生成對應的特征圖，然后通過自頂向下的上采樣方式將特征圖放大，同時語義也越強，這使得網絡更具魯棒性，提高了Faster R-CNN算法對多尺度的小目標的檢測精度。將前后兩種特征圖進行橫向特征融合，可得圖6中右邊的FPN特征圖組。

圖6 FPN結構圖

RPN對特征圖輸出提議框之后，由Softmax模型確定生成的提議框中的候選目標部分，RPN的損失函數如式(11)所示:

式中，Nc表示類別數目，Np表示候選區域中目標的數量，i為候選目標的編號，Pi表示候選目標是真實目標的概率，P′i表示預測正確性標簽，獲取先驗信息計算候選目標的預測框與真實目標框重合面積，當此面積大于等于80%時，P′i＝1，當重合面積小于30%時，P′i＝0。bi表示預測框的邊界參數坐標，b′i代表P′i＝1時的目標標注框邊界坐標向量。λ＝10，是損失函數在訓練總損失函數中占比的平衡參數。

由于RoI Pooling會導致區域錯誤匹配的問題，因此為了提高多層次目標的檢測精度，本文在選擇候選區域之后增加RoI對齊[19]層，替換Faster R-CNN的RoI Pooling層。

3 實驗與結果分析

3.1 實驗環境介紹

本文所提系統基于Python3.6和PaddlePaddle實現，算法采用邊緣檢測Canny算子和Faster R-CNN目標檢測算法。PaddlePaddle用于訓練Faster R-CNN模型并進行數據增強以提高模型準確度，模型使用時需要導入依賴庫paddlex。硬件配置為Intel i7－8700K 3.70GHz CPU和16GB內存，Nvidia GeForce RTX 2080顯卡，Nvidia依賴為CUDA10.0、cuDNN7.5.1。射頻模塊讀寫器由INDY R2000芯片和雙CPU架構設計組成。視頻模塊硬件包括海康威視攝像頭DS－2DC2204IW－DE3/W，該攝像頭可變焦，焦距范圍2.8 mm～12 mm，其使用的圖像傳感器能夠對圖像進行精準的顯示，且具有降噪功能，在對相鄰幀圖像進行比較濾波后，能夠對找出的噪聲點位置進行增益控制，以弱化弱信號圖像的噪聲干擾；支持水平350°無死角監控，通過網口傳輸視頻流，結合物體檢測可實現對物體坐標的精準定位。

本文基于兩種不同的算法進行的對比實驗過程分別包含雙目識別和單目RFID輔助識別兩種不同的識別方式。雙目識別采取如圖7所示的通過兩個攝像頭獲取物體三維信息，其中攝像頭1獲取單個截面目標框，攝像頭2可獲取物體的高度；單目RFID輔助識別方式的測試演示圖如圖8所示，包括RFID讀寫器、RFID天線、帶有標簽的物體和一個攝像頭。圖7中的攝像頭1與圖8中的攝像頭1位置一致，即攝像頭1在雙目、單目的情況下位置一致。

圖8 RFID輔助單目攝像頭識別演示圖

為體現本研究的可靠性及效果，本文以視野范圍左上角頂點處為原點建立三維坐標系，對不同規格的物體進行了不同方位、不同距離的測試，結果表現出物體越小識別誤差越大，因此最終選擇了較小規格的物體識別結果數據進行分析，實物如圖9所示，包括長方體、立方體、直棱柱、平行六面體、球體和圓錐形狀的物體。

圖9 部分測試物體實物圖

3.2 性能評估

雙目識別需要靠視覺識別技術獲取物體的有效信息。而基于RFID技術的單目視頻識別輔助系統中，RFID標簽存有物體實際的先驗信息，通過真實的信息輔助攝像頭識別物體加快了識別速度、減少了估計誤差。

在定位準確度方面，如圖10所示為邊緣檢測實驗的中心距離偏差對比圖，圖11為Faster R-CNN目標檢測實驗的中心距離偏差對比圖。相同尺寸物體基于同樣的環境因素進行測試，由于邊緣檢測比目標檢測算法更易受環境因素的影響，因此定位誤差起伏較大。對比不同形狀的物體的檢測結果，本文通過RFID標簽信息輔助單目邊緣檢測進行三維視覺識別的方法誤差均比雙目邊緣檢測的誤差要小，總體平均降低定位誤差為25.60%。通過RFID標簽信息輔助單目Faster R-CNN進行三維視覺識別的方法誤差均比雙目Faster R-CNN三維識別方式的誤差更小，總體平均降低定位誤差為25.70%。

圖10 邊緣檢測誤差對比圖

圖11 目標檢測誤差對比圖

在識別準確度方面，邊緣檢測能標識物體的邊緣，但得到的結果中目標框會大于物體實際邊緣。目標檢測能準確識別出物體標記好的標簽，但不論是邊緣檢測或是目標檢測算法都會由于環境因素的影響而使得目標框不夠標準，導致返回物體的長、寬和高有一定的誤差，如圖12中實際俯視應該是黃色的框，但是檢測返回的結果卻是紅色的框，這時通過RFID讀寫器讀取物體標簽能得到準確的物體尺寸信息，使得檢測的計算結果更加準確。本實驗中，對于物體三維尺寸信息，邊緣檢測的平均識別誤差為9.02%，目標檢測的平均識別誤差為9.25%，通過從數據庫中獲取讀寫器上傳的真實的物體信息，能去除三維尺寸的識別誤差，有助于未來應用于各種機器，提高機器對物體的準確操縱程度。

圖12 物體識別目標框示意圖

在算法速度方面，運行多目攝像頭進行物體識別，產生的數據量更大，而且需要對多個攝像頭畫面進行關聯分析，算法計算更耗時。單目RFID可以減少視角，利用單目識別出的二維圖形加上RFID標簽關聯的物體尺寸等信息，可以識別出物體的三維位置，并且射頻讀取的速度很快，因此從原理上是能夠提高物體識別的速度的，而且實驗也證實了單目RFID確實提升了識別速度，該方法的代價是在物體上需要貼上電子標簽，將物體的信息與標簽相關聯并存儲在數據庫中，這部分的工作需人工操作。如圖13所示的邊緣檢測識別速度對比圖中可看出在所有的測試中，雙目邊緣檢測所需的時間均高于基于RFID改進的單目邊緣檢測算法，本文在速度上平均提升約32.82%。

圖13 邊緣檢測識別速度對比圖

如圖14所示為目標檢測識別速度對比圖，由于Faster R-CNN計算量更大，加以調用了第三方paddlex依賴庫，在準確度提升的同時會犧牲速率，因此基于RFID的單目Faster R-CNN在速度的提升上更加明顯，速度上提升約48.38%。本文以一個攝像頭代替兩個攝像頭實現三維識別，降低了算法復雜度，提高了識別速度。

圖14 目標檢測識別速度對比圖

4 總結

本文提出了一種通用的射頻技術輔助的視覺識別系統，通過讀取RFID標簽信息輔助單目視覺識別算法識別定位物體，并獲取數據庫中存儲的標簽數據實現三維坐標可視化復現，對今后自動分揀、視障輔助、機器輔助操縱等不同場景的智能化發展具有極大的研究價值。實驗數據證明，針對邊緣檢測算法的輔助識別，本文方法可提高25.60%的定位準確度，降低9.02%的三維尺寸識別誤差，速度提升了32.82%；針對Faster R-CNN目標檢測算法的輔助識別，本文方法可提高25.70%的定位準確度、降低9.25%的三維尺寸識別誤差以及提升48.38%的識別速度。在本文系統的輔助之下，視覺識別效果能得到整體的提升，后續工作將繼續優化識別的準確度，使得本系統能夠復現不規則物體的三維圖像。