強光干擾下基于多目視覺交叉注意的物體識別系統

徐小偉 邢 凱 趙浩蘇 梁 科

1(中國科學技術大學軟件學院 江蘇 蘇州 215123)2(中國科學技術大學計算機科學與技術學院 安徽 合肥 230026)3(西安鐵路信號有限責任公司 陜西 西安 710054)

0 引 言

隨著物聯網和人工智能的快速發展，各類智能設備在生產生活中開始扮演重要角色，如自動駕駛汽車、服務機器人、工業機器人等。這些智能設備的視覺感知尤其是物體識別能力，在其對周圍環境感知學習的過程中往往會起到關鍵作用。這促使機器視覺尤其是物體識別研究成為當前重要研究方向之一。

基于機器視覺的物體識別是指利用計算機視覺、模式識別等技術，自動識別視覺中存在的一個或多個物體，廣義擴展的話還包括對物體進行圖像區域和空間定位等?；跈C器視覺的物體識別研究從最早的模板匹配[1]、Booting算法[2-4]、支持向量機[5]發展到現在所廣泛使用的深層神經網絡方法[6]，其圖像特征抽取方式也從傳統的手工設定到基于模型的半自動化提取[7-13]，演變為如今的自動學習方法[14-20]。

隨著計算機算力的大幅度提升和大規模數據資源的成熟可用，基于深度學習的機器視覺物體識別技術發展迅速，其在現有的大規模數據集上，如ImageNet[21]、PASCAL VOC[22]、Microsoft COCO[23]，均取得了較好的識別效果。深度學習網絡按使用途徑一般可分為：(1) 直接訓練并識別，在待分類的數據集上直接訓練一個深層神經網絡，例如VGG-16[24]，GoogleNet[25]等；(2) 特征抽取+組合模型，深度學習網絡用作特征提取器，在已訓練好的網絡上提取特征，提取的特征可以用做其他的后續操作。

近年來隨著物體識別領域的新技術不斷涌現，新的研究問題也不斷被提出。其中一個吸引了眾多研究者注意的問題是，生產生活環境中各種光線干擾和復雜背景干擾，如自動駕駛中來往汽車遠光燈干擾等，會對物體識別的準確性和健壯性帶來極大挑戰。如果要讓智能設備參與到人們生產生活中的各種場景，其必須擁有認識所處環境的能力。那么如何解決各種光線干擾/復雜背景干擾下物體識別的準確性和健壯性，是當前基于機器視覺的物體識別領域亟需解決的問題。

同時，考慮到視覺/光線干擾和復雜背景干擾的場景紛繁復雜，建立這樣一個數據集所需要的數據量會大大超過ImageNet，從成本、時間和可行性上都具有極大挑戰。本文的研究目標是，如何在強光干擾/復雜背景干擾環境下，在不額外增加海量干擾環境訓練數據的前提下，實現健壯的、高準確率的物體識別。

目前在強光干擾/復雜背景干擾下的物體識別研究工作主要是基于注意力的細微特征區分和基于多視角的目標檢測。注意力機制[26-27]往往用來區分細微特征，這在解決背景干擾問題中具有重要意義，但是并沒有證據表明其適用于強光干擾環境。多視角技術[28-29]一定程度上可以解決強光干擾、視角變化、背景淹沒導致物體識別準確率下降的問題，但目前這個方向的研究多聚焦于特定目標檢測，不適用于通用物體識別。理論上通過擴展目標種類的訓練數據集可以解決干擾問題。然而，考慮到物體種類、背景干擾場景和強光干擾場景的多樣、復雜性，制備一個完備的用于訓練和測試各類干擾場景下各類物體識別的數據集是極其困難的。

本文根據仿生學的進展[30-33]，借鑒了生物復眼視覺系統具有多子眼、子眼結構簡單、三維信息豐富的特點，提出了一種基于多目視覺交叉注意的物體識別方法。該方法基于子眼間的交叉注意提高物體識別準確率，并對識別結果存在潛在沖突的多目數據進行全局融合，有效解決了強光、背景等干擾問題。

本文貢獻如下：

(1) 提出了一種不需要構建海量強光/復雜背景干擾訓練/測試數據集，能夠融合現有物體識別算法和多目視覺優點的物體識別系統，為當前強光干擾和復雜背景干擾場景下的研究推進，特別是從特定目標檢測到通用物體識別的研究提供了新的思路；

(2) 提出了一種多目視覺交叉注意方法，通過子眼間交叉注意來提高物體識別準確率，提高了在強光、復雜背景等干擾下物體識別的準確率；

(3) 基于證據融合理論，提出了一種針對子眼間識別結果存在潛在沖突的多目數據融合方法，提高了在強光、復雜背景等干擾下物體識別的查全率和準確率；

(4) 實驗結果表明，與現有物體識別算法Faster R-CNN,SSD512,YOLOv2相比，本系統能顯著提高在強光、復雜背景干擾下物體識別的查全率、準確率和可信度。

1 相關工作

面向強光干擾環境的多目視覺的物體識別的相關工作劃分為兩個部分：物體識別和復眼系統。

1.1 物體識別

物體類別檢測一直是計算機視覺的研究熱點。隨著深度學習的發展，傳統的物體識別算法慢慢退出歷史舞臺。文獻[34]提出了OverFeat特征提取器，綜合了識別、定位和檢測任務，訓練了兩個CNN模型，一個用于分類，一個用于定位。OverFeat在輸入圖像上使用滑動窗口策略，通過使用分類CNN模型確定每個窗口中物體的類別，然后使用相應類別的定位CNN模型預測物體的候選區域，并根據分類得分合并每個類別的候選區域獲得最終的檢測結果。Ross Girshick提出的R-CNN[35]使用選擇性搜索策略代替滑動窗口機制提高了檢測效率。R-CNN使用選擇性搜索策略在輸入圖片上選擇若干個候選區域，使用CNN對每個候選區域提取特征并輸入到訓練好的SVM物體分類器中，以獲得候選區域屬于每個類別的分數，最后通過非最大抑制方法丟棄部分候選區域，得到檢測結果。受到R-CNN目標識別框架的啟發，Kaiming He提出的SSP-net[26]對整幅圖像進行卷積運算，得到整幅圖像的卷積特征，然后根據原始圖像中每個候選區域的位置，提取卷積特征圖中的卷積特征送入分類器。SSP-net解決RCNN需要對每個候選區經行卷積的問題。在fast-RCNN[27]中，Ross Girshick僅對候選區域進行標準分割，然后直接降采樣得到特征向圖，將邊框回歸和分類任務統一到一個框架中，解決了SSP-net和RCNN網絡復雜的訓練訓過程同時提高了識別精度。Ross Girshick針對選擇性搜索策略計算速度慢等問題，創建了區域推薦網絡替代選擇性搜索算法來選擇候選區域，實現了端到端的計算，把所有的任務都統一到深度學習的框架下，大大提高了計算速度和精度，這就有了著名的faster-RCNN[28]物體識別網絡，其平均識別精度MAP(mean average precision)高達73.2%。盡管faster-RCNN物體識別網絡在計算速度方面取得了長足的進步，但仍不能滿足實時檢測的要求。因此，基于回歸的方法直接從圖片中回歸物體的位置和類型被提出。具有代表性的兩種物體識別網絡是SSD[18]和YOLO[19]。YOLO暴力的將輸入圖片劃分為7×7個網格代替區域推薦網絡，將物體檢測視為回歸問題，使得系統處理時間得到大幅提升，在GPU上每秒處理45張圖片。SSD使用回歸方法來檢測物體，同時引入Faster R-CNN的archor機制使物體的分類精度和定位有了很大的提高。

1.2 仿生復眼系統

自然界中大多數昆蟲都有一個或多個復眼作為其視覺器官。復眼由不定數量的子眼構成，通常位于昆蟲的頭部突出位置。不同昆蟲的復眼子眼數量差別很大，從最少幾個到最多數萬個不等。昆蟲的敏捷性離不開復眼對環境的感知，有些昆蟲的視覺范圍可達到360度，具有廣闊的視野。成千上萬的子眼同時工作，使其可以快速察覺周圍環境的細微變化，并作出反應。學術界、工業界的放聲復眼分為二維(2D)平面結構和三維(3D)曲面結構[32-33]。在2D平面結構復眼系統方面，文獻[36]提出的TOMBO復眼成像系統,具有易于組裝、結構緊湊等特點。經過多年的發展，文獻[37]使用光刻膠技術制作的微透鏡陣列成功搭建了仿生復眼成像系統。張洪鑫等[38]提出了單層和三層兩種曲面復眼成像系統，采用三層曲面復眼成像系統有效提高了邊緣成像質量差、視野小等問題。Floreano等[39]研究并生產了一種新型仿生復眼成像系統CurvACE，該系統創造性地利用平面微透鏡陣列來構建曲面復眼，從而實現大角度成像，視場角度能夠達到180°×60°。復眼在獲取準確的三維信息問題上有著優異的表現[32]，文獻[40]模擬復眼功能，使導彈獲得目標的三維空間位置信息。復眼在智能機器人的視覺導航中扮演者重要的角色[41]。智能機器人的視覺系統可以準確地感知周圍環境中物體的位置，因此可順利穿行于有障礙物的環境中。

2 多目視覺系統設計

當前物體識別研究所用的數據集，往往是具有較少干擾的圖像數據，這就導致了其上訓練的物體識別算法在強光干擾或者復雜背景干擾下的識別準確率會明顯下降。

本文原理設計的出發點是從生產生活環境中各種光線干擾和復雜背景干擾出發，基于多目間豐富的幾何三維信息和各子眼視覺結果互為冗余的特點，在強光干擾、視角變化、背景淹沒等情況下提高物體識別的準確率和查全率。

2.1 交叉注意原理設計

本文通過各子眼的空間幾何關聯和立體視覺來計算指定區域中特征點的空間三維坐標和其在不同子眼圖像上的投影。

2.1.1 子眼模型

子眼相機將三維空間中的坐標點(單位mm)映射到二維圖像平面(單位像素)，用子眼相機模型可以對其建模，子眼相機投影模型如圖1所示。

圖1 子眼相機投影模型

空間點P在相機坐標系o-x-y-z中坐標設為[x,y,z]，經過小孔投影后落到物理成像平面Z=1上，在像素坐標系上的坐標為Puv=[u,v]，坐標關系為式：

(1)

式中：K為相機內參數矩陣，為固定值，通過相機標定可以獲得其值。在歸一化平面Z=1上，點P歸一化的相機坐標為Pc=[X/Z,Y/Z,1]T。

2.1.2 交叉注意機制

視覺注意是人類信息加工過程中的一項重要的信息感知機制，它能夠對有限的信息加工資源進行分配，使感知具備選擇能力[42]。人眼的注意力機制保證了人眼信息獲取的高效性。人眼在從寬視野聚焦到感興趣區域時，可以觀察到更多的細節。

本文通過各個子眼在不同視角下的圖像特征提取與匹配，得到各子眼可能的交叉注意區域，交叉注意系統模型如圖2所示。

圖2 交叉注意系統模型

其具體流程如下：對同一場景下不同子眼采集的圖像，各子眼對其進行特征提取，對同一特征，通過驗證其空間一致性可以增強檢測的置信度。當某一子眼或部分子眼受光照或背景干擾強烈時，通過其他子眼的特征提取結果和當前視角，集中注意力到指定區域進行特征提取，以提高物體識別準確率和查全率。

給定子眼1在其圖像1中獲取該圖像中的特征點，基于子眼1和其他子眼的空間3D位置關系，可以計算其他子眼在子眼1的視角下的投影，并與子眼1圖像中的特征點做匹配。對未匹配的特征點所在區域進行圖像增強后進行特征抽取。基于已匹配的特征點和交叉注意后提取出的特征點，子眼1可以利用現有物體識別的深度網絡模型進行識別。

2.2 多目視覺物體識別系統設計

本文的多目視覺系統由四個子眼模塊組成，每個子眼負責一個視角下的圖像數據采集。其具體工作原理設計如下：基于特征抽取+組合模型的方式，利用已有的深度學習網絡作為單子眼的特征提取器，基于四目間的幾何三維關聯信息和各子眼的部分視覺數據互為冗余的特點，利用子眼間的交叉注意來提高物體識別準確率，然后對識別結果存在潛在沖突的多目數據進行全局融合，多目視覺物體識別系統設計如圖3所示。

圖3 多目視覺物體識別系統設計

本文以SSD512為示例，取其全連接層的第一層及之前的卷積結構作為特征提取器，如圖4所示。給定某一時刻子眼ei采集的圖片記做pici，特征提取結果記做rlti，rlti=feature(pici)。假設rlti包含m個特征，記做rlti={fi1,fi2,…,fim}，然后得到所有子眼的特征全集U=U{rlti}，找出各子眼與U的差集{fij}=diff{U,rlti}，以及該特征fij在pici中對應一個區域Region(fij)。子眼模塊將注意力集中到Region(fij)，對區域Region(fij)圖像增強后進行物體識別，這樣每個子眼識別后得到一個識別結果子集di。對所有di進行置信度和不確定性計算，對所有數據包括有潛在沖突的子眼間數據進行數據融合得到最終結果R=Weighted{di}。

3 基于多目視覺的物體識別

3.1 基于交叉注意的物體識別

本文的交叉注意機制由聚焦到目標區域和目標區域細節增強兩個部分組成。這和人眼的注意力機制相契合。首先，各子眼通過預注意來提取各自視角下的圖像特征，獲取其與特征全集的差集{fij}，通過子眼的坐標變換聚焦到區域Region(fij)；然后，通過圖像增強，弱化該區域的光線干擾，增強物體細節特征，進行物體識別。

3.1.1 子眼預注意

子眼在預注意階段需要為子眼交叉注意階段提供場景中的可能存在的特征及其位置分布。我們通過現有的深度學習網絡進行前期視覺特征提取。本文中以SSD512為示例，取其全連接層的第一層及之前的卷積結構作為特征提取器來獲取其特征及其位置分布。直觀起見，我們用SSD512自有的物體分類器作為其特征描述。

在這一特征提取階段，我們首先基于物體識別網絡對子眼采集圖片進行預處理，將輸出值高于0.8的物體標注為可信物體，無需進行交叉注意，輸出值高于0.5但小于0.8的物體，標注為疑似物體，需要進行交叉注意來識別。各子眼識別結果如圖5所示，圖5中四張圖片分別是四個子眼采集的實景圖，紅色框表示識別出的特征物體fij。實驗表明在強光干擾及背景干擾下，預注意階段各子眼只能識別出視野中的極少部分物體rlti，不足10%。

圖5 子眼預注意識別結果

這是因為某些子眼受強光干擾下，其采集的圖片中的大部分物體不能被現有的物體識別網絡識別。因此需要對該區域進行交叉注意識別。

3.1.2 子眼交叉注意

在交叉注意階段，首先將所有子眼識別結果合并得到U。將各子眼識別結果rlti按照式(3)在物體集合U中取差集di就是子眼未識別到的物體。利用標定好的子眼陣列計算出物體在各個子眼中的區域位置Region(fij)。

為了得到大量、準確的匹配關系，我們采用基于Grid的運動平滑估計來進行指定局部區域的特征匹配估計[43]得到交叉注意區域，至此完成子眼間的交叉注意區域匹配，獲得物體在各個子眼中的區域位置Region(fij)。

在子眼交叉注意階段得到的區域Region(fij)即是子眼ei需要聚焦的目標區域。然后對目標區域進行圖像增強，弱化該區域的光線干擾，增強物體細節特征?？紤]到Retinex方法[44]將成像分成光照分量(環境的入射光)和物體反射分量(物體的反射性質)，較為適合處理強光干擾情況。因此我們選用Retinex算法進行圖像增強處理。本文使用單尺寸Retinex算法，高斯核半徑sigma設定為250，對圖像的R、G、B三個通道下分別進行Retinex算法增強。

當子眼完成交叉注意后，使用深度識別網絡如SSD512對新處理的交叉注意區域及其疑似物體進行識別得到結果rdi，每個子眼的識別結果為r_rlti=rlti∪rdi。多目視覺系統的各個子眼預注意提取特征情況如圖5所示。

3.2 基于不確定性的多目數據融合

由于每個子眼的觀測角度不同，受干擾程度不一，對物體的識別結果可能存在沖突。怎樣解決不同子眼間識別結果的潛在沖突，是準確識別物體的關鍵。

針對子眼間識別結果存在潛在沖突的情況，本文進行多目數據融合的基本思路是：利用證據融合理論，首先對來自各個子眼的物體識別結果(即證據)進行預處理；然后構建出物體識別場景下各個證據的基本可信度分配函數，并據此計算出各個證據的可信度和似然度；再根據Dempster合成規則[45-46]來計算所有子眼物體識別結果聯合作用下的基本可信度分配函數、可信度和似然度。

物體識別場景下識別框架Θ可由PASCAL VOC數據集中20類物體類別和背景組成的集合表示。證據的基本可信度分配函數和計算規則如下：

m(A)=m1(A)⊕m2(A)⊕…⊕mn(A)=

(2)

表1 4個子眼的基本信任分配

由表1的4個子眼的基本信任賦值，根據Dempster合并法則式(2)的計算，可以得到由兩個子眼、三個子眼、四個子眼的數據組合后的基本概率賦值，結果如表2所示，其中m12、m123、m1234分別表示1～2號子眼的融合結果、1～3號子眼的融合結果和1～4號子眼的融合結果。

表2 不同子眼組合后的基本信任分配

從表2的D-S的融合結果可以看出參與融合的子眼越多各個證據的可信度分化越明顯，更利于決策。本文采用基于基本信任分配的決策方法，即物體類別應具有最大的可信度,物體類別的可信度和其他類別的可信度的差值必須大于某一閾值ε1，不確定區間的長度小于某一閾值ε2，且目標物體的可信度必須大于不確定區間的長度。本文閾值選擇ε1=ε2=0.1，最終的決策結果為Sub1。

4 實驗分析

4.1 復雜背景下交叉注意機制性能分析

本節分析了交叉注意機制對提高物體識別的準確率和查全率的影響。實驗圖片樣本選取自google圖片庫和baidu圖片庫中圖片背景以街道為主的cat類、dog類和person類。從中取出100張在使用物體識別網絡一次識別未識別出全部物體的圖片作為交叉注意實驗分析的圖片樣本，部分樣本圖片如圖6所示。

圖6 交叉注意實驗分析的部分圖片樣本

采取本文的交叉注意機制之前和之后，物體識別網絡框架的物體識別查全率R(Recall)和準確率P(Precision)對比分析如表3所示。可以看出采取交叉注意機制后查全率顯著提高，從不到10%提高到90%以上，其中70%以上的物體在背景環境淹沒時通過交叉注意機制可以被正確識別，平均識別準確率達到90.3%。該結果表明當多目視覺系統中部分子眼被干擾或由于角度問題無法識別目標物體時，可以通過未被干擾的子眼的識別結果將注意力聚焦到目標物體區域，進而通過背景增強來減少背景環境對其的干擾和提高識別的準確率。

表3 背景干擾下的交叉注意識別結果

4.2 強光干擾下多目視覺系統性能分析

4.2.1 實驗設置

本文借鑒2D平面結構復眼系統，在部分子眼受強光干擾情況下的目標檢測及獲取3D信息，采用布置在2D平面上的4個相機構成的相機陣列。相機間的位置關系通過棋盤法[47]標定好。

本文多目視覺由四個索尼IMX179性攝像頭組成，如圖7所示。攝像頭分辨率1 920×1 080，上下間距40 cm，本文通過調節子眼間水平距離測試在強光干擾和復雜背景干擾下不同子眼的視角差變化對識別結果的影響。我們以左右子眼的的中線為基準線實驗數據采集了與多目視覺系統平面不同距離，與基準線不同夾角的多組圖像。本文實驗設置分為室內場景實驗設置和室外場景實驗設置。

圖7 二維平面結構簡易多目視覺模型

本實驗使用額定功率24 W，流明值為105 lm的一對汽車遠光燈做干擾源，遠光燈與多目視覺系統相距5～30米不等。待測物體與多目視覺系統水平相距1～20米不等。室內場景如圖8所示，室外道路場景如圖9所示。

圖8 室內場景采集圖像

圖9 道路場景采集圖

4.2.2 多目視覺系統物體識別性能分析

在強光干擾下，各子眼進行快速的預注意處理，利用未被干擾的子眼識別出物體，將目標物體信息傳遞給被干擾眼，從被干擾子眼采集的圖像中提取目標區域，進行增強處理后，進行交叉注意的物體識別。本文通過實驗評估了當前表現最為優異的三種物體識別網絡：Faster R-CNN、SSD512和YOLOv2在強光干擾下的物體識別能力。

室內場景，不同強度光照干擾下的多目視覺系統的物體準確率如圖10所示，不同強度光照干擾下多目視覺系統的物體查全率如圖11所示。由圖10和圖11可以看出隨著光照增強，單眼的識別準確率和查全率都在急劇下降，當光通量達到2 100 lm時單眼完全被干擾失去識別能力，但是此時多目視覺系統仍具有很高的識別準確率和查全率。此結果說明在強光干擾下，由于多目視覺系統的不同子眼間存在視角差，部分子眼受到較小的光干擾甚至沒有干擾，故多目視覺系統利用可以識別的圖像或區域，再經過多目坐標變換得到被干擾子眼中對應的區域，子眼進行交叉注意。由圖11可以看出，子眼交叉注意可以提高子眼的抗干擾能力。

圖10 不同強度光照干擾下的多目視覺系統的物體準確率

圖11 不同強度光照干擾下多目視覺系統的物體查全率

室外道路場景，對采集的圖像進行以下兩種處理進行實驗分析：

(1) 使用物體識別網絡處理采集的圖像數據，物體識別網絡識別結果的準確率(precision)和查全率(recall)曲線圖(P-R曲線圖)如圖12第一行圖所示，各物體識別網絡的平均識別精度MAP如表4所示。

表4 物體識別網絡的平均識別精度MAP

(2) 使用多目視覺系統進行處理，物體識別的P-R曲線圖如圖12第二行圖所示，平均識別精度MAP如表5所示。

表5 多目視覺物體識別網絡的平均識別精度MAP

三種物體識別網絡都使用VOC2007和VOC2012數據集訓練，表4和表5中data項表示用于測試的數據集，此列中Voc測試數據集為VOC2012，L_d表示測試數據集是強光干擾下的道路場景圖片集；MAP列表示該網絡框架的識別能力，以百分比計量；person到mbike列表示各網絡對此類別的平均識別精度。

從表4中容易看出在無干擾情況下，三種物體識別網絡都有優異的識別效果，然而，在強光干擾好和復雜的背景干擾下，三種物體識別網絡的識別精度都急劇下降。在有干擾時，Faster R-CNN網絡架構的識別精度相對較高為55.9%，但處理速度慢[19]，綜合考慮處理速度與識別精度，SDD512性能優于Faster R-CNN和YOLOv2，但仍然達不到實際使用的要求。

從表4和表5可以看出，在強光干擾的道路場景中，多目視覺系統的物體識別的平均識別精度MAP比單目的提高了15%左右，其中基于SSD512物體識別框架的多目視覺系統的MAP提高最為顯著，提高了19.1%?；贔aster R-CNN物體識別網絡框架的多目視覺系統的在person類上的識別精度MAP提高最顯著，提高了24.9%。在car、bus、mbike三類物體上，基于SSD512物體識別框架的多目視覺系統的識別精度MAP提高較為顯著，分別提高了4.3%、25.0%和30.8%。就多目視覺系統而言，基于SSD512物體識別網絡框架的平均識別精度MAP最高，為72.4%。

圖12 物體識別P-R曲線圖

5 結 語

本文提出的基于交叉注意機制的多目視覺系統具有更強的光干擾能力。本文對交叉注意機制和多目視覺系統的性能進行了實驗分析，可以看出交叉注意機制在復雜背景下的物體識別有著優異的表現，其中在不損失物體識別網絡精度的前提下，將物體識別網絡的查全率從平均6.3%提高到84.6%。在強光干擾下的場景基于交叉注意機制的多目視覺系統物體識別的MAP(64.8%)相比于單目的物體識別的mAP(50.2%)提高了14.6個百分點。實驗結果表明基于交叉注意機制的多目視覺系統可以在一定程度上降低復雜背景和強光照射對物體識別的干擾。并且，基于交叉注意機制的多目視覺系統物體識別系統使用現有的物體識別網絡框架不需要增加額外的訓練數據。