基于深度學習的三維目標識別技術現狀

柳碧輝，王培元

(海軍航空大學， 山東 煙臺 264001)

1 引言

目前，三維識別在計算機視覺領域，已經發展為一項重要的目標識別手段。其目標是賦予計算機類似于人類的視覺系統能力，自主識別復雜環境中特定目標的空間幾何信息。與傳統識別技術相比，三維目標識別技術具有全方位、精準性以及智能化等諸多優點[3]，可被廣泛地應用在智能交通[1-2]、人臉識別[3-6]、全方位態勢感知[7]等多個領域。

將深度學習技術應用到目標識別中可獲得良好的識別性能，深度學習技術[8]由于其優越的分類、識別能力，已經在機器人[9]、圖像識別[10-11]、自然語言處理等領域獲得了突破性進展。基于深度學習的三維目標識別逐漸引起了人們的興趣，然而基于深度學習的三維識別存在一定的特殊性，在應用過程中仍存在很多問題，深入挖掘二者之間的關系，并進行有效的融合是非常值得研究的內容。

2 基本概念

2.1 圖像目標識別

目標識別是在數字圖像處理及計算機視覺領域中的一個比較熱門的方向，現已具有廣泛的用途：智能交通視頻監控領域[12]，可以精確識別出公路上行駛的各種車輛及其牌照，監控違紀違法車輛情況；航空航天領域[12]，采用目標識別技術，能夠利用遙感手段偵測地面或海面目標，準確獲取采集數據；軍事領域[13]，利用深度學習方法來解決實戰對抗條件下的態勢要素自主感知，可以幫助指揮員快速識別目標、判斷威脅程度、實現穩健判決、提高目標識別的準確性、抗噪性和魯棒性。

現階段目標識別的主流方法是基于特征匹配，即由圖像中提取出的特征，在模型庫中選出與之最佳的匹配項，一般包含預處理、特征提取、特征選擇、建模、匹配、定位等6個階段，如圖1所示。

圖1 目標識別流程示意圖

2.2 三維目標識別

伴隨著三維成像技術的飛速發展，人們對機器視覺系統的需求也逐步提升，對圖像的判讀、目標的全方位精確識別提出了更高的要求。二維圖像并不能表征目標的深度信息，自然也無法進行全方位的識別。三維識別可獲取物體表面的三維參量，提取對視點變化較為魯棒的三維特征，更全面地感知現實環境，可應用于軍事偵察、人機交互、衛星遙感等領域，為無人系統對復雜場景的理解和交互提供了可能。

根據利用的特征及提取方式不同，將現有的三維識別方法可以分類如下：基于特征匹配的目標識別、基于圖匹配的目標識別以及基于深度學習的目標識別方法[14]。其中，基于提取特征識別的方法已經在一些領域有所應用，使用基于深度學習的方法研究近年也逐漸增多，將是該領域一個重要的研究方向。

2.3 深度學習

深度學習具有高度抽象能力的網絡結構，通過多層卷積神經網絡識別抽象模式，能夠解決傳統方法中存在的問題。2006年多倫多大學的G.E.Hinton等[8]最早提出深度學習這一基本概念，在機器學習領域中一個非常接近AI的領域，幾乎成為人工智能的代名詞。目前，各個具有特殊神經處理單元和復雜結構的神經網絡層出不窮，比如卷積神經網絡(CNN)、循環神經網絡(RNN)、深度神經網絡(DNN)等。它是一類通過多層非線性變換對高復雜性數據進行建模的算法合集[15]，其本質是采用多個隱層的機器學習模型和海量的訓練數據,盡可能充分地表征和學習到有用的特征信息。多層即指神經網絡的層數，強調了模型結構的深度，通常有5層、6層甚至更多[16]，層數越多，深度越深，如圖2所示。

圖2 含多個隱層的深度學習模型示意圖

深度學習在不同的應用領域通常采用不同的網絡結構。目前研究和應用較多的四種深度學習網絡模型是:自動編碼機、卷積神經網絡、受限玻爾茲曼機以及深度信念網絡[17]，如圖3所示。

圖3 深度學習模型分類方式示意圖

深度學習技術的出現促進了傳統人工智能系統運行規則的發展，改善了人為設計特征造成的提取信息不完整的缺點,進而使得預測或識別結果表現出較原有算法更好的識別效果和分類能力[18]，被廣泛應用到學術界和工業界。歐美相繼成立了研究院，國內也有大量的科研院所也投入到深度學習的研究當中，百度、阿里巴巴、騰訊等互聯網巨頭爭相布局深度學習。基于深度學習的目標識別技術經過長期不斷的發展，在未來的理論與實踐中都會有較大的探索和發展上升空間。

3 深度學習在目標識別中的應用現狀

傳統主流的目標識別算法基本上可以歸為4類[12]：基于全局特征的目標識別、基于區域特征的目標識別、基于模板匹配的目標識別、基于幀差的目標識別。這些主流算法都基于特定理論，在復雜多變的環境下魯棒性較差，對于海量數據的視頻或圖片信息的處理能力較差、人工參與多、正確識別率低、計算能力有限、工程泛化性差。深度學習方法帶來的優越性能以及其對不同數據的應用能力，對觀測結果的有效性起著重要作用，促使機器學習實現眾多的應用，并拓展了人工智能的領域范圍。

通過文獻調研，發現深度學習算法近年來得到了大量的關注，且集中在工業技術、交通運輸與農業科學等相關領域，如圖4所示，可見應用范圍逐步提高，發展前景較為廣泛。

圖4 目標識別各算法中外文獻數量直方圖

國外對于該領域的研究領域較為廣泛，不同的領域和不同的樣本數據使用不同的網絡結構。比如文獻[19]提出基于區域的卷積神經網絡(RCNN)，可以對檢測進行對象本地化和分割，對指定區域進行微調，從而提高檢測識別的性能。BengioYoshua[20]在2013年提出具有深度架構的深度學習特征算法，可運用于重構算法和流形學習方法領域，但缺點是對于處理龐大的數據集會出現局部最小和特征優化問題。He K等[21]提出殘差深度學習緩解訓練精度退化的問題，使得殘差網絡更易被優化，提高了目標識別的深度與精度。He K等[22]提出了掩飾區域卷積神經網絡(MASK R-CNN)可以進行圖像像素級的分割，利用權值遷移函數的遷移學習方法，提高了識別目標的精度和種類。Redmon J[23]提出的YOlov3精度與速度都比Faster R-CNN高，適用于軍事領域，可提高對敵目標識別的速度與精確度，但目前在中等尺寸或大尺寸物體上的表現還相對較差，仍需進一步的完善。

在國內，近幾年來很多領域日漸興起利用深度學習的方法來進行目標識別。宋達等[24]證明用卷積核分布為12-24-24的卷積神經網絡模型更適用于水下目標識別任務，但對于水下實時目標識別仍存在困難。翟進有等[25]利用深度學習中的深度殘差網絡(ResNet)設計出的捷聯式殘差網絡模型(Mu-ResNet)，與級聯區域建議網絡(CRPN)組合出的網絡模型，對于無人機的目標識別比傳統方法更準確、更快速，滿足了無人機的實時性與準確性的要求。朱豐等[26]采用深度學習中的卷積神經網絡，建立了從態勢特征圖像到指揮員戰場態勢高級理解結果的一個非線性映射。此外，文獻[27]闡述了利用深度學習中的深度置信網絡(DBN)在艦船目標識別領域的應用，具有很好的工程實用參考價值。

4 深度學習算法在三維識別中的研究現狀

經過多年發展，專家和學者們對于三維識別的問題提出了很多不同的研究算法。當前的三維識別研究方法可以概括為以下五種，分別是：基于模型或幾何方法、基于外觀或視圖的方法、基于局部特征匹配的方法、基于光學三維物體識別的方法和基于RGB-D圖像的三維物體識別的方法[28-32]。

基于外觀和基于RGB-D圖像方法的關鍵在于提取識別物體的特征模塊，但存在自適應特征提取有效性的難題，需要人工參與其中進行特征提取，耗時且費力。深度學習具有模擬人腦視覺系統從具體到抽象、多層傳遞的特點，從而使得分類、識別和預測變得更加容易和準確[33]。將深度學習算法有效地應用于三維目標識別領域，不僅是為三維目標識別研究提供一種新的方向和思路，也是對深度學習應用領域的延伸。

通過查閱參考文獻發現，基于深度學習算法的三維目標技術近年來得到了大量關注(圖5)，并在三維識別任務中取得了一些研究成果。如深度學習里的中間層能夠挖掘出數據的整體信息，能夠很好解決自適應特征提取困難的問題，提高三維識別的有效性，降低特征提取的錯誤率等。

圖5 三維識別各研究方法中外文獻數量示意圖

基于深度學習的三維識別算法已經應用于國內外眾多領域。在人臉識別領域，文獻[34]將深度信念網絡用于三維人臉識別，采用人臉剛性區域進行深度學習，自適應地提取了三維人臉有效性特征，且對人臉表情具有一定的魯棒性，但是存在算法較為簡單、精確度不夠的缺點。Mu等[35]專注于低質量三維人臉的識別研究，提出了聯合多尺度特征融合(multiscale feature fusion,MSFF)模塊和空間注意力矢量化(spatial attention vectorization,SAV)模塊的輕量級卷積神經網絡Led3D，在移動端設備也能提供很好的應用，在低質量三維人臉識別領域更具優勢。在機器人領域，文獻[36]提供了一種基本的3D CNN框架VoxNet，可以用于對3D點云數據創建快速、準確的對象類檢測器；該架構使用3種不同的3D數據源(LiDAR點云、RGBD點云和CAD模型)在三維識別任務中均達到了最優精度，但忽略了未知空間和自由空間的區別。文獻[37]用深度學習算法對點云數據對象進行三維環境識別，根據深度學習網絡輸入規則，采用對稱函數處理點云無序輸入，較好的滿足了機器人三維環境感知中目標識別的要求，但缺乏對局部特征的提取。在分類算法領域，文獻[38]提供了一種直接消耗點云的新型神經網絡(PointNet)，可以運用在形狀分類、零件分割、場景分割等許多基準數據集的場景下。文獻[39]提出了具有分組策略的組視圖卷積神經網絡(GVCNN)框架，可有效提高3D形狀分類和檢索任務的性能。文獻[40]介紹了基于3D卷積神經網絡架構的三維模型檢索和分類算法，通過多層卷積層與全連接層的組合，同時結合激活函數，使算法的平均模型識別精度均達到80%以上，且優于同類模型識別算法，極大程度上提高了特征的抽象化與網絡解決非線性問題的能力。針對艦船的目標識別領域，王冰[41]提出利用深度殘差網絡結合超像素方法對目標進行分割來識別艦船目標，但在實驗中訓練樣本不純，包含太多背景信息，影響了檢測精度。

5 目前技術存在的不足及未來發展方向

5.1 存在的不足

現階段基于深度學習的三維識別方法仍有以下問題需要進一步研究。

1) 深度學習方法自身的不足。一般地，應用深度學習方法的三維識別技術在處理相同數據集時，模型規模越大，訓練精度越高，訓練速度會越慢[42]。例如一些模型采用ReLU非線性變換、GPU運算，在保證精度的前提下，往往需要訓練5～7 d[43-44]。雖然離線訓練并不影響訓練之后模型的應用，但是對于模型優化，諸如模型規模調整、超參數設置、訓練時調試等問題，訓練時間會嚴重影響其效率[45]。故而，怎樣確保在一定識別精度的前提下，提高三維識別速度，依然是深度學習方向研究的課題之一。而且使用單一的深度學習方法并不具有最理想的效果，通常需要利用其他或多種方法進行三維識別，從而得出更高的精確率。因此，深度學習方法與其他方法的融合具有一定的研究前景。

2) 三維模型庫儲備不豐富。同樣的圖像在不同的模型導引下，會產生不同的識別結果，模型庫的建立不僅要使用物體的自身模型，如顏色、紋理、形狀等，也需要物體間關系的模型[46]。三維模型數據庫的內容在規模、種類、精細度、復雜度上還不具有一般性，測試集數據要單獨建立，同時還要涵蓋人工圖像和自然圖像[47]。模型庫的有效性與全面性直接影響了物體識別的準確性，導致無法完整有效識別出目標。

3) 二維匹配模板映射的不確定性。在三維識別傳統算法研究中，通過將三維目標從視點空間投影到二維平面作為模板，與待識別圖像中進行搜索匹配，然后進行改變三維參數以達到最佳匹配結果。但在深度學習算法中，從模型映射成二維匹配模板的數據量來說，將三維目標投影到二維平面，對目標的像素集、部件集、目標集的描述方法差異，是否適合神經網絡的訓練，是否可以實現自動化識別仍是未知數，有待于進一步研究。

5.2 未來發展方向

在未來的發展方向上，主要從以下幾個方面來考慮：

1) 對于三維深度學習模型來說，樣本庫的選擇是識別過程中的重難點。大多數實驗都是基于三維標準數據集進行訓練的，存在訓練樣本與測試數據之間的風格差異，這會影響模型的普適性和實用性。因此，在以后研究中要針對特定的任務建立特定的樣本庫。

2) 深度學習技術的成功在很大程度上取決于訓練數據的可用性，但與用于分類和識別等任務的訓練數據集相比，包含圖像及其3D注釋的公開數據集的規模很小。因此，要提出新的大規模數據集、利用各種視覺線索的新的弱監督和無監督方法，以及新的領域適應技術，其中使用來自某個領域的數據訓練的網絡(例如合成渲染圖像)適應新的領域。研究能夠縮小真實圖像和綜合渲染圖像之間差距的渲染技術，可能有助于解決訓練數據問題。

3) 現有的三維卷積神經網絡處理的目標數據主要集中在背景純凈的特定目標的三維數據，但實際應用場合中傳感器獲得的數據往往是較大范圍場景下的三維數據，其具有數據密度高、數據量大、成分復雜的特點，且存在遮擋、噪聲等干擾因素。因此，如何從大場景三維數據中實現實時的三維目標識別是一個值得研究的方向[48]。

6 三維目標識別技術的應用與展望

隨著計算機視覺技術的飛速發展，基于深度學習的三維識別技術在AR/VR、環境感知、全方位目標精確識別、無人系統等多個領域具有廣闊的應用前景。

1) 在典型目標全方位識別方面。近年來,隨著對地觀測技術的飛速發展,大批空間高分辨率的遙感成像衛星涌現,遙感影像為海域目標識別提供了極為豐富的數據源,在軍用和民用領域的應用范圍日趨廣泛[49]。衛星遙感圖像由于拍攝距離遠、云團遮蔽、光照不均勻、艦船與海面亮度及顏色對比度不高、海雜波、小島干擾等,很容易導致目標識別產生虛警和漏檢。針對此類問題，應用深度學習方法進行典型目標全方位識別時，可以使用交叉驗證或者隨機選取的方法，在高分辨衛星圖像分類領域的訓練樣本數據上進行模型的大量訓練和測試，優化深度模型，進而提高遙感圖像的數據處理效率、提升遙感信息自動化處理的準確率和可靠性。

2) 在特定目標要害部位打擊方面。基于深度學習算法的三維目標識別技術，能夠在各種作戰使用環境下探測感興趣的非合作目標，并完成分類和識別，這對于在復雜多變的戰場環境和激烈博弈的對抗條件下實現導彈武器對各類目標的精確打擊具有重要意義。但軍事應用具有特殊性，難以得到大量的訓練數據供基于深度學習的三維目標識別技術學習[50]。同時，隨著作戰環境和電子光電干擾環境越來越惡劣，復雜干擾嚴重制約目標識別和抗干擾能力，彈載計算機的處理能力也受到很大的限制，并且還會有很大的不可預測性。而由于深度學習在計算機視覺問題上表現出的卓越性能，將會使其成為解決以上問題的一種有效途徑，并且會使體系效能得到有效提高。所以未來的精確制導系統，將是融合多種彈載目標探測傳感器信息，以信息化、網絡化協同作戰系統提供的信息和多種算法來實現作戰性能的系統。

3) 在戰場態勢感知方面。戰場數據的爆炸式增長，新型集群式、無人化等作戰方式的出現，對現有的態勢感知系統提出了嚴峻的挑戰。軍事領域中，戰場態勢評估(主要包括戰場態勢理解和預測兩個層次) 是指揮員決策的先決條件，對于指揮員做出正確決策至關重要，同時態勢感知的速度和能力決定成為未來戰爭勝負的關鍵因素。深度神經網絡對高維數據的內在聯系、本質特征的識別能力[51]，為無人化作戰方式如何處理戰場感知數據、支持任務自主決策能力提供了一種思路。利用深度網絡模型，可以基于空戰訓練數據進行訓練學習，從數據中提取能夠對戰場態勢進行更本質、更具有洞察力描述的特征量，從而實現對空天作戰態勢的準確評估，為作戰決策過程提供一定的技術支持和理論支撐。

7 結論

基于深度學習的三維目標識別算法對社會生活、工業生產等各領域都產生了深遠的影響，但仍處于研究發展階段，通用的學習算法只能適用于特定環境，現階段仍有很多亟待解決的技術難題。本文對基于深度學習的目標識別和三維識別技術的國內外現狀進行了分析，并對目標識別技術的未來應用進行了展望。隨著科技的發展，基于深度學習的三維目標識別技術會有更好的實時性、更全的樣本庫、更高的真實性以及更全面的應用。