紅外光與可見光的圖像配準識別技術分析

趙晨+陳天華+李子伊王聰聰

摘要：隨著科技水平的提升，對于紅外光與可見光實現圖像配準技術的優化是極為重要的，本文對于圖像配準識別技術進行了概述，對于主流的基于幾何特征、基于模型、基于統計方法、基于神經網絡等圖像識別配準方法進行了探討，同時對于SIFT、ORB、Brief等幾種圖像配準的特征提取方法進行了分析，對于基于神經網絡的自適應圖像配準識別優化新技術進行了研究，對于圖像配準技術的前景進行了展望。

關鍵詞：紅外光；可見光；圖像配準；識別

1 引言

隨著計算機技術和通信技術的飛速發展，以及信息技術和計算機技術在生活、軍工等各個方面的廣泛使用，我們越來越離不開計算機的相關技術，控制技術也是越來越得到了廣泛認可和應用。如今，在航空方面，計算機視覺技術也得到了廣泛使用。如今，在民航方面，計算機在飛行安全方面起到了至關重要的作用。紅外與可見光圖像配準是常見的多模態圖像配準，它廣泛應用于軍事、遙感等領域，有必要對其進行更加深入的研究。紅外與可見光圖像配準是配準中比較常見的，由于紅外反映景物的輻射信息，而可見光反映的是景物的反射信息，二者輸出圖像具有不同灰度特征，這些特征互為補充，可以融合在一起進行目標識別。

圖像配準的基本問題是提出一種圖像轉換方法，用以校正圖像的坐標和形變。比如，對同一場景，不同時在不同視點拍攝的圖像，或多或少會存在平移、旋轉的情況，它們是處于不同的坐標系內的，需要校正過來。而造成圖像形變的原因多種多樣，例如對于我們這里的紅外與可見光圖像而言，傳感器噪聲、由傳感器視點變化或平臺不穩定造成的透視變化、被拍攝物體的移動、變形或生長等變化，以及陰影和云層遮蓋都使圖像產生不同形式的形變。正是圖像形變的原因和形式不同，決定了必須要有不同的圖像配準技術與之對應。

正是由于上面的原因，我們對于紅外與可見光圖像配準的研究就十分有必要了。

2 圖像配準識別技術分析

2.1 圖像識別配準概述

圖像配準是指對同一目標在不同條件下獲得的兩幅（或者兩幅以上）圖像進行匹配的圖像處理過程，是圖像處理中的一個基本問題。假設兩幅待配準圖像和，其中為參考圖像，為待配準圖像。圖像配準的問題可以定義為這兩幅圖像像素坐標和灰度值上的雙重映射。圖像配準識別是人工智能領域的一個重要的分支，圖像配準識別技術可以分為兩大部分，第一類是基于機器學習的，第二類是基于統計方法的，根據實現的原理可以劃分為基于幾何特征、基于模型、基于統計方法、基于神經網絡等。圖像配準識別算法，采用主流的深度學習方法來進行特征值提取，通過卷積神經網絡對圖像進行識別，通過多層特征的融合來使得運算量降低，識別速度加快，通過基本的特征信息，從而反映出高級別的屬性特征，同時可以對不清晰的圖像、動態的圖像進行較為精確的識別，其識別準確度較高，抗干擾性較強。基于深度學習的特征提取算法，通過較大規模的圖像庫進行訓練，使得圖像配準識別模型的準確度非常高，同時時間減小，可以達到萬分之一秒。

2.2 主流圖像配準識別方法

2.2.1 基于幾何特征

基于幾何特征的方法，主要是在圖像中尋找特征，將特征點之間的距離和比例進行歸納，通過臨近的方法來識別圖像，這樣的方法比較快，內存占用少，但是對于光照變化來說不敏感，同時對于動態變化的圖像，它將無法識別。

2.2.2 基于模型

基于模型的方法，主要采用馬爾科夫模型，這種模型的方法，主要是通過數學的統計性的問題。以人臉圖像的監測識別為例， 馬爾可夫的狀態包括前額、眉毛、眼睛、鼻子、嘴和下巴，這些狀態以相同的順序從上到下出現，表現為隱馬爾可夫模型的特性狀態。這種方法對于樣本的要求較高，需要建立較為可靠的模型。

2.2.3 基于統計

基于統計學的方法，主要是通過提取圖像中光照、位置等特征向量，來進行圖像的重構，來判斷這些特征所表現的否是被識別的物體，優點在于識別速度較快，缺點在于對于動態的圖像配準識別較差。

2.2.4 基于神經網絡

基于神經網絡的圖像配準識別方法，主要是采用機器學習的方案，就是通過多張圖像進行模型的訓練，然后對其參數進行調整，然后對所要識別的圖像進行分類，來判斷它是否是被識別的圖像，這樣的算法識別成功率較高，但是運算時間較長。

2.2.5 基于深度學習

深度學習也是一種復雜的神經網絡，主要是采用一些低層的特征來進行高層特征的表示，它對于計算性能要求較高，可以利用空間的相對關系來進行降維，使得訓練性能提升，結合實際情況下的深度學習，效率非常高。

3 圖像配準的特征提取方法分析

3.1 SIFT特征提取算法

對圖像變化保持穩定的特征描述符稱為不變量，比如對圖像的旋轉保持穩定的不變量稱為旋轉不變量，對尺度縮放保持穩定的不變量則稱為尺度不變量。SIFT特征對旋轉、尺度縮放、亮度變化保持不變性，對視角變化、仿射變換、噪聲也保持一定程度的穩定性。SIFT算法的實質是檢測圖像的局部特征-SIFT特征點，然后根據匹配目標的需要進行特征的組合、變換，以形成易于匹配、穩定性好的特征向量—SIFT描述子，從而把圖像匹配問題轉化為SIFT描述子的匹配問題。SIFT特征提取方法是通過強化學習，來對傳統的特征提取進行優化，然后可以有效的解決離散系統和非線性系統中出現的問題，主要包括特征迭代和值迭代兩種形式，特征迭代主要是通過特征評價與改進的方法，對每一步的特征進行評估，來不斷的尋找優化的特征，同時對其進行改良和優化，得到新的權值，生成新的優化函數進行計算，在這個過程當中，評估和改進是循環進行的，最后將會得到一個最優的特征。但是需要注意的是，在最好的運行模式下，相關的一些外部參數條件應當是穩定的，這是非常重要的，如果沒有這個條件，就會導致整個特征評估，出現一些意外的情況。值迭代的算法主要是針對于一些方程式的計算，通過最優函數的尋找與控制計算，就能計算出最優的值，它不需要進行控制特征的穩定化，在我們的使用當中必須要注意，無論是迭代特征還是值迭代，都需要對于被控對象的相關特性，尤其是內部特性進行研究，這也是SIFT特征提取的核心特點。

3.2 Brief特征提取算法

Brief的特征提取算法步驟為：（1）給定一副圖。（2）對圖像做平滑處理。平滑處理，也就是高斯濾波，也就是blur operation，降低圖像噪聲。平滑處理在BRIEF中很重要。（3）在圖像上，選擇一個局部塊區patch，用表示，它的大小是SxS像素，在p上面提取BREIF特征。一個BRIEF特征，就是若干個測試組成的字節（bit）串。構造特定的[x，y]對，做測試，就得到了BRIEF特征。Brief特征提取的構建模型是極為復雜的，通過中間層可以對于優化函數進行逼近，在對于圖像識別配準進行最優化計算時采用的是單隱層的Brief特征提取網絡，同時選擇雙極性的轉移函數來進行計算，這樣有利于將內部的關系進行提煉，權值的調整速度也會更快，這樣就使得整個系統的數量速度變快，響應速度較高，但是對于節點數要進行控制，如果節點數過少的話，就可能會導致系統的信息分析能力較差，無法對于樣本中的規律進行有效的提取，就會導致讀取失敗，如果節點足夠多的話，就很可能會導致整個系統的收斂速度較慢，引起系統出現自身的穩定性誤差，造成嚴重的干擾，所以我們應當綜合性的進行評估，選取合適的節點數。Brief是以特征提取系統來進行操作的計算機運行模式，是面向操作層的，是特征提取初級階段的產物，主要是進行數據運算而不是管理。能夠快速的進行特征提取的高度集中和統一處理，重要標志是在其中有一個非常龐大的中央數據庫，它可以進行分布式處理，對于快速性的識別，有著極為關鍵的作用。對于特征提取處理的系統優化要求更高，對于系統設計的結構性要求也較高，因此其可以方便工作人員使用，因其符合他們的思維習慣，同時強調自頂而下的設計，能夠實現高效率的運轉。

3.3 ORB特征提取算法

ORB算法其實就是在FAST算法加上BRIEF算法的基礎上得到的，因此，我們在這里只需要了解到ORB算法的實現步驟即可。1.給定一幅圖，先用oFAST算法，檢測關鍵點的位置。所謂oFAST，就是orientation的FAST，增加了計算關鍵點的角點方向。2.對這個圖，用FAST算法，找出關鍵點的位置。3.對于關鍵點，用Harris角點檢測，選取前N個最好的點。4.如果處理的圖像是多尺度圖像，我們需要對原來的圖像作金字塔，然后對每個圖都進行步驟2和3的處理。5.對于每個角點，根據Intensity Centroid算法，計算角點的方向。ORB算法從經驗中進行自學習，每一個自學習探索的過程就相當于一次訓練，在訓練中，ORB算法探索外界環境，并接受外界環境帶來的獎勵，直到達到目標狀態。訓練的目的是要強化ORB算法的“大腦”（就用Q來表示），訓練的次數越多，則Q就可以被優化的更好。我們可以構建一個以狀態為行，特征為列的關于“獎勵”的矩陣R。類似地，也同時構建一個矩陣Q，用來表示ORB算法已經從經驗中學到的知識，Q與R是同階的，其行表示狀態，列表示特征。由于剛開始時ORB算法對外界環境一無所知，因此矩陣Q應初始化為零矩陣，后采用Q學習算法的轉移規則，逐步完成矩陣的。當Q被訓練強化后，ORB算法便很容易找到達到目標狀態的最快路徑了。

通過SIFT和ORB的方法，都可以對于自適應的特征提取模式進行求解，同時它們應該通過對象的一些基本特性，來對其進行優化，得到一個符合實際的答案，其中SIFT主要是通過方程計算來進行最優化的，在得到最優化的結果之前，每一步可能只是部分的穩定，但并不一定是全局化的穩定，所以求出的答案也不一定是總體的優化方案，但是對于ORB來說，它主要是采用每一步特征提取優化的方式來進行最優化特征提取的，所以，在剛開始就對系統有一定的要求，自適應的特征提取，主要是在初始條件穩定的情況下，對于每一步的代價函數來進行計算，在這個算法進行計算的過程當中，對于初始條件進行選擇是極為重要的，它對于整個算法能否在較短時間內得到正確的答案，收斂到穩定的區域內是起著關鍵性的作用的，因此這個算法主要困難在于需要在一開始就找到一個穩定的特征提取模式。

4 基于神經網絡的自適應圖像配準識別優化探討

4.1 BP神經網絡概述

BP神經網絡主要包括輸入層、中間層和輸出層，主要通過梯度下降法來進行誤差的快速下降，使得整個系統能夠盡快的收斂，最終使得誤差減小，得到最優化的識別配準結果。輸入層的神經元負責對于輸入的信息進行處理，同時把它們傳遞給了中間層內的神經元，中間層對于信息可以進行分析，根據權重情況和相應的函數來對信息進行處理，它們主要是采用隱藏式的結構，從外部是無法進行感知的，輸出層可以將中間層計算好的信息進行輸出，這樣就實現了正向的學習，最后由總的輸出層來把結果進行輸出，在實際運行當中，輸入層的權值不變，不斷的對于中間層的權值進行更新，如果實際的輸出和期望差距比較大的時候，就可以產生一定的誤差，這樣誤差就會反向傳播，按照原有的方式進行各層的修正，把每一層的權重都進行調整，調整使其更加滿足實際的要求，信息經過正向的傳遞，然后誤差進行反向運輸，這樣就可以對各層的權值進行不斷的調整，這樣就完成了神經網絡的一次訓練過程，最后將會使得誤差越來越小，信息越來越準確，這個過程的完成，主要是將訓練之后的誤差達到使用的需求或者是達到一定的訓練次數才停止。

4.2 自適應圖像配準識別優化技術

自適應圖像配準識別是極為重要的一個發展方向，自適應圖像配準識別以圖像配準識別為基礎，同時實現了最優控制和自動控制的問題，它主要是根據貝爾曼的優化方式，來使得非線性系統和約束性較多的系統，都能夠實現最優控制，不管初始狀態是如何的，經過這樣的優化都可以得到最優的策略。但是，對于實際的識別操作來說，圖像配準識別可能會存在一些問題，在這樣的情況下，就需要采用神經網絡的方式對其進行學習與訓練，使得圖像配準識別能夠實現強化學習，同時，可以近似的構造代價函數來進行規劃，使得最后的結果更加滿足于實際的需求。自適應的圖像配準識別主要是用函數逼近的方式來進行，最優化控制的主要是采用神經網絡的方法，主要由評判、模型和執行三個部分來組成，它們都是用神經網絡來進行實現的，主要可以采用相關的函數來對于內部的權重進行調整，從而達到分類的目的，對于整體進行逐次的優化，最終得到全局的優化目標函數，通過神經網絡建模的方法，可以有效的對于自適應問題進行圖像配準識別，所以神經網絡依然是當前很長一段時間內控制科學的發展方向。

當一個控制模型在進行作用之后，可能會受到環境的影響，同時對于自身的評判體制造成一定的影響與反饋，同時利用設定好的函數結構或神經網絡，就可以對執行函數和平方函數之間的誤差來進行計算，實現最終的誤差減少逐漸逼近，如果是先進行判斷后執行的話，就需要使得評判函數最小，主要是通過貝爾曼的優化原因來進行的，這樣可以盡量的減少系統的計算時間，同時對于系統的不確定的變化進行有效的響應，對于一些權重與參數可以有效的進行調整，本文利用控制函數的神經網絡優化，最終得到了自適應圖像配準識別結果，這樣就完成了一個控制執行和評判的過程。一般在這樣的框架下，可以實現較好的優化功能，主要包括評價模型和執行三個部分，這三個部分主要在于能夠實現完整的評價改善循環，評價模塊可以評估執行模塊的實際效能，對于代價函數進行優化與修正，執行模塊可以產生實際的動作來對所改進的策略進行執行，同時也能有效的對于被控對象的情況進行反應，將其進行運行之后，可以通過不同的反饋，來對實際評價與運行的情況進行確定，同時，利用相關的神經網絡、強化學習等算法，來實現函數的近似與優化，這樣就能對于系統的內部參數進行實時的更新，這里主要是采用貝爾曼的優化方式來進行更新的。

5總結

隨著計算速度和準確率的不斷提升，紅外光圖像配準處理的應用越來越普遍，同時推動了圖像識別技術的發展速度，圖像處理雖然有很多無法克服的缺點，但是借助這一重要的科技發展趨勢，也在一步一步推動各行業蓬勃發展，讓生活更加智能化。圖像處理大大的減少了人力的成本，提升了工作的效率，圖像處理是重要的技術基礎，它在工業生產領域有著深遠的影響。

參考文獻：

[1]田偉剛.基于點特征的多源遙感圖像配準技術.西北工業大學碩士學位論文.2008年

[2]苑津莎.趙振兵.高強等.紅外與可見光圖像配準研究現狀與展望.激光與紅外.2009.39（7）：693-699

[3]C. Harris.M. Stephens.A combined corner and edge detector.In：Proceedings of the Fourth Alvey Vision Conference.Manchester：the University of Sheffield Printing Unit.1988.pp147～151

[4]S.M. Smith.J.M. Brady.SUSAN-A new approach to low level image processing.Journal of Computer Vision.1997.23：pp45～78

[5]S. Ranade.A. Rosenfeld.Point pattern matching by relaxation.Pattern Recognition.1980.12：pp269～275