機坪塔臺全景視頻拼接系統設計分析

侯明利

摘要：2018年，全國多個機場開始進行機坪管制從空管塔臺到機場管制室移交的改革。雙流機場完成移交，機坪塔臺由此誕生。機坪塔臺是機場地面與空中交通調度的重要指揮中心。機坪塔臺管制員24h不間斷地指揮航班起降，合理管控機場的跑道、滑行道、停機位等機場資源。傳統塔臺都是依靠多個廣角云臺設備來傳遞機場場面上的實時監控信息，且需要多個顯示器同時查看才能完整觀測機場場面的運行情況，這不僅降低了塔臺的調度工作效率，且也十分不利于機場跑道安全管理。因此，本文介紹一種適用于機坪塔臺的全景視頻拼接系統，并對其系統優勢、技術原理及設計思路進行闡述。

關鍵詞：機坪塔臺 全景視頻拼接系統 監控系統 設計

2018年，全國多個機場開始進行機坪管制從空管塔臺到機場管制室移交的改革。雙流機場完成移交，機坪塔臺由此誕生。機坪塔臺是機場地面與空中交通調度的重要指揮中心。機坪塔臺管制員24h不間斷地指揮航班起降，合理管控機場的跑道、滑行道、停機位等機場資源。只有機坪塔臺的監控系統提供可靠的視頻圖像信息，才能避免機場跑道沖突等問題，確保整個機場起落航空器的安全運行。但以往傳統的監控攝像回傳畫面的整體感較差，且對于在盲區管理上的作用十分有限，難以幫助空中交通調度人員高效率地完成機場跑道資源的管理工作。因此，若是能夠利用全景視頻拼接技術，將機場跑道的監控圖像整合為一個完整的全景空間模型，那么一定可以顯著地提高基礎塔臺空管工作的質量水平。

全景視頻拼接系統的技術原理與優勢

全景拼接技術（Image Stitching）又稱IS圖像合成技術，它是指利用多組實景拍攝的圖像信息，找到其中不同圖像描述的同一景物圖，將它們按照一定空間邏輯順序進行組合排列后，就可以直接得到一幅大廣角的180°或360°全景圖像。這種全景圖以大廣角、高尺度的表現形式，可以盡可能地在單一圖幅中表現出更多的環境信息量，來模擬出360°廣角全觀的效果。那么若是將傳統的監控視頻也按照這種思路進行擬合，就會得到監控景物的全景視頻，甚至生成景物的三維全景模型[1]。這種監控視頻或圖像在機坪塔臺中實際應用，主要有如下幾個方面的優勢。

一是可以減輕塔臺空管指揮人員的工作負擔。以往的機場監控系統為了實現機場跑道的盲區監控，通常都會在遮擋塔臺實現的位置安放多組交叉視角的攝像器材，但這樣的監控安裝方案會產生多組重復的回傳畫面，這樣塔臺工作人員在觀察跑道場地時，就必須要從多組視頻監控畫面中不停切換找到理想的監控角度，這無疑加劇了塔臺管制人員的工作強度與負擔。但經過多組視頻合成后得到的全景視頻，可以為塔臺指揮管制人員將重復畫面全部從監控圖像中剔除，且本機播放時，由于監控畫面均是取自原圖，因此它與以往一般監控視頻在跑道細致景物上的拍攝效果是一樣的。

二是可以較好地解決傳統監控系統視角局限的問題。傳統單一多畫面的視頻監控系統，拍攝廣角十分有限，塔臺指揮人員需要通過多組畫面的切換來捕捉同一個航班的起飛、降落情況。而與此同時，塔臺指揮人員還要協調好拖車、牽引車以及其他跑道資源上的地面交通工具，這樣的工作模式嚴重影響了機坪塔臺的實際調度管理效率。若是可以通過180°或360°全景球形環視效果的視頻圖像來捕捉需要管理的對象，控制人員就可以通過拖動視頻畫面來觀察場景的各個方向了。因此，全景視頻拼接系統的應用，有利于實現航班、地面車輛的全過程控制。

三是可行性與經濟性優勢。當前階段其他3D工程建模技術在機坪塔臺的實際應用方案都存在著較大的成本壓力問題，且建模難以適配機場全地貌特征。而這種全景視頻拼接系統技術，利用360°環視視頻監控畫面，可以完美地模擬出三維立體的空間視感。它的視頻畫面素材，均是來源于機場各個角落分布安裝的攝像器材，所以在機坪塔臺應用時不僅不需要額外的成本投入，且還能最大限度地保留監控視頻圖像的真實性特點。

機坪塔臺全景視頻拼接系統的圖像處理設計

2.1多路視頻同步采集模塊

這種全景視頻拼接系統合成得到的圖像，需要網絡監控攝像頭提供原始拍攝圖像，之后根據計算機編輯好的特定算法程序進行圖像匹配融合操作。但在實際應用時，由于各個控制點位攝像器材的安裝機位不同，得到的原始素材圖像的傾斜度、縮放比例以及方位角等均有一定差距，給視頻圖像合成工作帶來了一定難度[2]。因此，在機坪塔臺實際應用全景視頻拼接系統時，需要利用多路視頻同步采集模塊，對網絡攝像頭的鏡頭差異進行物理校準。

首先在機場跑道、航站樓、飛行器起落停放點等重要控制部位選取合適的坐標基準，建立控制網格，而后調整各個網絡攝像頭的取像焦距，使獲得圖像的某一基準參照物在圖像中的尺寸一致。

而后多路視頻同步采集模塊會根據信號指令，不斷以平移、繞軸轉動、鏡頭旋轉、變焦等方式調整鏡頭運動，使不同點位監控視頻圖像的表現效果一致化。經過這樣的視頻圖像校正處理，才能進行后續視頻圖像的拼接處理。

2.2圖像坐標自適應變換校正模塊

全景圖像的獲得一定是需要按照一定布局的攝像頭以不同位置和角度進行拍攝的，否則合成視頻的圖像很容易因機載特性不同，導致畫面無法出現在同一軸線上。造成這種的問題出現的主要原因有兩個：一是相機鏡頭的投影角度問題，這些攝像頭的柱面投影在安裝時就未處于同一柱面上，平面投影自然也不在同一平面上。二是攝像頭下傾問題，機坪塔臺網絡攝像頭在安裝時，考慮到減少控制盲區的需求，通常都會將器材架高固定，且向下傾斜一定角度。若是不經過坐標變換運算直接將原始圖像合成，得到的整體全景圖將會是整個下傾視角的全景，而這種角度差異會導致視頻合成畫面的綜合效果受到嚴重影響。因此，必須要確保中央圖像正對景物拍攝，使所有攝像頭的監控視頻畫面可以被投放到同一柱面或平面上，這需要對標定好的攝像頭以空間坐標參量為基準，進行空間與位置上的變換，獲取到坐標變換后的圖像。

理論上只要滿足了圖像投影處于同一軸線上的基本條件，就可以藉由一個攝像頭提供的拍攝圖像變換生成對應的虛擬相機拍攝圖像。這種圖像坐標的變換設計可以參考如下相機運動效果參數。

以8參數的透鏡變換規律來表述圖像的坐標，它的參數矩陣分別為：[m0、m1、m2、m3、m4、m5、m6、m7、1]，而其中m0、m1、m3、m4參數對應的相機運動成像效果為縮放、剪切與圖像旋轉;m2參數對應的是攝像機在x軸上的水平位移;m5參數對應的是攝像機在y軸上的豎直位移;m6與m7則分別對應了圖像在以x、y軸為基準方向的梯形失真變換與線性調頻。例如，機場航站樓正南方向原有一水平向下傾斜的網絡監控攝像頭，根據鏡頭投影原理，它得到的圖像一定是景物正向圖像在x軸基準上的梯形變換失真圖像，滿足m6參數的變換條件，所以可以根據8參數矩陣中m6參數對應的變換參數，輸入攝像機的水平傾角，經過變換運算后，生成航站樓南側的正向視角圖像，這樣就相當于在航站樓南側由“虛擬”化的攝像頭來替代原有攝像頭生成拍攝圖像。

2.3圖像畸變修正模塊

分析機坪塔臺監控系統的實際建設情況，由于多數機坪塔臺在不同運作時期都存在過“補盲”安裝作業，采用的攝像器材并不為同一批次同一型號的設備。這些攝像器材鏡頭部件在制作工藝影響下，拍攝圖像往往會存在些圖像差異的畸變問題，與實際拍攝景物的情況并不完全相符。圖像畸變主要分為兩種：一是桶型畸變，整體畫面如同凸面鏡反射一樣，越靠近邊緣的位置受到縮放形變影響越劇烈;二是枕形畸變，畫面如凹透鏡反射效果一樣，越靠近圖像邊緣越容易受到擴放形變影響[3]。這兩種圖像畸變問題都是由于不同鏡頭的曲徑倍率不同引起的，鏡頭透鏡不同程度彎曲了傳播光線，所以監控視頻圖像出現這種彎曲差異。而為了確保視頻拼接的精準度，圖像畸變修正模塊應采用電子放大技術，根據鏡頭曲徑倍率參數變化，自適應性地修正不同圖像畸變部位的像素區域。

基于點特征的模板匹配配準邏輯模塊的邏輯設計

配準是指實際塔臺跑道的視頻圖像拼接時，根據所有原始圖像點進行的特征提取方式，將原始監控視頻的景物圖像進行匹配的過程，出于圖像匹配準確度的應用需求，需要為整個系統選擇一種最優化的半自動調整算法。通過場景分析可知，點特征的模板匹配算法在全景視頻拼接系統中的適用性是比較強的，這種算法可以在基準圖像中挑選出合適的窗口圖像，以點特征的相似度算法為基本依據，推算出圖像擬合的最佳匹配位置。模板是指圖像的大致擬合位置，而點特征則可以幫助系統找到相似度較高的色彩排列區塊。將圖像上預備擬合的區域定義為S（i，j），原圖像位置為T，其中i、j代表擬合像素的坐標位置描述[4]。S（i，j）與T拍攝捕捉的均為跑道某一處的同一景物，但由于實際上受到拍攝進光量的影響，S（i，j）與T之間的像素色彩區塊分布并不是完全相同的。因此，需要采用模板匹配相似度算法，作為系統提取圖像特征點的處理依據，來提高兩組圖像同一景觀在色彩上的耦合度，這樣的算法可以用如下公式表達：

Rmax（i，j）=（∑_（X=1）^X?∑_（Y=1）^Y?〖×S（i，j）[x，y]×T（x，y）〗）/√（∑_（X=1）^X?∑_（Y=1）^Y?〖{S（i，j）[x，y]}〗^2 ）：√（∑_（X=1）^X?∑_（Y=1）^Y?〖[T（x，y）]〗^2 ）

其中，Rmax（i，j）表示為與上一幅圖像中T區塊分布相似度最大的區塊坐標相似度，取最大值輸出;模板圖窗在大致擬合區域T中搜索時，共計可以移動（m-x+1）×（n-Y+1）個位置，其中m與n分別表示特征點在x與y軸上像素點分布的數量，得到所有的R（i，j）相似度值輸出后，最大值Rmax（i，j）相似度對應的（i，j）坐標位置，就是想要得到的圖像擬合位置。在算法中特征點T的像素區塊數量越少，整個畫面的有效特征點就越多，但對機坪塔臺監控系統的服務器的運算能力要求就越高。

4.全景視頻拼接系統的優化

但上述功能模塊的實際應用有一處較明顯的問題，就是全景視頻拼接時兩幅之間的重合處經常存在錯位、虛影以及明顯接縫。出現這樣的問題主要有兩個原因：一是攝像器材安裝位置鏡頭進光量不同，不同幅圖像色彩存在較大差異導致擬合效果不理想;二是機場跑道的景觀過于單調，存在多個同色區域塊，在特征點提取時出現了選擇錯誤。因此，機坪塔臺全景視頻拼接系統進行框架設計時，就要將CPU與GPU進行異構化處理，其中CPU主要負責多路視頻同步采集模塊、圖像坐標校正處理模塊、圖像畸變校正模塊與特征點模板匹配的算法處理，而GPU則負責生成圖像處理、擬合等色彩加工處理動作。同時在CPU中運行的還要有一個DirectShow軟件方案，負責讀取監控視頻的每一幀圖像，并將讀取過的視頻幀格式從YUV轉換為RGBA格式，這樣在系統服務器GPU采集視頻圖像區塊特征點時，可以通過曝光補償來提高不同幅圖像特征點的色彩相似度。將曝光補償的各個參數以內存管理函數的形式轉化為圖像投影權重，并與擬合圖像的特征權重進行融合，生成新的總權重矩陣，顯著提高合成視頻圖像在臨近擬合接縫處像素分布的魯棒性。而這種CPU與GPU異構化的設計，也可以顯著提高系統拼接生成全景視頻畫面的處理速度，滿足機坪塔臺高效率管理調度工作需求[5-6]。

5結語

綜上所述，上述全景視頻拼接系統設計方案可以基本滿足機坪塔臺指揮調度的視頻監控需求，以更加直觀、真實的全景視頻畫面來替代傳統分割式的監控圖像。在整個系統中，由多個單一分布的功能模塊來分別負責網絡攝像原始圖像的校正處理、擬合匹配與視頻幀效果優化功能。但在實際開發時，還要合理選擇各個模塊之間的物理連接鏈路與數據庫分布節點，調整各個分散模塊在系統中的耦合度，顯著提高全景視頻拼接系統的運行穩定性與視頻拼接效果。

參考文獻

[1]梁恩澤，李宏剛，杜雙.復雜機場全景視頻拼縫優化方法研究[J].電視技術，2021，45（9）：119-123，128.

[2]付強，錢宏文，劉會.基于FPGA的全景視頻拼接系統的防抖動設計[J].電子設計工程，2021，29（3）：167-170.

[3]晏細蘭.全景視頻拼接系統的研究與設計[J].科學技術創新，2021（1）：83-84.

[4]藍先迪. 全景視頻拼接關鍵技術研究[D].成都：電子科技大學，2020.

[5]胡珈瑋. 機場塔臺空管人員工作狀態識別系統設計[D].長沙：湖南大學，2020.

[6]王亦萌. 艦載航空塔臺管理軟件界面優化設計研究[D].西安：西安工程大學，2017.