機坪塔臺全景視頻拼接系統(tǒng)設(shè)計分析

侯明利

摘要：2018年，全國多個機場開始進行機坪管制從空管塔臺到機場管制室移交的改革。雙流機場完成移交，機坪塔臺由此誕生。機坪塔臺是機場地面與空中交通調(diào)度的重要指揮中心。機坪塔臺管制員24h不間斷地指揮航班起降，合理管控機場的跑道、滑行道、停機位等機場資源。傳統(tǒng)塔臺都是依靠多個廣角云臺設(shè)備來傳遞機場場面上的實時監(jiān)控信息，且需要多個顯示器同時查看才能完整觀測機場場面的運行情況，這不僅降低了塔臺的調(diào)度工作效率，且也十分不利于機場跑道安全管理。因此，本文介紹一種適用于機坪塔臺的全景視頻拼接系統(tǒng)，并對其系統(tǒng)優(yōu)勢、技術(shù)原理及設(shè)計思路進行闡述。

關(guān)鍵詞：機坪塔臺 全景視頻拼接系統(tǒng) 監(jiān)控系統(tǒng) 設(shè)計

2018年，全國多個機場開始進行機坪管制從空管塔臺到機場管制室移交的改革。雙流機場完成移交，機坪塔臺由此誕生。機坪塔臺是機場地面與空中交通調(diào)度的重要指揮中心。機坪塔臺管制員24h不間斷地指揮航班起降，合理管控機場的跑道、滑行道、停機位等機場資源。只有機坪塔臺的監(jiān)控系統(tǒng)提供可靠的視頻圖像信息，才能避免機場跑道沖突等問題，確保整個機場起落航空器的安全運行。但以往傳統(tǒng)的監(jiān)控攝像回傳畫面的整體感較差，且對于在盲區(qū)管理上的作用十分有限，難以幫助空中交通調(diào)度人員高效率地完成機場跑道資源的管理工作。因此，若是能夠利用全景視頻拼接技術(shù)，將機場跑道的監(jiān)控圖像整合為一個完整的全景空間模型，那么一定可以顯著地提高基礎(chǔ)塔臺空管工作的質(zhì)量水平。

全景視頻拼接系統(tǒng)的技術(shù)原理與優(yōu)勢

全景拼接技術(shù)（Image Stitching）又稱IS圖像合成技術(shù)，它是指利用多組實景拍攝的圖像信息，找到其中不同圖像描述的同一景物圖，將它們按照一定空間邏輯順序進行組合排列后，就可以直接得到一幅大廣角的180°或360°全景圖像。這種全景圖以大廣角、高尺度的表現(xiàn)形式，可以盡可能地在單一圖幅中表現(xiàn)出更多的環(huán)境信息量，來模擬出360°廣角全觀的效果。那么若是將傳統(tǒng)的監(jiān)控視頻也按照這種思路進行擬合，就會得到監(jiān)控景物的全景視頻，甚至生成景物的三維全景模型[1]。這種監(jiān)控視頻或圖像在機坪塔臺中實際應(yīng)用，主要有如下幾個方面的優(yōu)勢。

一是可以減輕塔臺空管指揮人員的工作負擔。以往的機場監(jiān)控系統(tǒng)為了實現(xiàn)機場跑道的盲區(qū)監(jiān)控，通常都會在遮擋塔臺實現(xiàn)的位置安放多組交叉視角的攝像器材，但這樣的監(jiān)控安裝方案會產(chǎn)生多組重復(fù)的回傳畫面，這樣塔臺工作人員在觀察跑道場地時，就必須要從多組視頻監(jiān)控畫面中不停切換找到理想的監(jiān)控角度，這無疑加劇了塔臺管制人員的工作強度與負擔。但經(jīng)過多組視頻合成后得到的全景視頻，可以為塔臺指揮管制人員將重復(fù)畫面全部從監(jiān)控圖像中剔除，且本機播放時，由于監(jiān)控畫面均是取自原圖，因此它與以往一般監(jiān)控視頻在跑道細致景物上的拍攝效果是一樣的。

二是可以較好地解決傳統(tǒng)監(jiān)控系統(tǒng)視角局限的問題。傳統(tǒng)單一多畫面的視頻監(jiān)控系統(tǒng)，拍攝廣角十分有限，塔臺指揮人員需要通過多組畫面的切換來捕捉同一個航班的起飛、降落情況。而與此同時，塔臺指揮人員還要協(xié)調(diào)好拖車、牽引車以及其他跑道資源上的地面交通工具，這樣的工作模式嚴重影響了機坪塔臺的實際調(diào)度管理效率。若是可以通過180°或360°全景球形環(huán)視效果的視頻圖像來捕捉需要管理的對象，控制人員就可以通過拖動視頻畫面來觀察場景的各個方向了。因此，全景視頻拼接系統(tǒng)的應(yīng)用，有利于實現(xiàn)航班、地面車輛的全過程控制。

三是可行性與經(jīng)濟性優(yōu)勢。當前階段其他3D工程建模技術(shù)在機坪塔臺的實際應(yīng)用方案都存在著較大的成本壓力問題，且建模難以適配機場全地貌特征。而這種全景視頻拼接系統(tǒng)技術(shù)，利用360°環(huán)視視頻監(jiān)控畫面，可以完美地模擬出三維立體的空間視感。它的視頻畫面素材，均是來源于機場各個角落分布安裝的攝像器材，所以在機坪塔臺應(yīng)用時不僅不需要額外的成本投入，且還能最大限度地保留監(jiān)控視頻圖像的真實性特點。

機坪塔臺全景視頻拼接系統(tǒng)的圖像處理設(shè)計

2.1多路視頻同步采集模塊

這種全景視頻拼接系統(tǒng)合成得到的圖像，需要網(wǎng)絡(luò)監(jiān)控攝像頭提供原始拍攝圖像，之后根據(jù)計算機編輯好的特定算法程序進行圖像匹配融合操作。但在實際應(yīng)用時，由于各個控制點位攝像器材的安裝機位不同，得到的原始素材圖像的傾斜度、縮放比例以及方位角等均有一定差距，給視頻圖像合成工作帶來了一定難度[2]。因此，在機坪塔臺實際應(yīng)用全景視頻拼接系統(tǒng)時，需要利用多路視頻同步采集模塊，對網(wǎng)絡(luò)攝像頭的鏡頭差異進行物理校準。

首先在機場跑道、航站樓、飛行器起落停放點等重要控制部位選取合適的坐標基準，建立控制網(wǎng)格，而后調(diào)整各個網(wǎng)絡(luò)攝像頭的取像焦距，使獲得圖像的某一基準參照物在圖像中的尺寸一致。

而后多路視頻同步采集模塊會根據(jù)信號指令，不斷以平移、繞軸轉(zhuǎn)動、鏡頭旋轉(zhuǎn)、變焦等方式調(diào)整鏡頭運動，使不同點位監(jiān)控視頻圖像的表現(xiàn)效果一致化。經(jīng)過這樣的視頻圖像校正處理，才能進行后續(xù)視頻圖像的拼接處理。

2.2圖像坐標自適應(yīng)變換校正模塊

全景圖像的獲得一定是需要按照一定布局的攝像頭以不同位置和角度進行拍攝的，否則合成視頻的圖像很容易因機載特性不同，導(dǎo)致畫面無法出現(xiàn)在同一軸線上。造成這種的問題出現(xiàn)的主要原因有兩個：一是相機鏡頭的投影角度問題，這些攝像頭的柱面投影在安裝時就未處于同一柱面上，平面投影自然也不在同一平面上。二是攝像頭下傾問題，機坪塔臺網(wǎng)絡(luò)攝像頭在安裝時，考慮到減少控制盲區(qū)的需求，通常都會將器材架高固定，且向下傾斜一定角度。若是不經(jīng)過坐標變換運算直接將原始圖像合成，得到的整體全景圖將會是整個下傾視角的全景，而這種角度差異會導(dǎo)致視頻合成畫面的綜合效果受到嚴重影響。因此，必須要確保中央圖像正對景物拍攝，使所有攝像頭的監(jiān)控視頻畫面可以被投放到同一柱面或平面上，這需要對標定好的攝像頭以空間坐標參量為基準，進行空間與位置上的變換，獲取到坐標變換后的圖像。

理論上只要滿足了圖像投影處于同一軸線上的基本條件，就可以藉由一個攝像頭提供的拍攝圖像變換生成對應(yīng)的虛擬相機拍攝圖像。這種圖像坐標的變換設(shè)計可以參考如下相機運動效果參數(shù)。

以8參數(shù)的透鏡變換規(guī)律來表述圖像的坐標，它的參數(shù)矩陣分別為：[m0、m1、m2、m3、m4、m5、m6、m7、1]，而其中m0、m1、m3、m4參數(shù)對應(yīng)的相機運動成像效果為縮放、剪切與圖像旋轉(zhuǎn);m2參數(shù)對應(yīng)的是攝像機在x軸上的水平位移;m5參數(shù)對應(yīng)的是攝像機在y軸上的豎直位移;m6與m7則分別對應(yīng)了圖像在以x、y軸為基準方向的梯形失真變換與線性調(diào)頻。例如，機場航站樓正南方向原有一水平向下傾斜的網(wǎng)絡(luò)監(jiān)控攝像頭，根據(jù)鏡頭投影原理，它得到的圖像一定是景物正向圖像在x軸基準上的梯形變換失真圖像，滿足m6參數(shù)的變換條件，所以可以根據(jù)8參數(shù)矩陣中m6參數(shù)對應(yīng)的變換參數(shù)，輸入攝像機的水平傾角，經(jīng)過變換運算后，生成航站樓南側(cè)的正向視角圖像，這樣就相當于在航站樓南側(cè)由“虛擬”化的攝像頭來替代原有攝像頭生成拍攝圖像。

2.3圖像畸變修正模塊

分析機坪塔臺監(jiān)控系統(tǒng)的實際建設(shè)情況，由于多數(shù)機坪塔臺在不同運作時期都存在過“補盲”安裝作業(yè)，采用的攝像器材并不為同一批次同一型號的設(shè)備。這些攝像器材鏡頭部件在制作工藝影響下，拍攝圖像往往會存在些圖像差異的畸變問題，與實際拍攝景物的情況并不完全相符。圖像畸變主要分為兩種：一是桶型畸變，整體畫面如同凸面鏡反射一樣，越靠近邊緣的位置受到縮放形變影響越劇烈;二是枕形畸變，畫面如凹透鏡反射效果一樣，越靠近圖像邊緣越容易受到擴放形變影響[3]。這兩種圖像畸變問題都是由于不同鏡頭的曲徑倍率不同引起的，鏡頭透鏡不同程度彎曲了傳播光線，所以監(jiān)控視頻圖像出現(xiàn)這種彎曲差異。而為了確保視頻拼接的精準度，圖像畸變修正模塊應(yīng)采用電子放大技術(shù)，根據(jù)鏡頭曲徑倍率參數(shù)變化，自適應(yīng)性地修正不同圖像畸變部位的像素區(qū)域。

基于點特征的模板匹配配準邏輯模塊的邏輯設(shè)計

配準是指實際塔臺跑道的視頻圖像拼接時，根據(jù)所有原始圖像點進行的特征提取方式，將原始監(jiān)控視頻的景物圖像進行匹配的過程，出于圖像匹配準確度的應(yīng)用需求，需要為整個系統(tǒng)選擇一種最優(yōu)化的半自動調(diào)整算法。通過場景分析可知，點特征的模板匹配算法在全景視頻拼接系統(tǒng)中的適用性是比較強的，這種算法可以在基準圖像中挑選出合適的窗口圖像，以點特征的相似度算法為基本依據(jù)，推算出圖像擬合的最佳匹配位置。模板是指圖像的大致擬合位置，而點特征則可以幫助系統(tǒng)找到相似度較高的色彩排列區(qū)塊。將圖像上預(yù)備擬合的區(qū)域定義為S（i，j），原圖像位置為T，其中i、j代表擬合像素的坐標位置描述[4]。S（i，j）與T拍攝捕捉的均為跑道某一處的同一景物，但由于實際上受到拍攝進光量的影響，S（i，j）與T之間的像素色彩區(qū)塊分布并不是完全相同的。因此，需要采用模板匹配相似度算法，作為系統(tǒng)提取圖像特征點的處理依據(jù)，來提高兩組圖像同一景觀在色彩上的耦合度，這樣的算法可以用如下公式表達：

Rmax（i，j）=（∑_（X=1）^X?∑_（Y=1）^Y?〖×S（i，j）[x，y]×T（x，y）〗）/√（∑_（X=1）^X?∑_（Y=1）^Y?〖{S（i，j）[x，y]}〗^2 ）：√（∑_（X=1）^X?∑_（Y=1）^Y?〖[T（x，y）]〗^2 ）

其中，Rmax（i，j）表示為與上一幅圖像中T區(qū)塊分布相似度最大的區(qū)塊坐標相似度，取最大值輸出;模板圖窗在大致擬合區(qū)域T中搜索時，共計可以移動（m-x+1）×（n-Y+1）個位置，其中m與n分別表示特征點在x與y軸上像素點分布的數(shù)量，得到所有的R（i，j）相似度值輸出后，最大值Rmax（i，j）相似度對應(yīng)的（i，j）坐標位置，就是想要得到的圖像擬合位置。在算法中特征點T的像素區(qū)塊數(shù)量越少，整個畫面的有效特征點就越多，但對機坪塔臺監(jiān)控系統(tǒng)的服務(wù)器的運算能力要求就越高。

4.全景視頻拼接系統(tǒng)的優(yōu)化

但上述功能模塊的實際應(yīng)用有一處較明顯的問題，就是全景視頻拼接時兩幅之間的重合處經(jīng)常存在錯位、虛影以及明顯接縫。出現(xiàn)這樣的問題主要有兩個原因：一是攝像器材安裝位置鏡頭進光量不同，不同幅圖像色彩存在較大差異導(dǎo)致擬合效果不理想;二是機場跑道的景觀過于單調(diào)，存在多個同色區(qū)域塊，在特征點提取時出現(xiàn)了選擇錯誤。因此，機坪塔臺全景視頻拼接系統(tǒng)進行框架設(shè)計時，就要將CPU與GPU進行異構(gòu)化處理，其中CPU主要負責多路視頻同步采集模塊、圖像坐標校正處理模塊、圖像畸變校正模塊與特征點模板匹配的算法處理，而GPU則負責生成圖像處理、擬合等色彩加工處理動作。同時在CPU中運行的還要有一個DirectShow軟件方案，負責讀取監(jiān)控視頻的每一幀圖像，并將讀取過的視頻幀格式從YUV轉(zhuǎn)換為RGBA格式，這樣在系統(tǒng)服務(wù)器GPU采集視頻圖像區(qū)塊特征點時，可以通過曝光補償來提高不同幅圖像特征點的色彩相似度。將曝光補償?shù)母鱾€參數(shù)以內(nèi)存管理函數(shù)的形式轉(zhuǎn)化為圖像投影權(quán)重，并與擬合圖像的特征權(quán)重進行融合，生成新的總權(quán)重矩陣，顯著提高合成視頻圖像在臨近擬合接縫處像素分布的魯棒性。而這種CPU與GPU異構(gòu)化的設(shè)計，也可以顯著提高系統(tǒng)拼接生成全景視頻畫面的處理速度，滿足機坪塔臺高效率管理調(diào)度工作需求[5-6]。

5結(jié)語

綜上所述，上述全景視頻拼接系統(tǒng)設(shè)計方案可以基本滿足機坪塔臺指揮調(diào)度的視頻監(jiān)控需求，以更加直觀、真實的全景視頻畫面來替代傳統(tǒng)分割式的監(jiān)控圖像。在整個系統(tǒng)中，由多個單一分布的功能模塊來分別負責網(wǎng)絡(luò)攝像原始圖像的校正處理、擬合匹配與視頻幀效果優(yōu)化功能。但在實際開發(fā)時，還要合理選擇各個模塊之間的物理連接鏈路與數(shù)據(jù)庫分布節(jié)點，調(diào)整各個分散模塊在系統(tǒng)中的耦合度，顯著提高全景視頻拼接系統(tǒng)的運行穩(wěn)定性與視頻拼接效果。

參考文獻

[1]梁恩澤，李宏剛，杜雙.復(fù)雜機場全景視頻拼縫優(yōu)化方法研究[J].電視技術(shù)，2021，45（9）：119-123，128.

[2]付強，錢宏文，劉會.基于FPGA的全景視頻拼接系統(tǒng)的防抖動設(shè)計[J].電子設(shè)計工程，2021，29（3）：167-170.

[3]晏細蘭.全景視頻拼接系統(tǒng)的研究與設(shè)計[J].科學(xué)技術(shù)創(chuàng)新，2021（1）：83-84.

[4]藍先迪. 全景視頻拼接關(guān)鍵技術(shù)研究[D].成都：電子科技大學(xué)，2020.

[5]胡珈瑋. 機場塔臺空管人員工作狀態(tài)識別系統(tǒng)設(shè)計[D].長沙：湖南大學(xué)，2020.

[6]王亦萌. 艦載航空塔臺管理軟件界面優(yōu)化設(shè)計研究[D].西安：西安工程大學(xué)，2017.