基于圖像識別技術的火箭飛行時序判讀

王瀟宇, 王 偉, 劉巧珍, 徐利杰

(北京宇航系統工程研究所，北京 100076)

0 引言

目前,圖像識別技術已成為人工智能領域中一項比較成熟的技術手段，使計算機具備自動視頻背景去噪、視覺目標提取、圖像內容分析等功能，在安防、互聯網、教育、汽車等行業已得到一系列應用，取得了較好效果。該技術具有非接觸、測試/記錄并舉、可以有效監控動態過程的變化情況等優勢，將其引入航天測發控中可以有效解決測試性不足的問題，提升測試質量。例如：針對起飛信號保持時間短、前端故障狀態一閃而逝，后端狀態采集不到等情況，可以通過多媒體記錄與識別的手段加以監測。開展針對快速動態異?，F象的圖像識別技術研究，實現對前端設備狀態的瞬時異常檢測，在設備狀態異常時，能捕獲異常信息，給靶場人員提供輔助決策支持。

開展火箭飛行實驗時，控制系統發送一系列指令到末端設備，指示其進行相應動作。而這樣的動作是否成功進行，會表現在火工品等效器儀表盤指示燈的狀態變化上。當前的后端控制系統尚無法通過測量指示燈電流的變化來監測動作是否成功執行，造成自動化測試的缺失。而由于信號一閃而逝和指示燈的快速閃爍，測試人員在判讀過程中長期盯視易產生疲勞。在無有效的回放與輔助判讀的情況下，關鍵時刻不確信自己的判斷，測試的效率、可靠性、可追溯性亟待提升。通過綜合運用計算機視覺、數字圖像處理、深度學習等技術，在后續無人值守的情況下，對前端設備進行相關狀態識別，將非結構化的圖像數據轉化成結構化的參數數據，完成自動判讀，實現人工智能技術從輔助人向代替人的轉變，對于逐步解除機械化、重復性任務對人員的依賴，實現發射指揮流程自動化、數據分析判讀智能化具有重要意義。

目前已有一些將圖像識別技術引入航天測發控領域的嘗試，如張哲銘等[4]利用雙目立體視覺技術，通過嵌入式設備移植，達到了測量火箭分離速度的效果；李蒙蒙[5]同樣利用雙目立體視覺技術，給出了火箭噴管運動姿態的測量方案；蔡紅維等[6]將實時圖像處理技術作為火箭實時飛行指揮決策的輔助手段，用于判別特征事件；周靈[7]設計了基于實時視頻圖像的火箭識別與跟蹤系統；張會利[8]將圖像識別技術用于航天工業零件的參數測量。林義勇等[9]設計了基于圖像識別技術的火箭初始段飛行跟蹤系統。王健博等[10]利用計算機視覺技術，對火箭連接器的自動對接情況實現了自動化檢測。王冠等[13]利用目標檢測及光流等計算機視覺技術，設計了發動機極性自動化測試系統。

針對火箭飛行過程中涉及計算機視覺任務，本文設計了通用的底層算法體系架構，從而實現針對特定任務算法開發的模塊化、組合化，在提升研發效率的同時保障算法的可追溯、可修改、可維護。底層算法架構如圖1所示。將計算機視覺任務分解為圖像分割、特征匹配等若干子任務，結合監督學習、場景分割、底層優化、數據挖掘等技術給出了通用的算法設計策略與解決方案。據此，根據不同的應用場景需求，可以實現覆蓋多型號、多發次、多任務的算法快速設計迭代。

圖1 通用底層算法平臺

1 基于圖像識別的火箭飛行時序自動判讀

基于底層通用算法平臺，本文設計了基于計算機視覺技術的火箭飛行時序自動判讀系統，通過識別火工品等效器面板指示燈的亮滅狀態，對火箭的飛行時序進行精確識別。系統整體框架流程設計如圖2所示。

圖2 飛行時序判讀流程

1.1 等效器面板配準

通過對火箭第一次總檢查測試期間火工品等效器指示燈的狀態變化情況進行監測，可實現火箭飛行時序的自動判讀功能。系統的原始輸入為由Gopro相機拍攝的機位固定、幀率為120的兩段視頻，分別包含測試全程一級與二級火工品等效器面板變化情況。雖然拍攝過程中相機機位固定，但兩段視頻中相機與面板的相對位置有所差異，且不同次測試間機位均會有所不同。為消除相機機位變化帶來難以預測的圖像形變、便于指示燈定位工作開展，需要進行等效器面板配準工作，從而保證提取到位置居中、角度端正的等效器面板區域。本文采用SIFT特征匹配的方法，通過模板選取、特征點匹配、圖像重采樣的流程完成面板配準任務。

首先明確一級與二級的火工品等效器面板是相同的。因此選取尺寸為1 309×1 154，正視角度下的等效器圖像作為模板，如圖3所示。對于需要識別的每一幀圖像，首先經由模板匹配步驟，提取有效部分并將其規范化至與模板一致。

圖3 模板圖像

尺度不變特征變換算法(Scale-invariant feature transform， SIFT)[3]，在1999年由David Lowe提出，具有尺度不變、魯棒性好、噪聲變化大等優點，在靜態特征識別、目標識別、全景圖拼接、遙感圖像配準等問題中得到了廣泛的應用，可以處理兩幅圖像之間發生平移、旋轉、仿射變換情況下的匹配問題，具有很強的匹配能力。SIFT算法主要分為3步。

(1)尺度空間極值檢測

通過高斯差分算子近似LoG算子[12]，獲取尺度與旋轉變換不變性的關鍵點，高斯差分算子表達如下

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y))

=L(x,y,kσ)-L(x,y,σ)

(1)

式中，* 表示卷積操作，G(x,y,σ)為一個變化尺度的高斯函數，實際操作時可由高斯金字塔相鄰層級圖像相減得到。I(x,y)表示原圖像。

(2)關鍵點定位

通過擬合三維二次函數來精確定位關鍵點的位置和尺度，同時去除低對比度的關鍵點和不穩定的邊緣相應點，以增強匹配穩定性，提高抗噪聲能力。

(3)方向確定

基于圖像局部的梯度方向，給每個關鍵點位置分配一個或多個方向。其中，梯度的模值和方向如下,L為關鍵點所在的尺度空間值。

m(x,y)=

(2)

θ(x,y)=

tan-1((L(x+1,y)-L(x-1,y))/(L(x,y+1)-L(x,y-1)))

(3)

接下來,使用直方圖統計鄰域內像素的梯度和方向，以直方圖中最大值為該關鍵點的主方向，進而得到含有位置、尺度和方向的關鍵點，作為該圖像的SIFT特征點。

通過計算視頻圖像與模板圖像的SIFT關鍵點，利用隨機抽樣一致算法(Random sample consensus，RANSAC)得到兩組匹配點之間的仿射變換矩陣，再通過線性插值法將原圖像重采樣，進而提取火工品等效器區域，用于后續的指示燈自動識別算法。圖4與圖5分別為實拍視頻圖像以及特征匹配結果。圖5左側為灰度化后的模板圖像，右側為實拍圖象，綠色連線表征了兩圖中相匹配到的SIFT特征點，紅色框標記了匹配到的火工品等效器面板區域位置。

圖4 實拍視頻圖像

圖5 特征匹配結果

1.2 指示燈坐標定位

提取到待識別區域后，利用Hough圓檢測算法[11]，定位指示燈位置。對圖像空間里的多個圓進行快速檢測是計算機視覺領域的重要課題之一,本文參考了現有國內外學者提出的多圓檢測算法,借鑒了Hough變換思想,對圖像空間里具有一定關系的像元進行聚類,提出了一種能夠對多個分離、獨立的圓進行快速檢測和中心定位的算法。

假設現有一幅M×N個像素的原始圖像,經過相關圖像預處理,要求從圖中找到圓的數目和各個圓心的位置,算法思想如下:

步驟一:依次選取圖像的第xi行為處理對象,并逐列尋找該行上的邊緣像素點,假設找到一個邊緣像素點P1(xi,y1),如果該點不是孤立點則判定為有效像素點,并在列坐標[y1+Lmin,y1+Lmax]的范圍內尋找第2個有效邊緣像素點,其中Lmin由構成邊緣厚度的最大像素點數決定,而Lmax由位于同一圓上的兩個邊緣像素點的最大水平距離決定,這樣限制了搜索距離,減少了運算量。這時考慮以下兩種情況:

1)上述范圍內沒有有效邊緣像素點則以點(xi,y1+1)為起始點繼續逐列尋找該行上的邊緣像素點,仍把找到的第一個有效邊緣像素點作為P1(x1,y1);

2)上述范圍內存在一個或多個有效的邊緣像素點,則依次作為第2個有效的邊緣像素點P2(x2,y2)。

沿線段P1P2的中垂線在行坐標變化范圍[xi,xi+Lmax]內逐行地尋找第3個有效邊緣像素點,其中Lmax表示垂直搜索的最大有效距離。這時也要考慮以下兩種情況:

1)上述范圍內沒有有效的邊緣像素點,則舍棄已找到的第2個邊緣像素點,重新尋找第2個有效的邊緣像素點;

2)上述范圍內存在一個或多個有效的邊緣像素點,則依次作為第3個有效的邊緣像素點P3(x3,y3)。

理想情況下,P1(x1,y1)，P2(x2,y2)，P3(x3,y3)這3個邊緣像素點的關系如圖6所示。

圖6 理想情況下3個有效邊緣像素點的關系圖

步驟二:設候選圓的半徑為r,圓心坐標為(a,b),在參數空間中的表達式為

(xi-a)2+(yi-b)2=r2

(4)

假設P1(x1,y1)，P2(x2,y2)，P3(x3,y3)這3點在該圓上,代入式(2)～(4)進行計算即可確定該圓的圓心坐標和半徑。

(5)

(6)

(7)

步驟三:驗證候選圓的真實性。首先建立一個累加統計數組A[x][y](x和y分別對應像素點的橫縱坐標值),并置數組元素初值為0,如果該圓半徑r滿足設定的閾值,則統計矩形區域內存在的邊緣像素點集中滿足下面公式的個數

(8)

式中，δ為考慮到圖像邊緣存在厚度且可能畸變而設立的閾值。當最終的統計數大于設定的閾值時,候選圓判定為真實的圓,并在對應位置A[a][b]處加1;否則該候選圓為假,轉到步驟一和步驟二尋找下一個候選圓。

步驟四:定位各圓心坐標。分析完所有符合條件的像素點后,在A[x][y]上搜索局部最大值點,最大值點對應的坐標值即為一個圓的圓心坐標。為進行第2最大值搜索,只要將第一最大值點附件的計數值清零即可,同理可以找到更多局部最大值點,這樣就得到了多個圓心坐標值。最后,按列坐標變化對圓心坐標進行升序排序,得到的序列即為圖像上從左到右依次排列的各個圓的圓心坐標值。圖7展示了完成模板匹配后的圖像，并用黃色圓圈表示了Hough圓檢測的結果。

圖7 指示燈圓檢測結果

1.3 指示燈狀態識別

為判斷指示燈的亮滅狀態情況，首先應建立其亮度的合理表征。通常情況下,原始圖像是基于RGB顏色模型的彩色圖像,每個像素點的色彩值由三元組(r,g,b)表示，即構成該像素點顏色的紅綠藍三個通道的數值大小。其物理意義表示清楚,但不一定利于在機器視覺算法中使用。為了定量地描述顏色對人眼的視覺作用,方便在計算機中對色彩的識別,本文探索了不同的亮度表達形式。

(1)HIS色彩感知模型

選用色調(Hue)、亮度(Intensity)和飽和度(Saturation)這3個與視覺特征有關的量來量化描述,其中色調是由物體反射光線中占優勢的波長決定的,是決定顏色本質的特性,決定了顏色的種類;亮度是指刺激物的強度作用于感受器所發生的效應,是物體本身亮度信息的量化,代表了明暗程度。

RGB顏色空間與HSI顏色空間存在著嚴格的數學關系,兩者可以相互轉化,已知RGB空間各分量數值,將其歸一化到[0,1]范圍內,利用式(9)～(11)即可推導出HSI空間中各分量的數值。其中I分量可直接表征圖像亮度。

(9)

(10)

(11)

式中，

(12)

(2)通用亮度公式

由于人眼對不同波長的光感知能力并不相同，在計算機、電視圖像處理中，賦予R，G，B通道不同系數加權求和，得到通用亮度公式

L=0.114B+0.587G+0.299R

(13)

具備表征亮度的合理方式后，為提升算法魯棒性，減少圓心定位不準帶來的影響，選取圓心附近n*n矩形范圍內的像素點亮度平均值，作為該指示燈的最終亮度值。將亮度值L與閾值Threshold比較，即可獲得指示燈當前狀態。

受每次實驗所處環境的光線條件、不同等效器自身發光性質影響，若將亮度閾值設為定值，很可能造成識別誤差。因此設置自適應動態閾值，從而保證系統能夠識別不同內外部環境影響下的指示燈亮起與熄滅狀態。定義某次測試過程中，全部指示燈亮度值集合為N，對于第i個指示燈，定義其測試過程中亮度值集合為Ni，其亮度動態閾值的計算公式

(14)

即判斷該指示燈狀態的閾值為測試過程中全部指示燈中亮度最小值與亮度最大值的平均值。如此設置充分利用了“必然有燈會亮起”這一先驗知識，可以得到針對該火工品等效器每一個指示燈的個性化閾值。

1.4 飛行時序判讀

在測發流程中，火箭飛行時序體現在火工品等效器指示燈狀態的變化上。如坐標為(1，1)的1DY-1指示燈亮起表征著“一級發動機點火”這一動作。通過與一系列飛行時序判據進行比對，即可完成火箭飛行時序的自動判讀。由于兩級等效器視頻是分別進行拍攝的，而部分判據需要同時用到兩級的時序。對于拍攝時留下了絕對時間戳的相機，兩段視頻的絕對時間同步是容易實現的。但對于未知絕對時間戳的兩級視頻，設計了自動消除時差、完成絕對時值自動對齊的算法。

設來自一級的某個動作發生時序為T1，來自二級的另一個動作發生時序為T2，它們的理論發生間隔為W，二級視頻絕對落后一級的時差為ΔT。則對于二級先進行的動作

T1-(T2+ΔT)=W

(15)

ΔT=T1-T2-W

(16)

與之類似，對于一級先進行的動作

(T2+ΔT)-T1=W

(17)

ΔT=W+T1-T2

(18)

綜合考慮兩種情況，對于每條判據i均可計算得到ΔT的參考值ΔTi。由于視頻幀率限制、錄制設備幀率不均勻等因素限制，這些ΔTi并不是完全相等的，而是近似符合正態分布。根據中心極限定理，取它們的平均值即可得到兩級視頻時差最終的估計值。至此完成了兩級視頻絕對時值自動對齊的工作。

通過兩級視頻分別生成包含時間、指示燈參數代號、狀態(亮起/熄滅)、動作發生次數的時序列表，再與判據進行比對，檢查兩個動作發生的時間間隔是否在理論間隔的誤差范圍之內，最終可自動生成測試過程中火箭的飛行時序。

綜上所述，對于要識別的等效器視頻，通過模板匹配、圓心檢測、亮度建模等步驟可精確定位指示燈位置、記錄亮度變化情況，采用動態閾值對指示燈亮滅情況進行智能判斷，最后自動調節視頻時差，并將時序列表與判據比對，即可完成基于計算機視覺技術的火箭飛行時序智能判讀。經過多次測試，飛行時序判讀準確率可達98.89%。由于所采用的相機幀率為120，因此飛行時序判讀結果精度可達0.0 083 s量級。

2 基于圖像分析技術的LED相關特性研究

2.1 LED余輝效應觀察

余輝效應是入射光引起的半導體發光現象，而發光二極管則是電場引起的半導體發光現象。余輝效應和光致電效應有著密不可分的關系。光致電效應是指價帶的電子受到入射光子的激發后，會躍過禁帶進入導帶。如果導帶上的這些被激發的電子又躍遷回到價帶時，會以放出光子的形式來釋放能量，這就是光致電效應，也稱熒光效應。

光致發光現象不會在金屬中產生。因為金屬中的價帶中沒有充滿電子，低能級的電子只會激發到同一價帶的高能級。在同一價帶內，電子從高能級躍遷回到低能級，所釋放的能量太小，產生光子的波太長，遠遠超過可見光的波長。在某些陶瓷和半導體中，價帶和導帶之間的禁帶寬度不大不小，所以被激發的電子從導帶躍過禁帶回到價帶時釋放的光子波長剛好在可見光波段。這樣的材料稱為熒光材料。

此外，若電路中含有電容電感等儲能元件，斷電瞬間它們會繼續釋放電能，也可能導致LED不立即熄滅，而是繼續發光一段時間。若在本項目中余輝效應存在，則可能會對指示燈狀態的智能識別產生干擾。無論是元件放電或電子躍遷導致的余輝，其發光強度均明顯低于通電時。因此通過監測LED指示燈熄滅瞬間的亮度變化情況，可以分析是否發生了余輝效應。截取某指示燈熄滅瞬間的亮度曲線，如圖8所示。

圖8 指示燈熄滅瞬間亮度變化情況

由圖8可見，該指示燈在第56 043幀到56 044 幀出現了由亮起到熄滅的狀態變化，亮度從250下降到50以下發生在1幀之內，由視頻幀率為120可知，該過程僅耗時約8 ms。由此可以推斷，指示燈并未發生余輝效應，無需在算法中考慮該效應可能造成的狀態判別誤差。

需要說明的是，人眼在觀察景物時，光信號傳入大腦神經，需經過一段短暫的時間，光的作用結束后，視覺形象并不立即消失，而是延續0.1～0.4 s 時間。這種殘留的視覺稱“后像”，視覺的這一現象則被稱為“視覺暫留”，或“余暉效應”。這種由人眼結構造成的現象與上文所述“余輝效應”不同，但對指示燈狀態進行人工判讀時，判讀結果會受該效應影響而出現誤差。本文提出基于計算機視覺技術的飛行時序判讀技術則不會受余暉效應影響，相比人眼判別有較高的準確性提升，充分體現了人工智能技術在該任務應用的優越性。

2.2 LED燈光波長紅移現象分析

發光二極管是由p型和n型半導體組成的二極管，其基本結構如圖9所示。

圖9 發光二極管原理結構

在LED的p-n結附近,n型材料中多數載流子是電子,p型材料中多數載流子是空穴。p-n結上未加電壓時構成一定的勢壘，當加正向偏壓時，在外電場作用下，p區的空穴和n區的電子就向對方擴散運動, 構成少數載流子的注入, 從而在p-n結附近產生導帶電子和價帶空穴的復合，同時釋放出相對應的能量hν(h為普朗克常數，ν為光子頻率)而發光[1]。該能量相當于半導體材料的帶隙能量Eg(Ev)，其與發光波長λ(nm)的關系為

(19)

因此，只要有理想的半導體材料就可以制成各種光色的LED。波長紅移的原因是溫度升高產生的熱效應引起帶隙收縮。隨著溫度升高，電子在晶體中的公有化運動加快，能級分裂嚴重，使得禁帶寬度Eg變小[2]。由上文的波長公式可知，峰值波長向長波方向移動，即峰值波長紅移。在飛行時序識別工作中，隨著LED指示燈亮起時間的增加，可以明顯觀察到燈光藍色通道的衰減，如圖10所示。

圖10 LED燈光紅移現象

其中，x1y7表示火工品等效器第1行第7列的指示燈，紅綠藍三色曲線分別代表此燈亮度曲線3個通道的亮度值，可以看出，在指示燈亮起的時間段內，藍色通道亮度值出現了顯著衰減，即發生了波長紅移現象。

2.3 LED亮度散射分析

LED屬于朗伯型光源，其各方向上的輻射亮度不變，輻射強度隨觀察方向與面源法線之間的夾角θ的變化遵守余弦規律。光源亮度的定義如圖11所示。

圖11 光源亮度定義情況

對于角度θ處的觀察者而言，其接收到的輻射亮度情況為

(20)

該值為一定值。在如圖1所示LED燈呈較密集排布的火工品等效器上，某個指示燈亮起后，會對其周圍指示燈產生影響，使它們的亮度發生一定程度的改變。在實際測試中，觀察到的現象如圖12所示。

圖12 LED指示燈亮度散射現象

從指示燈紅色通道像素值變化情況可知，第7行第10列的指示燈在約第33 000幀時亮起，在約第55 000幀處熄滅。相對應地，在它處于亮起狀態時，與之相鄰的第7行第11列的指示燈的紅色通道像素值均值存在明顯的上升情況。LED亮度散射導致的相鄰指示燈亮度的異常變化可能會造成對其狀態的判斷失誤進而影響飛行時序的正確判讀，但由于本文的設計方案具有較強魯棒性，這個誤差處于容忍范圍之內，因此并未對時序判讀結果產生不利影響。

3 結論

本文通過模板匹配、圓心檢測、亮度建模、時序判讀等步驟，實現了基于圖像識別技術的火箭飛行時序自動判讀方法，將計算機視覺技術應用到火箭靶場測試工作，解決當前自動化測試設備判讀過程中人眼長時間工作時易疲勞,從而造成誤判,而導致測試結果不準確和信號保持時間短、后端狀態采集不到等無法準確獲得指示燈閃爍結果的問題。本文提出的基于圖像處理技術的自動測試方法能夠識別判斷火工品等效器指示燈的狀態變化，進而精確判讀飛行時序。該方法能夠提髙測試效率和測試精度，保證測試性和可追溯性，在提供可靠的輔助決策支持的同時節約大量的人力和時間成本。該方法飛行時序判讀準確率可達98.89%，精度可達0.0 083 s量級。