呂 波,張 涌,黃 侃1,,石永彪1,
?
基于四元數法的運動平臺紅外圖像旋轉角推導
呂 波1,2,3,張 涌2,黃 侃1,2,石永彪1,2
(1.中國科學院大學,北京 100049;2.中國科學院上海技術物理研究所,上海 200083;3.中國科學院紅外探測器與成像技術重點實驗室,上海 200083)
在電子穩像領域,傳統求取圖像的旋轉角是從連續幀圖像序列中提取相關信息計算的,其缺點是計算量大、實時性不高等。本文在慣導模塊給出的航向角、橫滾角和縱傾角3個姿態角以及伺服模塊給出的方位角和俯仰角兩個角度的基礎上,利用四元數法,結合空間解析幾何知識,推導出圖像旋轉角。通過車載運動平臺線列圖像的驗證實驗表明,旋轉角的推導正確,圖像經矯正后起到了電子穩像的效果。
車載運動平臺;紅外圖像;四元數
在捷聯式慣導系統中,安裝在車載、艦載和機載等運動平臺上的紅外成像設備由于平臺的晃動,導致光學成像器件相對平臺的運動,最終使紅外圖像發生旋轉,這部分旋轉量給觀察及操作人員帶來視覺不便甚至帶來錯誤的判斷,所以對目標圖像需要進行消旋[1-2]。在純電子消旋技術中傳統做法是從連續幀圖像序列中提取相關信息求取旋轉角度[3],其缺點在于計算量大,實時性不高等。
本文根據船搖的航向角、橫滾角和縱傾角以及光電跟蹤設備的方位角和俯仰角這5個角度,在剛體運動物理模型的基礎上計算出圖像的旋轉角度。與傳統的歐拉角相比,四元數對姿態轉動的描述更簡潔,并且具有計算速度快、精度高、非奇異的優點,使其在許多領域得到了廣泛的應用[4]。本文即在四元數的基礎上結合空間解析幾何知識推導出旋轉角度。對于紅外視頻圖像在計算出旋轉角度后通過圖像處理幾何校正,可以起到電子穩像的效果。
一個四元數是一個標量分量和一個3D向量分量構成的超復數[5]:






(4)式表明一個向量多次旋轉等價于多個旋轉變量乘積后的單一旋轉[7]。
方便旋轉角度的推導,設定以下坐標系,如圖1所示。

圖1 坐標系定義
1)大地坐標系:X軸指向正東,Y軸指向正北,Z軸指向天空,構成右手系。
2)運動平臺坐標系:Y為軸運動平臺前進方向,Z軸垂直平臺指向平臺上方,X軸遵循右手系指向,初始與大地參考坐標系重合。
3)視場視軸坐標系:定義成像設備視軸作為Y軸,X軸和Z軸構成視場,遵循右手系,初始與運動平臺坐標系重合。
航向角為運動平臺前進方向繞Z軸旋轉的角度,逆時針為正角度;橫滾角為運動平臺繞Y軸旋轉的角度,X軸正方向向下為正角度;縱傾角為運動平臺繞X軸旋轉的角度,Y軸正方向向上為正角度。
方位角是光電經緯儀方位軸轉動使視軸與Y正方向之間的角度,逆時針為正角度;俯仰角是光電經緯儀俯仰軸轉動使視軸與運動平面之間的角度,視軸正方向向上為正角度。
由于圖像的旋轉是視場成像相對運動產生的,所以旋轉角度應該在大地坐標系下定義。如圖2所示,矩形為視場,直線為視場與大地坐標系水平面XOY的相交直線,旋轉角即為視場X軸與直線之間的夾角。

圖2 旋轉角q的定義
推導旋轉角的步驟如下:

2)系是方位軸和俯仰軸相對系轉動得到的[8]。由四元數知識,系到系的旋轉為沿X軸旋轉―,再沿Z軸旋轉―,因此,表示由系到系的四元數為:

3)系是運動平臺相對系轉動得到的。由四元數知識,系到系的旋轉為沿Y軸旋轉―,再沿X軸旋轉―,最后沿B軸旋轉―,因此,表示由系到系的四元數為:

4)根據公式(4),多次旋轉時可轉化為一次旋轉,系旋轉至系,然后系旋轉至系,可直接看成系旋轉至系:
q=q? q(7)





視場平面和水平面的相交直線一般方程:



為驗證本文算法推導的正確性,選擇某車載紅外告警項目的紅外圖像進行測試。紅外成像設備進行360°旋轉掃描,形成一幅二維全景圖像。數據格式保存在研究室自定義的視頻文件里,該文件由文件頭和圖像數據組成,文件頭包括每列圖像的3個慣導角度數據、方位角和俯仰角。對圖像數據處理采用Matlab進行編程[10],讀入視頻文件后,提取文件頭中的5個角度并計算出旋轉角度,最后利用旋轉角度,結合灰度值插值矯正圖像,輸出到顯示設備顯示。
圖3~圖7為抽取的某幀部分圖像并提取其航向角、縱傾角、橫滾角3個姿態角和方位角、俯仰角兩個伺服模塊采集的角度。圖3為成像設備的紅外探測器進行了0°~360°的旋轉,形成一條直線;圖4是在伺服模塊控制下,紅外探測器做-1.8°~2.5°范圍內的俯仰制動,呈現正余弦狀態;從圖5、圖6和圖7來看,鑒于車載實驗選擇路面凹凸度不是很大,3個姿態角變化幅度變化緩慢,航向角變化范圍為84.5°~88.5°之間,縱傾角變化范圍為0.47°~0.53°之間,橫滾角變化范圍為1.96°~2.14°之間。即便車載運動平臺沒有劇烈運動,但在對圖像沒有矯正前,顯示設備的視頻圖像總是在不斷晃動。經前文所述方法計算后,其旋轉角度如圖8所示,范圍在±2.2°內微動,呈現余弦狀。

圖3 方位角
Fig.3 Azimuth angle

圖4 俯仰角

圖5 航向角
Fig.5 Heading angle

圖6 縱傾角

圖7 橫滾角

圖8 旋轉角度
圖9是紅外探測器掃描的連續5幅圖像,截取大小為287×502,5幅圖像的平均旋轉角度依次為-0.8426°、-0.9391°、-0.8579°、-0.6951°、-0.8694°,選取雙三次插值法灰度插值。其中圖9的(a)、(c)、(e)、(g)、(i)為5幅原始圖像,(b)、(d)、(f)、(h)、(j)為矯正后的圖像,該矯正圖像經過截取等處理后即可傳輸到顯示設備顯示。實驗結果表明,該方法在視覺效果上得到了顯著改觀。

本文在車載、艦載或機載等運動平臺項目背景下,由于平臺晃動致使紅外圖像發生了旋轉,造成觀察上不適以及給后續的圖像處理造成了困擾,故提出了利用四元數法結合空間解析幾何知識的方法,計算出紅外圖像產生的旋轉角度,并再此基礎上進行圖像的旋轉矯正,起到了電子穩像的效果。經實驗驗證,達到了預期目標。
[1] 孫瑩濤. 船載實時圖像消旋系統設計[D]. 西安: 西安電子科技大學, 2007.
SUN Yingtao. The Design of Real-time Image Rotation-elimination System Used on Ships[D]. Xi'an : Xidian University, 2007.
[2] 高宏昌. 機載電光跟蹤系統圖像消旋原理研究[J]. 電光與控制, 1995, 59(3):14-24.
GAO Hongchang. Study on the principle of image rotation elimination of airborne photoelectric tracking system[J]., 1995, 59(3): 14-24.
[3] 張浩鈞. 紅外系統中電子復原、穩像及嵌入式成像系統關鍵技術研究[D]. 上海: 中國科學院上海技術物理研究所, 2012.
ZHANG Haojun. Research on Key Technologies for Infrared Image Restoration, Video Stabilization and Imaging System Based on Embedded System[D]. Shanghai: The Shanghai Institute of Technical Physics(SITP) of the Chinese Academy of Sciences, 2012.
[4] 周江華, 苗育紅, 李宏, 等. 四元數在剛體姿態仿真中的應用研究[J]. 飛行力學, 2000, 18(4): 28-32.
ZHOU Jianghua, MIAO Yuhong, LI Hong. Research of attitude simulation using quaternion[J]., 2000, 18(4): 28-32.
[5] 秦永元. 慣性導航[M]. 北京: 科學出版社, 2006.
QIN Yongyuan.[M]. Beijing: science press, 2006.
[6] 陳志明, 王惠南, 劉海穎. 全角度歐拉角與四元數轉換研究[EB/OL]. [2006-11-09] http: //www. paper.edu.cn/ releasepaper/ content/200611-221.
CHEN Zhinming, WANG Huinan, LIU Haiying. Research on Large-scale Transformation Algorithm of Quaternion to Euler Angle[EB/OL]. [2006-11-09] http: //www. paper.edu.cn/ releasepaper/ content/200611-221.
[7] Fletcher Dunn, Ian Parberry. 3[M]. 2002: 147-193.
[8] 呂舒, 張涯輝, 包啟亮, 等. 艦載光電跟蹤系統視場消旋方法研究[J]. 中國激光, 2014: 042303-1-042303-6.
LV Shu, ZHANG Yahui, BAO Qiliang. Despinning scheme of shipboard electro-optical tracking system[J]., 2014: 042303-1-042303-6.
[9] 同濟大學應用數學系. 高等數學[M]. 北京: 高等教育出版社, 2002.
Department of Applied Mathematics, Tongji University.[M]. Beijing: Higher Education Press, 2002.
[10] 劉衛國. MATLAB程序設計與應用: 第二版[M]. 北京: 高等教育出版社, 2006.
LIU Weiguo.: second edition[M] .Beijing: Higher Education Press, 2006.
The Derivation of Rotation Angle of Infrared Image in Moving Platform Based on Quaternion
LV Bo1,2,3,ZHANG Yong2,HUANG Kan1,2,SHI Yongbiao1,2
(1.University of Chinese Academy of Sciences, Beijing 100049, China; 2.Shanghai Institute of Technical Physics, Chinese Academy of Sciences, Shanghai 200083, China; 3.Key Laboratory of Infrared System Detection and Imaging Technology, Chinese Academy of Sciences, Shanghai 200083, China)
In the field of electronic image stabilization, the traditional method of calculating the rotation angle of image is calculating by extracting the relevant information from the sequence of consecutive frames. The disadvantage is large calculation quantity and poor real-time ability. The inertial navigation module got the heading angle, roll angle and pitch angle and the servo module gotazimuth angle and elevation angle. Based on the five angles, the image rotation angle is derived by utilizing the quaternion and space analytic geometry. Through calculating the rotation angle of the linear images of vehicle moving platform shows that the derived rotation angle is correct, which plays a role in electronic image stabilization.
vehicle moving platform,infrared image,quaternion
TP391
A
1001-8891(2017)04-0353-05
2016-10-02;
2016-12-06.
呂波,男(1984-),男,博士研究生,主要研究方向:紅外圖像處理、FPGA和DSP開發等,E-mail:lvbo5167@sina.com。
國家“十二五”國防預研項目。