錢 鋒,楊名宇,張曉沛
(1.中國科學院 長春光學精密機械與物理研究所, 吉林 長春 130033;2.中國科學院大學,北京 100049;3.加利福尼亞大學 洛杉磯分校 亨利·薩繆里工程與應用科學學院,美國,加利福尼亞州,洛杉磯市,CA 90095)
?
基于序列圖像提高光斑質心定位精度
錢 鋒1,2*,楊名宇1,張曉沛3
(1.中國科學院 長春光學精密機械與物理研究所, 吉林 長春 130033;2.中國科學院大學,北京 100049;3.加利福尼亞大學 洛杉磯分校 亨利·薩繆里工程與應用科學學院,美國,加利福尼亞州,洛杉磯市,CA 90095)
針對激光模擬射擊系統對激光光斑進行快速、高精度質心定位的要求,提出了一種基于視頻序列圖像的光斑檢測與高精度質心定位方法。該方法首先利用幀間差分圖像和噪聲估計參數對射擊突發事件進行檢測;然后利用噪聲估計方法確定光斑的分割閾值,結合形態學濾波對目標光斑和背景噪聲進行有效分割,提取光斑區域,同時降低窗口內外噪聲。最后,用4幀差分圖像合成1幀高分辨率的圖像來抑制圖像噪聲和計算誤差的影響,實現光斑質心的高精度定位。實驗結果表明,本文方法的光斑質心定位精度與穩定性均優于傳統的方法;其中光斑質心定位精度達到了亞像素級別,穩定性度量平均值為0.000 49,優于傳統方法的0.002 97。得到的結果顯示,提出的方法有助于提升激光射擊系統的性能。
光斑檢測;質心定位;灰度重心法;序列圖像;激光模擬射擊
傳統的士兵射擊訓練,通常采用空槍瞄準和實彈射擊相結合的訓練方式。空槍瞄準訓練效率低,周期長;而實彈射擊訓練開支大,受訓練場地限制,而且容易受天氣影響,還要考慮安全因素。這些不利因素使得士兵對射擊技能的熟悉和掌握程度受到影響,訓練效果非常有限。近年來,以光代彈,人們采用激光射擊系統模擬多種武器的射擊情況[1-3]。這樣不僅節省了彈藥開支,減少了場地的限制,而且能檢驗射擊效果,可以大大提高戰士們的射擊水平。
激光模擬系統大致有以下幾種:(1)使用光電二極管陣列接收激光信號。但這種方法的后續處理電路復雜,而且容易受到干擾,易出現誤觸發、誤操作現象[4];(2)使用硅光電池做成激光探測器陣列,接收激光信號。這種方法加工困難,后續處理也比較復雜[5];(3)使用攝像機或者攝像頭拍攝帶有激光光斑的靶面圖像,在電腦上進行圖像處理,得到打靶成績[6-8]。該技術也被廣泛應用于光學精密跟蹤和精密測量等應用中[9-10]。其中,射擊激光光斑的快速、高精度的質心定位問題是該方法的關鍵。
影響光斑質心定位精度的關鍵因素之一來源于傳感器在探測光斑時所引入的誤差,主要包括傳感器離散采樣誤差、霰粒噪聲、讀出誤差和背景噪聲等的影響[11]。通常通過閾值法和窗口法來降低這些噪聲的影響,進而提高質心的定位精度。但是,閾值選取過大可能濾除光斑的有效信號;閾值過小時,又會引入較大的隨機誤差[12]。窗口法是通過控制窗口的大小,使其與光斑尺寸相匹配,以排除窗口外噪聲,從而減少噪聲的影響,但無法抑制窗口內噪聲的影響[13-14]。文獻[15]選用3幀連續的圖像,對第1、3幀圖像建立處理模型,經過內插后與第2幀圖像相結合,實現暗弱空間目標的高精度定位。這種使用時間相鄰的多幀序列圖像內插法來提高圖像精度的策略被廣泛應用于超分辨領域[16]。
本文提出了一種針對CCD(Charge Coupled-Device)相機所采集的序列圖像的高精度質心定位方法。該方法通過背景噪聲進行估計,利用幀間差分圖像對設計突發事件進行檢測。然后利用噪聲估計確定光斑的分割閾值,結合形態學濾波和的方法將目標光斑與背景分離,提取光斑區域,同時降低窗口內外噪聲的影響,突破了傳統通過尺寸控制的窗口法不能降低窗口內噪聲的局限。最后,利用4幀差分圖像合成1幀高分辨率圖像,以降低圖像噪聲與計算誤差的影響,通過質心的加權求平均法實現光斑質心的高精度定位。通過實驗對比分析了本文方法與傳統方法的性能。
采用視頻檢測方法模擬激光射擊需要解決的3個主要問題包括:(1)對射擊突發事件進行檢測;(2)對激光光斑進行檢測與提取;(3)對光斑質心進行高精度定位。本文采用固定CCD相機對激光射擊的訓練靶場進行監視,獲取連續的靶面視頻圖像幀i=1,2,3,…,N(N為總幀數)。通過對兩相鄰幀(k,k+1)做差分后取絕對值生成差分圖像。若激光光斑目標未出現在視頻幀中,由于圖像背景不變,則其差分圖像中僅包含CCD相機的噪聲信息;若光斑出現在視頻幀中,則該時刻所處的差分圖像中存在明顯的高亮光斑。因此,通過檢測差分圖像中是否包含高亮光斑就可以判定射擊事件是否出現,完成射擊突發事件的檢測。
在光斑的檢測與提取過程中,需要將光斑的邊緣與周圍噪聲分割開[17-18],而分割效果的優劣將直接影響后期的光斑質心定位結果。為了提高激光光斑質心的定位精度,在檢測到射擊事件后,連續存儲光斑出現后的4幀圖第j+1、j+2、j+3和j+4幀,將其分別與前一時刻光斑未出現的幀j做差并取絕對值,獲得4幀差分圖像d1、d2、d3和d4,如圖 1所示。圖d1中的亮斑即為射擊激光的光斑。隨后,將具體介紹如何對射擊突發事件進行檢測;如何提取目標光斑,并降低窗口內外的噪聲影響;最后研究了如何通過序列圖像方法提高光斑局部區域的分辨率,以達到提高光斑質心定位精度的目的。

圖1 由序列圖像生成差分檢測圖像的過程
2.1 射擊突發事件檢測
2.1.1 噪聲估計
受CCD相機霰粒噪聲、讀出噪聲等的影響,相鄰兩幀的差分圖像并非完全“干凈”,它們存在著隨機分布的噪聲[19]。因此,在判斷是否出現射擊光斑的突發事件時需要先排除噪聲的影響。除此之外,在后續的光斑質心定位過程中,這些噪聲對定位精度也有較大影響。為了排除噪聲的影響,本文抽取射擊活動開始前的10幀差分圖像進行統計,利用其統計特性估計噪聲。分別統計10幀差分圖像的直方圖,相加之后獲得總的直方圖,如圖2所示。

圖2 由10幀差分圖像獲取的總統計直方圖
如圖2所示,差分圖像中約有84.71% 像素點的值為零,表明這些像素點不含有噪聲。而噪聲共占有的像素約為15.29%,其灰度值呈遞減趨勢分布在1~6之間,最大值為6。根據實際的實驗數據,激光光斑的中心峰值灰度一般在8左右,為保留一定的余量,噪聲與光斑的分割閾值選為10。
2.1.2 射擊突發事件的判定
可以將射擊突發事件是否出現的問題建模為二值假設檢驗:

(1)
其中:H1表示在第j幀和第j+1幀之間有射擊突發事件發生;H0表示在第j幀和第j+1幀之間不存在射擊突發事件。則判定準則為:

(2)
其中:card(*)表示集合中元素的個數;Rs表示差分圖像中非噪聲點的集合;η為光斑判定閾值。根據實際實驗數據知,光斑所占像素數為30左右,因此取η為20。集合Rs表示為:

(3)
式中:Ix,y表示圖像中點(x,y)的灰度值。根據2.1.1節噪聲估計所提出的經驗閾值,ξ取為10。簡而言之,當前差分圖像中,若非噪聲點集合Rs的元素個數不小于閾值η,則判定此差分圖像中存在激光光斑,即第j幀與第j+1幀之間有射擊突發事件發生。
2.2 光斑的檢測與提取
講武堂在1912年后繼續發展,直到1928年,在南京國民政府“統一”的背景下,講武堂第4期學員龍云執掌云南后,不得不改頭換面在辦學方面做新的調整。
在射擊突發事件判定過程中,需要對差分圖像進行遍歷搜索,得到非噪聲點集合Rs。與此同時,可通過記錄非噪聲點的坐標,對其進行粗定位,劃分出窗口大小為12×12的光斑區域[20],如圖3(a)所示。然后,需要對光斑區域和背景噪聲進行分割。本文提出了結合形態學濾波的方法,代替傳統的閾值分割方法[21-23],能夠更好地將目標區域和背景進行分割。依據上小節選取的經驗閾值ξ=10,對光斑區域進行二值化分割,得到光斑區域的形態學圖像,如圖3(b)所示。由圖可見,光斑的邊緣與背景噪聲交織在一起,給分割帶來了一定難度。本文從兩方面來解決這一問題:(1)使用形態學濾波的方法對光斑區域進行規整;(2)通過加權平均的質心求法來弱化光斑邊緣對質心定位精度的影響。

(a)差分圖像中光斑區域的灰度值

(b)經過閾值分割后光斑區域的形態學圖像

(c)經過形態學濾波規整后的光斑區
將圖3(b)當作提取光斑區域的模板,對其進行形態學濾波操作。設該形態學圖像(圖3(b))為集合B,然后用結構元素w對B進行開操作[10],記為B°w,即用結構元素w先對B進行腐蝕操作,然后再用w對B進行膨脹操作:
B°w=(B⊙w)?w,
(4)
其中:操作算子B⊙w和B?w分別表示腐蝕與膨脹操作。經過形態學濾波,得到規整后的光斑區域形態學圖像B′。然后將B′作為濾波模板,對圖3(a)進行濾波:將圖3(a)與B′中的像素點一一對應,B′為1時保留圖3(a)對應像素點灰度值;B′為0時,將圖3(a)對應像素點灰度值置為0。得到的濾波結果如圖3(c)所示。與圖3(b)相比可知,經過形態學濾波規整后得到的光斑區域圖3(c) 在背景噪聲分割的效果上表現得更為出色。
2.3 提高光斑質心的定位精度
文獻[24]提出使用線性插值的方法提高圖像分辨率,進而提高光斑質心的定位精度。這種方法是對單幀圖像進行處理的,其通過插值方法增加樣本數量,進而降低加權平均中的計算誤差,來提高定位精度,實際上并未增加圖像中的信息量。因此,本文采用連續的4幀圖像,通過填充的方式增加圖像的分辨率。CCD相機采集的幀頻一般為24~30 frame/s,而4幀圖像的采集時間為0.13~0.17 s。在這段短時間內,認為采集圖像中各物體不發生空間上的變化。由于在采集圖像時,CCD等傳感器件受其自身的量化機理、器件噪聲等的不確定度的影響,使相同目標在不同幀圖像之間有細微的差別,如圖4所示。

圖4 連續4幅差分圖像中提取的同一光斑區域
Fig.4 The same spot region extracted from four sequential differential imagesd1~d4
由圖4可知,在各幀差分圖像中,光斑區域的灰度值在邊緣部分存在著差異性,這反映了傳感器在測量過程中所存在的不確定性。因此,本文將4幀12 pixel×12 pixel的光斑區域合成一張24 pixel×24 pixel的高分辨率圖像,填充過程如圖5所示。圖中演示了其中兩幀光斑的網格填充方法:將24×24的高分辨率圖像劃分2×2的小格,每個小格中均包含4個像素。這4個像素分別由低分辨率圖像(a),(b),(c),(d)在對應位置處各取一個像素填充。填充順序為自左而右、自上而下。

圖5 4幀光斑區域圖像合成示意圖


(5)

(a)由四幀低分辨率光斑直接合成結果

(6)
對光斑SHR進行質心定位時,采用二維一階修正矩的計算方法[25-26]。設光斑的質心坐標為(X,Y),單個像素點的坐標用(x,y)表示,該像素點(x,y)處的灰度值可用I(x,y)表示,則:

(7)
本文實驗在激光試驗靶場進行,采用固定CCD相機及配套采集設備連續采集目標靶面的視頻序列圖像。使用激光發射裝置對靶面進行射擊,射擊間隔約為4~5 s。激光光斑在靶面上有較長的消隱時間(≥40 s)。由于光斑質心位置的真實值不易獲得,因此,對光斑出現后的幀圖進行重復采集,提取目標光斑的質心,以提取質心的位置穩定度作為算法性能的評價標準。
3.1 評價準則
將一次光斑j的質心定位視為一次試驗,得到的質心位置為(Xi,j,Yi,j),i=1,…,N,N為總的試驗次數;j=1,…,K,K為光斑的總數目。則評價函數定義為:

(8)

(9)

3.2 試驗結果與分析
連續采集光斑突發時刻的第j幀和其后連續的第j+1,j+2,…,j+N+3幀圖像,將最后4幀圖像與第j幀分別相減,取模后得到差分圖像d1,d2,…,dN+3。采用本文方法將{d1,d2,d3,d4}, {d2,d3,d4,d5}, …, {dN,dN+1,dN+2,dN+3}提取的光斑區域分別合成高分辨率光斑,然后進行光斑質心定位。現有的高精度質心定位方法中效果比較顯著的是基于雙線性插值提高圖像分辨率的方法[11],本文將其作為對比方法。對比方法將d1,d2,…,dN分別插值為高分辨率圖像,然后采用相同的方法對光斑質心進行定位。實驗中,采集約1 s內的幀圖進行計算,得到兩種方法所確定的某一光斑質心坐標分布如圖7所示。

圖7 本文方法與對比方法提取的光斑質心的坐標分布圖
Fig.7 Distribution of spot centroids extracted by reference methods and proposed method
由圖7可直觀地看到,本文方法得到的質心坐標更為緊湊,而對比方法得到的質心分布則較為松散一些,這表明使用本文算法所提取的質心坐標更為穩定。從數據上看,本算法定位質心坐標是(295.722 9±0.045 2,150.459 6±0.019 5)較之對比方法的(296.013 0±0.086 7,150.741 0±0.070 5),置信區間更小,表明其定位精度更高;兩種方法的M值如表1所示。由表1也可以得知本文算法效果更優。

表1 某一光斑的質心定位結果
為了證明本文算法的魯棒性,本文進行了多次射擊試驗,每次試驗采用多幀進行比較定位,如圖8所示。

圖8 對多點光斑的質心定位實驗


表2 實驗所有光斑質心定位的結果
針對激光模擬射擊系統的需求本文提出了一種基于視頻序列圖像的光斑檢測與高精度質心定位方法。首先,利用幀間的差分圖像對射擊突發事件進行檢測;然后,利用形態學濾波方法將目標光斑與背景噪聲進行分割;最后,將4幀差分圖像合成為一幀圖像,實現光斑質心的高精度定位。該方法對利用閾值法提取光斑的策略進行了改進,并克服了傳統窗口法無法有效降低窗口內噪聲影響的缺陷。實驗表明:本文方法的光斑質心定位精度達到了亞像素級別,與傳統方法相比,光斑質心定位精度與穩定性明顯提高。在定義的穩定性度量上,傳統方法為0.002 97,而本文算法為0.000 49,優于傳統算法。本文的研究內容對激光射擊系統性能的提升具有重要意義。
[1] ROHM H P. Laser shooting system, United States: US 2007/0021220 A1 [P]. Jan. 25, 2007.
[2] KENDIR T, SHECHTER M, CLARK J. Firearm laser training system and method facilitating firearm training for extended range targets with feedback of firearm control, United States: US 7329127 B2 [P]. Feb. 12, 2008.
[3] HASEBE H, OKI M. Laser gun and shooting system for the same, United States: US 6962532 B2 [P]. Nov. 8, 2005.
[4] 吳喜廣. 紅外激光打靶訓練系統的設計[D]. 蘭州:蘭州大學,2012. WU X G.Designoftheinfraredlasershootingtrainingsystem[D]. Lanzhou: University of Lanzhou, 2012.(in Chinese)
[5] 王輝. 激光模擬打靶系統設計與靶環圖像處理技術研究[D]. 太原:中北大學,2010. WANG H.Designonlasersimulationshootingsystemandresearchontargetringimageprocessingtechnology[D]. Taiyuan:North University of China, 2010.(in Chinese)
[6] 張強,李靜,應自爐,等. 一種基于圖像處理的激光打靶儀設計[J]. 現代電子技術, 2012, 35(12): 90-94. ZHANG Q, LI J, YING Z L,etal.. Design of laser targeting device based on image processing[J].ModernElectronicsTechnique, 2012, 35(12): 90-94.(in Chinese)
[7] 李艷曉,張磊,張紅剛,等. 基于雙CCD 探測的外場高精度激光光斑測試技術[J]. 紅外與激光工程, 2015, 44(1): 59-64. LI Y X, ZHANG L, ZHANG H G,etal.. Technology of high precision test for laser spot based on double CCD detection in the outfield [J].InfraredandLaserEngineering, 2015, 44(1): 59-64.(in Chinese)
[8] 張寧,沈湘衡. 采用CCD 相機測量目標靶形心位置精度的方法[J]. 紅外與激光工程, 2015, 44(1): 279-284. ZHANG N, SHEN X H. Verification method for measuring accuracy of shape center location of target by using CCD camera [J].InfraredandLaserEngineering, 2015, 44(1): 279-284.(in Chinese)
[9] BAKER K L,MOALLEM M M. Iteratively weighted centroiding for Shack-Hartmann wave-front sensors [J].OpticsExpress,2007,15(8):5147-5159.
[11] HANCOCK B R, STIRBL R C, CUNNINGHAM T J,etal.. CMOS active pixel sensor specific performance effects on star tracker/imager position accuracy [J].SPIE, 2001, 4284:43-53.
[12] 梁春,廖文和,沈建新,等. Hartmann-Shack波前傳感器的自適應質心探測方法[J]. 中國激光,2009,36(2):430-434. LIANG CH, LIAO W H, SHEN J X,etal.. An adaptive detecting centroid method for Hartmann-Shack wavefront sensor [J].ChineseJournalofLasers, 2009, 36(2): 430-434.
[13] BAIK S H, PARK S K, KIM C J,etal.. A center detection algorithm for Shack-Hartmann wavefront sensor [J].Optics&LaserTechnology, 2007, 39:262-267.
[14] YIN X M, LI X, ZHAO L P,etal.. Adaptive thresholding and dynamic windowing method for automatic centroid detection of digital Shack-Hartmann wavefront sensor [J].AppliedOptics, 2009, 48(32):6088-6098.
[15] 李振偉,張濤,張楠,等. 暗弱空間目標的高精度定位[J]. 光學 精密工程,2015,23(9): 2627-2634. LI ZH W, ZHANG T, ZHANG N,etal.. High precision orientation of faint space objects [J].Opt.PrecisionEng., 2015, 23(9): 2627-2634.(in Chinese)
[16] 穆紹碩,張葉,賈平. 基于自學習局部線性嵌入的多幅亞像元超分辨成像[J]. 光學 精密工程,2015,23(9): 2677-2686. MU SH SH, ZHANG Y, JIA P. Super-resolution imaging of multi-frame sub-pixel images based on self-learning LLE [J].Opt.PrecisionEng., 2015, 23(9): 2677-2686.(in Chinese)
[17] 田浩南, 張葉.基于邊緣及特征點匹配的立體圖像質量評價[J].液晶與顯示,2015, 30(4): 666-672. TIAN H N, ZHANG Y. Quality evaluation of stereo image based on edge and characteristic point matching [J].ChineseJournalofLiquidCrystalsandDisplays, 2015, 30(4): 666-672.(in Chinese)
[18] 劉久文, 潘峰, 李軍.結合圖像邊緣檢測和最小誤差替換的隱寫方案[J].液晶與顯示,2015, 30(1): 151-156. LIU J W, PAN F, LI J. Steganography based on edge detection and minimum error replacement [J].ChineseJournalofLiquidCrystalsandDisplays, 2015, 30(1): 151-156.(in Chinese)
[19] 金占雷.CCD光斑質心算法的誤差分析[J].航天返回與遙感,2011, 32(1): 38-44. JIN ZH L. Error analysis of centroid algorithm based on CCD [J].SpacecraftRecovery&RemoteSensing, 2011, 32(1): 38-44.(in Chinese)
[20] 王薇, 陳懷新. 基于優化探測窗口的光斑質心探測方法[J]. 強激光與粒子束,2006, 18(8): 1249-1252. WANG W, CHEN H X. New method for centroid detecting of focal spot based on optimizing detecting window [J].HighPowerLaserandParticleBeams, 2006, 18(8): 1249-1252. (in Chinese)
[21] OTSU N. A threshold selection method from gray level histogram [J].IEEETransactionsonSystems,ManandCybernetics, 1979,9(1):62-66.
[22] VELASCO F R D. Thresholding using the ISODATA clustering algorithm [J].IEEETransactiononSystems,ManandCybernetics, 1980, 10(11):771-774.
[23] GONZALEZ R C, WOODS R E.DigitalImageProcessing(2ndEdition)[M]. Beijing: Publishing House of Electronics Industry, 2007, 520-525.
[24] 夏愛利,馬彩文. 基于圖像處理技術的光斑質心高精度測量[J]. 光電子·激光,2011, 22(10): 1542-1545. XIA A L, MA C W. Measurement of focal spot centroid based on image processing [J].JournalofOptoelectronicsLaser, 2011, 22(10): 1542-1545.(in Chinese)
[25] 潘波,楊根慶,劉勇. 星點質心定位算法最優門限研究[J]. 光學 精密工程,2008,16(9):1787-1792 PAN B,YANG G Q,LIU Y. Study on optimization threshold of centroid algorithm [J].Opt.PrecisionEng., 2008,16(9):1787-1792.(in Chinese)
[26] GUO W J, ZHAO L P, TONG CH SH,etal.. Adaptive centroid-finding algorithm for freeform surface measurements [J].AppliedOptics, 2013, 52(10): D75-D83.

錢 鋒(1987-),男,湖南長沙人,博士研究生,2011年于中國科學技術大學獲得工學學士學位,主要研究方向為圖像處理與目標識別。E-mail:zilgard@126.com

張曉沛(1994-),男,吉林長春人,本科生,現就讀于美國加利福尼亞大學洛杉磯分校,亨利·薩繆里工程與應用科學學院,電子工程專業,主要從事機器視覺、人工智能技術研究。E-mail:zxp mirror1994

楊名宇(1983-),男,吉林松原人,博士,助理研究員,2006 年于吉林大學獲得學士學位,2012 年于中國科學院自動化研究所獲得博士學位,主要從事可見光和紅外圖像中目標檢測、目標分割方面的研究。E-mail: ymy1983@ 163.com
(本欄目編輯:李自樂)
(版權所有 未經許可 不得轉載)
Improvement of localization accuracy of spot centroid based on sequential images
QIAN Feng1,2*, YANG Ming-yu1, ZHANG Xiao-pei3
(1.Changchun Institute of Optics, Fine Mechanics and Physics,ChineseAcademyofSciences,Changchun130033,China;2.UniversityofChineseAcademyofSciences,Beijing100049,China;3.HenrySamueliSchoolofEngineeringandAppliedScience,UniversityofCaliforniaLosAngeles,CA90095,USA)
To meet the requirements of a laser firing simulation system for high speed and high accurate location of laser spot centroids, a novel method based on the video sequential images is proposed for the spot detection and spot centroid location. The method firstly detects the firing events by the subtraction image between every two sequential frames and by the estimated noise parameters. Then, it uses the noise estimation to determine the segmenting threshold of the spot and combines morphologic filtering techniques to extract the spot region out from the background, meanwhile reducing the noises inside and outside of the window. Finally, one high resolution image is generated from 4 subtraction images to decrease the image noise and computing errors and to improve the locating accuracy of the spot centroid. Experimental results indicate that the spot centroid localization precision of laser spot and the average measurement stability of the proposed method are superior to that of the conventional method. The spot centroid localization precision has been reached to sub-pixel level, and the average measurement stability is 0.000 49, far better than the conventional 0.002 97. The method in this study is conductive to improving the performance of laser firing simulation systems.
spot detection; centroid localization; mass of gravity; sequential image; laser firing simulation
2016-03-24;
2016-05-23.
中國科學院長春光學精密機械與物理研究所重點發展項目(No.y3cx1ss14c);中科院航空光學成像與測量重點實驗室科研基金資助項目(No.y3hc1sr141)
1004-924X(2016)11-2880-09
TP391.4
A
10.3788/OPE.20162411.2880
*Correspondingauthor,E-mail:zilgard@126.com