基于特征優(yōu)化的Census立體匹配方法

［摘 要］ 針對傳統(tǒng)Census立體匹配算法在弱紋理和邊緣區(qū)域匹配精度較差的問題，提出一種基于特征信息優(yōu)化的代價計算方法，在窗口中融入更多的差異信息以獲得更精確的像素視差值。隨后采用多方向路徑獨立的線掃描優(yōu)化計算聚合代價以進一步提高匹配精度。為獲得更好的遮擋區(qū)域匹配效果，提出一種基于差異填充的視差優(yōu)化方法，對遮擋像素進行識別和視差填充。為提高算法的效率，提出一種基于降采樣策略的算法運行模式，通過縮小視差搜索范圍以減少硬件負荷。最后以五組標(biāo)準(zhǔn)圖像為輸入進行改進Census算法性能檢驗，結(jié)果顯示，平均誤匹配率為6.12%，較改進前降低了2.45%，算法效率平均提升17.7%。

［關(guān)鍵詞］ 立體匹配； Census； 特征信息優(yōu)化； 降采樣策略

［中圖分類號］ TP391.41 ［文獻標(biāo)識碼］ A

局部立體匹配是基于圖像內(nèi)某一像素點周圍的信息在另一幅圖像像素點周圍搜索相似的特征信息，并選取其中最相似的兩個像素點計算視差的過程。局部立體匹配算法實時性能好，但精度較差。因此，研究算法精度改進的方法具有很高的應(yīng)用意義。

主流的局部立體匹配算法可分為基于區(qū)域的局部立體匹配和基于特征檢測的局部立體匹配，其中基于區(qū)域的局部立體匹配常用到的代價計算函數(shù)有Census變換、AD算子和NCC算子等。本文主要對Census變換函數(shù)進行研究，以求獲得更好的匹配效果。2016年Lee Jongchul提出Star-Census變換，在窗口內(nèi)對稱位置比較像素點的亮度并生成代價值，較傳統(tǒng)Census算法具有更好的邊緣匹配效果，但弱紋理區(qū)域匹配精度更低[1]。Hamzah Rostam Affendi等人在AD立體匹配算法中引入梯度信息，結(jié)合Census變換減少光照變化的影響，同時使用無向圖分割平滑低紋理區(qū)域，優(yōu)化了傳統(tǒng)AD算法在低紋理區(qū)域的匹配效果，但引入圖割增加了算法的運算量，算法實時性較差[2]。2022年，蔣文萍等提出一種將Tanimoto系數(shù)與Hamming距離算法結(jié)合，并融合顏色或亮度差的絕對值用作新的初始匹配代價計算，提高了Census算法在弱紋理區(qū)域的匹配精度，但邊緣區(qū)域的匹配效果仍不理想[3]。虞文杰等融合顏色特征、梯度特征進行代價計算，改善了Census算法在深度不連續(xù)區(qū)域匹配效果差的問題，但弱紋理區(qū)域的匹配效果并沒有得到改善[4]。曹毅等對多尺度Census變換窗口中的像素進行置換、取中值并計算漢明距離，這解決了傳統(tǒng)算法過度依賴中心像素的問題，但只是削弱更多影像噪聲的影響，弱紋理區(qū)域匹配精度仍較低[5]。2023年，余嘉昕根據(jù)像素的灰度差異程度劃分等級，提出七等級編碼的精細化Census變換計算匹配代價，改善Census變換在弱紋理區(qū)匹配精度不足的問題，但算法結(jié)構(gòu)復(fù)雜，實時性不佳[6]。

針對傳統(tǒng)Census算法在弱紋理區(qū)域及邊緣區(qū)域誤匹配率偏高這一現(xiàn)象，提出一種基于特征信息優(yōu)化的Census立體匹配算法，通過提取更為豐富的窗口內(nèi)特征信息，顯著改善了在弱紋理區(qū)域的匹配精度。同時，采用基于降采樣策略的算法運行模式，抵消了算法運算量增大帶來的影響，在保證算法實時性的同時，顯著提高了算法的匹配精度。

1 算法描述

改進Census算法分為匹配代價計算、代價聚合、視差計算和視差后處理四步，將左右圖像信息轉(zhuǎn)化為實際物體的視差圖[7]，其流程如圖1所示。首先構(gòu)建3×3的像素窗口，依據(jù)改進的代價匹配方法得出初始匹配代價。然后進行8個方向的代價聚合提高算法的精度，并使用降采樣策略優(yōu)化算法的實時性能。最后根據(jù)WTA（贏者通吃）原則計算像素點的初始視差[8]，并對初始視差圖做優(yōu)化處理得最終視差圖。

1.1 匹配代價計算

傳統(tǒng)Census算子僅僅提取了鄰域像素相較于中心像素灰度值的差異關(guān)系，是一個二值化的信息，并沒有體現(xiàn)差異程度[9]，同時當(dāng)中心像素受噪聲影響發(fā)生突變時，會對代價結(jié)果產(chǎn)生較大影響[10]。對于兩個同名像素點而言，理想視差特征應(yīng)該是對應(yīng)鄰域像素灰度值相等，此處可提煉出來的信息是左右圖像兩同名點各鄰域像素相較于中心像素的差值相等，同時鄰域像素之間的差異信息也是相等的[11]。基于此設(shè)想，本文考慮將各鄰域像素與中心像素的差異以及對稱位置鄰域像素差異融合并量化這種差異作為代價，將有效減少算法的誤匹配率，提升精度。

為減小中心像素受噪聲的影響，提高算法匹配精度，采用窗口內(nèi)所有像素的平均值代替原有中心像素值，可表示為：

1.3 基于降采樣策略的算法運行模式

融入動態(tài)規(guī)劃策略的Census立體匹配算法是搜索點的鄰域特征與距其更遠像素點的特征逐漸逼近待匹配點此類特征的過程[14]，論文提出一種基于降采樣策略的算法運行模式，在不影響匹配精度的前提下，顯著縮短了運行時間。

圖2中，紅色邊框包圍區(qū)域為圖像中各像素點視差搜索區(qū)域。通過事先對低尺度圖像進行立體匹配，并結(jié)合低尺度圖像與原尺度圖像間的視差轉(zhuǎn)換關(guān)系推算出原尺度圖像中像素點的視差最大值，即可剔除原圖像中淡紫色平面上方的視差搜索運算。算法在計算代價值時，不再計算像素點位于淡紫色平面上方視差的代價值。這種方法可以顯著縮短算法的運行時間，抵消掉上文中算法運算量急劇增加造成的影響。

1.4 視差優(yōu)化

視差優(yōu)化的目的是優(yōu)化通過WTA計算出的視差值[15]。為獲得更為精確的遮擋區(qū)域視差，并減少其他因素造成的誤匹配點，設(shè)計了一種基于差異填充的視差優(yōu)化方法，算法結(jié)構(gòu)圖如圖3所示。

左右一致性檢測與唯一性檢測都是基于視差的唯一性約束[16]，目的都是剔除錯誤的視差。左右一致性檢測是指將左右圖像交換輸入計算視差，若前后兩次計算的視差差異較大則剔除該視差值[17]。唯一性檢測是指當(dāng)存在像素點的最小代價與次最小代價差異過小時[18]，則剔除該像素的視差計算值。隨后根據(jù)遮擋區(qū)域的視差特征將遮擋區(qū)與其他區(qū)域區(qū)分開并進行差異填充，填充的數(shù)值來源于像素點周圍的有效區(qū)域[19]。最后采用中值濾波對視差圖進行平滑處理，濾除孤立的噪點。

論文考慮選取周圍有效視差中次最小視差作為遮擋像素的視差；選取周圍有效視差的視差中值作為其他誤差像素的視差，其示意圖如圖4所示。

圖4中，灰色區(qū)域為有效像素；黑色區(qū)域為無效像素。以遮擋像素為中心，等角度往外發(fā)射8條射線，收集每條射線遇到的第一個有效像素，將這8個像素中次最小視差作為該遮擋像素的視差。

2 實驗結(jié)果與分析

2.1 實驗環(huán)境與圖像參數(shù)

實驗使用Middlebury平臺上的標(biāo)準(zhǔn)圖像數(shù)據(jù)，將改進Census算法和傳統(tǒng)Census算法計算出的視差分別與標(biāo)準(zhǔn)視差進行對比，以甄別算法的優(yōu)劣，算法軟硬件環(huán)境見表1。標(biāo)準(zhǔn)圖像數(shù)據(jù)參數(shù)見表2。

分辨率的大小是影響算法效率的重要因素，改進算法則依據(jù)視差最大值約束降低算法的運算量，從另一個角度提升效率。

2.2 算法性能測試

以標(biāo)準(zhǔn)左右圖像為輸入，分別運行改進Census算法和傳統(tǒng)Census算法，視差結(jié)果見圖5（從上至下分別對應(yīng)ArtL、Jadeplant、Recycle、Teddy、Playtable五組圖像）。

從圖5的實驗結(jié)果可以看出，改進算法相比傳統(tǒng)Census算法弱紋理區(qū)域匹配精度明顯提升，例如a3圖中的垃圾桶表面、a5圖中的地板等。對于遮擋區(qū)域，改進算法相比傳統(tǒng)Census算法具有更好的匹配效果，例如a2圖中藍色方框與背景花盆的遮擋關(guān)系被表現(xiàn)得很好，樹葉之間的層次也體現(xiàn)得更好，a4圖中樹葉的縫隙效果也得到了優(yōu)化等等。改進算法在邊緣區(qū)域相較傳統(tǒng)算法也具有明顯優(yōu)勢，例如a1中的人臉輪廓、圓錐的輪廓和圓環(huán)的輪廓，a3中垃圾箱的輪廓，a4中屋頂?shù)妮喞蚢5中桌椅的輪廓等等。但是改進算法視差分層不夠豐富，部分區(qū)域仍會出現(xiàn)視差二值化的現(xiàn)象。綜上，改進Census算法所得到的視差圖噪點明顯減少，弱紋理區(qū)域、邊緣和遮擋區(qū)域匹配精度得到顯著提高。因此，基于特征信息優(yōu)化的Census立體匹配對大多數(shù)場景表現(xiàn)良好的同時，精度也有所提高，具有良好的抗干擾性。所得視差圖的誤匹配率是衡量雙目立體匹配算法效果的有效依據(jù)[20]。誤匹配率計算表達為：算法運算得到的視差與Middlebury官方數(shù)據(jù)集提供的視差真值（GroundTruth）差值大于閾值的像素點與像素點總數(shù)的比值。

表3中，改進Census算法在5組圖像中誤匹配率均低于傳統(tǒng)Census算法與AD-Census算法，平均誤匹配率為 6.12%， 較Census算法降低了2.45%。結(jié)果表明，改進Census算法相比傳統(tǒng)Census算法精度明顯提升，在弱紋理、邊緣和遮擋區(qū)域的匹配效果得到明顯改善。實驗還對算法運行的效率進行了測試，如表4所示。

表4中，改進Census算法在5組圖像中效率均高于傳統(tǒng)Census算法，效率平均提升幅度為17.7%。綜合上述實驗數(shù)據(jù)，改進Census算法相比傳統(tǒng)Census算法既具有較高的匹配精度，算法的實時性能也有所提升。不同于傳統(tǒng)Census算法以一個8位的字符串表征兩個像素點的匹配代價值，改進Census算法提取兩個像素窗口內(nèi)大量的特征信息來計算初始匹配代價，同時在代價聚合階段以像素點周圍8個方向的路徑代價融合來計算聚合代價，這些改動極大地增加了算法的運算量，理論上算法實時性能會急劇下降。但改進算法采用了基于降采樣策略的算法運行模式，縮短了改進算法的視差搜索范圍，削弱了以上改進帶來的消極影響。

3 結(jié)論

本文提出了基于特征信息優(yōu)化的匹配代價計算方法代替原有Census算法中采用Hamming距離計算匹配代價，在代價聚合中采用基于動態(tài)規(guī)劃策略的線掃描優(yōu)化計算聚合代價，同時設(shè)計了基于降采樣策略的算法運行模式降低運算量。實驗結(jié)果表明所得視差圖在遮擋區(qū)、邊緣和弱紋理區(qū)的匹配精度得到顯著提高的同時，算法實時性能也得到了保障。最后，本文考慮目前的試驗還未兼顧更加復(fù)雜的場景，還有待進一步的大數(shù)據(jù)量、多元復(fù)雜場景實驗的支撐。需要據(jù)實際場景數(shù)據(jù)確定一系列可靠的自適應(yīng)參數(shù)，并根據(jù)實際情況對算法提出可能的改進意見。

［ 參 考 文 獻 ］

［1］ LEE J， JUN DAEYOON，et al. Improved census transform for noise robust stereo matching[J]. Optical Engineering，2016，55（06）：063107-1-063107-10.

[2] HAMZAH， ROSTAM AFFENDI， IBRAHIM HAIDI， et al. Stereo matching algorithm based on per pixel difference adjustment， iterative guided filter and graph segmentation[J]. Journal of visual communication amp; image representation，2017，42（Jan.）：145-160.

[3] 蔣文萍，汪凌陽，韓文超，等.基于改進Census變換的自適應(yīng)局部立體匹配[J].電子測量技術(shù)，2022，45（13）：82-87.

[4] 虞文杰，葉嵩，郭毓，等.基于改進Census變換與多特征融合的立體匹配算法[J].激光與光電子學(xué)進展，2022，59（08）：157-163.

[5] 曹毅，包祥威，吳翔.基于重排序Census變換的半全局立體匹配算法[J].電子測量技術(shù)，2021，44（24）：40-46.

[6] 余嘉昕，王春媛，韓華，等. 基于融合代價和優(yōu)化引導(dǎo)濾波的立體匹配算法[J]. 計算機工程，2023，49（03）：257-262，270.

[7] KARIMI HOSSEIN， DOLATI ARDESHIR， LAYEGHI KAMRAN. Stereo matching by using a new local descriptor based on sign and order in belief propagation algorithm[J]. Displays： Technology and Applications，2022，75（10）：1731-1739.

[8] MUKHERJEE， SUBHAYAN， GUDDETI， et al. A hybrid algorithm for disparity calculation from sparse disparity estimates based on stereo vision[C]. ∥2014 International Conference on Signal Processing and Communications： 2014 International Conference on Signal Processing and Communications （SPCOM）， 22-25 July 2014， Bangalore， India.：Institute of Electrical and Electronics Engineers， 2014：1-6.

[9] IRIJANTI E，" NAYAN M Y， YUSOFF M Z. Local stereo matching algorithm using small-color census and sparse adaptive support weight[C]. ∥2011 National Postgraduate Conference. [v.2].：IEEE， 2011：929-933.

[10] HIRSCHMULLER H. Accurate and efficient stereo processing by semi-global matching and mutual information[C]. Computer Vision and Pattern Recognition， 2005. CVPR 2005. IEEE Computer Society Conference on vol.2. 2005：807-814.

[11] 唐笑虎，胡丹，劉凱.一種極線近似的雙目結(jié)構(gòu)光相位立體匹配方法[J/OL].強激光與粒子束：1-6[2022-09-28].http：∥kns.cnki.net/kcms/detail/51.1311.O4.20220722.1916.002.html.

[12] 李涵，黃妙華.自適應(yīng)區(qū)域劃分立體匹配算法[J/OL].激光與光電子學(xué)進展：1-17[2022-09-28].http：∥kns.cnki.net/kcms/detail/31.1690.TN.20220714.1830.473.html.

[13] ZHUORAN L" X. Multilevel disparity reconstruction network for real-time stereo matching[J]. 上海交通大學(xué)學(xué)報（英文版），2022，27（05）：715-722.

[14] 陶洋，田家旺.匹配代價融合與分層迭代優(yōu)化的半全局立體匹配[J/OL].小型微型計算機系統(tǒng)：1-8[2022-09-28].http：∥kns.cnki.net/kcms/detail/21.1106.TP.20220707.1505.006.html.

[15] 楊記鑫，胡偉霞，趙杰.基于雙目視覺的標(biāo)定和立體匹配的研究[J].電子設(shè)計工程，2022，30（13）：50-53.

[16] XIN M，" ZHICHENG Z，" DANFENG W，et al. Adaptive deconvolution-based stereo matching net for local stereo matching[J]. Applied Sciences，2022，12（04）：2086.

[17] 王正家， 陳長樂， 徐研彥， 等. 基于跨尺度PatchMatch的立體匹配算法[J]. 電子測量技術(shù)， 2022， 45（12）：114-119.

[18]" JIYANG Q， LIANG L. The stereo matching algorithm based on an improved adaptive support window[J]. IET Image Processing，2022，16（10）：2803-2816.

[19] 余嘉昕，王春媛，韓華，等.基于融合代價和優(yōu)化引導(dǎo)濾波的立體匹配算法[J].計算機工程， 2023，49（03）：257-262， 270.

[20] KARNAUKHOV V" N，KOBER V I，MOZEROV M G，et al. Robust stereo matching using phase features based on the walsh-hadamard transform[J]. Journal of Communications Technology and Electronics，2021，66（12）：1438-1443.

Research and Implementation of Census Stereo Matching MethodBased on Feature Information Optimization

YOU Dazhang1，2， ZHOU Hongyao 1，2， ZHANG Yepeng1，2

（1 School of Mechanical Engineering， Hubei Univ. of Tech.， Wuhan 430068， China;2 Hubei Key Lab of Manufacture Quality Engineering， Wuhan" 430068， China）

Abstract： Aiming at the problem of poor matching accuracy of traditional Census stereo matching algorithm in weak texture and edge areas， we propose a cost calculation method based on feature information optimization， which integrates more difference information into the window to obtain more accurate pixel disparity value. Subsequently， multidirectional path independent line scan optimization was used to calculate the aggregation cost to further improve the matching accuracy. In order to obtain better occlusion area matching effect， a disparity optimization method based on difference filling is proposed to identify the occlusion pixels and make disparity filling. In order to improve the efficiency of the algorithm， a new algorithm operation mode based on the downsampling strategy is proposed to reduce the hardware load by narrowing the disparity search range. Finally， the performance test of the improved Census algorithm was conducted with five sets of standard images as input. The results showed that the average mismatching rate was 6.12%， which was 2.45% lower than before the improvement， and the average efficiency of the algorithm increased by 17.7%.

Keywords： stereo matching; Census; characteristic information optimization; downsampling strategy

［責(zé)任編校： 閆 品］

［收稿日期］ 2022-11-14

［基金項目］ 國家自然科學(xué)基金（51875180）

［第一作者］ 游達章（1975-），男，湖北武漢人，工學(xué)博士，湖北工業(yè)大學(xué)教授，研究方向為機器人與智能控制、數(shù)控技術(shù)、故障預(yù)測與可靠性技術(shù)。

［通信作者］ 周宏耀（1997-），男，湖北麻城人，湖北工業(yè)大學(xué)碩士研究生，研究方向為立體匹配。