動目標多視點基于標定的去模糊方法

章秀華，洪漢玉，華夏，白浩玉，時愈

武漢工程大學電氣信息學院，湖北 武漢 430205

動目標多視點基于標定的去模糊方法

章秀華，洪漢玉，華夏，白浩玉，時愈

武漢工程大學電氣信息學院，湖北 武漢 430205

針對三維視覺檢測技術應用中動目標多視點去模糊的難題，提出了一種動目標多視點基于標定的去模糊方法.首先估計部分視點模糊圖像（以兩個視點的模糊圖像為例）點擴展函數(shù).其次根據(jù)多視點幾何關系，利用相機標定方法，得到各個相機的參數(shù)矩陣；結合估計出部分視點的點擴展函數(shù)和相關參數(shù)矩陣，以直線運動為例，建立多視點模糊圖像的點擴展函數(shù)關系.最后在確保各視點模糊路徑對應的關系前提下，對多視點圖像進行整體去模糊.結果表明該方法對于對運動模糊圖像恢復有很好的效果.

點擴散函數(shù)；多視點；運動模糊；圖像復原

0 引言

在現(xiàn)代工業(yè)生產(chǎn)的產(chǎn)品加工過程中，將基于多視點成像的三維視覺檢測技術應用在生產(chǎn)線上，實現(xiàn)產(chǎn)品的全自動、非接觸數(shù)字精確在線測量，是產(chǎn)品數(shù)字化，信息化與智能化制造的必然需要［1］.然而，當人們試圖將這種技術應用在生產(chǎn)線上時，卻遇到了一些困難.產(chǎn)品在生產(chǎn)線上處于運動狀態(tài)，拍攝的圖像都會產(chǎn)生運動模糊，與靜止情況下拍攝的圖像相比，物體邊緣不清晰、形狀會失真，而且利用這些模糊圖像進行三維重建，無法得到物體的完整結構表面，更不能實現(xiàn)視覺檢測.因此，就必須通過圖像復原技術對模糊圖像進行處理，但是目前運用較廣泛的單幅圖像去模糊方法只是對一幅圖像進行處理［2-3］，而一幅圖像很難實現(xiàn)三維重建；同時多幅圖像去模糊方法雖然圖像數(shù)量增多了［4］，但是對這些圖像的要求比較多，比如要求圖像的背景相同等，這也不利于實現(xiàn)三維重建；如果把多視點運動模糊圖像劃分為逐個單幅圖像進行獨立去模糊后，這些圖像仍然也無法進行三維重建，因為去模糊后的圖像嚴重破壞了同名特征點的位置對應關系.

本研究提出了一種新的多幅圖像聯(lián)合去模糊的算法.結合現(xiàn)有的成熟的相機標定方法和單幅去模糊方法，通過任意兩幅圖像的點擴展函數(shù)和相對應的相機的內(nèi)外參數(shù)，建立多視點點擴展函數(shù)的路徑關系，求出其他相機所對應的模糊圖像的點擴展函數(shù).一旦知道了所有圖像的點擴展函數(shù)，就可以利用現(xiàn)有的非盲目圖像復原算法來獲取清晰圖像.

1 算法原理

1．1 多視點模糊圖像采集系統(tǒng)

為了獲取動目標多視點的模糊圖像，首先需要建立多視點成像采集系統(tǒng)，多視點相機的數(shù)量可以根據(jù)實際需要來確定.每個相機在不同的角度和位置對目標進行拍攝，當拍攝視角和位置確定后，各視點相機的位置基本保持不變，采用同步信號發(fā)生器來控制多視點成像系統(tǒng).

本研究建立了一套多視點圖像采集系統(tǒng).將物體放在一個遙控小車上，當拍攝靜止的圖像時，小車保持不動，當拍攝運動模糊圖像時，用遙控小車實現(xiàn)運動.八個工業(yè)相機呈弧線排列從具有顯著差異的視角來獲取物體信息.利用同步信號發(fā)生器實時采集動目標多視點圖像，圖1展現(xiàn)了該采集系統(tǒng)中的硬件平臺：

1．2 部分視點模糊圖像點擴散函數(shù)路徑的初步估計

從采集到的多視點圖像中選擇部分視點圖像（這里選擇兩個視點圖像），先估計出它們的點擴展函數(shù)（PSF）路徑，然后利用已經(jīng)估計出來的兩個視點的模糊路徑以及各視點模糊路徑的對應關系來計算其他視點的模糊核函數(shù).由于每個視點的模糊核以及原清晰圖像都是未知的，要從單視點圖像中同時估計出模糊核和原圖像，這就要面對一個不適定問題，而估計出的模糊核的精度對復原結果起著至關重要的作用.本文采用基于邊緣預測的模糊核估計方法來獲得模糊核的初步估計值［4］.

圖1 多視點運動模糊圖像采集系統(tǒng)的硬件平臺Fig．1The hardware platform of multi－view motion blurred image acquisition system

1．3 相機標定

目標圖像的像素值表示空間場景中相對應位置攝入鏡頭里的光通量，這個像素的坐標信息與實際場景中的幾何位置有關聯(lián)［5］.通過相機的圖像坐標系與空間物體的三維坐標系之間的關系，得到相機的參數(shù)的過程就是相機標定.本文選用傳統(tǒng)法對相機進行標定，即張正友標定方法.該方法結合旋轉(zhuǎn)矩陣的正交性條件和非線性最優(yōu)化［6］.從兩個以上的不同角度用相機對平面模板進行拍攝，平面模板是一個類似國際象棋棋盤的平面，如圖2：

圖2 相機標定板Fig．2camera calibration plate

1．4 多視點模糊圖像點擴散函數(shù)路徑關系的建立

在多視點成像系統(tǒng)中，若給定空間點（x，y，z），其在視點成像面上的投影坐標為（u，v），空間點坐標（x，y，z）和投影點坐標（u，v）的對應關系可通過一個相機參數(shù)矩陣來描述：

其中d為空間點（x，y，z）的景深（距離），（u，v）是空間點在圖像坐標系中的坐標，相機參數(shù)矩陣元素值是通過標定方法得到的相機參數(shù)，不同視點的相機具有不同的內(nèi)外參數(shù).

三維空間中運動物體上的不同的點的運動向量大小是一樣的，因此，在物體上任意選擇一點m，把位置A和位置B分別作為起點和終點.令（uA，vA）是點m在位置A時，所對應的點在圖像坐標系中的坐標，dA是點m到相機平面的景深（距離），同理（uB，vB）是點m在位置B時，所對應的點在圖像坐標系中的坐標，dB是此時點m到相機平面的景深（距離）.物體在世界坐標系中，從位置A運動位置B，相應的在i，j視點的成像平面上也分別從（uA（i），vA（i））運動到（uB（i），vB（i）），（uA（j），vA（j））運動到（uB（j），vB（j）），由公式（1）可推導出i，j對應的空間位移分別為：

由于各視點圖像中，點m在空間中移動的距離是相同的，于是，根據(jù)公式（2）和（3），可建立視點i和視點j圖像點擴展函數(shù)路徑的關系如下：

各視點圖像的點擴展函數(shù)只與其點擴展函數(shù)路徑有關，即

psfi＝h（Δu（i），Δv（i）），psfj＝h（Δu（j），Δv（j））．根據(jù)1．2介紹的單視點圖像模糊核估計方法估計出視點i和視點j的點擴展函數(shù)路徑，（Δu（i），Δv（i））和（Δu（j），Δv（j））將這兩對值代入公式（4）中，即可得到包含兩個景深未知參數(shù)dB（i）和dB（j）的三個方程，這是個超定線性方程組，利用最小二乘法的最小誤差即可求出深度dB（i）和dB（j），當求出（Δu（i），Δv（i）,dB（i）），其他視點圖像的點擴展函數(shù)路徑（Δu?（n），Δv?（n））及dB（n）深度值可以通過如下關系方程計算：

點擴展函數(shù)路徑確定后，根據(jù)兩視點圖像點擴展函數(shù)值的線性映射關系及能量守恒（點擴展函數(shù)離散值之和為1）通過線性插值可確定該視點的點擴展函數(shù)的值.

1．5 基于點擴散函數(shù)內(nèi)在關系的多視點模糊圖像的去模糊方法

根據(jù)1．4節(jié)內(nèi)容，我們可以得出各視點圖像的具有對應關系和整體一致性的點擴散函數(shù)同名路徑和點擴散函數(shù)值，在各視點圖像模糊核都已估計出且確保了對應性和一致性的前提下，對模糊圖像進行整體去模糊.為了克服噪聲的影響并且保護圖像的細節(jié)，提高圖像恢復的質(zhì)量，本文采用基于保護邊緣的各向異性正則化理論與最大似然估計復原算法相結合的方法來恢復圖像［7－9］.與傳統(tǒng)方法相比，該方法在各個方向上使用不同的平滑系數(shù)，從而抑制了背景平滑區(qū)域中的噪聲.

本文采用泊松隨機模型來估計圖像噪聲分布，假設模糊圖像灰度值g（y）是以i（y）為均值的服從泊松分布的獨立隨機變量，i（y）是不含噪聲圖像的灰度值.根據(jù)泊松分布模型，對模糊圖像的聯(lián)合概率泊松分布求對數(shù)可得到如下對數(shù)似然函數(shù)：

由于圖像中相鄰點的灰度值是高度相關的，可以將相鄰點的灰度值的差異最小化作為空間相關性的約束條件，因此加入基于圖像梯度的各向異性正則化的輔助代價函數(shù)：

為了保護圖像邊緣，采用較小的正則化系數(shù)對大梯度進行較輕的平滑以保護邊緣的大梯度，利用較大的正則化系數(shù)來對小梯度邊緣進行較重的懲罰，從而抑制了背景平滑區(qū)域中的噪聲，不同的方向采用不同的正則化系數(shù).將公式（7）的最小化轉(zhuǎn)化為最大化的準則函數(shù)形式：

將上述輔助準則函數(shù)加入到對數(shù)似然函數(shù)（6）中，可通過求解基于邊緣保護的正則化輔助函數(shù)與似然函數(shù)相加的函數(shù)最大值來復原圖像，即對原圖像f求導，并令其導數(shù)為零，求解該系統(tǒng)方程則得到復原圖像.采用迭代求解，在迭代過程中，給定模糊核h?的值，則通過非線性迭代不斷更新f?（n＋1）的值，直至得到清晰的原圖像，公式表示為：

2 結果與分析

本節(jié)為了驗證動目標多視點運動去模糊方法的有效性，進行了大量的復原實驗.這些實驗包括點擴展函數(shù)的估計與優(yōu)化驗證實驗，對直線運動和斜線運動實際模糊圖像的復原實驗.本實驗算法是在VC6．0平臺上用C＋＋編程實現(xiàn).本文所有實驗均在3．06 GHz的CPU4G的內(nèi)存的計算機上運行得到.

2．1 部分視點點擴散函數(shù)初步求解

將相機采集系統(tǒng)的8個相機分別標號（1－8號），通過采集系統(tǒng)獲取部分視點物體的靜止圖像以及不同運動形式下的實際運動模糊圖像.將5號相機獲取的物體靜止圖像進行運動仿真模糊，得到兩種不同運動形式下的模糊圖像，并求出相對應的點擴展函數(shù).如圖3所示，其中圖3（a）是原始的清晰圖像，圖3（b）是水平運動仿真模糊圖像，圖3（c）是斜線運動仿真模糊圖像.它們相對應的點擴展函數(shù)分別是圖4和圖5.其中，圖4（a）是真實的水平運動模糊點擴展函數(shù)，圖4（b），圖4（c）分別是初步估計的點擴展函數(shù)和優(yōu)化后的點擴展函數(shù).對比真實的點擴展函數(shù)，可以看出優(yōu)化后的點擴展函數(shù)非常接近真實的點擴展函數(shù).圖5（a）是真實的斜線運動模糊點擴展函數(shù)，圖5（b），圖5（c）分別是初步估計的點擴展函數(shù)和優(yōu)化后的點擴展函數(shù).對比真實的點擴展函數(shù)，同樣也可以看出優(yōu)化后的點擴展函數(shù)非常接近真實的點擴展函數(shù).

圖3 不同運動形式下的仿真圖像Fig．3The simulated images from different mode of motion

圖4 水平運動仿真的真實PSF與求解出的PSFFig．4The real PSF and solved PSF of the simulated image from horizontal motion

圖5 斜線運動仿真的真實PSF與求解出的PSFFig．5The real PSF and solved PSF of the simulated image from slash motion

2．2 多視點運動圖像去模糊實驗及分析

為了驗證本文算法對實際運動模糊圖像的有效性，選擇8個視點實際的運動模糊圖像做測試.圖6（a）到圖6（h）是8個相機采集的實際水平運動模糊圖像.圖8（a）到圖8（h）是8個相機采集的實際斜線運動模糊圖像.

實驗一：水平運動模糊圖像復原

這次選擇視點1和視點8，先分別估計出這兩個視點的點擴展函數(shù)，然后建立多視點點擴展函數(shù)關系，進而求出其他視點的點擴展函數(shù)，最后對圖6的8個視點的圖像進行聯(lián)合去模糊.圖7分別是對應的視點的復原圖像，其右下角是其相應的點擴展函數(shù).從結果可知，與實際模糊圖像相比，復原圖像的漢字能清晰辨別，各個視點的點擴展函數(shù)與仿真時相比比較接近，更符合前面章節(jié)對多視點運動模糊路徑的分析.

實驗二：斜線運動

選擇視點2和視點7，先分別估計出這兩個視點的點擴展函數(shù)，然后建立多視點點擴展函數(shù)關系，進而求出其他視點的點擴展函數(shù)，最后對圖8的八個視點的圖像進行聯(lián)合去模糊.圖9分別是對應的視點的復原圖像，其右下角是對應的點擴展函數(shù).從結果可以看出，復原圖像的英文詞組非常容易辨別，而在模糊圖像上相同位置的詞組幾乎辨別不出.同時每個視點的點擴展函數(shù)與仿真圖像復原得到的點擴展函數(shù)相比非常接近.

圖6 實際水平運動模糊圖像Fig．6 The real horizontal motion blurred image

圖7 實際水平運動模糊圖像恢復結果Fig．7The restoration results of real horizontal motion blurred image

圖9 實際斜線運動模糊圖像恢復結果Fig．9The restoration results of real slash motion blurred image

3 結語

本研究提出了一種新的動目標多視點運動去模糊方法.該方法在多視點幾何理論的基礎上，尋求多視點的運動模糊圖像的點擴展函數(shù)路徑和模糊核之間的關系.并在確保各視點模糊核的對應性和一致性的前提下，對多視點圖像進行聯(lián)合去模糊.實驗結果表明本文方法對運動模糊圖像恢復有很好的效果.

致謝

本工作得到國家自然科學基金委員會，湖北省科學技術廳和武漢市科技局提供的資金資助，在此一并致以衷心的感謝.

［1］洪漢玉．現(xiàn)代圖像圖形處理與分析［M］．武漢：中國地質(zhì)大學出版社，2011：1－2．HONG Han－yu．Advanced processing and analysis for image and grahics［M］．Wuhan：China University of Geosciences Press，2011：1－2（in Chinese）

［2］CHEN W G，NANDHAKUMAR N，MARTIN W N．Image motion estimation from motion smear－a new computational model［J］．Pattern Analysis and Machine Intelligence，1996，18（4）：412－425．

［3］HONG Han－yu，TIAN Xu-Zhang．Fast restoration approach for rotational motion blurred image based on deconvolution along the blurring paths［J］．Optical Engineering，2003，42（12）：3471－3486．

［4］HONG Han－yu，LI Liang－cheng，ZHANG Tianxu．Blind restoration of real turbulence－degraded image with complicated backgrounds using anisotropic regularization［J］．Optics Communications，2012，285（2）：4977－4986．

［5］馬頌德，張正友．計算機視覺－－計算機理論與算法基礎［M］．北京：科學出版社，1998．

MA Song－de，ZHANG zheng－you．Computer vision，computer theory and algorithms［M］．Beijing：Science Press，1998．

［6］ZHANG Zheng－you．A flexible new technique for camera calibration［C］．IEEE Transactions on Pattern AnalysisandMachineIntelligence，2002，2（11）：1330－1334．

［7］HONG Han－yu，PARK I K．Single－image motion deblurringusingadaptiveanisotropicregularization［J］．Optical Engineering，2010，49（9）：1－13．

［8］HONG Han－yu，ZHANG Tian－yu，YU Guo－liang．Regularized restoration algorithm of astronautcal turbulence－degraded images using maximum－likelihood estimation［J］．Journal of Infrared and Millimeter Waves，2005，24（2）：130－134．

［9］HONG Han－yu，WANG Jin，ZHANG Tian－yu，et al．Study on acceleration technique of circulation iterative restoration algorithm for infrared target images［J］．JournalofInfraredandMillimeterWaves，2008，27（2）：115－118.

Multi－view motion of moving target deblurring based on calibration

ZHANG Xiu－h(huán)ua，HONG Han－yu，HUA Xia，BAI Hao－yu，SHI Yu
School of Electrical and Information Engineering，Wuhan Institute of Technology，Wuhan 430205，China

To solve the problem of multi－view motion blur in application of three-dimensional vision inspection，a new multi－view motion deblurring method was proposed．Firstly，the point spread function of some view motion－blurred images was estimated（We took two view motion－blurred images as examples）．Then，the parameter matrix of each camera was obtained by a camera calibration method．The corresponding relationship between these point spread functions was built by using the parameter matrix of each camera．Finally，the multi－view motion blurred images were restored as a whole based on the premise that the corresponding relationship between these point spread functions was ensured．The results show that the proposed method improves the effect of image restoration for the multi－view motion blurred images．

point spread function；multi-view；motion blur；image restoration

TB35

A

10.3969/j.issn.1674-2869.2014.012.011

1674－2869（2014）012－0056－07

本文編輯：張瑞

2014－11－25

國家自然科學基金面上項目（61175013）；湖北省自然科學基金創(chuàng)新項目（2012FFA046）；武漢市國際科技合作計劃項目（2014030709020310）

章秀華（1976-），女，湖北天門人，副教授，博士．研究方向：圖像處理與模式識別.