三維變形體的因式分解重建方法

彭亞麗1，2，劉侍剛2，梁新剛2，廖福軒2

（1.陜西師范大學現代教學技術教育部重點實驗室，陜西西安 710062；2.陜西師范大學計算機科學學院，陜西西安 710119）

三維變形體的因式分解重建方法

彭亞麗1，2，劉侍剛2，梁新剛2，廖福軒2

（1.陜西師范大學現代教學技術教育部重點實驗室，陜西西安 710062；2.陜西師范大學計算機科學學院，陜西西安 710119）

為了從非標定圖像序列中重建出三維非剛體的結構，提出了一種三維變形體的因式分解重建方法.該方法首先利用圖像矩陣為低秩矩陣的特性，通過奇異值分解求到射影重建，利用投影矩陣的正交約束，實現射影重建到歐氏重建的過渡.該方法的優點是，重建過程全部為線性求解，且將圖像及圖像點平等對待.模擬實驗和真實實驗數據結果表明，該重建方法具有魯棒性好和重投影誤差小等優點.

變形體；重建；因式分解

從圖像序列中重建三維物體是計算機視覺的研究熱點［1-2］，自從Tomasi提出基于因式分解的三維重建方法［3］以來，許多重建方法都是基于該思想［4-5］.但這些方法要求物體做剛體運動，導致其應用受到限制.

為了重建非剛體，Bregler等首先提出了非剛體可以由若干個剛體基元組成［6］，并重建了非剛體的三維結構，但該方法實現極其繁瑣.后來許多非剛體三維重建方法都是基于Bregler的假設［7-8］.Brand在物體離相機比較近的情況下基于分解的方法進行了重建［9］，但當物體離相機比較遠時，重建誤差較大；有些學者利用雙目視覺的方法對非剛體進行三維重建［10］，但該方法不適合單目視覺系統；Llado等認為非剛體運動中包含著剛體運動部分和非剛體運動部分［11］，利用剛體運動部分進行重建，但很難對特征點進行分類，因此，這種方法在實際應用中很難推廣.

為克服上述問題，筆者提出了三維變形體的因式分解重建方法，該方法利用因式分解，求到相差一個變換矩陣的重建，再利用投影矩陣的約束關系，求解出該變換矩陣，完成到歐氏重建的過渡.該方法的優點在整個重建過程中都是線性的，而且將所有圖像及圖像點都平等對待.

1 相機模型

假定相機模型為正投影模型，成像過程可表示為

其中，X=［x，y，z］T，為三維空間點；m=［u，v］T，為對應的圖像點；P=［R，t］2×4，為投影矩陣，R和t分別為旋轉矩陣和平移向量的前2行.

假設有m幅圖像，每幅圖像上有n個對應的圖像點，則式（1）可表示為

其中，i（i=1，2，…，m）表示第i幅圖像，j（j=1，2，…，n）表示第j個圖像點.對于第i幅圖像，有

對式（3）兩邊求和，則有

由于世界坐標系可任意建立，因此，可假設世界坐標系的原點位于物體中心，即有

將式（5）代入式（4），即有

當所有圖像點都已知時，可利用式（6）對式（3）去除向量ti的影響，即式（3）可表示為

其中，m′i，j=mi，j-ti.

2 射影重建

當物體做非剛體運動時，［Xi，1，Xi，2，…，Xi，n］在運動過程中是變化的，可認為是由若干個剛性基元線性組合而成的［8］，即

其中，βi，k為權值，Bk為第k個剛性基元.

將式（8）代入式（7），有

由式（9）整理可得

若將所有圖像放在一起，則有

對于式（11）中的M2m×n矩陣，其秩為3l，因此，M2m×n不是一個滿秩矩陣.通過對M2m×n奇異值分解（Singular Value Decomposition，SVD），可求得P2m×3l和B3l×n，但從式（11）中可看出，P2m×3l和B3l×n之間相差一個非奇異矩陣T3l×3l，即

其中，P′2m×3l=P2m×3lT3-l1×3l，B′3l×n=T3l×3lB3l×n.

因此，該重建落在射影空間.

3 歐氏重建

通過SVD分解，可以求到一組射影重建P′2m×3l和B′3l×n，根據式（12），有

其中，P2m×3l為歐氏空間中的投影矩陣.

對于第i幅圖像，由式（10）可得

為描述方便，將式（13）中的T3l×3l和P′2m×3l表示為

由式（13）可得

將式（16）兩邊乘以其轉置，則有

其中，I2×2為單位矩陣.

4 實 驗

4.1仿真實驗

為比較文中方法和Llado方法［11］的重建精度，隨機地在一個單位球產生200個空間點，并將這些空間點分別分成3個和4個非剛體的剛體基元.當分成3個剛體基元時，第1個剛體基元由前80個空間點組成，第2個和第3個基元各由60個空間點組成；當分成4個剛體基元時，第1個剛體基元由前80個空間點組成，后面3個基元各由40個空間點組成.變化相機的參數以產生50幅圖像，并在圖像中加入0至2個像素的圖像噪聲，分別用文中方法和Llado方法進行重建，在每個圖像噪聲下，各運行100次，計算重投影誤差，后取平均值，模擬實驗結果如圖1所示.

從圖1可以看出，在假設非剛體由3個和4個基元組成的情況下，文中方法的重投影誤差都要比Llado方法的重投影誤差約小15%，因此，文中方法的重建精度比Llado方法的重建精度要高，原因是Llado方法進行重建時，將特征點分成做剛體運動和非剛體運動兩類，但分類誤差非常大，直接導致后續的重建誤差增大，而且Llado方法沒有將所有的圖像點平等對待，而文中方法不需要對特征點進行分類，而且將所有的圖像點都平等對待，因此，Llado方法的重投影誤差要大.同時，從圖1中還可看出，非剛體組成成分越多（即非剛性基元越多，秩越大，非剛體運動越復雜），文中方法和Llado方法的重投影誤差都越大.

圖1　文中方法和Llado方法比較實驗

4.2真實實驗

為驗證文中方法的正確性，采用一個包括有300幅圖像的跳舞動作圖像序列，其中的兩幅圖像如圖2所示.在該圖像序列中，提取并跟蹤了75個特征點.利用這些特征點，用文中方法進行非剛體的三維結構及運動恢復，恢復結果如圖3所示.從圖3可看出，筆者的重建方法能夠有效地恢復出非剛體的三維結構及運動.

圖2　跳舞動作圖像序列

圖3　三維重建結果

5 結束語

筆者提出了一種三維變形體的因式分解重建方法，該方法采用了線性求解的方法求解變換矩陣，且將圖像點平等對待.模擬實驗結果表明，該方法具有良好的收斂性、魯棒性，同時和Llado方法進行比較顯示，文中方法的重投影誤差比Llado方法的重投影誤差約小15%.真實圖像實驗結果表明，筆者提出的重建方法是非常有效的.

［1］SHEEHAN M，HARRISON A，NEWMAN P.Automatic Self-calibration of a Full Field-of-view 3D n-laser Scanner ［J］.Experimental Robotics，2014，79（1）:165-178.

［2］PENG Y，LIU S，LIU F.Projective Reconstruction with Occlusions［J］.Opto-Electronics Review，2010，18（2）:14-18.

［3］TOMASI C，KANADE T.Shape and Motion from Image Streams under Orthography:a Factorization Method［J］. International Journal of Computer Vision，1992，9（2）:137-154.

［4］DIGNE J，STEINER D，ALLIEZ P，et al.Feature-preserving Surface Reconstruction and Simplification from Defectladen Point Sets［J］.Journal of Mathematical Imaging and Vision，2014，48（2）:369-382.

［5］彭亞麗，劉芳.一種組織進化的遮擋點恢復算法［J］.西安電子科技大學學報，2013，40（4）:137-141. PENG Yali，LIU Fang.An Organizational Evolutionary Algorithm for Occlusion Recovery［J］.Journal of Xidian University，2013，40（4）:137-141.

［6］BREGLER C，HERTZMANN A，BIERMANN H.Recovering Non-rigid 3D Shape from Image Streams［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Los Alamitos:IEEE，2000:690-696.

［7］NOGUER F，FUA P.Stochastic Exploration of Ambiguities for Nonrigid Shape Recovery［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35（2）:463-475.

［8］GARG R，ROUSSOS A，AGAPITO L.Dense Variational Reconstruction of Non-rigid Surfaces from Monocular Video ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Piscataway:IEEE，2013:1272-1279.

［9］BRAND M.A Direct Method for 3D Factorization of Nonrigid Motion Observed in 2D［C］//Proceedins of the IEEE International Conference on Computer Vision and Pattern Recognition.Los Alamitos:IEEE Computer Society，2005: 122-128.

［10］SHEN S.Accurate Multiple View 3D Reconstruction Using Patch-based Stereo for Large-scale Scenes［J］.IEEE Transactions on Image Processing，2013，22（5）:1901-1914.

［11］LLADO X，BUE A，AGAPITO L.Non-rigid Metric Reconstruction from Perspective Cameras［J］.Image and Vision Computing，2010，28（9）:1339-1353.

（編輯:齊淑娟）

Factorization reconstruction method for the 3D deformable structure

PENG Yali1，2，LIU Shigang2，LIANG Xingang2，LIAO Fuxuan2
（1.Key Lab.of Modern Teaching Technology of Ministry of Edu.，Shaanxi Normal Univ.，Xi’an 710062，China；2.School of Computer Science，Shaanxi Normal Univ.，Xi’an 710119，China；）

To recover the 3D deformable structure from an un-calibration image sequence，a factorization reconstruction method for 3D deformable reconstruction is presented.Based on the low rank constraint on the image matrix，the projective reconstruction can be obtained by single value decomposition.By using the orthogonality of the projective matrix，the Euclidean reconstruction is upgraded from projective reconstruction.The innovation of the method is that the solving of the 3D non-rigid reconstruction is linear and that all the images and the image points are treated uniformly.The experiments with both simulated and real data show that the method presented in the paper is efficient.

deformable structure；reconstruction；factorization

TP391.41

A

1001-2400（2016）01-0116-04

10.3969/j.issn.1001-2400.2016.01.021

2014-08-12 網絡出版時間：2015-04-14

國家自然科學基金資助項目（61402274，41271387）；中國博士后科學基金特別資助項目（200902594）；中央高?；究蒲袠I務費專項資金資助項目（GK201402040，GK201302029）；陜西師范大學學習科學交叉學科培育計劃資助項目；陜西師范大學實驗技術研究資助項目（SYJS201314）；陜西師范大學大學生創新創業訓練計劃資助項目（cx14023）

彭亞麗（1979-），女，講師，E-mail:pengyl@snnu.edu.cn.

網絡出版地址：http://www.cnki.net/kcms/detail/61.1076.TN.20150414.2046.018.html