基于零空間投影和ＲＱ分解的線性自標定

摘要：研究當模型矩陣已知時的攝像機自標定和目標三維重建。通過建立多視圖目標深度矢量集合所在的零空間和目標模型矩陣的零空間之間的關系，應用零空間投影和RQ分解，開發從目標單視圖或多視圖同時完成攝像機自標定和目標三維重建的線性算法。實驗演示了噪聲強度、點數和幀數對算法性能的影響。理論分析和實驗數據表明，該算法具有快速高效、簡單實用、抗噪能力較強的優點。

關鍵詞：機器人視覺；攝像機自標定；三維重建；零空間投影；RQ分解

中圖分類號：TP242.6+2文獻標識碼：A文章編號：1009-3044(2008)17-21529-04

三維形狀重建是計算機視覺中的最重要任務之一[1-2]。從已標定的單視圖或多視圖重建目標三維形狀已相對成熟[1-5]，但是，從未標定的單視圖或多視圖重建三維形狀仍是一個值得研究的課題。此時，必須在線完成攝像機自標定。攝像機自標定首先由Hartley[6]和Faurgeras[7]在1992年提出。從此它成為計算機視覺界的一個熱門課題。線性自標定[8-12]因簡單有效而成為流行技術。但它對視圖個數和歷經的三維運動往往有較多的限制，影響了其應用范圍。另外，當模型形狀先驗已知時，如何有效地充分利用該先驗信息提高自標定和三維重建的速度和精度，仍是一個有待回答的問題。本文基于零空間投影和RQ分解，開發從目標單視圖或多視圖同時完成攝像機自標定和目標三維重建的線性算法，該算法原則上對歷經的三維運動沒有限制，算法也較簡捷。實驗演示了噪聲強度、點數和幀數對算法性能的影響。理論分析和實驗數據表明，該算法具有快速高效、簡單實用、抗噪能力較強的優點。

1 理論分析

1.1 成像模型

假設攝像機成像服從針孔成像的透視投影模型，則第i幀（i=1，2，...，q， q為幀數）的第j個（j=1，2，...，N，N為點數）三維點Xi，j在攝像機坐標系中的坐標Pi，j及相應的數字坐標Pi，j(d)與其二維像點的模擬齊次坐標mi，j=[xi，j yi，j l]T（上標T標記轉置運算）及相應的數字齊次坐標mi，j(d)=[xi，j(d) yi，j(d) l]T服從透視投影公式

（1）

其中，深度Zi，j是Pi，j的第3分量，攝像機內參數矩陣

這兒，(xc，yc) 是圖像主點，(fx，fy)是圖像水平軸和垂直軸的尺度因子， s是畸變因子。實際上，該內參數矩陣完成以象素計的數字坐標系與以攝像機焦長f計的圖像坐標系之間的轉換，即

mi，j(d)=Kmi，j （3）

1.2 三維幾何變換和單應性變換

假設從目標從模型到第i幀圖像歷經了三維運動(Ri，Ti) ，其中，Ri為三維旋轉矩陣，Ti為三維平移矢量，則三維點Xi，j的模型位置Pj(0)與其第i幀位置Pi，j滿足三維幾何變換

1.7 討論

顯然，該算法有解且有唯一解的條件是：3(N-3)×N維矩陣Ai的秩等于N-1，考慮到中心化算子P1N是個正交投影算子，它具有降秩1的功能，因此條件變成3(N-4)≥N-1即點數N≥6。這意味著該線性算法至少要6個特征點。節2的實驗表明，N＜6時無唯一解和N≥6時有解且有唯一解。另外，點數的增多確實可改進算法性能。

經過比較，不難發現，新算法有五個鮮明的特點。

(1)現有算法往往有8點以上的要求，而新算法的需要點數已達到最小值6。因為5個內參數加上6個三維運動參數有11個自由度，而每個點僅能提供2個自由度。

(2)現有算法往往不能有效地利用先驗模型信息，而新算法能有效地充分利用先驗已知的模型形狀陣信息。這對提高算法性能具有顯著作用。

(3)現有算法往往在自標定之后才完成深度矢量估計，新算法卻是在在自標定之前完成深度矢量估計。這有利于提高深度復原的精度，對重視深度復原的應用場合尤其重要。

(4)現有算法往往對歷經的三維運動有限制，新算法無任何限制。

(5)現有算法往往只能用于多視圖情況，不能用于單視圖情況；而新算法既能用于多視圖情況，也能用于單視圖情況，只需令上述算法中的幀數q=1 即可并未單視圖情況的線性算法。

2 實驗

2.1 實驗步驟

為了定量分析算法的統計性能，用計算機仿真數據進行了蒙特卡洛實驗、每次實驗對仿真生成的多視圖特征點集組成的數據運行所開發的算法，并計算各種誤差性能；然后，用100次實驗的誤差性能的平均值作為相應的誤差性能的數學期望值。

算法輸入數據的生成過程是：首先，用N個均勻分布于立方體{ (-2， 2)， (-2， 2)， (1， 2) }內三維數據集合組成三維點集，該點集經q個由三維旋轉和三維平移構成的幾何變換生成q幀三維點集，再經透視投影后得到多視圖特征點集的模擬齊次坐標集合，它們用攝像機內參數陣變換后，舍入取整生成相應的多視圖特征點集的數字齊次坐標集合。該集合就是算法的輸入數據。

為考察算法抗噪能力，輸入數據必須加入強度可控的噪聲，考慮到數字坐標已整數化，不宜加噪，我們用每維均勻分布于[-Am， Am]且互相獨立的二維噪聲疊加到多視圖特征點集的二維模擬坐標上，其中，強度Am可程控然后用攝像機內參數陣變換后，舍入取整生成相應的多視圖特征點集的數字齊次坐標集合，其中，強度Am由運行程序控制，它從0.001逐步增加到0.032。多視圖的圖像尺寸是1024×1024。

算法精度用所有估計項目的以百分比計的相對誤差衡量。例如，用||ΔK||/||K||的統計平均值總體度量自標定誤差，其中， ΔK=K-K，K是設定的內參數陣，K是內參數陣K的估計，矩陣范數采用Frobenius范數，矢量范數采用歐幾里得范數。其它各項誤差類似地定義，但是，三維運動要在取幀平均后再取統計平均，建模要在取點平均后再取統計平均，形狀重建要在取點平均和幀平均后再取統計平均。

2.2 單視圖實驗結果

表1示出了單視圖情況下、當點數N=6時，噪聲強度Am對算法性能的影響。可見，即使算法僅使用6點，仍能在所有加噪情況中，三維運動重建和三維形狀重建的相對誤差都小于5.93％， 而在中小強度（不超過0.0012）噪聲情況時，相對誤差都不大于1.50％以下。

表3示出了多視圖情況下，當幀數q=6和點數N=24時，噪聲強度Am對算法性能的影響。可以看出，在所有加噪情況中，攝像機內參數自標定的相對誤差都不大于0.17％，三維重建相對誤差都小于0.17%，而在中小強度（不超過0.0012）噪聲情況時，自標定相對誤差不大于0.06％，三維重建相對誤差都不大于0.29%。

3 結束語和展望

通過對中心化模型形狀陣的RQ分解得到其零空間的標準正交基，然后把中心化后的從模型形狀陣到多視圖數據陣的單應性變換方程投影到該零空間，建立了一個精確求解多幀深度矢量集合的方法，然后用中心化單應性變換方程求取多幀單應性矩陣的最小二乘最小范數估計，最后用RQ分解計算攝像機內參數陣和多幀三維旋轉矩陣，并進而完成目標三維重建。這樣，通過充分利用包含于先驗已知的模型形狀陣和后驗提供的多幀數據陣中的所有信息，開發了一個能同時完成攝像機自標定和目標三維重建的線性算法。

該算法不同于已有線性算法的五個鮮明特點是：1)所需點數達到了可能的最小值6；2)能很有效地利用寶貴的先驗模型信息；3)在自標定之前完成深度矢量估計；4)對歷經的三維運動沒有限制；5)既能用于多視圖情況也能用于單視圖情況。

可以預期，使用零空間投影技術也能推廣應用于模型形狀陣未知時的多視圖自標定和三維重建。該算法正在研究開發中，將另行著文討論。

參考文獻：

[1] 馬頌德，張正友.計算機視覺計算理論與算法基礎[M].科學出版社，1998.

[2] 章毓晉.圖像理解與計算機視覺[M].清華大學出版社，2000.

[3] Oliensis， J.， A Multi-frame structure from motion algorithm under perspective projection[C].IEEE Workshop on Perception for Mobile Agents， 1998， pp. 49-577.

[4] Thomas， J. I. and Oliensis J.， Dealing with noise in multiframe structure from motion[J]， CVIU 76， 1999， pp. 109-124.

[5] Chiuso， A.， Brockett， R. and Soatto S.， Optimal structure from motion: local ambiguities and global estimates[J]， IJCV 39(3)， 2000， 195-228.

[6] Hartley， R.， Estimation of relative camera positions for uncalibrated camera[C]， In: Proc. European Conference on Computer Vision， NLCS 588， Springer-Verlag， 1992， 579~587

[7] Faurgeras， O. D.， What can be seen in three dimensions with an uncalibrated stereo rig[C]， In: Proc. European Conference on Computer Vision， NLCS 588， Springer-Verlag， 1992， 563~578

[8] 吳朝福，胡占義.攝象機自標定的理論與算法[J].計算機學報，2001， 24(11):1121~1135.

[9] 吳朝福，胡占義.線性確定無窮遠平面的單應性矩陣和攝象機自標定[J].自動化學報，2003，28(4):488~496.

[10] Yang， Z. -G.， Ren， L.， SVD-based camera self-calibration and 3-D reconstruction from single-view[C]，’ Proceedings of 2004 International Conference on Machine Learning and Cybernetics， Vol. 7 of 7， 4090-4095， Aug. 2004.

[11] Yang， Z. -G.， Ren， L.， A new algorithm for linearly reconstructing the infinite homography matrix and intrincic parameter matrix of a camera[C]， 7th International Conference on Signal Processing Proceedings， Vol. II of III， 1247-1251， Aug. 2004.

[12] Yang Z. -G.， Xia Z.， Zhang Z.， Linear modeling and reconstruction of target’s shape from its un-calibrated multiple-view[C]， IEEE ICIT 2005， Hong Kong， 480-485， Dec. 2005.

注：本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文