基于雙目視覺的三維重建領(lǐng)域的現(xiàn)狀與未來

杜文俊 丁麗萍

摘 要：本文基于專利數(shù)據(jù)，對(duì)基于雙目視覺的三維重建方法的國內(nèi)外研究現(xiàn)狀進(jìn)行了分析，得到了基于雙目視覺的三維重建領(lǐng)域技術(shù)走向，并對(duì)該領(lǐng)域的產(chǎn)業(yè)發(fā)展趨勢的預(yù)測，有助于相關(guān)領(lǐng)域的研究人員全面把握該領(lǐng)域的專利數(shù)據(jù)和發(fā)展?fàn)顩r。

1 前言

20實(shí)際80年代初，MIT人工智能實(shí)驗(yàn)室的Marr教授創(chuàng)立了計(jì)算機(jī)視覺的理論體系，為人們從二維圖像中認(rèn)識(shí)三維世界，打開了一扇嶄新的大門。近三十年來，計(jì)算機(jī)視覺領(lǐng)域獲得了長足的發(fā)展，其理論基礎(chǔ)在不斷完善，其應(yīng)用價(jià)值仍有巨大的發(fā)掘空間。

我們所認(rèn)識(shí)和生活的客觀世界的空間是三維的，在很多應(yīng)用領(lǐng)域我們需要對(duì)三維物體進(jìn)行認(rèn)知和分析，因此需要對(duì)物體的三維重建，即利用計(jì)算機(jī)或其它軟硬件技術(shù)對(duì)物體建立適合計(jì)算機(jī)表達(dá)的數(shù)學(xué)模型，以便在計(jì)算機(jī)中對(duì)物體進(jìn)行計(jì)算、操作和分析。在該領(lǐng)域中，基于雙目視覺的三維重建技術(shù)是近年來的研究熱點(diǎn)。本綜述聚焦基于雙目視覺的三維重建方法中的關(guān)鍵技術(shù)，從專利的角度進(jìn)行相關(guān)分析，對(duì)相關(guān)行業(yè)的發(fā)展方向進(jìn)行預(yù)測。

2 國內(nèi)外重要申請(qǐng)人及其典型專利

對(duì)于基于雙目視覺的三維重建中的兩項(xiàng)關(guān)鍵技術(shù)相機(jī)標(biāo)定和立體匹配而言，其來華重要申請(qǐng)人的申請(qǐng)量排名中，國內(nèi)重要申請(qǐng)人為以浙江大學(xué)、清華大學(xué)、北京航空航天大學(xué)為代表的高等院校。

以浙江大學(xué)為例，其申請(qǐng)量不但位居國內(nèi)申請(qǐng)人前列，且其相關(guān)申請(qǐng)的授權(quán)率也高達(dá)70%以上。以申請(qǐng)?zhí)?01210360976.0的專利申請(qǐng)為例，其申請(qǐng)人為CAD&CG;國家重點(diǎn)實(shí)驗(yàn)室主任博導(dǎo)鮑虎軍教授，且伴隨有相關(guān)的國際論文發(fā)表，該專利已在2014年獲得授權(quán)，可以認(rèn)定為浙江大學(xué)在該領(lǐng)域內(nèi)的關(guān)鍵技術(shù)。該申請(qǐng)公開了一種對(duì)于多目同步攝像機(jī)拍攝的動(dòng)態(tài)場景視頻的時(shí)空一致性深度恢復(fù)的方法。它利用多視圖幾何方法結(jié)合DAISY特征向量，對(duì)于同一時(shí)刻的多目視頻幀進(jìn)行立體匹配，得到多目視頻每一時(shí)刻的初始化深度圖；對(duì)于多目視頻的每一幀圖像計(jì)算動(dòng)態(tài)概率圖，利用動(dòng)態(tài)概率圖對(duì)每幀圖像進(jìn)行動(dòng)態(tài)像素點(diǎn)和靜態(tài)像素點(diǎn)的劃分，利用不同的優(yōu)化方法進(jìn)行時(shí)空一致性的深度優(yōu)化，對(duì)于靜態(tài)點(diǎn)，利用bundle optimization方法結(jié)合多個(gè)相鄰時(shí)刻的顏色和幾何一致性約束進(jìn)行優(yōu)化；對(duì)于動(dòng)態(tài)點(diǎn)，統(tǒng)計(jì)多個(gè)相鄰時(shí)刻的多目攝像機(jī)之間對(duì)應(yīng)像素點(diǎn)的顏色和幾何一致性約束信息，對(duì)每一時(shí)刻動(dòng)態(tài)深度值進(jìn)行時(shí)空一致性優(yōu)化。其中該申請(qǐng)所涉及到的基于局部的立體匹配技術(shù)屬于該領(lǐng)域中的關(guān)鍵技術(shù)分支。

而在全球范圍內(nèi)，專利申請(qǐng)量占據(jù)主導(dǎo)地位的依舊是索尼、三星、佳能等大公司。以三星公司為例，其申請(qǐng)?zhí)枮镵R10-2007-0115960的申請(qǐng)?zhí)岢隽思す庖曈X系統(tǒng)的自動(dòng)標(biāo)定方法，系統(tǒng)在進(jìn)行自動(dòng)定標(biāo)前輸入一個(gè)預(yù)設(shè)的運(yùn)動(dòng)路徑，在運(yùn)動(dòng)的過程中通過拍攝的圖像以及預(yù)設(shè)的運(yùn)動(dòng)參數(shù)，系統(tǒng)可以自動(dòng)的為激光視覺系統(tǒng)進(jìn)行定標(biāo)，而不需要人工的干預(yù)。該方法盡管并不是應(yīng)用于以相機(jī)為硬件的雙目視覺系統(tǒng)，而是激光視覺系統(tǒng)，但在兩個(gè)應(yīng)用場景中都存在相似的定標(biāo)方法，即屬于相機(jī)定標(biāo)的二級(jí)技術(shù)分支中的基于主動(dòng)視覺的相機(jī)標(biāo)定法。值得一提的是，三星公司與浙江大學(xué)的鮑虎軍教授團(tuán)隊(duì)已經(jīng)全面開展了技術(shù)合作，目前在我國已有四項(xiàng)專利申請(qǐng)（申請(qǐng)?zhí)柗謩e為201210286784、201210464952、201310197100、201310197108），并已處于實(shí)審生效階段。由此可見，國內(nèi)學(xué)術(shù)界已開始注重與國際知名公司的緊密合作，也表明學(xué)術(shù)界和工業(yè)界都較為看好立體視覺技術(shù)的前景。

3 基于雙目視覺的三維重建領(lǐng)域技術(shù)走向

通過筆者近年來對(duì)基于雙目視覺的三維重建領(lǐng)域的專利分析，對(duì)于該領(lǐng)域技術(shù)的發(fā)展方向做出如下預(yù)測：

（1）立體視覺的計(jì)算理論和匹配策略研究。如何選擇有效的匹配準(zhǔn)則和算法結(jié)構(gòu)，以解決幾何畸變（透視、縮放、旋轉(zhuǎn)等）、灰度失真、噪聲干擾、特殊結(jié)構(gòu)（平坦區(qū)域、重復(fù)相似結(jié)構(gòu)等）及遮擋景物的匹配問題。如何提高算法的魯棒性、實(shí)時(shí)性、去歧義性等。

（2）雙目立體視覺系統(tǒng)的智能化研究。如何建立基于知識(shí)、模型和規(guī)則的立體視覺方法。計(jì)算機(jī)視覺與機(jī)器學(xué)習(xí)兩個(gè)領(lǐng)域的技術(shù)交叉，也是近期的研究熱點(diǎn)之一。

（3）算法硬件實(shí)現(xiàn)研究。如何提高算法的速度，減少運(yùn)算量，如何使算法朝并行化方向發(fā)展以便釆用并行流水線機(jī)制和專用的信號(hào)處理器件（如GPU）進(jìn)行算法的硬件實(shí)現(xiàn)，以滿足各類實(shí)時(shí)應(yīng)用的需求。

（4）進(jìn)一步重視深度相機(jī)作為三維重建設(shè)備的應(yīng)用，解決使用彩色相機(jī)的方法魯棒性較低且難以處理缺少紋理及存在遮擋的情況。

4 產(chǎn)業(yè)發(fā)展趨勢的預(yù)測

結(jié)合對(duì)于基于雙目視覺的三維重建的關(guān)鍵技術(shù)的專利分析和筆者本人的思考，對(duì)本領(lǐng)域的產(chǎn)業(yè)發(fā)展，特別是國內(nèi)企業(yè)的發(fā)展方向給出如下建議：

（1）根據(jù)專利申請(qǐng)人的分布數(shù)據(jù)來看，國內(nèi)高等院校、科研院所的研究相當(dāng)活躍，與世界先進(jìn)水平的差距正在逐漸縮小。以清華大學(xué)、浙江大學(xué)、北京航空航天大學(xué)為代表的高等院校，一定程度上代表了雙目立體視覺領(lǐng)域的世界先進(jìn)水平。相比之下，國內(nèi)高校和企業(yè)在研發(fā)力量、將科研成果轉(zhuǎn)化為經(jīng)濟(jì)效益方面的作為還遠(yuǎn)遠(yuǎn)不足。企業(yè)與高校的強(qiáng)強(qiáng)聯(lián)合，發(fā)揮出各自開發(fā)和科研實(shí)力，是盡快搶占國內(nèi)市場、改變美日韓企業(yè)在華獨(dú)大的現(xiàn)狀的出路。

（2）在計(jì)算機(jī)視覺領(lǐng)域，國內(nèi)致力于研發(fā)的企業(yè)多為中小企業(yè)，如北京大恒圖像、北京時(shí)利和、北京微視凌志、北京微視新紀(jì)元、深圳市視覺龍科技、香港盈基科技、深圳科瑞自動(dòng)化、深圳步進(jìn)科技等公司，且起步較晚。國內(nèi)中小企業(yè)由于研發(fā)實(shí)力有限，更應(yīng)慎重選擇市場切入點(diǎn)，避開工作檢測、生物醫(yī)學(xué)等對(duì)技術(shù)精度要求較高的應(yīng)用領(lǐng)域，而將目光更多地投向虛擬現(xiàn)實(shí)、機(jī)器視覺等新興領(lǐng)域，走出中小企業(yè)的特色之路。

（3）在互聯(lián)網(wǎng)熱漸漸褪去之后，國內(nèi)大型互聯(lián)網(wǎng)民營企業(yè)如百度、阿里巴巴、騰訊等企業(yè)，可以將更多的目光投向計(jì)算機(jī)視覺這一新的市場寵兒，著重關(guān)注其在互聯(lián)網(wǎng)應(yīng)用、娛樂等應(yīng)用場景的市場價(jià)值，發(fā)揮出自身研發(fā)實(shí)力、產(chǎn)業(yè)鏈和人才上的優(yōu)勢，為自身企業(yè)的發(fā)展打開新的思路，也為國內(nèi)計(jì)算機(jī)視覺市場注入強(qiáng)心劑。

5 結(jié)語

本文基于專利數(shù)據(jù)，對(duì)基于雙目視覺的三維重建方法的國內(nèi)外研究現(xiàn)狀進(jìn)行了分析，對(duì)國內(nèi)外重點(diǎn)專利申請(qǐng)人的專利進(jìn)行了研究，進(jìn)而得到了基于雙目視覺的三維重建領(lǐng)域技術(shù)走向，并結(jié)合筆者個(gè)人對(duì)該領(lǐng)域的了解對(duì)該領(lǐng)域的產(chǎn)業(yè)發(fā)展趨勢進(jìn)行了預(yù)測，有助于相關(guān)領(lǐng)域的研究人員全面把握該領(lǐng)域的專利數(shù)據(jù)和發(fā)展?fàn)顩r。

注：杜文俊、丁麗萍，等同第一作者

參考文獻(xiàn)：

[1]羅桂娥，雙目立體視覺深度感知與三維重建若干問題研究，中南大學(xué)博士論文，2012年5月