基于雙目視覺的三維重建關鍵技術專利概述

杜文俊 丁麗萍

摘要：基于雙目視覺的三維重建技術是一種采用計算機視覺原理，從二維圖像中重建出三維模型的方法。該方法以其設備操作簡單、價格低廉、適應性強等優勢，目前被廣泛地研究和應用于人機交互、游戲、機器視覺、增強現實、視頻監控、機器人、生物醫學、汽車工業等多個領域。本文從三維模型重建方法的基本概念與分類出發，梳理了基于雙目視覺的三維重建方法的技術分支，提取其中的熱點技術進行了專利分析。

1 前言

我們所認識和生活的客觀世界的空間是三維的，在很多應用領域我們需要對三維物體進行認知和分析，因此需要對物體的三維重建，即利用計算機或其它軟硬件技術對物體建立適合計算機表達的數學模型，以便在計算機中對物體進行計算、操作和分析。在該領域中，基于雙目視覺的三維重建技術是近年來的研究熱點。

使用計算機技術對物體進行三維建模的方法主要分為三類：一、使用幾何建模軟件直接創建三維模型；二、使用三維激光掃描儀、結構光掃描儀等設備掃描物體，精確地捕獲物體表面的三維幾何信息，從而進行精度較高的三維建模；三、利用多臺普通攝像機機構建一個立體視覺系統，往往采用兩臺攝像機機作為一組模擬人的雙眼所看到的景物，基于透視投影原理通過兩臺攝像機拍攝的圖像之間的視差，重建出物體的三維信息。

本綜述主要分析的對象為第三類三維建模的方法，即基于雙目視覺的三維重建方法。

2基于雙目視覺的三維重建的方法流程

一個完整的基于雙目視覺的三維重建方法主要包含圖像獲取、相機標定、特征提取、立體匹配和三維重構等五個主要步驟。

其中，相機標定的目的是通過相機所拍攝三維場景的圖像，在一定的相機成像模型下，建立場景中物點的空間坐標系中與它在圖像平面上對應像點之間的關系，進而確定相機內參數和外參數，為后續的三維重建打好基礎。相機標定涉及的關鍵技術有：傳統基于攝影測量學的相機標定法、基于主動視覺的相機標定法、相機自標定法。

立體匹配的實質就是計算雙目視覺中兩幅圖像中同源像素點的對應問題，它是立體視覺技術的關鍵。魯棒的立體匹配算法可以得到較為精確的圖像視差計算結果，從而準確地恢復場景的三維信息，大大提高三維模型重建的質量。立體匹配涉及的關鍵技術有：基于局部的立體匹配和基于全局和半全局的立體匹配。

在整個基于雙目視覺的三維重建方法的五個一級技術分支中，相機標定和立體匹配分別是硬件層面和軟件層面的關鍵技術，兩者被普遍認為是決定該方法技術效果的技術瓶頸。本文接下來重點介紹相機標定和立體匹配兩項技術的下級技術分支，并對這兩項技術進行有針對性的專利分析。

3關鍵技術專利分析

基于雙目視覺的三維重建技術涉及到的技術點分布較廣，包括拍攝硬件、計算機視覺、幾何處理等，因此從整體上統計所有相關技術的專利數據意義不大。本節旨在重點統計和分析相機標定和立體匹配兩項關鍵技術的專利數據。作者在專利檢索系統S系統的DWPI、CNABS等專利庫中使用“camera”、“calibration”、“stereo”、“matching”、“相機”、“標定”、“立體匹配”、“立體圖像匹配”等關鍵詞，并在檢索結果的基礎上進行統計分析。檢索的截止日期為2016年6月4日。由于于未申請提前公開的發明專利申請通常在申請日之后18個月才公開，由此將導致2014年末至檢索日期間的部分專利申請由于未公開而不在本次文獻采集之列。

3.1 分類號統計

相機標定技術的相關分類號統計結果中，排名前5的分類號分別為：G06T7/00（703件）、G01B11/00（477件）、H04N17/00（456件）、H04N5/232（402件）和G06T1/00（360件）

通過分析分類號的具體含義可知，G06T7/00、G01B11/00、G06T1/00是與相機標定技術更貼近的分類號。因此，審查員在實際審查時，可以擴展這三個分類號，與關鍵進行結合檢索與該技術相關的對比文件。

基于同樣的方法，我們也可以知曉G06K 9/00、G06T7/00、G06T1/00、G06K 9/62是與立體匹配技術更相關的分類號。因此，審查員在實際審查時，可以應用這4個分類號快速檢索到相關的對比文件。

可見，相機標定和立體匹配技術的分類號不但涉及計算機應用領域的G06分類號，也涉及圖像處理的H04N分類號，兩項技術的分類號還存在一定的交叉，需要審查員在檢索時予以關注。

3.2全球申請趨勢和申請國分布

自2001年以來，相機標定和立體匹配兩項技術相關專利的全球申請量變化趨勢的分析如下：盡管2014年至今的部分專利數據還未公開，不難發現兩項技術的申請量逐漸保持著穩步上升的趨勢。盡管關于拍攝設備參數和圖像匹配技術的研究已經有一段不短的歷史，但近年來兩者在計算機立體視覺領域的熱潮，又為兩項技術的研究增加了新的研究動力，這與行業發展的熱點和趨勢無疑是吻合的。

兩項技術在全球不同國家和地區的申請量分布如下：其中美國、中國、日本作為計算機視覺研究領域的第一集團，占據著全球申請量的巨大份額；而韓國和臺灣也是其中不可忽視的力量，其申請量牢牢占據著第二集團的位置。考慮到美國、日本、韓國在該領域的技術實力，審查員在檢索時勢必要注重外文庫的檢索，同時臺灣專利庫對檢索而言也是一個很好的補充。

3.3 國內外重要申請人分布

在國際層面，歐美日韓的知名企業依然保有其強大的研發實力。一方面，這與計算機視覺理論與相關技術的發展在歐美國家起步較早無不關系。另一方面，索尼、佳能、三星、松下等日韓企業，在拍攝設備的技術研究方便底蘊較強，很容易將其技術優勢與計算機視覺技術相融合，從而早早地位于世界先進地位。

反觀國內排名靠前的申請人，位居前列的基本為高等院校和科研院所。這說明，國內在雙目立體視覺的相關研究上并沒有落后，但在科技成果轉化方面還處于較為空白的狀態。國內企業申請分布較為零散，其中還包括諸多剛剛起步的中小型企業，進一步反映了國內市場還處于啟蒙階段，研發實力也還有所欠缺。

上述數據也提醒審查員在檢索中文文獻時，還要注重非專利庫的檢索，注意追蹤高校申請人，不失為一種快速命中對比文件的思路。

4結語

本專利技術綜述詳細介紹了基于雙目視覺的三維重建的詳細流程，并詳細介紹了該領域的技術分支。針對其中的熱點技術相機標定和立體匹配技術，進行了專利數據統計和分析。本文有助于相關領域的審查員全面把握該領域的專利數據和發展現狀，對該領域的專利審查工作具有一定的借鑒作用。

參考文獻：

[1]童晶，基于深度相機的三維物體與人體掃描重建，浙江大學博士論文，2012年12月

作者簡介：杜文俊、丁麗萍，等同第一作者