一種基于立體視覺的雙目攝像機的實現

柯常志+徐鵬

摘 要：利用雙目立體視覺原理，介紹了一種雙目攝像機的實現方法、標定等相關技術，同時結合最新的人體特征識別，模式識別和人工智能算法等多領域的技術，實現人數統計、人員站立或倒地的狀態，并輸出深度圖信息，該產品在安防行業中得到廣泛應用。

關鍵詞：立體視覺；標定；世界坐標；攝像機坐標

引言

以視覺系統為基礎的三維外形輪廓的非接觸式、高速測量是一個重要的研究方向，雙目立體視覺測量技術是計算機視覺研究的重點和熱點。雙目立體視覺通常由單個或兩個攝像機從不同時刻、不同角度獲得被測物的兩幅圖像，基于視差原理確定被測物體的三維輪廓，并計算輪廓上任意點的三維坐標，利用獲取的三維坐標，對被測物體進行三維建模和三維重建。

文章介紹了一種基于雙目立體視覺的雙目攝像機，實現方法、標定等相關技術，以及應用。利用雙目技術，結合最新的人體特征識別，模式識別和人工智能算法等多領域的技術，實現人數統計、人員站立或倒地的狀態，并輸出深度圖信息。該系統具有測量精度高、速度快、結構簡單、易于使用等優點，被廣泛應用于醫院、值班室、審訊室等諸多應用場景。

1 雙目立體視覺原理

雙目立體視覺三維測量是基于視差原理[1]，建立雙目攝像機左右兩個成像平面攝像機坐標與被測物體世界坐標之間的關系，圖1為雙目立體成像原理的簡單示意圖[2]，如圖1所示。

圖1 雙目立體成像原理圖

為描述方便和簡化計算，圖1中將左右成像平面（OLuv，ORuv）繪制在鏡頭的光心前f處（實際上攝像機的成像平面在鏡頭的光心后），兩攝像機坐標系的原點本別在各攝像機鏡頭的光心處OL及OR，攝像機成像平面坐標系Oluv的u軸和v軸與和攝像機坐標系的x軸和y軸方向一致，基線距Lb為兩攝像機的投影中心連線的距離。真實世界坐標系中某點P在左右攝像機成像平面中相應的坐標分別為PL（ul，vl）和PR（ur，vr）。假定兩攝像機的成像在同一個平面上，則點P點攝像機成像平面的Y坐標相同，即vl=vr。P點攝像機成像平面坐標有如下關系：

u1=f ■

ur=f ■ v1

v1=vr=f ■

其中：

（xc，yc，zc）為點P在左攝像機坐標系中的坐標；

Lb為基線距；

f為兩個攝像機的焦距；

（ul，vl）和（ur，vr）分別為點P在左右攝像機成像平面中的坐標。

根據視差定義，即某一點在兩幅圖像中相應點的位置差：

d=u1 ur=f ■

可計算出真實世界坐標系中某點P在左攝像機坐標系中的坐標：

因此，通過建立世界坐標中某點與左右兩個攝像機像面上的相應點的匹配關系，利用攝像機雙目標定獲得的攝像機內外參數，就可以確定這個點的三維世界坐標。

2 雙目標定

雙目立體視覺系統的標定是通過攝像機的內部參數標定，確定視覺系統中兩個攝像機之間的位置關系，即兩個攝像機之間的旋轉矩陣R和平移向量T。通常采用標準的2D或3D精密靶標，通過攝像機圖像坐標與三維世界坐標的對應關系求得這些參數[3]。在實際標定中，采用14*14的棋盤格標定板進行標定，如圖2所示。

具體的標定過程如下：

（1）將標定板放置在雙目攝像機的正前方，確保標定板在左右兩攝像機的視場范圍內。通過調節標定板的位置、角度，獲取多組標定板圖像，通過左右攝像機中攝取到的標定板中棋盤格交點位置，確定兩攝像機之間坐標關系，從而標定確定兩個攝像機的內部參數，包括兩鏡頭的畸變參數，鏡頭焦距，以及主點坐標等，以及兩個攝像機的外部參數（RL、TL與RR、TR）。

其中，RL、TL表示左攝像機與世界坐標系的相對位置，RR、TR表示右攝像機與世界坐標系的相對位置。

（2）假定空間中任意一點在世界坐標系、左攝像機坐標系和右攝像機坐標系下的非齊次坐標分別為xw、xl、xr，則：

x1=RL xw+TL

xr=RR xw+TR

則xl、xr之間有如下關系：

xr=RRRL1x1+TR RRRL1TL

兩個攝像機之間的位置關系R、T可表示為：

R=RRRL1，

T=TR RRRL1TL

3 雙目攝像機實現

雙目攝像機通過兩個相同的鏡頭和Sensor采集圖像，左右兩路視頻流經過同步曝光控制和ISP處理，通過視頻分析處理模塊，根據攝像機標定參數，計算物體世界坐標與攝像機坐標關系，最后經過數據輸出模塊輸出物體的三維位置信息，雙目攝像機的系統示意圖如圖3所示。

圖3 雙目攝像機系統示意圖

在視頻分析處理模塊中，利用雙目立體視覺原理，結合最新的人體特征識別，模式識別和人工智能算法等多領域的技術，實現對畫面中特定區域的人頭、頭肩等特征部位進行識別，以此來區分人和其他物體，可以進行人數統計，如圖4所示；根據人員和物體的三維位置信息，判斷人員的站立和倒地狀態，并且能夠輸出場景的深度圖視頻，深度圖中灰度表示場景中物體離相機的距離，距離越遠灰度越深，如圖5所示。

4 結束語

雙目攝像機利用雙目視覺原理，有效獲取了攝像機視場范圍內人員和物體的三維位置信息，并準確計算得出人員身高和距離，精度達到厘米級，同時其測量速度快，結構簡單，便于使用等優點，該產品已廣泛應用于醫院、值班室、審訊室等多個實際項目中，產生良好的應用效果。

參考文獻

[1]戴君，趙海洋，馮心海.機器視覺[J].機械設計與制造工程，1998.

[2]馬林.基于雙目視覺的圖像三維重建[Z].

[3]萬衛兵，霍宏，趙宇明.智能視頻監控中目標檢測與識別[M].上海交通大學出版社.

作者簡介：柯常志（1981，8-），男，湖北黃石，工程師，碩士研究生，現就職于杭州海康威視數字技術股份有限公司，從事攝像機產品開發，在圖像算法，嵌入式開發方面，具有8年工作經驗。endprint

摘 要：利用雙目立體視覺原理，介紹了一種雙目攝像機的實現方法、標定等相關技術，同時結合最新的人體特征識別，模式識別和人工智能算法等多領域的技術，實現人數統計、人員站立或倒地的狀態，并輸出深度圖信息，該產品在安防行業中得到廣泛應用。

關鍵詞：立體視覺；標定；世界坐標；攝像機坐標

引言

以視覺系統為基礎的三維外形輪廓的非接觸式、高速測量是一個重要的研究方向，雙目立體視覺測量技術是計算機視覺研究的重點和熱點。雙目立體視覺通常由單個或兩個攝像機從不同時刻、不同角度獲得被測物的兩幅圖像，基于視差原理確定被測物體的三維輪廓，并計算輪廓上任意點的三維坐標，利用獲取的三維坐標，對被測物體進行三維建模和三維重建。

文章介紹了一種基于雙目立體視覺的雙目攝像機，實現方法、標定等相關技術，以及應用。利用雙目技術，結合最新的人體特征識別，模式識別和人工智能算法等多領域的技術，實現人數統計、人員站立或倒地的狀態，并輸出深度圖信息。該系統具有測量精度高、速度快、結構簡單、易于使用等優點，被廣泛應用于醫院、值班室、審訊室等諸多應用場景。

1 雙目立體視覺原理

雙目立體視覺三維測量是基于視差原理[1]，建立雙目攝像機左右兩個成像平面攝像機坐標與被測物體世界坐標之間的關系，圖1為雙目立體成像原理的簡單示意圖[2]，如圖1所示。

圖1 雙目立體成像原理圖

為描述方便和簡化計算，圖1中將左右成像平面（OLuv，ORuv）繪制在鏡頭的光心前f處（實際上攝像機的成像平面在鏡頭的光心后），兩攝像機坐標系的原點本別在各攝像機鏡頭的光心處OL及OR，攝像機成像平面坐標系Oluv的u軸和v軸與和攝像機坐標系的x軸和y軸方向一致，基線距Lb為兩攝像機的投影中心連線的距離。真實世界坐標系中某點P在左右攝像機成像平面中相應的坐標分別為PL（ul，vl）和PR（ur，vr）。假定兩攝像機的成像在同一個平面上，則點P點攝像機成像平面的Y坐標相同，即vl=vr。P點攝像機成像平面坐標有如下關系：

u1=f ■

ur=f ■ v1

v1=vr=f ■

其中：

（xc，yc，zc）為點P在左攝像機坐標系中的坐標；

Lb為基線距；

f為兩個攝像機的焦距；

（ul，vl）和（ur，vr）分別為點P在左右攝像機成像平面中的坐標。

根據視差定義，即某一點在兩幅圖像中相應點的位置差：

d=u1 ur=f ■

可計算出真實世界坐標系中某點P在左攝像機坐標系中的坐標：

因此，通過建立世界坐標中某點與左右兩個攝像機像面上的相應點的匹配關系，利用攝像機雙目標定獲得的攝像機內外參數，就可以確定這個點的三維世界坐標。

2 雙目標定

雙目立體視覺系統的標定是通過攝像機的內部參數標定，確定視覺系統中兩個攝像機之間的位置關系，即兩個攝像機之間的旋轉矩陣R和平移向量T。通常采用標準的2D或3D精密靶標，通過攝像機圖像坐標與三維世界坐標的對應關系求得這些參數[3]。在實際標定中，采用14*14的棋盤格標定板進行標定，如圖2所示。

具體的標定過程如下：

（1）將標定板放置在雙目攝像機的正前方，確保標定板在左右兩攝像機的視場范圍內。通過調節標定板的位置、角度，獲取多組標定板圖像，通過左右攝像機中攝取到的標定板中棋盤格交點位置，確定兩攝像機之間坐標關系，從而標定確定兩個攝像機的內部參數，包括兩鏡頭的畸變參數，鏡頭焦距，以及主點坐標等，以及兩個攝像機的外部參數（RL、TL與RR、TR）。

其中，RL、TL表示左攝像機與世界坐標系的相對位置，RR、TR表示右攝像機與世界坐標系的相對位置。

（2）假定空間中任意一點在世界坐標系、左攝像機坐標系和右攝像機坐標系下的非齊次坐標分別為xw、xl、xr，則：

x1=RL xw+TL

xr=RR xw+TR

則xl、xr之間有如下關系：

xr=RRRL1x1+TR RRRL1TL

兩個攝像機之間的位置關系R、T可表示為：

R=RRRL1，

T=TR RRRL1TL

3 雙目攝像機實現

雙目攝像機通過兩個相同的鏡頭和Sensor采集圖像，左右兩路視頻流經過同步曝光控制和ISP處理，通過視頻分析處理模塊，根據攝像機標定參數，計算物體世界坐標與攝像機坐標關系，最后經過數據輸出模塊輸出物體的三維位置信息，雙目攝像機的系統示意圖如圖3所示。

圖3 雙目攝像機系統示意圖

在視頻分析處理模塊中，利用雙目立體視覺原理，結合最新的人體特征識別，模式識別和人工智能算法等多領域的技術，實現對畫面中特定區域的人頭、頭肩等特征部位進行識別，以此來區分人和其他物體，可以進行人數統計，如圖4所示；根據人員和物體的三維位置信息，判斷人員的站立和倒地狀態，并且能夠輸出場景的深度圖視頻，深度圖中灰度表示場景中物體離相機的距離，距離越遠灰度越深，如圖5所示。

4 結束語

雙目攝像機利用雙目視覺原理，有效獲取了攝像機視場范圍內人員和物體的三維位置信息，并準確計算得出人員身高和距離，精度達到厘米級，同時其測量速度快，結構簡單，便于使用等優點，該產品已廣泛應用于醫院、值班室、審訊室等多個實際項目中，產生良好的應用效果。

參考文獻

[1]戴君，趙海洋，馮心海.機器視覺[J].機械設計與制造工程，1998.

[2]馬林.基于雙目視覺的圖像三維重建[Z].

[3]萬衛兵，霍宏，趙宇明.智能視頻監控中目標檢測與識別[M].上海交通大學出版社.

作者簡介：柯常志（1981，8-），男，湖北黃石，工程師，碩士研究生，現就職于杭州海康威視數字技術股份有限公司，從事攝像機產品開發，在圖像算法，嵌入式開發方面，具有8年工作經驗。endprint

摘 要：利用雙目立體視覺原理，介紹了一種雙目攝像機的實現方法、標定等相關技術，同時結合最新的人體特征識別，模式識別和人工智能算法等多領域的技術，實現人數統計、人員站立或倒地的狀態，并輸出深度圖信息，該產品在安防行業中得到廣泛應用。

關鍵詞：立體視覺；標定；世界坐標；攝像機坐標

引言

以視覺系統為基礎的三維外形輪廓的非接觸式、高速測量是一個重要的研究方向，雙目立體視覺測量技術是計算機視覺研究的重點和熱點。雙目立體視覺通常由單個或兩個攝像機從不同時刻、不同角度獲得被測物的兩幅圖像，基于視差原理確定被測物體的三維輪廓，并計算輪廓上任意點的三維坐標，利用獲取的三維坐標，對被測物體進行三維建模和三維重建。

文章介紹了一種基于雙目立體視覺的雙目攝像機，實現方法、標定等相關技術，以及應用。利用雙目技術，結合最新的人體特征識別，模式識別和人工智能算法等多領域的技術，實現人數統計、人員站立或倒地的狀態，并輸出深度圖信息。該系統具有測量精度高、速度快、結構簡單、易于使用等優點，被廣泛應用于醫院、值班室、審訊室等諸多應用場景。

1 雙目立體視覺原理

雙目立體視覺三維測量是基于視差原理[1]，建立雙目攝像機左右兩個成像平面攝像機坐標與被測物體世界坐標之間的關系，圖1為雙目立體成像原理的簡單示意圖[2]，如圖1所示。

圖1 雙目立體成像原理圖

為描述方便和簡化計算，圖1中將左右成像平面（OLuv，ORuv）繪制在鏡頭的光心前f處（實際上攝像機的成像平面在鏡頭的光心后），兩攝像機坐標系的原點本別在各攝像機鏡頭的光心處OL及OR，攝像機成像平面坐標系Oluv的u軸和v軸與和攝像機坐標系的x軸和y軸方向一致，基線距Lb為兩攝像機的投影中心連線的距離。真實世界坐標系中某點P在左右攝像機成像平面中相應的坐標分別為PL（ul，vl）和PR（ur，vr）。假定兩攝像機的成像在同一個平面上，則點P點攝像機成像平面的Y坐標相同，即vl=vr。P點攝像機成像平面坐標有如下關系：

u1=f ■

ur=f ■ v1

v1=vr=f ■

其中：

（xc，yc，zc）為點P在左攝像機坐標系中的坐標；

Lb為基線距；

f為兩個攝像機的焦距；

（ul，vl）和（ur，vr）分別為點P在左右攝像機成像平面中的坐標。

根據視差定義，即某一點在兩幅圖像中相應點的位置差：

d=u1 ur=f ■

可計算出真實世界坐標系中某點P在左攝像機坐標系中的坐標：

因此，通過建立世界坐標中某點與左右兩個攝像機像面上的相應點的匹配關系，利用攝像機雙目標定獲得的攝像機內外參數，就可以確定這個點的三維世界坐標。

2 雙目標定

雙目立體視覺系統的標定是通過攝像機的內部參數標定，確定視覺系統中兩個攝像機之間的位置關系，即兩個攝像機之間的旋轉矩陣R和平移向量T。通常采用標準的2D或3D精密靶標，通過攝像機圖像坐標與三維世界坐標的對應關系求得這些參數[3]。在實際標定中，采用14*14的棋盤格標定板進行標定，如圖2所示。

具體的標定過程如下：

（1）將標定板放置在雙目攝像機的正前方，確保標定板在左右兩攝像機的視場范圍內。通過調節標定板的位置、角度，獲取多組標定板圖像，通過左右攝像機中攝取到的標定板中棋盤格交點位置，確定兩攝像機之間坐標關系，從而標定確定兩個攝像機的內部參數，包括兩鏡頭的畸變參數，鏡頭焦距，以及主點坐標等，以及兩個攝像機的外部參數（RL、TL與RR、TR）。

其中，RL、TL表示左攝像機與世界坐標系的相對位置，RR、TR表示右攝像機與世界坐標系的相對位置。

（2）假定空間中任意一點在世界坐標系、左攝像機坐標系和右攝像機坐標系下的非齊次坐標分別為xw、xl、xr，則：

x1=RL xw+TL

xr=RR xw+TR

則xl、xr之間有如下關系：

xr=RRRL1x1+TR RRRL1TL

兩個攝像機之間的位置關系R、T可表示為：

R=RRRL1，

T=TR RRRL1TL

3 雙目攝像機實現

雙目攝像機通過兩個相同的鏡頭和Sensor采集圖像，左右兩路視頻流經過同步曝光控制和ISP處理，通過視頻分析處理模塊，根據攝像機標定參數，計算物體世界坐標與攝像機坐標關系，最后經過數據輸出模塊輸出物體的三維位置信息，雙目攝像機的系統示意圖如圖3所示。

圖3 雙目攝像機系統示意圖

在視頻分析處理模塊中，利用雙目立體視覺原理，結合最新的人體特征識別，模式識別和人工智能算法等多領域的技術，實現對畫面中特定區域的人頭、頭肩等特征部位進行識別，以此來區分人和其他物體，可以進行人數統計，如圖4所示；根據人員和物體的三維位置信息，判斷人員的站立和倒地狀態，并且能夠輸出場景的深度圖視頻，深度圖中灰度表示場景中物體離相機的距離，距離越遠灰度越深，如圖5所示。

4 結束語

雙目攝像機利用雙目視覺原理，有效獲取了攝像機視場范圍內人員和物體的三維位置信息，并準確計算得出人員身高和距離，精度達到厘米級，同時其測量速度快，結構簡單，便于使用等優點，該產品已廣泛應用于醫院、值班室、審訊室等多個實際項目中，產生良好的應用效果。

參考文獻

[1]戴君，趙海洋，馮心海.機器視覺[J].機械設計與制造工程，1998.

[2]馬林.基于雙目視覺的圖像三維重建[Z].

[3]萬衛兵，霍宏，趙宇明.智能視頻監控中目標檢測與識別[M].上海交通大學出版社.

作者簡介：柯常志（1981，8-），男，湖北黃石，工程師，碩士研究生，現就職于杭州海康威視數字技術股份有限公司，從事攝像機產品開發，在圖像算法，嵌入式開發方面，具有8年工作經驗。endprint