一種基于BIM和單目相機的室內定位方法

郭建軍，王韋剛

一種基于BIM和單目相機的室內定位方法

郭建軍，王韋剛

（南京郵電大學電子與光學工程學院/柔性電子學院，南京 210023）

傳統的室內定位與跟蹤需要在環境中安裝大量的輔助設施，這在一些特定的場合中存在很大的局限性。針對以上問題，提出了一種基于建筑信息模型（BIM）和單目相機的室內定位及跟蹤方法。該方法利用手機等移動設備上的相機獲取現場圖像，使用坎尼（Canny）算法進行邊緣檢測，結合BIM提供的幾何信息實現對目標的定位，并通過改進卡爾曼濾波算法對運動軌跡進行優化，最終實現了高精度的定位跟蹤。本文所提算法在實際的數據集上進行了測試，實驗結果表明，本算法滿足室內定位的要求。

建筑信息模型；室內定位；視覺跟蹤；單目視覺；卡爾曼濾波

0 引言

室內定位技術在應急救援、物品管理、商業等領域有著廣泛的應用。根據是否需要在環境中安裝專用的傳感器、發射機或信標網絡，室內定位方法目前可以劃分為有基礎設施的室內定位和無基礎設施的室內定位。有基礎設施的室內定位主要包括紅外線、無線保真（wireless fidelity, WiFi）、超寬帶（ultra-wide band, UWB）技術、射頻識別（radio frequency identification, RFID）等定位方法[1]。這類定位方法雖然有著較高的定位精度，但是需要在環境中安裝大量的基礎設施以保證定位的精度[2]，存在定位成本過高的問題。因此，無基礎設施的室內定位轉而成為近十年來研究和開發的重點。

在諸多無基礎設施的定位方法中，基于數字電視信號、磁場、氣壓計和環境聲級的方法可以提供米級定位精度，但這在許多室內定位場景中是不夠的。行人航跡推算（pedestrian dead reckoning, PDR）[3]、視覺里程計（visual odometry, VO）[4]、同步定位與建圖（simultaneous localization and mapping, SLAM）[5]等定位方法會受到累積定位誤差的影響，導致估計的軌跡出現漂移。

另一方面，隨著當下建筑工程項目管理的數字化轉型，世界各地掀起了一股研究與應用建筑信息模型（building information modeling，BIM）技術的熱潮[6]。文獻[7]利用單個固定安置在室內的單目相機來獲取場景信息，結合BIM實現了無標簽目標物的被動定位。文獻[8]將BIM和優三締科技3D（unity technologies, unity 3D）結合實現了室內環境的3維（three-dimensional, 3D）導航，該算法使用WiFi定位技術對目標進行主動定位與導航。但該算法未充分利用BIM所提供的建筑信息且定位精度不夠理想，且需要在環境中安裝大量的WiFi信號源。

針對以上問題，作者提出了一種基于BIM和單目視覺的室內定位方法。該方法通過手機、智能眼鏡等智能設備上的相機捕獲現場圖像，使用坎尼（Canny）算法提取圖像中的線特征，結合BIM所提供的幾何信息實現對目標的定位，然后通過改進的卡爾曼濾波器對定位軌跡進行平滑濾波，以較好地實現定位與跟蹤。

1 系統設計

圖1給出了本定位系統的基本流程。首先，根據BIM中可見模型邊緣的長度對其進行采樣。隨后，將采樣點投影至圖像平面上，通過搜索采樣點的投影與圖像邊緣的接近程度來建立點對應關系。為了減少陰影或重復紋理造成的錯誤的三維到二維的點對應，使用M-估計抽樣一致（M-estimate sample consensus, MSAC）算法來剔除異常值。通過使用高斯-牛頓非線性最小化技術使得像素點與投影點之間的距離達到最小，估計出相機的位姿。最后，將相機位姿的估值送至卡爾曼濾波器，以預測下一幀的相機位姿。

圖1 定位系統框架

1.1 可視模型邊緣檢測

在得到卡爾曼算法預測的相機坐標之后，利用布蘭德（Blender）軟件中的射線追蹤算法檢測出可視模型邊緣及其在BIM坐標系下的三維坐標。相比預先計算成表格的方法，這種方法可以處理更多復雜的情況。此外，作者使用包圍體層次樹（bounding volume hierarchy, BVH）[9]來減少射線追蹤的計算成本。

在BIM模型中，物體的邊緣被描述為2個3D點。因此，場景中可見模型邊緣的2個頂點都需要被檢測到。然而在實際的相機視圖中，邊緣的2個頂點不太可能都可見。為此，作者以50 cm的間隔對可見模型邊緣進行了細分。另一方面，模型的邊緣在一定的相機視圖下會非常接近[10]，從而產生3D點到2D點的錯誤匹配。為了降低這種情況對定位性能的影響，在圖像平面上相互靠近的可見模型邊緣將被舍棄。

1.2 模型邊緣投影

在共線性方程的基礎上，作者提出了一種將3D點投影至成像平面上的透視相機模型。數學上可以表示為

1.3 相機姿態估計

在得到3D點及其在相機成像平面的對應點后，相機的位姿有許多求解方法。文獻[11]通過求解一個雙二次方程得到相機的姿態估計，并利用一個額外的3D點驗證估計的正確性。這種直接求解的方法雖然速度更快，但是容易受噪聲的影響，誤差較大。作者通過高斯牛頓算法迭代地估計相機姿態，以得到更為準確的位姿估計。如式（4）所示，定義重投影誤差向量為，表示樣本點的投影和圖像匹配點之間的距離，即

式中：點（，）為3D點（X，Y，Z）在像平面上的匹配點；為測量次數。

將式（2）代入式（4）中可知，重投影誤差為相機位姿的函數。當相機位姿被正確估計時，的2范數應當等于0。設相機位姿為

則高斯牛頓算法的迭代公式為

式中為雅可比矩陣，它包含2×6個測量值對未知參數的偏導數。

2 基于改進卡爾曼濾波的軌跡預測

通過以上步驟，得到了一個受噪聲影響的相機位姿。為減小噪聲對定位的影響，作者改進了卡爾曼濾波器來預測相機的位姿，以初始化下一幀的高斯-牛頓最小化。

卡爾曼濾波本質上屬于一種數據融合算法，它通過系統的觀測信息、狀態轉移以及觀測模型來對狀態進行光滑、濾波和預測，從而得到一個更加精確的測量值[12]。相比于粒子濾波，卡爾曼濾波的最大優點在于計算量小，能夠滿足實時定位的要求。

作者將卡爾曼濾波的狀態向量設計為一個包含有系統待估計參數的12維列向量，可描述為

由于相機是由用戶攜帶或安裝在智能眼鏡框架上的，其運動與用戶的運動具有相同的特征，可以近似為勻速運動。因此，假設相機的速度在整個軌跡中速度是保持恒定的。而在等速系統模型中，加速度被視為過程噪聲[13]，故式（9）可以進一步改寫為

由于相機的加速度被視為白噪聲，過程噪聲協方差矩陣可表示為

卡爾曼濾波的觀測方程為

與過程噪聲類似，假設測量噪聲也是具有零均值的高斯白噪聲。

由于在高斯-牛頓極小化中已經估計了卡爾曼濾波器的測量值，測量噪聲的協方差矩陣可計算為

標準卡爾曼濾波由狀態預測和測量值更新2個主要步驟組成。狀態預測步驟包括對相機狀態和協方差矩陣的預測，其計算公式為：

利用修正后的數據去進行時刻的最優估計，可以使異常值的影響大大降低。

3 實驗與結果分析

3.1 數據集

在對定位系統的性能進行評估時，定位目標的真實運動軌跡的準確性起著至關重要的作用。目前，室內環境下用于評估定位性能的數據集通常由運動捕捉[13]、激光測量[14]、目標跟蹤[15]等方法收集。這些方法都需要特定的硬件或平臺進行數據的采集，所得數據容易受傳感器性能的影響，且準確性不高。如圖2所示，作者在Blender平臺上對南京郵電大學仙林校區電光學科樓四樓樓道進行了建模，通過編程控制虛擬相機的移動，從而得到了無誤差的數據集。

為了更好地呈現出樓道的整體形狀，樓道的天花板已經被移除。圖2中深灰色的實線是為了生成相機姿態而定義的運動軌跡，其長度約為80 m，高度保持在距離地面1.6～1.8 m的范圍內，相機的移動速度約為1.6 m/s。

圖2 樓道的模型與相機的軌跡

為了測試不同相機參數對本算法的定位性能的影響，作者使用不同內參的相機沿著軌跡進行移動，從而得到如表1所示的5組數據集。

表1 不同數據集的相機參數

3.2 通過數據集進行實驗

本小節通過2個對比實驗來評估相機參數對定位性能的影響，然后將本算法與視覺里程計進行比較。

1）圖像分辨率的影響。為了分析圖像分辨率對定位性能的影響，作者選擇數據集1、數據集2和數據集3進行實驗（如圖3所示）。由于虛擬相機的傳感器大小對于所有分辨率是相同的，相應的像素大小隨著分辨率的增加而減??；因此，作者分別設置分辨率參數為s、search、thr和min，以保證像素大小在圖像平面是相等的。

圖3 不同分辨率下平移和旋轉誤差的累積分布函數

從圖3中可以看出，具有較高分辨率的數據集3是最準確的，數據集1的定位效果最差。造成這一現象的原因是：圖像的分辨率越低，圖像中的邊緣更加擁擠，從而產生更多的雜波，3D點與2D點之間正確匹配的數量也隨之減少，影響到最終的定位結果。

2）相機視場角對定位的影響。較寬視場角的圖像中觀察到更多的邊緣特征，這在邊緣特征較少的受限環境(如狹長走廊)下跟蹤是有利條件。如圖4所示，為測試相同分辨率下相機視場角對定位的影響，分別選擇數據集2、數據集4和數據集5進行實驗。

圖4 不同視場角下平移和旋轉誤差的累積分布函數

從圖4中可以看出，對于平移誤差來說，視場為90°的數據集2的定位結果是最準確的。在旋轉誤差方面，數據集2和數據集5的結果比較接近，優于數據集4的定位結果。如表2所示，在對每個數據集進行實驗時，作者分別計算了平均位移誤差和旋轉誤差。

表2 各個數據集的實驗誤差

從表2中的數據可以觀察到，具有最小視場角的數據集4在平均位移誤差和平均旋轉誤差是最大的。這是因為相機的視場角較低，使得某些幀沒有足夠的邊緣數量來進行跟蹤定位，從而導致較差的位姿估計，甚至導致跟蹤定位的失敗。

3）與視覺里程計的比較。如圖5所示，為進一步分析本定位系統的性能，我們計算了每一幀圖像的定位誤差，并與視覺里程計的定位結果進行比較。

圖5 每幀圖像的定位誤差

從圖5中可以看出，視覺里程計的定位誤差較大，且會隨著時間的推移越來越大，這主要是因為走廊中的環境相對單一，視覺里程計難以提取到足夠多的特征用于定位，相鄰幀之間容易出現較大的誤差。相比于視覺里程計，所提算法使用建筑物輪廓在圖像上的線特征進行定位，對特征的數量要求相對較少；因而定位精度更高，最大定位誤差低于0.5 m，且無累積誤差，滿足長時間定位跟蹤的要求。

4）算法實時性分析。在室內定位的諸多應用場景中，定位算法的實時性十分重要。本算法在實現定位功能的過程中，各步驟所用的時間如表3所示。

表3 各定位步驟的平均運行時間

從表3中可以看出，算法在估計位姿的過程中，花費的時間最多，這主要是因為在進行位姿估計時，選用了MSAC算法框架來剔除估計值中的異常值，從而增加了高斯-牛頓算法的迭代步驟。從整體上看，每幀圖像定位所需的平均時間約為0.95 s，滿足實時定位的要求。

4 結束語

本文提出了一種基于BIM和單目相機的室內定位跟蹤方法。該方法解決了傳統室內定位系統需要安裝大量基礎設施、存在累積誤差大等問題，并結合改進的卡爾曼濾波算法對定位軌跡進行優化，顯著提高了系統的魯棒性與定位精度。由于BIM不僅可以提供點線特征，還蘊含著豐富的紋理特征和語義特征，在以后的工作中，可利用這些特征進一步提高系統的定位性能。

[1] 謝恩德, 洪毅. 室內定位方法綜述[J]. 電腦知識與技術. 2021, 17(11): 231-234.

[2] 閆大禹, 宋偉, 王旭丹, 等. 國內室內定位技術發展現狀綜述[J]. 導航定位學報, 2019, 7(4): 5-12.

[3] 王亞娜, 蔡成林, 李思民, 等. 基于行人航跡推算的室內定位算法研究[J]. 電子技術應用2017, 43(4) : 86-89.

[4] 徐愛功, 閆可新, 高嵩, 等. 一種單目視覺里程計/UWB組合室內定位方法[J]. 導航定位學報, 2021, 9(5): 82-88.

[5] 王丹, 黃魯, 李垚. 基于點線特征的單目視覺同時定位與地圖構建算法[J]. 機器人, 2019, 41(3) : 392-403.

[6] 魏重潔, 宋博文. 建筑外輪廓線算法在BIM審查中的研究應用[EB/OL]. 土木建筑工程信息技術. (2022-04-01)[2022-06-18]. https: //kns. cnki. net/kcms/detail/detail. aspx?dbcode=CAPJ&dbname=CAPJLAST&filename= TMJZ20220330002&uniplatform=NZKPT&v=NKK_7JRXTCRLlSvqtw2Sp-Qf2ZUbzJrXZH-4Ta2d-6PkHFtg-5V0TErImgD__Kfi.

[7] 洪灝, 鄧逸川, 鄧暉. 基于BIM的單目相機室內定位技術[C]//中國圖學學會BIM專業委員會. 第三屆全國BIM學術會議論文集. 北京: 中國建筑工業出版社，2017: 147-152[2022-06-18].

[8] 郭語，鄭加柱. BIM與Unity 3D 結合的室內導航系統[J]. 導航定位學報, 2020, 8(5): 25-31.

[9] WALD I, BOULOS S, SHIRLEY P. Ray tracing deformable scenes using dynamic bounding volume hierarchies[J]. ACM Transactions on Graphics (TOG), 2007, 26(1): 6-11.

[10] REITMAYR G, DRUMMOND T W. Going out: robust model-based tracking for outdoor augmented reality[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of 2006 IEEE/ACM International Symposium on Mixed and Augmented Reality. Santa Barbara: IEEE, 2006: 109-118[2022-07-21].

[11] GAO X S, HOU X R, TANG J, et al. Complete solution classification for the perspective-three-point problem[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(8): 930-943.

[12] GROVES P D. Principles of GNSS, inertial, and multisensor integrated navigation systems, book review[J]. IEEE Aerospace and Electronic Systems Magazine, 2015, 30(2): 26-27.

[13] HUANG A S, BACHRACH A, HEURY P, et al. Robotics research[M]. Cham: Springer, 2017: 235-252.

[14] TEULIERE C, MARCHAND E, ECK L. 3-D model-based tracking for UAV indoor localization[J]. IEEE Transactions on Cybernetics, 2014, 45(5): 869-879.

[15] BURKI B, GUILLAUME S, SORBER P, et al. DAEDALUS: a versatile usable digital clip-on measuring system for total stations[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of International Conference on Indoor Positioning and Indoor Navigation. Zurich: IEEE, 2010: 1-10[2022-07-21].

An indoor positioning method based on BIM and monocular camera

GUO Jianjun, WANG Weigang

（College of Electronic and Optical Engineering & College of Flexible Electronics, Nanjing University of Posts and Telecommunications, Nanjing 210023, China）

Traditional indoor positioning and tracking requires the installation of a large number of auxiliary facilities in the environment, which has great limitations in some specific situations. Aiming at the above problems, this paper innovatively proposes an indoor positioning and tracking method based on Building Information Modeling (BIM) and monocular camera. In this method, the camera on mobile devices such as mobile phones is used to obtain field images. Canny algorithm is used to detect edges and the target location is realized by combining the geometric information provided by BIM. The motion trajectory is optimized by an improved Kalman filter algorithm, and the high-precision location tracking is finally realized. The proposed algorithm is testified on realistic data sets. At last the experimental results show that the algorithm meets the requirements of indoor positioning.

building information modeling; indoor positioning; visual tracking; monocular vision; Kalman filtering

TP391

A

2095-4999(2022)06-0037-06

郭建軍，王韋剛. 一種基于BIM和單目相機的室內定位方法[J]. 導航定位學報, 2022, 10(6): 37-42.（GUO Jianjun, WANG Weigang.An indoor positioning method based on BIM and monocular camera[J]. Journal of Navigation and Positioning, 2022, 10(6): 37-42.）

10.16547/j.cnki.10-1096.20220605.

2022-07-24

郭建軍（1995—），男，甘肅安定區人，碩士研究生，研究方向為視覺定位。

王韋剛（1975—），男，江西安?？h人，博士，教授，研究方向為機器視覺與圖像模式識別、室內外定位、嵌入式等。