融合深度學習和特征點識別的室內定位研究

王 陳 哲,陳 宇 佳*,陶 詩 量,李 明,胡 博,賈 軍 輝,陳 浩 男

(1.國家基礎地理信息中心,北京 100830;2.百度(中國)有限公司,北京 100193;3.自然資源部第三航測遙感院,四川 成都 610100;4.國網思極位置服務有限公司,北京 102209)

0 引言

近年來,隨著智慧城市概念的全面普及,基于位置的服務得到廣泛關注并促進定位技術迅猛發展。由于全球導航衛星系統(GNSS)定位技術無法解決室內場景下的定位問題[1],室內定位技術應運而生,其應用場景更貼近日常衣食住行,涵蓋各類博覽會、機場、火車站、大型商場、地下礦井、商場地下車庫等諸多場景[2]。目前室內定位的主要手段有WiFi、藍牙beacon、行人航位推算(PDR)、地磁、紅外、超寬帶等。其中,WiFi主要采用指紋比對算法,需提前布置設備并采集大量指紋信息[3],國外多采用眾包信源并增加位置語義注釋的方式減少前期的指紋采集工作,但受限于眾包位置的不平均,仍無法解決所有位置的精度問題[4];藍牙采用指紋匹配或類似基站信號軌跡匹配方式[5],精度更高,但仍需布置設備且需定期檢修[6];PDR算法雖無需提前布置設備,但因累計誤差無法消除,仍需結合藍牙或WiFi進行絕對位置糾正,如融合自適應擴展卡爾曼濾波的低功耗藍牙PDR方案[7]、基于PDR和地理網格的方案等[8];基于語義結構的室內定位等算法也存在精度不高或成本較高等缺陷[9],尤其對于無法布設額外設備的受控環境,多數常用定位手段均無法使用。

隨著智能手機的發展,基于圖像的室內定位成本低,無須額外安裝較多設備,相比傳統方案準確性更高[10],且對于傳統硬件設備(WiFi等)限制安裝區域的適用性較高。但當前基于圖像的室內定位技術也存在特定缺陷[11],例如:基于Simultaneous Localization and Mapping(SLAM),融合視覺里程與PDR的室內定位算法復雜度較高,導致效率較低,無法滿足實時性要求[12];基于目標跟蹤檢測并投影還原位置的被動視覺方案仍需提前布設硬件設備且精度不能保證[13];基于深度學習網絡目標特征識別的方案雖無額外硬件依賴,但無法準確估計位置[14];基于雙目視覺深度估計的定位方案依賴的視覺攝像頭較多,無法適用于日常生活[15]。隨著人工智能與計算機視覺技術的不斷發展,基于卷積神經網絡的深度學習算法在圖像識別領域成果斐然[16]。因此,為解決已有室內定位技術的缺陷,本文結合特征點識別與深度學習算法,提出一種基于圖像的室內定位技術,該技術只需通過移動終端拍攝的視頻流圖像,即可獲得實時室內位置。

1 基于圖像的室內定位技術

本文基于圖像的室內定位技術實現流程(圖1)為:①在室內選定密度足夠且分布均勻的具有標志特征的區域,并對每個標志特征區域拍攝大量不同角度、不同大小的圖像,通過灰度、濾波、旋轉、仿射等變換膨脹圖片集,得到標志物訓練數據集,然后基于標志物訓練數據集對卷積神經網絡進行訓練,得到標志物識別器;同時,對每個標志特征區域拍攝一張清晰的模板圖像,并量取相對距離獲得模板圖像的位置信息(移動設備終端相對于模板圖像的距離和角度),對每張模板圖像進行特征點識別與描述,形成環境特征信息庫。②基于手機視頻流,將室內定位分為概略定位和精細定位兩個階段:在概略定位階段,將視頻流中的每幀圖像輸入訓練好的卷積神經網絡標志物識別器,獲得該幀圖像的粗略位置及其對應的模板圖像;在精細定位階段,將視頻流中的每幀圖像進行特征點識別與描述,并與其模板圖像在環境特征信息庫中對應的特征點進行匹配,在剔除誤匹配后,通過仿射變換和分解單應矩陣得到精確的位置信息。

圖1 基于深度學習和特征點識別的室內定位系統工作流程Fig.1 Workflow of indoor positioning system based on deep learning and feature point recognition

圖2 RANSAC算法流程Fig.2 Flow chart of RANSAC algorithm

1.1 卷積神經網絡標志物識別器構建

1.1.1 MobileNet V3網絡結構 MobileNet V3[17,18]憑借網絡結構優化,在更少的參數和計算量下,精度和計算速度均優于多數大型神經網絡[19],本文系統主要部署于移動端設備,對性能及計算速度要求較高,故選取MobileNet V3-Small作為基礎網絡結構。MobileNet V3-Small共有12個特有的bneck層[20]、1個標準卷積層和2個逐點卷積層,且具備以下特性:①具有MobileNet V1的深度可分離卷積。深度可分離卷積[21]由1層深度卷積與1層逐點卷積組合而成,每層卷積后均緊跟著批規范化和ReLU激活函數,在精度基本不變的情況下,參數與計算量均低于標準卷積。②具有MobileNet V2的線性瓶頸逆殘差結構[22]。該結構相比標準卷積能減少參數量和卷積計算量,從空間和時間上優化網絡。③加入輕量級的注意力模型(Squeeze-and-Excitation模塊)[23]。該模型可使網絡輸入特征的有效權重更大,無效或效果小的權重更小。④使用h-swish激活函數。研究表明,使用該激活函數在Google AI的實驗中會提高約15%的效率[20,24]。

1.1.2 網絡參數求解 本文將MobileNet V3在ImageNet數據集上訓練好的權重參數進行遷移,獲得預訓練模型參數;通過訓練特定層、凍結其他層的方式對預訓練模型參數進行微調[25],最終得到研究所需的標志物識別器。

1.1.3 標志物識別器在移動設備端的部署 通過TensorFlow生成模型部署至Android設備所需的.so、.pb文件及jar包,將上述文件放入Android工程的相關資源路徑中并配置gradle;在Android工程中寫入模型部署所需的類并調用,即可實現在移動Android端標志物識別器的部署。

1.2 環境特征信息庫構建

1.2.1 非線性空間構造 在對模板圖像進行特征點識別時,需對每個模板圖像進行空間特征構建。相比SIFT、SURF等常用的線性濾波空間特征構建算法,AKAZE的非線性擴散濾波對模板圖像進行選擇性模糊(平緩區域模糊程度高,陡峭區域模糊程度低),有效保持了原有模板圖像的特征信息。因此,本文采用AKAZE算法[26]對模板圖像構建非線性濾波空間特征[27]:首先,利用式(1)對模板圖像進行金字塔分層,并利用式(2)將像素尺度因子轉換為時間尺度因子,這種映射僅用于獲取一組進化時間值,并通過這些時間值構建非線性空間特征;最后,利用非線性偏微分方程求解(式(3))構建模板圖像的所有非線性空間特征。

(1)

(2)

(3)

式中:σi(o,s)為尺度因子,O和S分別為金字塔分層的層數和組數,σ0為尺度基準值,N為金字塔分層中所有尺度因子數量,ti為進化時間,L為模板圖像的空間特征值,A為圖像隨整體緯度變化所變換的傳導矩陣,m為循環周期。

1.2.2 特征點識別 對模板圖像進行非線性空間特征構建后,通過在特征圖像中尋找不同尺度歸一化后的Hessian局部極大值點,以實現特征點的識別(式(4)),在金字塔分層中,當空間特征的某像素點大于其圖像域和尺度域的所有相鄰點時,該點為極大值點;在找到特征點在空間特征中的位置后,根據Taylor展開式求解特征點在模板圖像中的位置,得到模板圖像中特征點的坐標。

(4)

式中:σ為尺度因子σi的整數值,x和y分別為空間特征點的坐標。

1.2.3 特征點描述 識別出模板圖像的特征點后,需對所有模板圖像特征點的點位信息和主方向信息進行描述,并構建特征描述向量,通過特征描述向量集合構建環境特征信息庫。其中,點位信息可在特征點識別過程中求解,特征點主方向的求解和特征描述向量的構建流程如下:①特征點主方向求解。在模板圖像中確定特征點的搜索圈,并對搜索圈內所有像素點非線性空間特征值的一階微分值Lx和Ly進行高斯加權,將加權后微分值視作向量空間中的點集,在角度為60°的扇形滑動窗口內對點集進行向量疊加,遍歷整個圓形區域,獲得最長向量的角度即為主方向。②特征描述向量構建。為提升效率,本文采用BRISK特征描述方法進行特征描述并構建特征描述向量,選取512個短距離點對,故描述子位數為512。

1.3 室內坐標解算

在概略定位階段,通過構建的標志物識別器確定視頻流中每幀圖像的粗略位置,從而獲得圖像對應的模板圖像;在精細定位階段,需先對視頻流中每幀圖像進行特征點識別與描述,再與其所屬模板圖像在環境特征信息庫中對應的特征點進行匹配,然后剔除誤匹配,最后解算出精確位置。

1.3.1 特征點匹配 由于本文采用BRISK特征描述方法,故選擇Hamming距離進行匹配。兩個二進制字符串的Hamming距離指在各自對應的位數上數值是否一致,若一致,記為0,否則記為1。當對比過所有位數后,得到的1的數量即為Hamming距離。

1.3.2 誤匹配點剔除 基于特征點的圖像匹配不可避免地會產生錯誤匹配對,本文采用RANSAC算法剔除誤匹配點[28](圖 2)。在循環迭代過程中(最大迭代次數由式(5)計算),若找到滿足判定為內點的誤差門限及內點數閾值的單應矩陣數據組,則采用該組單應矩陣對全部特征點數據進行計算,最終得到剔除誤匹配后的特征點對。

(5)

式中:wa為第a個特征點均為正確匹配點對的概率,p為抽取到的 4組匹配點數據全部來自內點集的概率。

1.3.3 精確位置解算 從匹配點對中篩選出主方向強烈的穩定特征點對,計算兩者的單應矩陣H(式(6)),因匹配的特征點對肯定大于4對,因此通過SVD分解求得旋轉矩陣和平移矩陣,進而得到相機姿態角θ;對穩定特征點集隨機跳躍求差,根據差值大小進行反向賦權,求取模板圖像與視頻流圖像的特征點位距離差加權平均值δ;再通過已知的相機焦距f、相機姿態角θ、模板圖像的位置坐標P0及模板圖像拍攝距離z0計算得到手機與當前模板圖像的距離,進而得出精確位置P(式(7))。

(6)

式中:K為相機內參數,d為中心距離,N為相機平面法向量,R為相機外參旋轉矩陣,T為相機外參平移向量。

P=P0+[(δf+z0)sinθ(δf+z0)cosθ]T

(7)

2 實驗結果與分析

2.1 實驗環境與數據采集

實驗采用的軟硬件平臺信息為:①定位終端硬件平臺(Android手機):Samsung Galaxy Z Flip3;②模型訓練硬件平臺(PC):MacBook Pro 2020;③模型訓練軟件平臺:Tensorflow 2.10;在Tensorflow平臺訓練得到模型后,保存得到.pb文件,并通過Bazel軟件生成得到在Android端調用模型所需的.so文件和jar包,最后將.pb文件、.so文件和jar包分別導入Android工程的app/src/main/assets、app/src/main/jniLibs和app/libs路徑下,即可調用模型。實驗場地位于國家基礎地理信息中心(國家測繪檔案資料館),因涉及重要密級資料,無法進一步部署額外的電子設備,故不適合采用WiFi等室內定位手段,通過基于圖像識別的室內定位系統進行定位是最合適且有效的。

在實驗場地進行標志物訓練數據集采集,共獲取25個標志物,進行一定范圍內的增強變換(灰度、對比度、濾波、平移、旋轉、仿射、銳度等變換)后,得到足夠多的訓練集供標志物識別器訓練(每個標志物圖片約1 000張)(圖3),最終得到標志物識別器;選取模板圖像進行AKAZE特征點提取與描述,得到所有模板圖像的環境特征信息庫。

2.2 實驗結果分析

采用基于本文方法的硬件設備在實驗場地進行實時定位試驗,對相同路線試驗20次,以減少偶然性,最終獲得實驗路線平均定位軌跡(圖4)。與真實軌跡進行比對可知,本文方法定位精度較高,90%以上的路線平均誤差控制在0.2 m以內。

圖4 真實軌跡與試驗軌跡對比Fig.4 Comparison between real track and test track

3 結語

本文提出一種基于深度學習算法和特征點識別的室內定位方法,利用手機等移動設備終端獲得實時視頻流,通過基于卷積神經網絡的標志物識別器對視頻流中的每幀圖像進行標志物識別,從而獲得其粗略位置,完成概略定位;接著對視頻流中每幀圖像進行特征點識別,并與構建的環境特征信息庫中帶有位置信息的特征點進行匹配,計算其精確位置,完成精細定位。在有針對性的受控區域內對該方法的定位精度及穩定性進行有效驗證,定位誤差基本保持在0.2 m以內。由于本文方法通過選取穩定匹配點對計算單應性矩陣,只需拍攝到標志物的一部分即能獲取足夠數量的特征點對,故整體定位精度較高。

為使本文方法將來能應用在性能相對不佳的移動端設備上,如何在保持精度的基礎上優化算法效率需要深入研究;本文實驗室內場景中標志物的數量規模較小,可能會影響部分位置的定位精度,也需進一步研究。