一種基于視覺信息的可見光通信室內定位方法

王語琪，鞏應奎

(1．中國科學院 光電研究院，北京 100094;2．中國科學院大學，北京 100049)

一種基于視覺信息的可見光通信室內定位方法

王語琪1,2，鞏應奎1

(1．中國科學院 光電研究院，北京 100094;2．中國科學院大學，北京 100049)

可見光通信技術的發展為室內定位提供了新的契機。為了提高室內定位精度，文中提出一種基于視覺信息的可見光通信室內定位方法。該方法通過LED燈發送可見光通信信息，并將低分辨率的光電二極管傳感器陣列接收到的可見光通信信息與手機終端的前置攝像頭接收到的視覺信息進行融合，實現室內定位。同時，闡述了兩種不同信息源的匹配融合的方法，并針對手機終端的前置攝像頭與多盞LED成像之間的相互關系，提出了改進的共線方程模型。當輸入數據為終端傳感器接收到的LED燈可見光信息、相關視覺信息以及手機前置攝像頭參數時，利用該模型可得到手機終端的三維坐標信息。文中針對定位模型進行了半實物仿真，驗證了定位方法的可行性。根據仿真結果，定位精度達到分米級。

視覺信息；共線方程；室內定位；可見光通信

0 引 言

可見光通信技術以其高速率、高帶寬、無電磁輻射的特性為室內導航定位技術帶來了新的發展機遇，在飛機、醫院、礦井等電磁受限的場景下，不僅可以提供通信服務，還可提供高精度的導航定位服務[1]。目前，基于可見光通信的室內定位技術包括基于LED身份識別定位[2-4](LED-ID)、基于到達時間定位[5](TOA)、基于到達時間差定位[6](TDOA)、基于到達角定位[7-8](AOA)、基于信號強度定位[9-10](RSS)等。以上幾種方法在其他的定位方式如超聲波、超寬帶、射頻識別(無線局域網、ZigBee)[11]技術中均有所研究。此外，基于視覺信息的可見光通信室內定位方法主要有兩種，一種是利用多盞LED燈，以不同顏色的光來區別各路光信號，使用相同焦距、相同性質且兩圖像傳感器位置固定的定位方法[12-13]，另一種是利用多盞LED燈與同一傳感器的共線關系，得出終端所在的位置的定位方法[14]。

文中提出一種光電二極管(PD)傳感器與圖像傳感器的視覺信息融合的定位方法，以改進的共線方程模型作為定位的數學基礎，無需進行時間同步。在此基礎上，對定位精度進行了半實物仿真驗證。

1 定位方法及共線方程模型

1.1 視覺信息融合的定位方法

文中涉及的可見光通信室內定位系統場景設計為：控制中心向每盞LED燈發送位置及控制信息。LED燈按一定分布排列于天花板上，其利用電力線載波與后臺的控制中心相連接。LED燈只需發送可見光信號并播放其位置信息即可，不需要使用時間同步原理。帶有PD傳感器的手機終端接收到可見光信號后進行解析，得到LED位置信息，同時手機終端的攝像頭作為圖像傳感器進行LED影像的獲取。在獲取PD傳感器及圖像傳感器對于同一盞LED燈的不同視覺信息后，通過手機終端內置程序，將兩種不同的視覺信息進行融合并實現終端定位。

融合可看作兩種不同類型的信息匹配過程，由于PD傳感器的分辨率較低，因此匹配過程不可簡單理解為圖像間特征值的匹配。文中利用PD傳感器及圖像傳感器所成影像的二維位置關系作為信息傳遞的媒介，以實現可見光通信信息與視覺信息的融合。

如圖1所示，PD傳感器和圖像傳感器會同時接收到同一盞燈的不同信息，PD傳感器接收到的是每盞LED燈的可見光通信信號，在視覺上表現為一個光斑，傳遞的內容為LED燈的位置信息；圖像傳感器的分辨率較高，視覺上表示為該LED燈的實際影像。將兩種不同的信息源進行融合，以解決基于可見光通信的成像定位的數據輸入及匹配的問題。考慮到PD傳感器與圖像傳感器的相對空間位置關系固定且距離較近，

圖1 PD傳感器與圖像傳感器接收信息示意圖

外置的PD傳感器與手機終端前置攝像頭的平移位置不超過2 cm，且兩傳感器距LED燈的距離較近，在室內情況下約為3 m，視場角偏移度較小，LED燈按一定規則均勻地排布在天花板上，因此信息的匹配方法如下：

首先，提取LED燈坐標信息、光斑位置信息及LED圖像位置信息。PD傳感器和圖像傳感器會同時接收到多盞燈的不同信息，設PD傳感器接收到i(i=1,2,…,m)盞LED燈的信息，包括i盞燈照射在PD傳感器陣列的光斑平面位置(xdi,ydi)及傳遞給PD陣列的LED燈的三維坐標(Xi,Yi,Zi)，圖像傳感器接收到j(j=1,2,…,n)盞LED燈的信息，燈的圖像信息的像平面二維坐標為(xej,yej)。

然后，統一PD傳感器和圖像傳感器所屬平面坐標系，提高匹配精度。PD傳感器和圖像傳感器的分辨率不同，且有一定的旋轉角度，需建立LED燈在PD平面位置上與像平面位置之間的關系。以高分辨率的圖像傳感器形成的圖像為基準，將低分辨率的PD傳感器抽象為一個二維矩陣，數學擴展為與圖像相同分辨率的二維矩陣：

其中，(kx,ky)為PD傳感器和圖像傳感器進行轉換時，x方向和y方向的尺度系數，各個不同的圖像傳感器與PD傳感器間的(kx,ky)值不相同；θ為兩傳感器之間的旋轉角度，由于θ較小，在代入公式時可取cosθ=1，sinθ=θ以簡化計算；(Δx,Δy)為二維偏移量；(xi,yi)為經數學處理后的PD光斑坐標，后續將利用(xi,yi)及(xej,yej)之間的關系進行匹配。

最后，進行可見光信息與圖像信息匹配。以提取出的j盞燈圖像信息的像平面二維坐標Ej(xej,yej)為模板，以處理后的PD陣列接收到的i個光斑信息的平面位置Di(xi,yi)為搜索區域，利用Kuhn-Munkres算法，計算所有路徑Ei～Di，以最短的路徑值作為權值，尋找如圖2所示的最佳匹配。匹配完成后，將PD陣列所接收到的可見光通信信息中包含的LED三維坐標信息賦予圖像上提取出的LED影像的像點坐標，得到終端坐標解算模型所需的參數為(xej,yej,Xi,Yi,Zi)。

最后輸入攝影機的參數，并將視覺信息、LED坐標信息、攝影機參數輸入共線方程，建立誤差方程式，解得用戶終端的三維坐標，從而實現終端手機的高精度定位。

1.2 定位模型

針對1.1節中提出的定位方法，攝影方向由傳統攝影測量方法中的光線由下到上變為光線由上到下，攝影中心、像點、地面點的相對位置關系如圖3所示。

圖2 平面位置信息及匹配

圖3 基于手機終端前置攝像頭的室內定位關系

若要采用共線方程模型進行解算，需對光線的幾何模型進行分析與推導。定位時，根據像片投影特點，LED燈、像點、攝影中心三點構成一條直線，定義地面三維坐標系為C-XgYgZg，其為右手坐標系；建立坐標原點為攝影中心，且坐標軸與地面三維坐標系平行，但Z軸與地面三維坐標系相反的右手坐標系：像空間輔助坐標系S-XsYsZs，以及像平面坐標系o-xy，其坐標原點為攝影中心投影到像平面上的點，一般為像平面中心處，x與y軸與像空間輔助坐標系平行。

在建立相對位置關系后，對定位方法及成像終端進行進一步的分析。由于定位方法中采用的是前置攝像頭進行拍攝，其顯示時對光學成像進行了軸對稱的數學處理，以符合用戶觀看習慣。由于在解算時，視覺信息已進行了數學處理，而傳統的共線方程模型利用的是真實的光學成像模型，因此對模型進行進一步的修正，還原物點、像點、攝影中心的成像關系。即像點坐標中的x軸取相反值，最終適用于手機終端前置攝像頭的共線方程為：

(2)

其中：

(3)

式中，(x,y)為LED燈在二維像片上的像點坐標；(X,Y,Z)為LED燈的三維坐標；(Xs,Ys,Zs)為攝影中心在同一坐標系下的三維坐標；f為攝影機焦距；(φ,ω,κ)為攝影機在拍攝時刻三個方向的轉角；(a1,a2,a3,b1,b2,b3,c1,c2,c3)為三個轉角所組成的旋轉矩陣。

結合1.1節中的場景及式(1)、(2)所提出的共線方程模型可知，當輸入數據為LED燈的三維坐標信息、光斑視覺信息、LED視覺信息以及攝影機參數時，利用共線方程模型，將其線性化后進行迭代運算，可得到手機終端的三維坐標信息。

2 仿真實驗與分析

2.1 仿真實驗

文中采用半實物仿真方式對所改進的共線方程進行驗證，開展仿真實驗，采用真實的手機終端的前置攝像頭采集LED燈的圖像信息。

為了更好地驗證模型的定位精度，需要對LED燈的位置及終端拍照實驗點的位置進行標定。首先建立相對坐標系，確定終端采集視覺信息的實驗點的位置，然后利用激光測距儀，采集已知坐標的實驗點到LED燈的距離，利用三球交會原理計算LED的坐標信息。

設LED燈的坐標為(Xl,Yl,Zl)，地面網格點坐標分別為(Xa,Ya,Za)、(Xb,Yb,Zb)、(Xc,Yc,Zc)，測量距離分別為la,lb,lc，利用式(4)計算LED燈的位置坐標：

(4)

由于距離測量時包含了一定誤差，為了減小標定所帶來的誤差影響，引入第四個坐標點，采用最小二乘法提高標定精度。所得的LED的三維坐標視為其在相對坐標系中的真實值。

仿真場景如圖4所示。LED燈之間的X軸方向相差0.6m，Y軸方向相差0.6m，屋內高度為2.8m，智能手機終端在0.8*0.8m的格網點上進行拍攝。

圖4 仿真實驗場景

拍攝采用兩臺不同的智能手機終端，利用其前置攝像頭進行圖像的采集。在數據采集過程中，分別采用不同高度、不同手機終端采集了4組數據，即高度在相對坐標系中的Z方向值為0m時，使用兩組不同的手機終端拍攝兩組數據；高度在相對坐標系中的Z方向值為1.143m，使用兩組不同的手機終端拍攝兩組數據。

2.2 實驗結果及分析

2.2.1 基于連通域的像點坐標提取算法

由于進行定位解算時需要像點坐標作為已知值，對于文中所提出的場景中的像點坐標提取，其特點一是需要程序后臺提取解算，二是每張像片無較高的重疊度且相對獨立，無法進行特征匹配，因此根據需要，采用經驗閾值對圖像進行灰度處理后二值化，利用二值圖像連通域像素提取算法進行像素點坐標提取。

二值化是利用逐個像素的運算，把一張灰度圖變為只有黑(0)和白(1)兩種情況的圖。其中的任何一個像素f(i,j)的亮度值介于[0,255]之間，在二值化的過程中用的閾值為T，二值化以后的影像為b(i,j)，運算公式為：

(5)

圖像處理時采用8鄰域的形態學圖像處理原則，即若中間元素為1，周圍8個元素為1。利用形態學圖像處理進行像素坐標提取，經過確定圖像模版、圖像開運算、圖像邊界對象抑制、圖像連通后，提取出像點坐標值。

文中采用手機終端拍攝的圖片，對二值圖像連通域像素提取算法進行驗證。對圖像進行處理后，利用程序自動識別LED燈的像素點坐標。提取結果表明，所使用程序對圖片上的灰度值大于240以上的點均有響應，且可以提取出其中心值，并沒有限制提取個數，如有些圖像拍出了9個燈，程序可將圖上的9個燈均進行提取。圖像處理結果如圖5所示。

圖5 圖像處理結果

得出結果后，對自動獲取的像素點分析見表1。

表1 圖像像點坐標提取精度

由于各像素點對應的實際像元大小為微米級，因此表1所示的圖像像點坐標提取精度對后續定位精度的影響較小，滿足像點坐標的精度要求。

2.2.2 定位結果分析

仿真工具選擇Matlab軟件，利用適用于定位室內定位方法的共線方程模型，對手機終端的位置進行解算及定位精度的分析。對共線方程模型進行線性化后，組成誤差方程式，采用迭代的方法，對終端位置進行求解。在對場景進行標定及數據采集后，驗證手機終端前置攝像頭的共線方程模型，對所得結果與實際終端坐標位置進行比對。通過4組實測數據，得到172個終端位置值，并計算與標定地面點間的位置誤差。圖像上的LED像點坐標采用2.2.1節中自動提取的數據。本節首先分別對不同終端、不同高度進行定位精度的分析，然后對定位精度進行評估。

由于終端與LED燈的距離越近，視場越小，當試驗場高度一定時，實驗通過改變終端距地面的高度來調節視場的大小。

使用不同的手機終端采集數據并解算后，將定位結果進行分類，分別生成兩手機終端的位置誤差曲線，每幅圖中兩條曲線，曲線表示在相對坐標系中的高程為0m及1.143m時的位置誤差。為了更清楚地掌握其規律，繪制累計概率分布，如圖6所示。從不同高度所拍攝的視覺信息的定位精度的結果來看，所得結果的位置誤差基本在0.05m到0.1m之間。

圖6 不同手機終端在不同高度的定位精度累計概率分布

由圖6可知，使用不同的手機終端得出的定位誤差在累計概率為80%處，高度較低即視場角較大時，定位精度較高。對于不同的手機終端，其定位結果具有普適性，定位精度在10cm左右。作為基于手機前置攝像頭的共線方程模型，在進行實驗的室內環境下，LED燈與終端距離最遠為2.8m，求解誤差方程式的平均迭代次數為4次就可收斂。

3 結束語

文中提出了一種基于視覺信息的可見光通信定位方法，利用了可見光通信的特點，使用兩種不同分辨率的傳感器，即手機終端及PD陣列，實現可見光通信信息與視覺信息的融合。同時提出了一種適用于手機終端前置攝像頭的共線方程定位模型，然后利用手機終端進行半實物仿真，并對仿真結果進行分析，結果達到分米級。對定位終端來說，視場角對定位精度有一定影響，視場角越大，接收到LED燈的信息越多，定位精度較高。該方法可移植到手機應用程序中，在配備外置PD陣列的情況下，進行實物實驗，驗證其在實際情況中的可用性。對于仿真定位結果來說，所引入的誤差包括系統誤差(LED燈坐標誤差、攝像機畸變、攝像機定標誤差)和偶然誤差(自動提取像素點誤差、匹配誤差)，如何消除這些誤差帶來的影響，進一步提高定位精度，是接下來研究的方向。

[1] 張建昆,楊 宇,陳弘達.室內可見光通信調制方法分析[J].中國激光,2011,38(4):131-134.

[2]NakajimaM,HaruyamaS.Newindoornavigationsystemforvisuallyimpairedpeopleusingvisiblelightcommunication[J].EURASIPJournalonWirelessCommunicationsandNetworking,2013(1):1-10.

[3] 婁鵬華,張洪明,郎 凱,等.基于室內照明的定位導航系統:中國,201210484538.5[P].2012-11-23.

[4]ZhengD,CuiK,BaiB,etal.IndoorlocalizationbasedonLEDs[C]//ProcofIEEEinternationalconferenceoncontrolapplications.[s.l.]:IEEE,2011:573-578.

[5] 許銀帆,黃星星,李榮玲,等.基于LED可見光通信的室內定位技術研究[J].中國照明電器,2014(4):11-15.

[6]JungSY,HannS,ParkCS.TDOA-basedopticalwirelessindoorlocalizationusingLEDceilinglamps[J].IEEETransactionsonConsumerElectronics,2011,57(4):1592-1597.

[7]PrinceGB,LittleTDC.AtwophasehybridRSS/AoAalgorithmforindoordevicelocalizationusingvisiblelight[C]//Procofglobalcommunicationsconference.[s.l.]:IEEE,2012:3347-3352.

[8]SertthinC,TsujiE,NakagawaM,etal.Aswitchingestimatedreceiverpositionschemeforvisiblelightbasedindoorpositioningsystem[C]//Procof4thinternationalsymposiumonwirelesspervasivecomputing.Melbourne,VIC:IEEE,2009:1-5.

[9]HannS,KimJH,JungSY,etal.WhiteLEDceilinglightspositioningsystemsforopticalwirelessindoorapplications[C]//Procof36thEuropeanconferenceandexhibitiononopticalcommunication.[s.l.]:IEEE,2010:1-3.

[10]GuW,ZhangW,WangJ,etal.ThreedimensionalindoorpositioningbasedonvisiblelightwithGaussianmixturesigma-pointparticlefiltertechnique[C]//ProcofSPIEOPTO.[s.l.]:InternationalSocietyforOpticsandPhotonics,2015.

[11] 汪 苑,林錦國.幾種常用室內定位技術的探討[J].中國儀器儀表,2011(2):54-57.

[12]KimBY,ChoJS,ParkY,etal.ImplementationofindoorpositioningusingLEDanddualPCcameras[C]//Procoffourthinternationalconferenceonubiquitousandfuturenetworks.[s.l.]:IEEE,2012:476-477.

[13]RahmanMS,HaqueMM,KimKD.IndoorpositioningbyLEDvisiblelightcommunicationandimagesensors[J].InternationalJournalofElectricalandComputerEngineering,2011,1(2):161-170.

[14]YoshinoM,HaruyamaS,NakagawaM.High-accuracypositioningsystemusingvisibleLEDlightsandimagesensor[C]//Procofradioandwirelesssymposium.[s.l.]:IEEE,2008:439-442.

An Indoor Positioning Method of Visible Light Communication Based on Visual Information

WANG Yu-qi1,2,GONG Ying-kui1

(1.Academy of Opto-electronics,Chinese Academy of Sciences,Beijing 100094,China;2.University of Chinese Academy of Sciences,Beijing 100049,China)

The development of visible light communication provides a new opportunity for indoor positioning.In order to improve indoor positioning accuracy,a positioning method using visible light communication based on visual light information is proposed,which is fusing visible light information received by low-resolution photo diode array and visual information received by front facing camera to realize the indoor positioning.At the same time,a fusion method for two different information matching is discussed,and for the relationship between the front facing camera and the LEDs’ imaging,an improved collinear equation model is proposed.When the input data is the visible light information,the relevant visual information and the parameters of front facing camera from LEDs’ light,the 3D coordinate information of the mobile terminal is obtained by using the model.A hardware-in-loop simulation has been verified and analyzed.According to the results of the simulation,3D positioning accuracy is up to decimeter level.

visual information;collinear equation;indoor positioning;visible light communication

2015-04-07

2015-07-08

時間：2016-01-04

國家自然科學基金資助項目(91438207)

王語琪(1989-)，女，碩士，研究方向為室內導航定位；鞏應奎，副研究員，研究方向為衛星導航技術、導航系統總體設計以及系統仿真與評估。

http://www.cnki.net/kcms/detail/61.1450.TP.20160104.1453.012.html

TP301

A

1673-629X(2016)01-0200-05

10.3969/j.issn.1673-629X.2016.01.043