終端設備的室內外場景感知技術綜述

林 樹， 蘇素燕， 陳端云， 姜乃祺， 陳 俊， 林明睿

（1 國網福建省電力有限公司廈門供電公司， 福建 廈門 362400；2 國網福建電力有限公司， 福州 350001； 3 福州大學物理與信息工程學院， 福州 350108）

0 引 言

室內外場景感知，即室內外場景分類技術，該技術的根本任務是甄別終端所處的環境是室內還是室外。 隨著技術的發展和需求的不斷增加，場景感知的類別也可隨著需求的改變而改變，以應對復雜的終端工作場景，完成復雜的分類任務。

全球正在邁向萬物互聯的時代，越來越多的終端設備應用于日常生活、工業制造和醫療健康等領域，終端設備的數量和種類與日俱增，終端設備對場景感知技術的需求應運而生。 室內外場景感知作為場景感知中的基礎任務，仍有較大研究的潛力。 由于GNSS 信號易受遮擋的特性，在室外環境可以直接使用GNSS 進行定位，而在室內場景則需要無線信號輔助定位。 因此，定位終端設備需要根據場景感知的結果，切換合適的定位方式，室內外場景感知的準確與否，會對終端設備的定位精度有直接的影響。 因此，室內外場景感知技術具有廣闊的應用前景和研究價值。 本文根據室內外場景感知方法的不同數據采集介質，將室內外場景感知分為基于特定傳感器的室內外場景感知方法、基于圖像信息的室內外場景感知方法、基于泛在無線信號的室內外場景感知方法，并依次對這3 類方法進行研究分析。

1 基于特定傳感器的室內外場景感知方法

特定傳感器是指可以部署在終端上，用于采集室內外環境信息的傳感器，如光照傳感器、溫度傳感器、地磁傳感器等。 根據傳感器在室內外不同場景的數據表現，結合閾值判別或分類算法，實現室內外場景感知。

Krumm 等人［1］使用溫度傳感器對所處環境進行檢測，根據傳感器采集的溫度和實際天氣的溫度進行比較，使用貝葉斯分類器完成場景分類。 這種方式需要定位信息的支持，以得到終端所處地理位置的天氣信息（即實際天氣溫度），輔助終端實現場景感知。 Sung 等人［2］利用揚聲器發送線性調頻信號，同時使用聲音傳感器采集在環境內反射的音頻，根據這一數據特征完成場景類別的判斷；也可以根據室內外的光線特征，使用光傳感器，根據光照強度的閾值［3］對室內外場景進行分類。 在天氣狀況良好的白天，太陽光的光照強度遠大于室內人造光強度，但由于復雜多變的天氣、晝夜變化，會對自然的光照強度有所影響，最終影響場景感知的精度。 由于單一傳感器往往無法應對復雜的工作環境，因此為滿足更高的分類精度，研究人員設計出了諸多傳感器組合的方案。

如圖1 所示，Li 等人［4］設計的IODetector 輕量系統采用光傳感器、蜂窩模塊和磁傳感器的多傳感器組合方案。 由于建筑內鋼筋、混凝土和各類電子設備的影響，測量的地磁數據和基站信號也會產生波動，結合這一數據特征，根據置信度進行場景感知。 而只依靠置信度難以合理運用各個傳感器的檢測特點。 Radu 等人［3］針對IODetector 輕量系統進行優化，選用半監督學習的co-training 方法對數據進行處理。

圖1 IODetector 系統架構Fig. 1 The IODetector system architecture

根據IODetector 輕量系統和以往技術對于光照處理的缺陷，Rhudy 等人［5］使用紫外線傳感器、光線傳感器和RGB 傳感器組合的方案，采集光線的組成成分，提升對光線信息的感知；章曉強等人［6］也提出了對光照強度動態處理的方式，通過結合實際的時間和時區，獲得該地區的晝夜時間，并利用空氣濕度反映實時天氣，以此來調整對光照的處理策略。整個方案使用了光照傳感器、溫濕度傳感器和磁傳感器組合進行室內外場景感知，針對光照、溫濕度和地磁在室內外場景中的數據特征不同，根據各算法的置信度進行投票，并結合多元融合的無監督機制，完成室內外場景的分類。 該算法結合了各個傳感器的特點，利用投票機制對置信度進行選擇，以應對復雜的天氣環境。

阮錦佳等人［7］通過光照傳感器、磁傳感器、氣壓傳感器、加速度傳感器和陀螺儀，分別采集所處環境的光照信息、磁場變化強度和終端的運動狀態，利用SVM 多分類器分類。 這種方法的算法復雜度低，精準度高，但部分傳感器主要關注于終端的運動狀態，限制了終端的普適性。 蔣超等人［8］同樣關注運動狀態，使用運動傳感器對終端的轉彎頻率和運動頻率進行監測，以此來判斷室內外場景。

這種基于特定傳感器的方法，雖然可以滿足室內外場景感知的基本需求，但需要在終端中部署額外的傳感器部件，用于檢測環境信息，對于終端功耗和輕量化的優化是一個嚴峻的挑戰，在一定程度上限制了終端的廣泛應用。

2 基于圖像信息的室內外場景感知方法

場景識別不僅可以在終端上搭載特定傳感器，也可以通過在終端中搭載攝像頭，根據圖像進行場景識別，將場景感知看作圖像分類問題。 對于現有技術發展而言，圖像處理技術已相對成熟，圖像內富含大量的信息。 圖像信息如圖2 所示，其中包括顏色、光線和紋理信息，圖片中含有的目標物體信息，圖像區域空間的結構信息等。 基于圖像信息的室內外場景感知方法多樣，主要有基于圖像特征的方式、基于圖像語義信息的方式和基于深度學習的圖像處理方式。

圖2 圖像信息Fig. 2 Image information

2.1 基于圖像特征的場景感知

根據圖像特征（指圖像的客觀特征）可以對場景進行劃分，其中包含圖像的顏色、紋理、圖形形狀等。 根據光傳感器的原理，對采集的圖像進行光線分析，經過研究發現，室內和室外光線在色度上有很大差異，且對于照明色度，紅色和藍色色度之間有很強的線性關系，因此只對紅色色域進行閾值判別［9］，便可以實現場景感知。

同時，也有研究團隊分別根據圖像的顏色直方圖、圖像紋理進行分類。 其中，根據紋理判斷能夠忽略不必要的場景細節，同時可以將RGB 顏色的圖像映射到不同的色彩空間之中，如HSV 顏色空間、Lab顏色信息，以提取更豐富的顏色特征。 Szummer 等人［10］對圖像顏色信息和圖像紋理信息進行了整合，以克服單個參考數據準確率不高的缺陷。 李錦烽等人［11］對圖像小波分解后，使用LBP 算子提取不同頻率下的圖像紋理。 同樣，與LBP 算子類似的圖像特征提取方法（如SIFT、HOG、Haar 等），也能夠應用于場景感知之中，利用算子的特性，以提取圖像的顯著特征。

2.2 基于圖像語義信息的場景感知

圖像特征屬于圖像的淺層語義信息，實現場景感知也可以挖掘圖像的深層語義信息。 深層語義信息可以理解為與類別劃分的相關信息，不同于只能機器理解的圖像特征，深層語義信息可以被人類所理解。

Li 等人［12］根據物體的語義信息，判斷圖像的場景類別，利用Object Bank 表示圖像，再使用SVM 分類器進行圖像分類。 這種依照物體檢測的方式，對于具有標志性物體的場景分類效果更佳。 如：在特定場所會出現特定的物體，室內場景的沙發、電視在一般情況下不會出現在室外，但是室內室外場景下的物體種類復雜，針對室內室外的場景感知缺乏可靠性。

圖像空間區域的語義信息同樣值得關注，Sadeghi 等人［13］提出的Latent Pyramidal Regions 通過區域檢測子表現特定區域的語義信息，同時關注場景的形狀和紋理信息，來解決目標語義信息的局限性。 Juneja 等人［14］基于Bag of Words 提出的Bag of Parts 同樣關注空間區域的語義特征，對圖像進行語義分割，保留顯著性區域，根據區域的結構和特征，實現場景感知。

2.3 基于深度學習的場景感知

深度學習已在圖像分類任務上被廣泛應用，場景分類作為圖像分類的一個分支，也引來一些學者的深入研究。 經典的CNN 網絡已經滿足基本的圖像分類任務，如使用ImageNet 數據，將卷積神經網絡訓練成ImageNet-CNN 網絡，實現室內外場景感知。 Zhou 等人［15］使用了更優質的場景Places 數據集，將CNN 網絡訓練成了Places-CNN 網絡，并且闡述了數據集對于訓練神經網絡的重要性，尤其注重數據集的類別相關性和數據多樣性。 其中，無論是傳統的機器學習算法，還是新興的深度學習算法，數據集的質量往往會直接影響到訓練模型的好壞。

隨著卷積神經網絡的發展，網絡結構的不斷創新，AlexNet、VGG 和Resnet 等經典圖像分類網絡結構被應用到室內外場景感知領域。 不僅如此，如YOLO、R-CNN 等目標檢測的經典神經網絡，以及FCN、U-Net 等語義分割的經典神經網絡，都能夠在室內外場景感知領域提取到圖像中有效的場景信息，對圖像特征進一步的剖析。

盡管深度學習具有分類精度高，學習能力強，適應性好的特點，但是相較于一些傳統的檢測方式，深度學習對于硬件的要求較高，并且高度依賴大量數據支撐，對于算法的終端部署和實現等問題亟待解決。 一些輕量型網絡架構，如SqueezeNet、ShuffleNet等網絡結構，對輕量化終端的部署，是一個較好的解決方案。

3 基于泛在無線信號的室內外場景感知

泛在無線信號是指廣泛分布于環境空間內的無線信號，如GNSS 遠程發送的定位信號、蜂窩基站的通信信號、室內密布的WiFi 信號和藍牙信號等。 根據實驗測量，多種泛在無線信號，在室內室外環境下，都能保持較為穩定的狀態，不會輕易受到自然環境變化的干擾，晝夜時間和溫差等因素，也不會使泛在無線信號產生太多波動。 要使用泛在無線信號，可以通過信號接收器對泛在無線信號進行采集，根據各類泛在無線信號在室內外空間內的傳播特性和分布特點，實現室內外場景感知的任務。

根據衛星信號傳輸遠距離、大衰落和高動態等特點，同時根據泛在無線信號會受到建筑和電子器械的干擾，使信號出現折射、反射的特點，通過統計終端接收的衛星信號個數和AP（無線訪問節點）信號個數，即統計特定泛在信號個數（如WIFI 信號、UWB 信號或藍牙信號），進行場景感知，根據信號個數的閾值進行場景判定。 閾值需要通過先驗知識進行預先設定，不具備自學習的能力，無法實現室內外場景感知終端的廣泛適用。 胡旭科等人［16］對這個方案的閾值判定進行了改進和優化。 為了避免室內室外重疊區域和信號干擾，減少誤判發生的可能，采用alpha-count 機制，以穩定終端對場景的判斷，減少微弱信號帶來的影響，避免頻繁進行場景切換。

由于單純依靠接收泛在無線信號的數量進行閾值判斷，缺乏對場景的普適性，蔣超等人［8］采用特定傳感器和泛在信號結合的思路，使用衛星數目、運動姿態和光照強度進行室內外場景感知；Radu 等人［3］根據室內場景中衛星信號的個數、衛星高度角和信噪比的數據特征，并結合傳感器采集的地磁數據和光照強度，利用神經網絡進行分類，以實現室內外場景感知；鄢松等人［17］通過實驗對比，舍棄地磁數據，使用WIFI 信號、GNSS 信號和光照強度組合作為特征數據，通過AdaBoost 和PNN（概率神經網絡）組合的分類算法，實現室內外場景感知。

不僅可以將泛在無線信號的數量作為特征數據，信號質量或信號強度也可以作為場景判斷的依據。 Gao 等人［18］基于GNSS 信號可用數量和信號強度，使用隱馬爾科夫模型，甄別室內和室外環境；同樣的，alpha-count 機制也是根據信號強度作為判斷依據，只有當信號強度達到閾值時，才能被認定為是有效信號。 這種方式更深入的利用泛在無線信號的傳輸特性，有助于提升模型的準確性和魯棒性。

由于實現場景感知的終端，可以同時接收到多種且多個泛在無線信號。 因此可將其整合為一個信號指紋，用于存儲所在位置的信號指紋信息。 通過大量采集信號指紋和場景信息一一對應，建立信號指紋數據庫，用于存儲不同場景下的指紋信息。 在終端部署階段，當終端處于新的場景下，通過采集指紋信息，利用已經建好的信號指紋數據庫進行對比匹配，或者使用近鄰算法、貝葉斯概率算法和機器學的分類算法，都能根據信號指紋數據庫進行場景感知。

這種基于泛在無線信號的室內外場景感知技術，可以只通過信號采集器，不需要多個傳感器或是高功耗的攝像頭就能完成大量的泛在無線信號采集，對場景信息有著豐富的感知，對于輕量化低功耗設計，提供了良好的設計思路。

4 結束語

本文針對定位終端設備在場景感知技術領域的發展現狀和前沿成果進行論述，根據不同的數據采集介質，分為基本的3 個場景感知方式。 對于不同的場景分類理念和技術方案，進行了介紹和分析，對于簡單的室內外場景，已有多種技術方案可以勝任，對于各類復雜的場景環境，尚且還沒有一種算法可以達到令人滿意的程度，而且對于提升模型的魯棒性和場景感知模塊的輕量化設計，仍有較大的發展空間和研究潛力。