基于移動通信大數據的城市人口管理解決方案

王峰+唐美華

【摘 要】闡述了大數據發展現狀和發展前景，介紹了移動通信網絡大數據在城市人口管理中的解決方案，研究出一套移動通信用戶行為分析模型，建立了地圖網格算法、人口分布算法、人口流動模型算法。通過數據分析和數據挖掘，分析了城市人口的時空分布及動態遷移情況，為大數據在移動通信網絡的應用做出了有益的探索和嘗試。

【關鍵詞】大數據 聚類分析 行為分析模型 CELL ID OD調查

中圖分類號：TP391 文獻標識碼：A 文章編號：1006-1010（2014）-13-0038-04

1 大數據發展現狀和發展前景

1.1 大數據發展現狀

大數據（Big Data）具有4V特征，一是數據體量巨大（Volume），數據正在以指數級速度增長，一些行業每天產生的數據量達到TB級；二是數據類型繁多（Variety），包括以文本為主的結構化數據，以音頻、視頻、圖片、地理位置信息等為主的非結構化數據；三是價值密度低（Value），以視頻為例，在連續不間斷的視頻監控中，有用數據可能僅有一二秒；四是處理速度快（Velocity），這是大數據區分于傳統數據挖掘的最顯著特征，面對海量的數據，處理數據的效率非常關鍵。

近年來，大數據應用隨處可見。谷歌通過分析人們在谷歌的搜索關鍵詞，提供再捕捉服務，通過這種服務谷歌每年可以獲得10億美元的收入，亞馬遜通過對其平臺上互動交易的數據進行挖掘，使其在交易當中獲得更好的收益。多國政府部門將大數據技術應用到便民服務和政府執法領域，例如當一輛套牌車開往某個停車場，基于大數據分析的車牌識別系統可以很快通知最近的交警前往執行處罰，交通部門開放運營車輛GPS數據，向市民發布道路實時路況。

1.2 大數據的發展前景

隨著技術創新和行業需要的推動，大數據產業已步入了快車道。IDC報告稱，在中國，與大數據建設相關的硬件軟件服務在2016年將超過6億美元。

維克托·邁爾在《大數據時代》一書中指出：大數據開啟了一次重大的時代轉型。就像望遠鏡讓我們能夠感受宇宙，顯微鏡讓我們能夠觀測微生物一樣，大數據正在改變我們的生活、工作以及理解世界的方式，成為新發明和新服務的源泉，同時更多的改變正在蓄勢待發。

大數據以一種前所未有的方式，通過對海量數據進行分析，獲得具有巨大價值的產品和服務。數據是信息社會的根本要素，挖掘多變的、海量的數據，不僅能為全社會提供創新的信息服務，而且能夠為各行業創造價值，因此大數據應用前景非常廣闊。

2 移動通信大數據在城市人口管理中的

應用

2.1 移動通信網絡數據的價值

運營商的數據十分寶貴，包括網絡數據、用戶數據、位置數據、用戶行為數據、設備終端數據等。

（1）運營商擁有海量的網絡資源數據，全國數以百萬計的基站形成了LBS應用需要的CELL ID（CELL Identity）數據，CELL ID是指移動通信無線網絡上報終端所處的基站小區號。

（2）2010年9月1日實施手機實名制之后，在保障通信安全的同時，運營商擁有了較為準確的用戶資料和消費信息數據。

（3）根據移動通信原理，網絡需進行小區切換和周期性位置更新，這種定期產生的大量位置更新信息就形成了位置和軌跡數據。

（4）用戶在進行發送短信、通話、數據上網、開關機等行為時，會產生大量的用戶行為數據。

（5）所有終端在建立與網絡的連接時，均會上報終端的IMEI號，形成了豐富的終端設備數據。

上述5類數據，經過數據分析和數據挖掘，為行業研究和服務創新提供可靠的依據，為城市人口管理和公共安全提供決策數據支持。

2.2 需求分析

隨著城市經濟水平的不斷發展，城市人口呈現數量多、增長快、流動大等特點，給經濟社會發展和社會治安帶來巨大的壓力，給城市人口管理和服務工作帶來前所未有的挑戰，政府主管部門積極探索城市人口管理的新模式。如何準確地分析城市人口分布和流動情況？如何采用創新手段提升管理和服務水平？采用科學的方法和先進的技術對移動通信網絡數據進行數據分析和數據挖掘是一個非常好的突破口。據工信部發布的通信行業統計數據，2014年5月底中國移動電話用戶總數達到12.56億戶，移動電話普及率達92.3部/百人。由此可見，移動通信網絡大數據將在城市人口分析和管理工作中顯示出獨到的優勢和價值。

通過移動通信網絡大數據挖掘和分析，能方便快捷地獲取以下信息：城市人口分布及流動情況、城市居民OD調查、城市人口異常聚集、特定區域的經濟發展狀況等。

2.3 系統架構

基于移動通信大數據的城市人口管理系統架構分為4個部分，如圖1所示，功能描述如下：

圖1 基于移動通信大數據的城市人口管理系統架構

（1）數據層，負責從外部系統獲取基礎數據，包括全網的話單、短信、上網流量數據，以及移動通信網絡的信令數據。外部系統在向本系統輸出基礎數據之前，需要開發一套程序完成原始數據的格式轉換和數據處理。首先要屏蔽用戶隱私信息，即用戶號碼信息全部剔除，輸出時采用經過加密的IMSI號碼。其次需要篩選出關鍵字段，每條記錄都是從原始數據的幾十個字段抽取出幾個關鍵字段，這樣能大大減少數據存儲量。

（2）處理層，負責對獲取的結構化和非結構化數據進行處理，并準確匹配到上層定義好的各類計算模型。數據處理層采用了基于開源的Hadoop分布式架構，將傳統ETL的數據提取、數據清洗、數據轉化、數據校驗工作承載在云計算平臺上，大大降低了大數據的處理成本，提升海量數據處理的及時性。

（3）模型層，定義了與需求相關的3大模型：

◆位置分析模型：負責存儲對城市地圖處理后的信息數據，包括了網格的經緯度信息和對應的基站信息。結合GIS地圖信息，獲取用戶位置。endprint

◆用戶分析模型：負責存儲用戶信息，重點包括了用戶在城市生活中重要的“居住點”和“工作點”的經緯度信息。通過該模型可以分析用戶在城市的生活軌跡。

◆用戶撥打重點電話模型：負責存儲城市內撥打110、119、120、122等電話的時間、地點。通過該模型可以分析出城市的安全、消防、交通報警電話的時間、區域以及趨勢。

（4）應用層，基于B/S架構，采用模塊化獨立封裝技術與標準化應用接口，功能強大且擴展性強，可平滑擴展到城市人口管理以外的其他行業。

2.4 算法描述

在進行移動通信網絡海量數據分析和數據挖掘時，主要采用了聚類分析計算方法，包括地圖網格算法、人口分布算法、人口流動模型算法。聚類分析指將對象的集合分成由類似的對象組成的多個類的分析過程，聚類分析的目標就是在相似的基礎上收集數據來分類。

（1）地圖網格算法：首先針對城市地圖建立坐標系，將地圖空間劃分成為有限個單元的網格結構，所有的處理都是以單個單元為對象。單元網格面積大于基站平均覆蓋范圍，因此定位精度能滿足城市人口出行信息分析的技術要求。具體方法如下：

◆針對城市地圖建立坐標系，按基站小區平均半徑250m，建立網格。

◆為城市的所有基站分配經緯度，從而把基站全部匹配到網格。

◆對跨行政區域的網格，在數據分析時做特別處理。

◆根據用戶發生通信行為時所在的網格，精確計算用戶位置和軌跡。

（2）人口分布聚類分析算法：根據用戶發生通信行為所在基站位置數據和網絡發起的周期性位置更新數據，以加密后的IMSI號作為分析對象。在時間上，按時間段計算出每個加密IMSI號出現的次數；在空間上，將加密的IMSI號匹配到疊加了網格數據的城市行政區域分布圖，挖掘出每個區域某個時段的人口數量。具體步驟如下：

◆確定移動通信網絡活躍用戶總數。

◆設定居住地時間為18點至次日8點，工作地時間為8點至18點。

◆根據用戶發生通信行為所在的基站經緯度，計算所在網格的位置。

◆計算居住地和工作地網格內的用戶數量，為了數據的準確性，以3個月為一個數據采集周期，如果一個用戶出現在多個地點則以出現次數最多的地點為準。

◆根據用戶網格歸屬統計用戶的區域分布。

（3）人口流動模型算法：本項目需設置多個聚類分析對象，我們給每一個聚類設置了一個模型，然后計算滿足這個模型的數據集。主要的3個模型為位置分析模型、用戶分析模型、安全監測模型。如圖2所示：

圖2 基于移動通信大數據的城市人口管理分析3個模型

2.5 結果輸出

本項目利用移動通信網絡語音、短信、上網數據及網絡信令等海量數據，通過特定的算法，建立分析模型，輸出了以下城市人口管理分析成果：

◆基于移動通信網絡數據的城市各區域人口數量分布；

◆城市人口居住地、工作地分布；

◆城市居民OD調查（Origin Destination Survey），即交通起止點調查；

◆城市人口連續出行軌跡；

◆城市人口異地出行量、出行目的地分布；

◆特定區域人員聚集分析；

◆城市各區域經濟發展情況。

3 結束語

大數據被譽為“21世紀的新石油”，運營商擁有海量的網絡數據、用戶數據、位置數據、用戶行為數據、設備終端數據。通過搭建大數據基礎平臺，進行數據分析和數據挖掘，開辟創新應用的藍海，為相關行業提供新型信息服務從而實現價值創新，為政府的城市管理提供決策支持，運營商的數據十分寶貴，早挖掘，早受益。

參考文獻：

[1] 維克托·邁爾-舍恩伯格， 肯尼思·庫克耶. 大數據時代[M]. 盛楊燕，周濤，譯. 杭州： 浙江人民出版社， 2012.

[2] 涂子沛. 正在到來的數據革命[M]. 桂林： 廣西師范大學出版社， 2013.

[3] 涂子沛. 數據之巔：大數據革命，歷史、現實與未來[M]. 北京： 中信出版社， 2014.

[4] 劉軍. Hadoop大數據處理[M]. 北京： 人民郵電出版社， 2013.

[5] IT架構設計研究組. 大數據時代的IT架構設計[M]. 北京： 電子工業出版社， 2014.

[6] Anand Rajaraman， Jeffrey David Ullman. 大數據：互聯網大規模數據挖掘與分布式處理[M]. 王斌，譯. 北京： 人民郵電出版社， 2012.

作者簡介

王峰：工程師，畢業于中國科學與技術大學計算機科學系，現任職于中國聯合網絡通信有限公司深圳市分公司，研究方向為移動通信計費營帳系統開發、通信行業應用產品及解決方案、大數據應用。

唐美華：工程師，畢業于西南交通大學通信工程學院，現任職于中國聯合網絡通信有限公司深圳市分公司，具有多年從事移動通信網絡建設和設備維護工作的經驗，研究方向為3G移動通信行業應用、大數據應用。endprint

◆用戶分析模型：負責存儲用戶信息，重點包括了用戶在城市生活中重要的“居住點”和“工作點”的經緯度信息。通過該模型可以分析用戶在城市的生活軌跡。

◆用戶撥打重點電話模型：負責存儲城市內撥打110、119、120、122等電話的時間、地點。通過該模型可以分析出城市的安全、消防、交通報警電話的時間、區域以及趨勢。

（4）應用層，基于B/S架構，采用模塊化獨立封裝技術與標準化應用接口，功能強大且擴展性強，可平滑擴展到城市人口管理以外的其他行業。

2.4 算法描述

在進行移動通信網絡海量數據分析和數據挖掘時，主要采用了聚類分析計算方法，包括地圖網格算法、人口分布算法、人口流動模型算法。聚類分析指將對象的集合分成由類似的對象組成的多個類的分析過程，聚類分析的目標就是在相似的基礎上收集數據來分類。

（1）地圖網格算法：首先針對城市地圖建立坐標系，將地圖空間劃分成為有限個單元的網格結構，所有的處理都是以單個單元為對象。單元網格面積大于基站平均覆蓋范圍，因此定位精度能滿足城市人口出行信息分析的技術要求。具體方法如下：

◆針對城市地圖建立坐標系，按基站小區平均半徑250m，建立網格。

◆為城市的所有基站分配經緯度，從而把基站全部匹配到網格。

◆對跨行政區域的網格，在數據分析時做特別處理。

◆根據用戶發生通信行為時所在的網格，精確計算用戶位置和軌跡。

（2）人口分布聚類分析算法：根據用戶發生通信行為所在基站位置數據和網絡發起的周期性位置更新數據，以加密后的IMSI號作為分析對象。在時間上，按時間段計算出每個加密IMSI號出現的次數；在空間上，將加密的IMSI號匹配到疊加了網格數據的城市行政區域分布圖，挖掘出每個區域某個時段的人口數量。具體步驟如下：

◆確定移動通信網絡活躍用戶總數。

◆設定居住地時間為18點至次日8點，工作地時間為8點至18點。

◆根據用戶發生通信行為所在的基站經緯度，計算所在網格的位置。

◆計算居住地和工作地網格內的用戶數量，為了數據的準確性，以3個月為一個數據采集周期，如果一個用戶出現在多個地點則以出現次數最多的地點為準。

◆根據用戶網格歸屬統計用戶的區域分布。

（3）人口流動模型算法：本項目需設置多個聚類分析對象，我們給每一個聚類設置了一個模型，然后計算滿足這個模型的數據集。主要的3個模型為位置分析模型、用戶分析模型、安全監測模型。如圖2所示：

圖2 基于移動通信大數據的城市人口管理分析3個模型

2.5 結果輸出

本項目利用移動通信網絡語音、短信、上網數據及網絡信令等海量數據，通過特定的算法，建立分析模型，輸出了以下城市人口管理分析成果：

◆基于移動通信網絡數據的城市各區域人口數量分布；

◆城市人口居住地、工作地分布；

◆城市居民OD調查（Origin Destination Survey），即交通起止點調查；

◆城市人口連續出行軌跡；

◆城市人口異地出行量、出行目的地分布；

◆特定區域人員聚集分析；

◆城市各區域經濟發展情況。

3 結束語

大數據被譽為“21世紀的新石油”，運營商擁有海量的網絡數據、用戶數據、位置數據、用戶行為數據、設備終端數據。通過搭建大數據基礎平臺，進行數據分析和數據挖掘，開辟創新應用的藍海，為相關行業提供新型信息服務從而實現價值創新，為政府的城市管理提供決策支持，運營商的數據十分寶貴，早挖掘，早受益。

參考文獻：

[1] 維克托·邁爾-舍恩伯格， 肯尼思·庫克耶. 大數據時代[M]. 盛楊燕，周濤，譯. 杭州： 浙江人民出版社， 2012.

[2] 涂子沛. 正在到來的數據革命[M]. 桂林： 廣西師范大學出版社， 2013.

[3] 涂子沛. 數據之巔：大數據革命，歷史、現實與未來[M]. 北京： 中信出版社， 2014.

[4] 劉軍. Hadoop大數據處理[M]. 北京： 人民郵電出版社， 2013.

[5] IT架構設計研究組. 大數據時代的IT架構設計[M]. 北京： 電子工業出版社， 2014.

[6] Anand Rajaraman， Jeffrey David Ullman. 大數據：互聯網大規模數據挖掘與分布式處理[M]. 王斌，譯. 北京： 人民郵電出版社， 2012.

作者簡介

王峰：工程師，畢業于中國科學與技術大學計算機科學系，現任職于中國聯合網絡通信有限公司深圳市分公司，研究方向為移動通信計費營帳系統開發、通信行業應用產品及解決方案、大數據應用。

唐美華：工程師，畢業于西南交通大學通信工程學院，現任職于中國聯合網絡通信有限公司深圳市分公司，具有多年從事移動通信網絡建設和設備維護工作的經驗，研究方向為3G移動通信行業應用、大數據應用。endprint

◆用戶分析模型：負責存儲用戶信息，重點包括了用戶在城市生活中重要的“居住點”和“工作點”的經緯度信息。通過該模型可以分析用戶在城市的生活軌跡。

◆用戶撥打重點電話模型：負責存儲城市內撥打110、119、120、122等電話的時間、地點。通過該模型可以分析出城市的安全、消防、交通報警電話的時間、區域以及趨勢。

（4）應用層，基于B/S架構，采用模塊化獨立封裝技術與標準化應用接口，功能強大且擴展性強，可平滑擴展到城市人口管理以外的其他行業。

2.4 算法描述

在進行移動通信網絡海量數據分析和數據挖掘時，主要采用了聚類分析計算方法，包括地圖網格算法、人口分布算法、人口流動模型算法。聚類分析指將對象的集合分成由類似的對象組成的多個類的分析過程，聚類分析的目標就是在相似的基礎上收集數據來分類。

（1）地圖網格算法：首先針對城市地圖建立坐標系，將地圖空間劃分成為有限個單元的網格結構，所有的處理都是以單個單元為對象。單元網格面積大于基站平均覆蓋范圍，因此定位精度能滿足城市人口出行信息分析的技術要求。具體方法如下：

◆針對城市地圖建立坐標系，按基站小區平均半徑250m，建立網格。

◆為城市的所有基站分配經緯度，從而把基站全部匹配到網格。

◆對跨行政區域的網格，在數據分析時做特別處理。

◆根據用戶發生通信行為時所在的網格，精確計算用戶位置和軌跡。

（2）人口分布聚類分析算法：根據用戶發生通信行為所在基站位置數據和網絡發起的周期性位置更新數據，以加密后的IMSI號作為分析對象。在時間上，按時間段計算出每個加密IMSI號出現的次數；在空間上，將加密的IMSI號匹配到疊加了網格數據的城市行政區域分布圖，挖掘出每個區域某個時段的人口數量。具體步驟如下：

◆確定移動通信網絡活躍用戶總數。

◆設定居住地時間為18點至次日8點，工作地時間為8點至18點。

◆根據用戶發生通信行為所在的基站經緯度，計算所在網格的位置。

◆計算居住地和工作地網格內的用戶數量，為了數據的準確性，以3個月為一個數據采集周期，如果一個用戶出現在多個地點則以出現次數最多的地點為準。

◆根據用戶網格歸屬統計用戶的區域分布。

（3）人口流動模型算法：本項目需設置多個聚類分析對象，我們給每一個聚類設置了一個模型，然后計算滿足這個模型的數據集。主要的3個模型為位置分析模型、用戶分析模型、安全監測模型。如圖2所示：

圖2 基于移動通信大數據的城市人口管理分析3個模型

2.5 結果輸出

本項目利用移動通信網絡語音、短信、上網數據及網絡信令等海量數據，通過特定的算法，建立分析模型，輸出了以下城市人口管理分析成果：

◆基于移動通信網絡數據的城市各區域人口數量分布；

◆城市人口居住地、工作地分布；

◆城市居民OD調查（Origin Destination Survey），即交通起止點調查；

◆城市人口連續出行軌跡；

◆城市人口異地出行量、出行目的地分布；

◆特定區域人員聚集分析；

◆城市各區域經濟發展情況。

3 結束語

大數據被譽為“21世紀的新石油”，運營商擁有海量的網絡數據、用戶數據、位置數據、用戶行為數據、設備終端數據。通過搭建大數據基礎平臺，進行數據分析和數據挖掘，開辟創新應用的藍海，為相關行業提供新型信息服務從而實現價值創新，為政府的城市管理提供決策支持，運營商的數據十分寶貴，早挖掘，早受益。

參考文獻：

[1] 維克托·邁爾-舍恩伯格， 肯尼思·庫克耶. 大數據時代[M]. 盛楊燕，周濤，譯. 杭州： 浙江人民出版社， 2012.

[2] 涂子沛. 正在到來的數據革命[M]. 桂林： 廣西師范大學出版社， 2013.

[3] 涂子沛. 數據之巔：大數據革命，歷史、現實與未來[M]. 北京： 中信出版社， 2014.

[4] 劉軍. Hadoop大數據處理[M]. 北京： 人民郵電出版社， 2013.

[5] IT架構設計研究組. 大數據時代的IT架構設計[M]. 北京： 電子工業出版社， 2014.

[6] Anand Rajaraman， Jeffrey David Ullman. 大數據：互聯網大規模數據挖掘與分布式處理[M]. 王斌，譯. 北京： 人民郵電出版社， 2012.

作者簡介

王峰：工程師，畢業于中國科學與技術大學計算機科學系，現任職于中國聯合網絡通信有限公司深圳市分公司，研究方向為移動通信計費營帳系統開發、通信行業應用產品及解決方案、大數據應用。

唐美華：工程師，畢業于西南交通大學通信工程學院，現任職于中國聯合網絡通信有限公司深圳市分公司，具有多年從事移動通信網絡建設和設備維護工作的經驗，研究方向為3G移動通信行業應用、大數據應用。endprint