基于大數據技術的電信網絡詐騙案件分析實驗設計

蘆天亮，涂君奧，杜彥輝，劉穎卿

（1. 中國人民公安大學 警務信息工程與網絡安全學院，北京 100038；2. 中國移動通信有限公司研究院，北京 100053）

電信網絡詐騙是造成用戶經濟損失的主要犯罪形式之一，雖然公安部門將其作為偵破打擊的重點，但是仍然呈現高發態勢。近些年，電信網絡詐騙手段不斷翻新，改號軟件及AI 語音合成[1]等技術大大提高了詐騙的成功率。電信網絡詐騙具有非接觸、跨地域、資金轉移快、犯罪鏈條分工明確等特點[2]，這也加大了公安機關偵查取證及跨地域甚至跨境抓捕的難度，因此相比其他類型案件，電信網絡詐騙案件的破案成功率偏低。根據公安部 “凈網2019” 行動通報數據，截至2019 年10 月31 日，共偵破網絡詐騙類案件21 933起[3]。目前，全國多地出現利用新冠肺炎疫情實施電信網絡詐騙的案件，常見手段包括假借疫情募捐、售賣口罩、冒充醫療機構及航空鐵路人員等，截至2020年4 月11 日，全國公安機關網安部門共抓獲利用疫情實施網絡詐騙嫌疑人6 329 名[4]。

公安機關掌握著龐大的數據資源，大數據技術能夠充分發揮數據的潛在價值[5-6]。美國早在2008 年便開展了預測警務的探索，應用大數據技術進行犯罪情報分析，提高預測和防范犯罪的能力[7-8]。

2018 年，全國公安廳局長會議指出，要大力實施公安大數據戰略，著力打造數據警務、建設智慧公安[9]。2019 年，全國公安工作會議指出要把大數據作為推動公安工作創新發展的大引擎[10]。近年來，全國各地公安機關在推進大數據系統建設和應用方面做了大量工作，利用數據驅動的偵查模式，實現了對各類違法犯罪活動的快速精準打擊。

隨著大數據技術在公安工作中發揮越來越重要的作用，全國各地公安院校紛紛加強學生的大數據知識的學習和技能培養，訓練學生掌握大數據環境搭建、大數據分析和建模、數據爬取以及可視化等能力[11]。為了進一步推動公安院校大數據課程體系建設，提升公安院校學生在大數據方向的技能和職業素養，各類大數據培訓和技能競賽相繼開展，2019 年10 月，首屆 “智警杯” 全國公安院校大學生大數據技能競賽舉行，36 支隊伍參加了決賽。

公安院校通過開設大數據相關課程，使學生掌握大數據基礎知識與核心技術，尤其是通過實驗實訓等方式加強學生對案件數據分析的能力[12-13]。利用大數據技術對電信網絡詐騙案件進行偵查和防控是當前研究的熱點也是公安工作的重要內容[14]，因此，為了吸引學生興趣和貼近公安實戰，本文選擇了對電信網絡詐騙案件數據進行分析，主要使學生掌握大數據集群環境搭建和數據倉庫構建的過程，以及對數據進行處理分析和可視化展示的能力。

1 實驗流程設計

基于大數據的電信網絡詐騙案件分析流程如圖1所示。

圖1 實驗總體流程

1）搭建大數據環境。

搭建包含1 個主節點和2 個從節點的大數據集群，完成關閉防火墻、免密登錄、時間同步等配置，安裝并開啟Zookeeper、Hadoop、Spark 等服務；搭建數據倉庫，包括安裝并配置MySQL、Hive 等。

2）數據導入和數據分析。

在Hive 中建立與電信網絡詐騙案件相對應的表，將文件中的案件數據導入數據表中，然后對數據進行分析。

3）數據可視化。

利用ECharts 對Hive 的數據分析結果進行可視化展示，可以通過繪制的餅圖、折線圖、柱狀圖等直觀展示案件類別比例、案件損失程度頻次及破案率對比等信息。

2 搭建大數據環境

2.1 搭建大數據集群

搭建擁有3 個節點的大數據集群實驗環境，如圖2所示。

圖2 大數據集群

主節點 master：充當 NTP 服務器，Zookeeper的 follower 以 及 Hadoop 集 群 的 NameNode 、ResourceManager 和SecondaryNameNode。

從節點slave1：充當NTP 客戶端，Zookeeper 的leader 以及Hadoop 集群的DataNode 和NodeManager。

從節點 slave2：充當 NTP 客戶端，Zookeeper的 follower 以及 Hadoop 集群的 DataNode 和NodeManager。

首先，集群所用的節點都位于同一個局域網并關閉各個機器的防火墻；其次，配置host 文件，設置master、slave1 和slave2 的IP 地址；再次，為了保證數據的同時性和同步性，設定master 為NTP 服務器，slave1 和slave2 為NTP 客戶端，以此讓時間同步更為精確；最后，從節點上配置SSH 無密碼登錄。

然后，完成下面軟件的安裝與配置。

1）安裝JDK。

把JDK 解壓到/usr/lib/java 目錄，命令如下：

sudo tar -zxvf /opt/soft/jdk-8u171-linux-x64.tar.gz-C /usr/java

配置并生效JAVA_HOME 等環境變量。

2）安裝并啟動Zookeeper。

把Zookeeper 解壓到/usr/zookeeper 目錄，命令如下：

sudo tar -zxvf /opt/soft/zookeeper-3.4.10.tar.gz -C/usr/zookeeper/

配置并生效ZOOKEEPER_HOME 等環境變量，修改zoo.cfg 和myid，其中zoo.cfg 配置如下：

tickTime=2000 initLimit=10 syncLimit=5 dataDir=/usr/zookeeper/zookeeper-3.4.10/zkdata

clientPort=2181

dataLogDir=/usr/zookeeper/zookeeper-3.4.10/zkdat alog

server.1=master:2888:3888

server.2=slave1:2888:3888

server.3=slave2:2888:3888

3 個節點均啟動Zookeeper，執行如下命令：

bin/zkServer.sh start

3）安裝并啟動Hadoop。

把Hadoop 解壓到/usr/hadoop 目錄，命令如下：

sudo tar -zxvf /opt/soft/ hadoop-2.7.3.tar.gz -C/usr/hadoop/

配置并生效HADOOP_HOME 等環境變量，修改core-site.xml、hadoop-env.sh、mapred-site.xml、hdfs-site.xml、yarn-site.xml 等文件[15]，其中core-site.xml 配置如下：

＜configuration＞

＜property＞

＜name＞fs.defaultFS＜/name＞

＜value＞hdfs://Master:9000＜/value＞

＜/property＞

＜property＞

＜name＞hadoop.tmp.dir＜/name＞

＜value＞file:/usr/local/hadoop/tmp＜/value＞

＜description＞Abase for other temporary directories.＜/description＞

＜/property＞

＜/configuration＞

啟動Hadoop 之前先進行格式化，在master 上執行格式化命令：

hadoop namenode -format

啟動Hadoop，在master 上執行命令：

/usr/hadoop/hadoop-2.7.3/sbin/start-all.sh

4）安裝Scala。

把Scala 解壓到/usr/scala 目錄，命令如下：

sudo tar -zxvf /opt/soft/scala-2.11.12.tgz -C /usr/scala/

配置并生效SCALA_HOME 等環境變量。

5）安裝并啟動Spark。

把Spark 解壓到/usr/spark 目錄，命令如下：

sudo tar -zxvf /opt/soft/spark-2.4.0-bin.hadoop2.7.tgz -C /usr/spark

配置并生效SPARK_HOME 等環境變量，修改spark-env.sh 和slaves 文件，其中spark-env.sh 中添加內容如下：

export SPARK_MASTER_IP=master

export SCALA_HOME=/usr/scala/scala-2.11.12

export SPARK_WORKER_MEMORY=8g

export JAVA_HOME=/usr/java/jdk-1.8.0_171

export

HADOOP_HOME=/usr/hadoop/hadoop-2.7.3

export HADOOP_CONF_DIR=/usr/hadoop/hadoop-

2.7.3 /etc/Hadoop

主節點啟動Spark，執行如下命令：

/usr/spark/spark-2.4.0-bin/sbin/start-all.sh

2.2 搭建數據倉庫

1）安裝并啟動MySQL。

安裝MySQL，執行如下命令：

sudo apt-get install mysql-server

啟動服務：

systemctl start mysqld

完成MySQL 配置操作，包括：獲取初始密碼，為root 用戶設置密碼，配置允許遠程連接，以及刷新權限。

2）安裝并啟動Hive。

把Hive 解壓到/usr/hive 目錄，命令如下：

sudo tar -zxvf /opt/soft/apache-hive-2.1.1-bin.tar.gz-C /usr/hive

配置并生效 HIVE_HOME 等環境變量，修改hive-site.xml 和hive-env.sh 等文件，其中hive-env.sh修改如下：

#Hadoop 路徑

HADOOP_HOME=/usr/hadoop/hadoop-2.7.3

#Hive 配置文件路徑

export HIVE_CONF_DIR=/usr/hive/apache-hive-2.1.1-bin/conf

解決版本沖突問題與jar 包依賴問題，最后啟動Hive。

3）安裝Sqoop。

把Sqoop 解壓到/usr/sqoop 目錄，命令如下：

sudo tar -zxvf sqoop-1.4.7.bin.tar.gz -C /usr/sqoop

配置并生效SQOOP_HOME 等環境變量，然后拷貝 MySQL 驅動到$SQOOP_HOME/lib 目錄，拷貝hive-site.xml 到$SQOOP_HOME/conf 目 錄 ， 修 改sqoop-env.sh 中 的 HADOOP_COMMON_HOME 、HADOOP_MAPRED_HOME 、 HIVE_HOME 及ZOOCFGDIR 等參數。

3 數據分析

3.1 數據介紹

實驗采用模擬的有關網絡電信詐騙案件的數據，共有1 萬條。表1 中顯示了6 條案件的示例數據，案件屬性包含：狀態、副類別、經濟損失、損失程度、作案手法、案件來源、發案時間上限、發案時間下限、發案地點、受理單位、報案時間和警員等。

表1 電信網絡詐騙部分數據

3.2 數據導入

1）將電信網絡詐騙數據轉換成utf-8 編碼格式，轉碼后數據保存到文件data.txt 中。在Linux 命令行中，執行命令如下。

iconv -f gb2312 -t utf8 test_data.txt -o data.txt 2）創建Hive 數據庫，執行命令如下。

create database hive;

use hive;

3）在Hive 中建立與數據相對應的表，執行命令如下。

create table final(id int, state string, class string,loss int, degree string, mode string, source string,uppertime timestamp, lowertime timestamp, place string,accept_unit string, take_time timestamp, police string)row format delimited fields terminated by ' ';

4）將本地數據導入表中，執行命令如下。

load data local inpath '/home/data.txt' overwrite into table final;

3.3 數據分析

運用Hive 對電信網絡詐騙數據進行處理和分析并得出結果，本部分設計了3 個典型的題目。1）題目1：統計所有案件副類別發生頻次。執行如下命令：

select class,count(*) from final group by class;

運行結果如圖3 所示，電話詐騙類別發生991 次，短信詐騙類別發生563 次，網絡詐騙類別發生8 446 次。

圖3 案件類別發生頻次統計結果

2）題目2：統計2016 年各案件經濟損失程度的頻次。

執行如下命令：

select degree,count(*) as total from final where year(take_time)=2016 group by degree order by total;

運行結果如圖4 所示，經濟損失特別巨大類案件145 起，巨大類案件414 起，較大類案件1 461 起。

圖4 2016 年經濟損失程度頻次統計結果

3）題目3：統計A 派出所2019 年案件受理情況。

執行如下命令：

select state,count(*) as total from final where year(take_time)=2019 and accept_unit="A 派出所"group by state order by total;

運行結果如圖5 所示，A 派出所受理案件200 起，其中立案狀態40 起，破案狀態160 起。

圖5 A 派出所2019 年案件受理情況

4 數據可視化

運用ECharts 對數據分析結果進行可視化

1）題目1：繪出所有案件副類別比例圖。要求：

（1）圖形類別為餅狀圖；

（2）標題為 “案件副類別比例圖”；

（3）標簽依次為：電話詐騙，短信詐騙，網絡詐騙。

繪圖代碼如下：

option={

title:{

text:'案件副類別比例圖',

x:'center'

},

legend:{

orient:'vertical',

data:['電話詐騙','短信詐騙','網絡詐騙'],

left:'78%',

y: '50%',

},

series:[

{

type:'pie',

name:'案件副類別',

data:[

{value:991,name:'電話詐騙'},

{value:563,name:'短信詐騙'},

{value:8446,name:'網絡詐騙'},

],

}]

};

使用ECharts 繪制出的餅狀圖，如圖6 所示。

圖6 所有案件副類別比例圖

2）題目2：繪出每年的案件經濟損失程度頻次隨年份變化圖。要求：

（1）圖形類別為折線圖；

（2）標題為 “每年的案件損失程度頻次圖”；

（3）標簽依次為較大、巨大、特別巨大；

（4）橫坐標順序依次為：2015—2019 年。

繪圖代碼如下：

option = {

tooltip: {

trigger: 'axis'

},

legend: {

data: ['較大', '巨大', '特別巨大']

},

xAxis: {

type: 'category',

boundaryGap: false,

data: ['2015', '2016', '2017', '2018',

'2019'],

name:'年份',

nameLocation:'middle',

nameGap:30,

},

yAxis: {

type: 'value',

name:'頻次/件',

nameLocation:'middle',

nameGap:30,

},

series: [

{

name: '較大',

type: 'line',

data: [1616,1461,1563,1529,1037]

},

{

name: '巨大',

type: 'line',

data: [477,414,409,478,261]

},

{

name: '特別巨大',

type: 'line',

data: [182,145,153,168,107]

}]

};

使用ECharts 繪制出的折線圖，如圖7 所示。

圖7 案件經濟損失程度頻次隨年份變化

3）題目3：繪出2017-2019 年A 派出所與B 派出所的破案率對比圖。要求：

（1）圖形類別為柱狀圖；

（2）標題為 “2017-2019 年A 派出所與B 派出所的破案率對比圖”；

（3）標簽依次為：A 派出所，B 派出所。

繪圖代碼如下：

option={

tooltip:{

trigger:'axis',

axisPointer:{

type:'shadow'

}

},

legend:{

data:['A 派出所','B 派出所'],

orient: 'vertical',

x: '70%',

y: '53%',

},

xAxis:{

type:'value',

boundaryGap:[0,0.01],

name:'破案率',

nameLocation:'middle',

nameGap:30,

},

yAxis:{

type:'category',

data:['2017','2018','2019'],

name:'年份',

nameLocation:'middle',

nameGap:30,

},

series:[

{

name:'A 派出所',

type:'bar',

data:[0.82,0.78,0.8]

},

{

name:'B 派出所',

type:'bar',

data:[0.67,0.70,0.78]

}]

使用ECharts 繪制出的柱狀圖，如圖8 所示。

圖8 A 派出所與B 派出所的破案率對比

5 結語

公安院校大數據人才培養是落實公安大數據戰略的重要內容。為了提高學生使用大數據技術分析案件的能力，激發學生的學習興趣，本實驗選取了基于大數據的電信網絡詐騙案件分析的內容。首先，使學生掌握搭建大數據集群和數據倉庫的過程，能夠熟練安裝和配置Zookeeper、Hadoop、Hive 等軟件；其次，使學生掌握在Hive 中創建數據表、數據導入及數據分析的能力；最后，訓練學生利用ECharts 對數據進行可視化的能力。本文內容與公安工作緊密結合，通過實驗訓練，學生能夠掌握大數據技術及應用技能，為其走上公安崗位從事大數據相關案件分析工作打下堅實基礎。