基于Flink流技術(shù)的詐騙號(hào)碼識(shí)別研究

摘 要：針對(duì)電信詐騙號(hào)碼數(shù)量居高不下，已有模型命中較晚且處置較慢，不能及早識(shí)別并遏制詐騙案件發(fā)生的現(xiàn)狀，本文提出基于Flink流技術(shù)的詐騙號(hào)碼識(shí)別研究。首先，構(gòu)建詐騙號(hào)碼識(shí)別模型。該模型從通話、交往圈等方面選取指標(biāo)。其次，采用XGBoost算法選取重要特征。再次，用決策樹算法多輪建設(shè)選優(yōu)。最后，從最優(yōu)決策樹中選取優(yōu)質(zhì)節(jié)點(diǎn)形成規(guī)則，建立識(shí)別模型，利用快速處理實(shí)時(shí)數(shù)據(jù)Flink流技術(shù)開發(fā)部署，實(shí)現(xiàn)秒級(jí)識(shí)詐推送處置。該研究部署落地后，成效顯著，集團(tuán)全國(guó)通報(bào)指標(biāo)百萬(wàn)占比從低到高排序，由2024年7月全國(guó)排名22名升至第6名，大大減少電信詐騙案件的產(chǎn)生。

關(guān)鍵詞：電信詐騙；Flink流技術(shù)；XGBoost算法；決策樹

中圖分類號(hào)：TP 39 文獻(xiàn)標(biāo)志碼：A

電信詐騙呈高發(fā)趨勢(shì)，詐騙手法也不斷翻新，嚴(yán)重影響了人民群眾的正常生活，帶來(lái)了巨大的財(cái)產(chǎn)損失。為了遏制電信詐騙案件的發(fā)生，省公司圍繞多場(chǎng)景、多維度，基于準(zhǔn)實(shí)時(shí)數(shù)倉(cāng)建立一系列反詐預(yù)測(cè)模型。

目前，省公司已有60多個(gè)模型上線運(yùn)行支撐反詐工作。按用戶行為來(lái)看，主要分為通話、終端、短信、土炮、窩點(diǎn)、境外模型等；其中，通話模型是主要模型，其他模型是根據(jù)特定詐騙場(chǎng)景分析挖掘建設(shè)的。按模型時(shí)效性來(lái)看，主要分為日、小時(shí)、實(shí)時(shí)模型，實(shí)時(shí)模型是目前主要的模型，輸出規(guī)模最多，運(yùn)行最快；小時(shí)模型和日模型是對(duì)實(shí)時(shí)模型的補(bǔ)充。

但是，近期發(fā)現(xiàn)不少公安通報(bào)涉案號(hào)碼在案發(fā)當(dāng)天能被已有模型命中，但模型命中較晚，且命中時(shí)間與處置時(shí)間間隔較長(zhǎng)，導(dǎo)致涉案成功，因此在提高精準(zhǔn)性的同時(shí)，亟需加快整個(gè)流程處理速度，及早遏制詐騙案件的發(fā)生。

綜上所述，本文提出基于Flink流技術(shù)[1-2]的詐騙號(hào)碼識(shí)別研究。該研究采用XGBoost[3-4]、決策樹[5-6]等算法構(gòu)建詐騙號(hào)碼識(shí)別模型，同時(shí)，采用先進(jìn)的快速處理數(shù)據(jù)的Flink流技術(shù)在Kafka平臺(tái)開發(fā)部署，實(shí)現(xiàn)秒級(jí)識(shí)詐推送，縮短整個(gè)流程。

1 詐騙號(hào)碼識(shí)別模型構(gòu)建

為了提升模型的精準(zhǔn)性，本文在原有數(shù)據(jù)基礎(chǔ)上增加了信令數(shù)據(jù)，豐富了數(shù)據(jù)來(lái)源，同時(shí)采用先進(jìn)的XGBoost算法進(jìn)行特征工程，選取累計(jì)95%以上的重要特征，用直觀易解釋的決策樹算法多輪訓(xùn)練評(píng)估，最后從最優(yōu)決策樹中選取優(yōu)質(zhì)節(jié)點(diǎn)形成規(guī)則，構(gòu)建詐騙號(hào)碼識(shí)別模型。

詳細(xì)的構(gòu)建過(guò)程主要包括數(shù)據(jù)獲取、特征工程、算法建模、提取規(guī)則4個(gè)步驟。

1.1 數(shù)據(jù)獲取

1.1.1 基礎(chǔ)數(shù)據(jù)準(zhǔn)備

本文的目標(biāo)是從全量用戶中識(shí)別疑似詐騙號(hào)碼，但是全量用戶2000多萬(wàn)，詐騙號(hào)碼從2024年至今僅幾百個(gè)，樣本明顯不均衡。為了縮小樣本不均衡度，更好地識(shí)別詐騙號(hào)碼，首先對(duì)公安通報(bào)的涉案號(hào)碼進(jìn)行探索分析。如圖1所示，2024年以來(lái)，公安通報(bào)的涉案號(hào)碼中無(wú)通話用戶占比為26.9%，主叫15次以下用戶占比為10.6%，主叫15次以上號(hào)碼占比為62.5%。由此可見(jiàn)，大部分涉案號(hào)碼主要通過(guò)高頻通話來(lái)進(jìn)行詐騙，因此選取當(dāng)日主叫15次以上的用戶為目標(biāo)用戶。

基于以上選取的目標(biāo)用戶，從用戶通信信息、交往圈等方面選取并衍生形成36個(gè)指標(biāo)，在大數(shù)據(jù)平臺(tái)通過(guò)數(shù)據(jù)加工計(jì)算形成基礎(chǔ)信息數(shù)據(jù)。

1.1.2 正負(fù)樣本數(shù)據(jù)

在分類模型的建設(shè)中，樣本數(shù)據(jù)必須是帶有分類標(biāo)記的數(shù)據(jù)，分類標(biāo)簽的準(zhǔn)確性是評(píng)估分類模型性能的基礎(chǔ)，它也反映了數(shù)據(jù)質(zhì)量的高低。

本文的目標(biāo)是識(shí)別疑似詐騙號(hào)碼，將2024年公安通報(bào)的高頻通話號(hào)碼均作為正樣本，負(fù)樣本為2024年高頻通話的在網(wǎng)的非詐騙號(hào)碼。

由于公安通報(bào)的號(hào)碼每天僅有幾個(gè)（正樣本），而當(dāng)日主叫次數(shù)大于或等于15次的用戶約20萬(wàn)左右（負(fù)樣本），正樣本濃度仍然太低，樣本明顯不均衡；為了提高正樣本濃度，本文將公安通報(bào)的每天主叫次數(shù)大于或等于15次的數(shù)據(jù)均作為正樣本，來(lái)達(dá)到擴(kuò)充正樣本的目的。

1.2 特征工程

在機(jī)器學(xué)習(xí)模型建設(shè)中，特征工程是一個(gè)極其重要且復(fù)雜的步驟，它直接關(guān)系模型的性能。特征工程從原始數(shù)據(jù)中提取、選擇和構(gòu)造最能反映問(wèn)題本質(zhì)的特征集，使模型更專注于真正有用的特征，減少噪聲和冗余，以優(yōu)化機(jī)器學(xué)習(xí)模型的預(yù)測(cè)性能。

本文主要采用XGBoost算法進(jìn)行特征工程。XGBoost的核心思想是通過(guò)迭代地添加預(yù)測(cè)樹來(lái)優(yōu)化損失函數(shù)，每棵樹都在嘗試糾正前一棵樹的錯(cuò)誤。具體來(lái)說(shuō)，XGBoost在每一步迭代中都會(huì)學(xué)習(xí)一個(gè)新的樹模型，以最小化目標(biāo)函數(shù)。這種迭代提升的方法使XGBoost能夠有效地處理復(fù)雜的預(yù)測(cè)問(wèn)題。同時(shí)，它還提供了直觀的特征重要性評(píng)估方法，有助于用戶進(jìn)行特征選擇和模型解釋。

最終，XGBoost算法從選取的36個(gè)特征中提取14個(gè)重要性較高的特征（特征重要性累計(jì)占比95%以上），包括對(duì)端歸屬省市分布數(shù)、近7日交往圈重復(fù)數(shù)、入網(wǎng)時(shí)長(zhǎng)、國(guó)內(nèi)長(zhǎng)途通話時(shí)長(zhǎng)占比、平均主叫通話時(shí)長(zhǎng)、主叫通話時(shí)長(zhǎng)、近7d交往圈重復(fù)數(shù)占比等。

1.3 算法建模

考慮詐騙號(hào)碼識(shí)別模型對(duì)時(shí)效性的要求較高，本文使用易部署、易解釋的決策樹算法進(jìn)行模型建設(shè)。

決策樹算法是一種經(jīng)典的機(jī)器學(xué)習(xí)算法，在眾多領(lǐng)域得到了廣泛應(yīng)用，例如文本分類、語(yǔ)音識(shí)別、模式識(shí)別和專家系統(tǒng)等。它直觀易理解，并且對(duì)數(shù)據(jù)的預(yù)處理要求較低，對(duì)噪聲數(shù)據(jù)有較好的魯棒性。它是通過(guò)構(gòu)建樹形結(jié)構(gòu)來(lái)對(duì)數(shù)據(jù)進(jìn)行分類或回歸預(yù)測(cè)。在分類問(wèn)題中，決策樹表示基于特征對(duì)實(shí)例進(jìn)行分類的過(guò)程，可以看作是if-then規(guī)則的集合，也可以視為特征空間與類空間上的條件概率分布。最常見(jiàn)的算法有ID3、C4.5和CART。本文采用CART算法進(jìn)行模型建設(shè)。

由于涉詐號(hào)碼畢竟較少，正負(fù)樣本量相差較大，樣本不均衡，這種不均衡可能導(dǎo)致機(jī)器學(xué)習(xí)模型在訓(xùn)練過(guò)程中過(guò)度關(guān)注負(fù)樣本，而忽略正樣本，從而影響模型的泛化能力和準(zhǔn)確性。因此，本文采用欠采樣方法進(jìn)行隨機(jī)抽樣，通過(guò)減少負(fù)樣本的數(shù)量來(lái)減少樣本的不均衡。

在模型建設(shè)過(guò)程，往往需要將數(shù)據(jù)集劃分為訓(xùn)練集、測(cè)試集和驗(yàn)證集。三者要遵循獨(dú)立性和代表性。訓(xùn)練集是用于訓(xùn)練機(jī)器學(xué)習(xí)模型的數(shù)據(jù)集，模型通過(guò)學(xué)習(xí)訓(xùn)練集中的數(shù)據(jù)來(lái)找到最佳參數(shù)，以便能夠準(zhǔn)確地對(duì)新數(shù)據(jù)進(jìn)行預(yù)測(cè)或分類。測(cè)試集是用于評(píng)估訓(xùn)練好的模型性能的數(shù)據(jù)集。它有助于避免過(guò)擬合，即模型在訓(xùn)練集上表現(xiàn)良好，但在新數(shù)據(jù)上表現(xiàn)不佳的情況。通過(guò)比較模型在訓(xùn)練集和測(cè)試集上的性能，可以判斷模型是否過(guò)擬合。驗(yàn)證集是在模型訓(xùn)練過(guò)程中用于調(diào)整模型參數(shù)和初步評(píng)估模型性能的數(shù)據(jù)集。驗(yàn)證集有助于避免模型在訓(xùn)練過(guò)程中陷入局部最優(yōu)解，提高模型的泛化能力。本文訓(xùn)練集、測(cè)試集和驗(yàn)證集占比分別為70%、20%和10%。

同時(shí)，本文采用不同濃度的正負(fù)樣本進(jìn)行多輪訓(xùn)練、測(cè)試和驗(yàn)證，通過(guò)分類評(píng)價(jià)指標(biāo)（查準(zhǔn)率、召回率、F值）綜合評(píng)價(jià)，選取最優(yōu)的決策樹作為最后的決策樹。其中，各分類評(píng)價(jià)指標(biāo)定義如公式（1）、公式（2）所示。

（1）

式中：TP為真實(shí)值代表詐騙號(hào)碼，預(yù)測(cè)值代表詐騙號(hào)碼；FP為真實(shí)值代表非詐騙號(hào)碼，預(yù)測(cè)值代表詐騙號(hào)碼；FN為真實(shí)值代表詐騙號(hào)碼，預(yù)測(cè)值代表非詐騙號(hào)碼；TN為真實(shí)值代表非詐騙號(hào)碼，預(yù)測(cè)值代表非詐騙號(hào)碼。

（2）

式中：P為查準(zhǔn)率；R為召回率。

定義一下混淆矩陣，見(jiàn)表1。

其中，查準(zhǔn)率是指預(yù)測(cè)正確的詐騙號(hào)碼占預(yù)測(cè)的詐騙號(hào)碼的比，它反映了模型對(duì)詐騙號(hào)碼的識(shí)別精度，查準(zhǔn)率越高，模型對(duì)負(fù)樣本區(qū)分能力越強(qiáng)。召回率是指預(yù)測(cè)正確的詐騙號(hào)碼占所有真實(shí)詐騙號(hào)碼的比，它反映了模型對(duì)詐騙號(hào)碼的覆蓋程度，召回率越高，模型對(duì)正樣本的區(qū)分能力越強(qiáng)。F值是查準(zhǔn)率和召回率的調(diào)和平均，它能夠同時(shí)兼顧查準(zhǔn)率和查全率。F值越大，說(shuō)明模型的性能越好。

在模型評(píng)估中，考慮該模型對(duì)精準(zhǔn)性的要求較高，因此選取查準(zhǔn)率為81.40%、召回率為49.88%、F值為61.86%的決策樹作為最優(yōu)決策樹。該模型查準(zhǔn)率較高，能滿足反詐需求。

1.4 規(guī)則提取

詐騙號(hào)碼識(shí)別模型的目標(biāo)就是根據(jù)用戶最新的通信等信息快速挖掘疑似詐騙號(hào)碼，及早對(duì)其進(jìn)行處置，以免造成更多的財(cái)產(chǎn)損失，可見(jiàn)其對(duì)時(shí)效性的要求極高。為了更好地保障模型輸出的時(shí)效性，本文選擇提取以上樹形圖中優(yōu)質(zhì)節(jié)點(diǎn)（輸出規(guī)模多、查準(zhǔn)率高的葉子節(jié)點(diǎn)）進(jìn)行解析整理并驗(yàn)證。因?yàn)橥ㄟ^(guò)決策樹算法訓(xùn)練模型后生成的樹形圖較大，所以通過(guò)提煉只截取其中3個(gè)優(yōu)質(zhì)節(jié)點(diǎn)作為模型推理時(shí)所需的規(guī)則。

優(yōu)質(zhì)節(jié)點(diǎn)1：該節(jié)點(diǎn)中共輸出號(hào)碼110個(gè)，其中詐騙號(hào)碼103個(gè)，查準(zhǔn)率為93.6%，滿足反詐需求。

優(yōu)質(zhì)節(jié)點(diǎn)2：該節(jié)點(diǎn)中共輸出號(hào)碼438個(gè)，其中詐騙號(hào)碼418個(gè)，查準(zhǔn)率為95.4%，滿足反詐需求。

優(yōu)質(zhì)節(jié)點(diǎn)3：該節(jié)點(diǎn)中共輸出號(hào)碼107個(gè)，其中詐騙號(hào)碼92個(gè)，查準(zhǔn)率為86.0%，滿足反詐需求。

通過(guò)整理形成最優(yōu)決策樹中優(yōu)質(zhì)節(jié)點(diǎn)，見(jiàn)表2。

綜上所述，首先，本文在原有數(shù)據(jù)基礎(chǔ)上增加信令數(shù)據(jù)，并在大數(shù)據(jù)平臺(tái)加工處理用戶通信交往圈等數(shù)據(jù)。其次，采用流行的機(jī)器學(xué)習(xí)算法XGBoost進(jìn)行特征工程選取重要特征。再次，將數(shù)據(jù)集分為訓(xùn)練集、測(cè)試集和驗(yàn)證集，采用不同濃度的樣本進(jìn)行多輪訓(xùn)練，用直觀易解釋的決策樹算法模型建模評(píng)估，選取最優(yōu)決策樹。最后，從最優(yōu)決策樹中提取優(yōu)質(zhì)節(jié)點(diǎn)形成規(guī)則，構(gòu)建詐騙號(hào)碼識(shí)別模型。

2 Flink流技術(shù)處理

目前，模型預(yù)測(cè)號(hào)碼處置整個(gè)流程比較煩瑣，耗時(shí)較長(zhǎng)。首先，在大數(shù)據(jù)平臺(tái)（Hadoop[7]）利用SQL加工預(yù)處理數(shù)據(jù)。其次，利用預(yù)訓(xùn)練的機(jī)器學(xué)習(xí)算法（例如XGBoost、 LightGBM、決策樹等）預(yù)測(cè)。再次，將模型結(jié)果同步到Gbase平臺(tái)。從次，Gbase定時(shí)加工處理進(jìn)行推送。最后，根據(jù)預(yù)設(shè)置的處置方案進(jìn)行處置。

即便是最快的實(shí)時(shí)模型，整個(gè)流程也需要40min左右，并且每15min才能運(yùn)行1個(gè)批次，無(wú)法實(shí)時(shí)預(yù)測(cè)。

Flink流技術(shù)作為一種高性能的分布式計(jì)算引擎和框架，在實(shí)時(shí)數(shù)據(jù)處理和流處理領(lǐng)域被廣泛應(yīng)用。它專注于處理無(wú)界和有界數(shù)據(jù)流，提供了高吞吐量、低延遲和容錯(cuò)性等特點(diǎn)。它統(tǒng)一了批處理和流處理，為這2種數(shù)據(jù)處理方式提供了統(tǒng)一的編程模型，在保證效率的同時(shí)，還保證了數(shù)據(jù)一致性、準(zhǔn)確性和完整性，具體如下。

采用Flink架構(gòu)：每條數(shù)據(jù)必須都被計(jì)算在內(nèi)，且做到精準(zhǔn)讀取一次的語(yǔ)義。為了解決亂序數(shù)據(jù)帶來(lái)的影響，采用Flink水印機(jī)制完成事件時(shí)間的過(guò)濾及排序，在保證實(shí)時(shí)性的前提下，及時(shí)計(jì)算用戶的不同話單記錄的模型參數(shù)，發(fā)現(xiàn)滿足既有條件就下發(fā)用戶信息。

保證數(shù)據(jù)一致性及程序運(yùn)行穩(wěn)定性：采用狀態(tài)一致性算法及checkpoint機(jī)制，在滿足低延遲及高吞吐率的同時(shí)，有更高的狀態(tài)一致性語(yǔ)義。

保證實(shí)時(shí)性與準(zhǔn)確性：采用redis來(lái)緩存基于事件時(shí)間的用戶當(dāng)天通話記錄信息，實(shí)時(shí)計(jì)算各維度的統(tǒng)計(jì)模型計(jì)算分析指標(biāo)，兼顧實(shí)時(shí)性和準(zhǔn)確性。

保證數(shù)據(jù)完整性：采用kafkaoffset偏移量自動(dòng)記錄機(jī)制，保證數(shù)據(jù)不丟失、不重復(fù)。

為了及早遏制電信詐騙案件的發(fā)生，縮短整個(gè)流程時(shí)長(zhǎng)，本文提出采用Flink流技術(shù)在Kafka平臺(tái)開發(fā)部署進(jìn)行數(shù)據(jù)預(yù)處理和模型預(yù)測(cè)。該技術(shù)的應(yīng)用縮短了數(shù)據(jù)處理和模型預(yù)測(cè)時(shí)間，同時(shí)可實(shí)時(shí)進(jìn)行預(yù)處理和預(yù)測(cè)，不需要等15min再進(jìn)行下批次計(jì)算；另外，在輸出后直接同步Oracle加工處理推送處置（Oracle推送到處置不到1min），也大大縮短推送和處置時(shí)間間隔；模型運(yùn)行時(shí)間及處置時(shí)間二者都大大縮短，有效降低涉詐號(hào)碼詐騙成功率，達(dá)到極速遏制電詐案件發(fā)生的效果，減少了人民群眾經(jīng)濟(jì)損失，提高了公眾信任度。

3 效果驗(yàn)證

反詐模型效果驗(yàn)證在防范詐騙行為、保護(hù)用戶財(cái)產(chǎn)安全和維護(hù)社會(huì)穩(wěn)定等方面具有至關(guān)重要的作用。從時(shí)效性來(lái)看，疑似詐騙號(hào)碼識(shí)別平均提速53min，并且95%以上公安部通報(bào)的涉詐號(hào)碼可在號(hào)碼亂呼開始的2h內(nèi)被模型命中并關(guān)停；從集團(tuán)排名來(lái)看，集團(tuán)全國(guó)通報(bào)指標(biāo)百萬(wàn)占比由2024年7月的4.39降至當(dāng)前1.35，全國(guó)排名（從低到高排序）從2024年7月的22名升至第6名，提升了16名，大大減少了電信詐騙案件的產(chǎn)生，保護(hù)了人民財(cái)產(chǎn)安全。

4 結(jié)語(yǔ)

為了解決不少公安通報(bào)涉案號(hào)碼在案發(fā)當(dāng)天能被已有模型命中，但是模型命中較晚，且命中時(shí)間與號(hào)碼處置時(shí)間間隔較長(zhǎng)的問(wèn)題，本文兼顧精準(zhǔn)性和時(shí)效性的目標(biāo)，提出基于Flink流技術(shù)的詐騙號(hào)碼識(shí)別研究。首先，增加數(shù)據(jù)來(lái)源（信令數(shù)據(jù)）并進(jìn)行特征工程，構(gòu)建詐騙號(hào)碼識(shí)別模型。其次，采用Flink流技術(shù)在Kafka平臺(tái)部署，將涉詐號(hào)碼識(shí)別時(shí)間平均提速53min，且95%以上涉詐號(hào)碼可在號(hào)碼亂呼開始的2h內(nèi)被模型命中并關(guān)停。同時(shí)，集團(tuán)全國(guó)通報(bào)指標(biāo)百萬(wàn)占比從低到高排序，由2024年7月全國(guó)排名22名升至第6名，大大減少了電信詐騙案件的產(chǎn)生。

參考文獻(xiàn)

[1]張利兵.Flink原理、實(shí)戰(zhàn)與性能優(yōu)化[M].北京：機(jī)械工業(yè)出版社，2019.

[2]黑馬程序員.Flink基礎(chǔ)入門[M].北京：清華大學(xué)出版社，2024.

[3]何龍.深入理解XGBoost：高效機(jī)器學(xué)習(xí)算法與進(jìn)階[M].北京：機(jī)械工業(yè)出版社，2019.

[4]COREY W，張生軍.梯度提升算法實(shí)戰(zhàn)——基于XGBoost和scikit-learn[M].北京：清華大學(xué)出版社，2024.

[5]李航.統(tǒng)計(jì)學(xué)習(xí)方法[M].北京：清華大學(xué)出版社，2019.

[6]GARETH J，DANIELA W，TREVOR H，et al.An Introduction to Statistical Learning[M].New York：Springer：2013.

[7]余明輝，張良均.Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)[M].北京：人民郵電出版社，2018.