大數(shù)據(jù)技術(shù)在通信工程管理中的應(yīng)用

張 滔

（重慶信科通信工程有限公司，重慶 400000）

1 大數(shù)據(jù)技術(shù)概述

1.1 大數(shù)據(jù)技術(shù)的內(nèi)涵

“大數(shù)據(jù)（big data）”也被稱為“巨量資料”，實(shí)質(zhì)上就是各種數(shù)據(jù)信息的綜合體現(xiàn)，具有Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價(jià)值密度）、Veracity（真實(shí)性）五大特點(diǎn)，已經(jīng)成為IT行業(yè)重要工具，能夠滿足各種數(shù)據(jù)應(yīng)用需求[1]。大數(shù)據(jù)技術(shù)是指用于處理、分析和管理大規(guī)模數(shù)據(jù)的技術(shù)及工具的統(tǒng)稱，與其他現(xiàn)代技術(shù)相比，大數(shù)據(jù)技術(shù)不僅能夠處理大量數(shù)據(jù)，還能夠提高數(shù)據(jù)傳輸速率、優(yōu)化數(shù)據(jù)結(jié)構(gòu)，能夠分析和處理海量數(shù)據(jù)，為各行業(yè)及場(chǎng)景提供數(shù)據(jù)支撐。

1.2 大數(shù)據(jù)技術(shù)類型

大數(shù)據(jù)技術(shù)包括分布式存儲(chǔ)和計(jì)算技術(shù)、數(shù)據(jù)采集和清洗技術(shù)、數(shù)據(jù)處理和分析技術(shù)、實(shí)時(shí)數(shù)據(jù)處理技術(shù)、數(shù)據(jù)安全及隱私技術(shù)（見圖1）。

圖1 大數(shù)據(jù)技術(shù)類型

具體技術(shù)原理及工具如下。

（1）分布式存儲(chǔ)和計(jì)算技術(shù)：大數(shù)據(jù)技術(shù)的主要作用就是進(jìn)行數(shù)據(jù)存儲(chǔ)和計(jì)算，可用于數(shù)據(jù)存儲(chǔ)及計(jì)算的系統(tǒng)有分布式大文件系統(tǒng)（如HDFS）、分布式計(jì)算系統(tǒng)（如MapReduce和Spark），這些都是最具有代表性的大數(shù)據(jù)技術(shù)，是處理海量數(shù)據(jù)的重要技術(shù)[1-2]。

（2）數(shù)據(jù)采集和清洗技術(shù)：數(shù)據(jù)采集及清洗是大數(shù)據(jù)處理的關(guān)鍵環(huán)節(jié)，可通過數(shù)據(jù)自動(dòng)采集系統(tǒng)、數(shù)據(jù)實(shí)時(shí)監(jiān)測(cè)系統(tǒng)、云計(jì)算平臺(tái)等采集和清洗數(shù)據(jù)。

（3）數(shù)據(jù)處理和分析技術(shù)：數(shù)據(jù)處理及分析是實(shí)現(xiàn)數(shù)據(jù)利用的核心，可通過機(jī)器學(xué)習(xí)技術(shù)（如TensorFlow和PyTorch）、數(shù)據(jù)挖掘技術(shù)（如RapidMiner和KNIME）和數(shù)據(jù)可視化軟件（如Tableau和Power BI）等對(duì)海量數(shù)據(jù)進(jìn)行處理及分析。

（4）實(shí)時(shí)數(shù)據(jù)處理技術(shù)：可通過流程處理框架（如Apache Flink和Apache Kafka）等技術(shù)實(shí)時(shí)處理數(shù)據(jù)，提高數(shù)據(jù)吞吐量。

（5）數(shù)據(jù)安全和隱私保護(hù)技術(shù)：主要目的是保護(hù)數(shù)據(jù)安全及用戶隱私，可通過加密技術(shù)、訪問控制技術(shù)和數(shù)據(jù)脫敏技術(shù)等實(shí)現(xiàn)對(duì)數(shù)據(jù)安全及隱私保護(hù)。

1.3 大數(shù)據(jù)技術(shù)的特點(diǎn)

大數(shù)據(jù)技術(shù)特點(diǎn)有數(shù)據(jù)來源多、數(shù)據(jù)類型多樣化、數(shù)據(jù)關(guān)聯(lián)性強(qiáng)、容量大、速度快、可變性強(qiáng)、真實(shí)性強(qiáng)、復(fù)雜度高、價(jià)值高。

2 大數(shù)據(jù)技術(shù)對(duì)通信工程管理的重要性

2.1 能夠提高通信運(yùn)營(yíng)商網(wǎng)絡(luò)服務(wù)質(zhì)量

提高通信運(yùn)營(yíng)商網(wǎng)絡(luò)服務(wù)質(zhì)量是通信工程管理的主要任務(wù)，也是通信工程管理的核心工作內(nèi)容，很多通信工程企業(yè)都非常重視提高通信網(wǎng)絡(luò)服務(wù)質(zhì)量。而大數(shù)據(jù)技術(shù)的應(yīng)用則能夠快速收集運(yùn)營(yíng)商各種數(shù)據(jù)信息，并實(shí)現(xiàn)對(duì)各種數(shù)據(jù)信息的分布式儲(chǔ)存和智能化分析等，然后根據(jù)分析結(jié)果準(zhǔn)確預(yù)測(cè)流量峰值、預(yù)警異常流量等，從而及時(shí)發(fā)現(xiàn)和解決網(wǎng)絡(luò)堵塞等問題，提高通信網(wǎng)絡(luò)用戶滿意度[2]。

2.2 能夠強(qiáng)化和挖掘客戶價(jià)值

眾所周知，通信運(yùn)營(yíng)商在借助大數(shù)據(jù)技術(shù)管理客戶信息時(shí)，不僅會(huì)使用到分布式大文件系統(tǒng)（如HDFS）和分布式計(jì)算系統(tǒng)（如MapReduce），還會(huì)使用到機(jī)器學(xué)習(xí)技術(shù)（如TensorFlow）、數(shù)據(jù)挖掘技術(shù)（如KNIME）、數(shù)據(jù)可視化軟件（如Tableau）、數(shù)據(jù)脫敏技術(shù)等。通過對(duì)這些技術(shù)及工具的應(yīng)用不僅能夠快速了解客戶的基本信息（如姓名、年齡、工作等），還能夠分析和挖掘客戶的消費(fèi)信息、資金流信息等；然后將這些信息與市場(chǎng)信息、銷售信息及服務(wù)信息等加以整合，從而達(dá)到強(qiáng)化和挖掘客戶價(jià)值的目的，最終精準(zhǔn)刻畫客戶形象，明確目標(biāo)客戶，并制定和實(shí)施具有針對(duì)性的營(yíng)銷計(jì)劃、商業(yè)戰(zhàn)略[3]。

2.3 能夠改善通信運(yùn)營(yíng)商的盈利結(jié)構(gòu)

通信運(yùn)營(yíng)商的盈利能力直接關(guān)系到整個(gè)通信領(lǐng)域的發(fā)展，利用大數(shù)據(jù)技術(shù)能夠快速獲取有用信息，如移動(dòng)通信用戶的位置信息、信令信息及網(wǎng)管日志信息等，然后根據(jù)這些信息不斷優(yōu)化盈利結(jié)構(gòu)。而且在大數(shù)據(jù)技術(shù)支持下獲取的各種信息還能夠?yàn)楣卜?wù)業(yè)、交通指揮等提供數(shù)據(jù)支持，從而提高附加值。

2.4 能夠提高通信工程管理水平

應(yīng)用大數(shù)據(jù)技術(shù)不僅能夠挖掘更多的客戶價(jià)值，為通信工程建設(shè)企業(yè)帶來巨大經(jīng)濟(jì)效益，還能夠提高通信運(yùn)營(yíng)商網(wǎng)絡(luò)服務(wù)質(zhì)量、改善運(yùn)營(yíng)商盈利結(jié)構(gòu)，這對(duì)通信工程建設(shè)企業(yè)的健康可持續(xù)發(fā)展都非常有利。而且服務(wù)質(zhì)量的提升、盈利結(jié)構(gòu)的改善能夠間接優(yōu)化現(xiàn)有的通信工程管理體系，為了提升服務(wù)質(zhì)量，很多企業(yè)會(huì)通過大數(shù)據(jù)分析不斷完善管理體系及制度，通過高效的管理來督促技術(shù)人員及服務(wù)人員等提高服務(wù)質(zhì)量[4]。所以大數(shù)據(jù)技術(shù)應(yīng)用能夠提高通信工程管理水平。

3 通信工程管理中大數(shù)據(jù)技術(shù)的具體應(yīng)用

3.1 利用大數(shù)據(jù)技術(shù)輔助計(jì)費(fèi)

通信工程管理包括運(yùn)營(yíng)商網(wǎng)絡(luò)服務(wù)管理、運(yùn)營(yíng)商盈利結(jié)構(gòu)優(yōu)化、通信業(yè)務(wù)拓展等工作內(nèi)容，不管是網(wǎng)絡(luò)服務(wù)、盈利結(jié)構(gòu)優(yōu)化，還是業(yè)務(wù)拓展都需要投入大量資源及技術(shù)，而且還需要與大量通信用戶進(jìn)行各種交易，這增加了通信系統(tǒng)的計(jì)費(fèi)難度，如何高效計(jì)費(fèi)更是成了通信工程管理的一大難題。運(yùn)用大數(shù)據(jù)技術(shù)能夠加快數(shù)據(jù)處理速度，從而提高計(jì)費(fèi)效率，所以可利用大數(shù)據(jù)技術(shù)輔助計(jì)費(fèi)[3，5]。

3.2 利用大數(shù)據(jù)技術(shù)管理通信數(shù)據(jù)

通信行業(yè)中大數(shù)據(jù)技術(shù)主要應(yīng)用于通信數(shù)據(jù)管理，例如可在智能化數(shù)據(jù)系統(tǒng)或者平臺(tái)上提供自動(dòng)查號(hào)等服務(wù)，如火車站自助售票機(jī)、機(jī)場(chǎng)自助查詢系統(tǒng)、銀行智能機(jī)器人等，都能夠?qū)崿F(xiàn)自動(dòng)查號(hào)等服務(wù)，而且都應(yīng)用到了大數(shù)據(jù)技術(shù)。在通信數(shù)據(jù)管理中，可利用大數(shù)據(jù)技術(shù)根據(jù)用戶需求更新、修改數(shù)據(jù)，提高服務(wù)質(zhì)量。同時(shí)在通信系統(tǒng)開發(fā)和規(guī)劃中增加自動(dòng)查號(hào)服務(wù)功能，也能夠便于用戶自行開展號(hào)碼查詢，壓減步驟[5]。近年來，通信服務(wù)的日益普及，產(chǎn)生海量數(shù)據(jù)信息，為保證信息交流的有效性和及時(shí)性，運(yùn)營(yíng)商則需要借助先進(jìn)技術(shù)對(duì)通信數(shù)據(jù)實(shí)施管理，盡可能提高通信品質(zhì)。而大數(shù)據(jù)技術(shù)能夠有效實(shí)現(xiàn)對(duì)數(shù)據(jù)的收集、整理和儲(chǔ)存等功能，形成完善的管理體系，保證數(shù)據(jù)傳遞的準(zhǔn)確性，增強(qiáng)通信聯(lián)系的即時(shí)性。

3.3 利用大數(shù)據(jù)技術(shù)優(yōu)化通信管理系統(tǒng)

在通信行業(yè)發(fā)展進(jìn)程中，對(duì)于信息管理系統(tǒng)的建設(shè)始終是重點(diǎn)內(nèi)容，并且?guī)?dòng)了不同功能信息的開發(fā)。為滿足行業(yè)發(fā)展需求，必須借助大數(shù)據(jù)技術(shù)完善信息管理系統(tǒng)。應(yīng)用注意事項(xiàng)如下：首先，根據(jù)用戶實(shí)際需求確定信息管理系統(tǒng)功能。其次，根據(jù)信息管理系統(tǒng)功能要求選擇大數(shù)據(jù)技術(shù)類型，如實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)和計(jì)算功能可選用HDFS存儲(chǔ)系統(tǒng)（分布式大文件系統(tǒng)）和MapReduce計(jì)算系統(tǒng)（分布式計(jì)算系統(tǒng)）；實(shí)現(xiàn)數(shù)據(jù)采集和清洗功能可選用數(shù)據(jù)自動(dòng)采集系統(tǒng)、數(shù)據(jù)實(shí)時(shí)監(jiān)測(cè)系統(tǒng)等；實(shí)現(xiàn)數(shù)據(jù)處理和分析功能可選用RapidMiner系統(tǒng)（數(shù)據(jù)挖掘技術(shù)）和Tableau軟件（數(shù)據(jù)可視化技術(shù)）；實(shí)現(xiàn)數(shù)據(jù)安全保護(hù)功能則選用數(shù)據(jù)脫敏技術(shù)等[4]。

4 應(yīng)用過程中遇到的問題及應(yīng)對(duì)措施

4.1 遇到的問題

（1）管理制度及機(jī)制不完善。調(diào)查發(fā)現(xiàn)，雖然很多通信企業(yè)或者單位都建立了管理制度及工作規(guī)范。但關(guān)于通信安全、通信運(yùn)營(yíng)商服務(wù)、客戶維護(hù)、大數(shù)據(jù)技術(shù)應(yīng)用等方面的制度及規(guī)范不完善，既增加了通信工程管理的難度，又不利于大數(shù)據(jù)技術(shù)應(yīng)用水平的提升。

（2）缺乏大數(shù)據(jù)技術(shù)人才。這已經(jīng)成為我國(guó)通信企業(yè)的常見問題，超過58%的通信企業(yè)都表示企業(yè)內(nèi)部非常缺乏大數(shù)據(jù)技術(shù)方面的人才，雖然關(guān)于大數(shù)據(jù)的相關(guān)設(shè)備及系統(tǒng)已相當(dāng)完善，但因?yàn)閷I(yè)人才稀缺，導(dǎo)致大數(shù)據(jù)技術(shù)在通信工程管理及通信領(lǐng)域發(fā)展中的作用及價(jià)值沒有得到充分發(fā)揮[6]。

（3）安全管理工作不到位。盡管很多通信企業(yè)都意識(shí)到了大數(shù)據(jù)技術(shù)的重要性，也積極引進(jìn)了各種先進(jìn)的大數(shù)據(jù)技術(shù)，并培養(yǎng)了一批技術(shù)人才，但在數(shù)據(jù)信息安全管理方面依然存在很多不足，例如，沒有對(duì)重要文件進(jìn)行加密處理、沒有定期對(duì)數(shù)據(jù)庫(kù)或者存儲(chǔ)系統(tǒng)進(jìn)行殺毒處理和再加密處理。

4.2 應(yīng)對(duì)措施

（1）建立健全大數(shù)據(jù)技術(shù)管理制度及監(jiān)督機(jī)制。除完善現(xiàn)有的通信工程管理制度以外，還需要針對(duì)大數(shù)據(jù)技術(shù)應(yīng)用制定相應(yīng)的管理制度及規(guī)范，提高大數(shù)據(jù)技術(shù)應(yīng)用的規(guī)范性及專業(yè)性，同時(shí)還需要建立應(yīng)用過程監(jiān)督機(jī)制，減少違規(guī)操作等問題發(fā)生。

（2）打造高水平大數(shù)據(jù)人才隊(duì)伍。首先，定期對(duì)在崗的技術(shù)人員進(jìn)行專業(yè)知識(shí)教育及技能培訓(xùn)，包括大數(shù)據(jù)技術(shù)原理、大數(shù)據(jù)系統(tǒng)構(gòu)建原理、大數(shù)據(jù)技術(shù)安全管理方法等，提高技術(shù)人員的專業(yè)水平。其次，引進(jìn)國(guó)內(nèi)外優(yōu)秀大數(shù)據(jù)技術(shù)人才，并為內(nèi)部技術(shù)人員提供更多外出學(xué)習(xí)的機(jī)會(huì)[7]。

（3）加強(qiáng)安全管理。首先，引進(jìn)各種先進(jìn)的安全保護(hù)技術(shù)，如加密技術(shù)、訪問控制技術(shù)和數(shù)據(jù)脫敏技術(shù)等，以保護(hù)通信數(shù)據(jù)信息及用戶數(shù)據(jù)信息的安全。其次，建立健全安全管理制度，包括大數(shù)據(jù)技術(shù)應(yīng)用安全制度、數(shù)據(jù)信息安全管理制度、內(nèi)部技術(shù)人員管理制度等。最后，構(gòu)建數(shù)據(jù)信息實(shí)時(shí)監(jiān)測(cè)系統(tǒng)，并發(fā)現(xiàn)和解決各種數(shù)據(jù)安全問題[8]。

5 結(jié)束語

大數(shù)據(jù)技術(shù)是當(dāng)下最具有代表性的信息化技術(shù)，在各大領(lǐng)域都取得了良好的應(yīng)用效果，推動(dòng)各領(lǐng)域?qū)崿F(xiàn)信息化發(fā)展。通信工程管理領(lǐng)域也引進(jìn)了大數(shù)據(jù)技術(shù)，其不僅完善了通信工程管理體系、提高了通信工程管理信息化水平，還能促進(jìn)通信領(lǐng)域健康可持續(xù)發(fā)展。因此，本文先簡(jiǎn)單介紹了大數(shù)據(jù)技術(shù)及其特點(diǎn)，然后分析了大數(shù)據(jù)技術(shù)對(duì)通信工程管理的重要性，最后分析了大數(shù)據(jù)技術(shù)在通信工程管理中的具體應(yīng)用，并探討了應(yīng)用過程中遇到的問題及應(yīng)對(duì)措施，希望能為通信工程管理工作提供參考。■