大數(shù)據(jù)挖掘與分析在項目管理中的機遇與應用

曾濤 阮彬

[摘 ? ?要] 針對當前大數(shù)據(jù)爆發(fā)的環(huán)境對包括項目管理在內(nèi)的很多傳統(tǒng)工作造成的沖擊和帶來的機遇現(xiàn)狀，文章通過案例分析，以當下流行編程語言Python 為例，選擇相應的分析工具，嘗試探討在大數(shù)據(jù)時代數(shù)據(jù)挖掘與分析如何在項目管理中的應用，希望能夠為企業(yè)在項目管理中提供更好的實施工具。

[關鍵詞] 大數(shù)據(jù)挖掘與分析;項目管理;Python技術

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2020. 23. 048

[中圖分類號] F270.7 ? ?[文獻標識碼] ?A ? ? ?[文章編號] ?1673 - 0194（2020）23- 0115- 03

0 ? ? ?引 ? ?言

項目管理作為管理學的分支學科，其與管理學所研究的本質(zhì)一樣，都是在有限資源條件的約束下，科學運用系統(tǒng)的觀點、方法和理論，對項目中所涉及的工作內(nèi)容進行優(yōu)化管理。當今的社會正在經(jīng)歷著信息革命，其特征之一便是數(shù)據(jù)信息的爆炸式增長，項目管理也不例外。一個項目從提出到實施往往會伴隨著大量數(shù)據(jù)的產(chǎn)生。大數(shù)據(jù)顧名思義是指數(shù)據(jù)量大、類別多的數(shù)據(jù)集合，而且無法用傳統(tǒng)的數(shù)據(jù)庫工具對其數(shù)據(jù)集內(nèi)容進行抓取、處理和管理。大數(shù)據(jù)挖掘與分析是一種新的數(shù)據(jù)處理模式，其對數(shù)據(jù)的獲取與分析具有極強的決策力、洞察力和優(yōu)化能力。

伴隨著大數(shù)據(jù)時代的來臨，大數(shù)據(jù)挖掘與分析在全球成為一個熱門話題。大數(shù)據(jù)挖掘與分析就是通過算法計算，然后從大量的數(shù)據(jù)中搜索隱藏于其中的有用信息，同時基于機器學習、人工智能、數(shù)據(jù)庫、統(tǒng)計學、可視化技術等分析工具，高度自動化地對企業(yè)的數(shù)據(jù)進行分析，并進行歸納推理，從中挖掘出潛在的有價值的信息，幫助決策者更好、更快地調(diào)整市場策略，減少風險以及作出正確的經(jīng)營決策。大數(shù)據(jù)時代，大數(shù)據(jù)對包括項目管理在內(nèi)的很多傳統(tǒng)工作既造成了一定的沖擊，同時也帶來了機遇。如果能夠?qū)⒋髷?shù)據(jù)挖掘與分析的理念與方法引入到項目管理中，可以更準確更有效率地對項目管理進行規(guī)劃和實施，降低項目風險，從而精準地實現(xiàn)在項目管理中實施的目標。

文章以當下流行的編程語言Python 為例，選擇相應的分析工具，就大數(shù)據(jù)挖掘和分析對項目管理所造成的沖擊和帶來的機遇，探討大數(shù)據(jù)挖掘與分析在項目管理中的應用，希望能夠為項目管理實施提供更好的分析工具。

1 ? ? ?數(shù)據(jù)挖掘與分析對項目管理造成的沖擊和帶來的機遇

項目管理指在實際工作中，管理者為了更高效地實現(xiàn)活動目標，結合一系列專業(yè)理論方法經(jīng)驗，在有限的外在約束條件下，采取相關的活動措施，對項目所涉及的所有工作進行全面系統(tǒng)的有效管理，進而實現(xiàn)或超額完成目標。即項目管理貫穿一項目標活動開始前的規(guī)劃、投資決策、實施落地到項目終止的整個過程，通過系統(tǒng)化、全面協(xié)調(diào)指揮把控，推進實現(xiàn)項目活動的最終目標。項目管理涉及體量龐大的信息數(shù)據(jù)，如果不能對這些海量數(shù)據(jù)進行恰當?shù)奶幚恚怪D(zhuǎn)化成有效的信息，項目管理工作將會嚴重滯后，無法保證項目管理的效率和質(zhì)量。因此，面臨越來越龐大冗雜的信息數(shù)據(jù)，傳統(tǒng)的純?nèi)斯ろ椖抗芾矸绞绞沁h無法應對的，這要求項目人員必須重視構建、優(yōu)化完善的項目數(shù)據(jù)體系，不斷提升其數(shù)據(jù)分析處理能力，并學會善于用大數(shù)據(jù)技術指導項目工程的進度計劃。

1.1 ? 大數(shù)據(jù)挖掘與分析對項目管理造成的沖擊

數(shù)據(jù)海量、種類繁多是大數(shù)據(jù)時代的典型特征，這些特點給項目管理帶來了一定的沖擊。海量數(shù)據(jù)使得獲取數(shù)據(jù)的難度增加，而數(shù)據(jù)種類繁多導致通過分析而獲得有價值信息的難度加大，雙重因素疊加，使得傳統(tǒng)上用來支持項目管理的信息系統(tǒng)難以應對新的形勢，項目管理者難以在較短的時間內(nèi)獲得有效的數(shù)據(jù)和信息，從而導致相關的決策面臨著更多的不確定性和風險，項目管理的效率和效果都受到影響。

上述問題在中小型企業(yè)更加明顯，大多數(shù)中小企業(yè)在海量數(shù)據(jù)的沖擊下，其數(shù)據(jù)挖掘和分析能力卻十分有限，這勢必會造成數(shù)據(jù)利用程度和分析質(zhì)量達不到項目管理的要求。大數(shù)據(jù)時代誰先把握住先機誰就掌握了主動權，所以在項目管理中重視大數(shù)據(jù)的應用刻不容緩。

1.2 ? 大數(shù)據(jù)挖掘與分析給項目管理帶來的機遇

大數(shù)據(jù)環(huán)境下，數(shù)據(jù)信息的挖掘和分析都發(fā)生了很大的變革，新的數(shù)據(jù)挖掘技術主要利用算法搜索隱藏于海量數(shù)據(jù)中的規(guī)律，進而更高效、便利地獲取有價值的信息，將無用繁雜的信息轉(zhuǎn)化成極高效的推動項目管理進程的利器。近年來，大數(shù)據(jù)挖掘分析受到各行各業(yè)的極大關注，這主要是隨著全球化和信息化時代的到來，如何將紛亂雜多的海量數(shù)據(jù)轉(zhuǎn)化為有價值的信息和知識是當下人民最迫切的需求，因而數(shù)據(jù)挖掘與分析工具也不斷豐富起來，比如常見的有：

SAS Data Mining：SAS被稱為“決策支持的最佳工具之一”，它是集數(shù)據(jù)采集、數(shù)據(jù)管理、數(shù)據(jù)分析和信息展現(xiàn)為一體的多功能分析工具。

Python：Python作為大眾語言，是一種免費的開源語言，且簡單易學，容易入門，具有較強的可移植性和可擴展性。與其他數(shù)據(jù)分析工具相比，Python具有較高的兼容性，能夠很好地應用于其他語言，如用戶可以將其他語言（如C或C++）編寫的部分程序應用到Python程序中執(zhí)行。

IBMSPSS：SPSS是全球領先的數(shù)據(jù)挖掘和統(tǒng)計分析產(chǎn)品，包括統(tǒng)計學分析和報告、數(shù)據(jù)挖掘和預測建模、決策管理和部署、大數(shù)據(jù)分析等。

R語言：與Python相似，R語言也是一種免費的開源語言，且R語言在很多平臺上都能得到運用，比如常用的MacOS、Linux和Windows等。R語言可以從系統(tǒng)軟件、數(shù)據(jù)庫管理系統(tǒng)、文本文件、統(tǒng)計軟件以及專門的數(shù)據(jù)倉庫等各種類型的數(shù)據(jù)源中輕松的導入數(shù)據(jù)。

Rapid Miner：Rapid Miner是以Java為基礎，用Java編程語言編寫的一個集成環(huán)境，用于研究和進行實際的數(shù)據(jù)挖掘任務。可與Python、R語言整合，且可以連接Stata、SAS、Excel、Access、CSV等在內(nèi)的多種資料檔案來源以及Oracle、IBM、SQL Server、My SQL等多種類型的資料庫。

在這些常見的數(shù)據(jù)挖掘和分析技術中不乏有既實用又易學的技術。接下來，我們以Python技術為例，來探究其在項目管理中的應用。

2 ? ? ?Python在項目管理中的應用

2.1 ? Python語言簡介

Python是一種免費的、開源的動態(tài)類型語言，是一個結合了互動性、編譯性、解釋性和面向?qū)ο蟮母邔哟文_本語言，可以應用于眾多領域。由于Python在使用設計上一貫堅持清晰劃一的風格，這使它具有易讀易維護的特點，得到了用戶的廣泛歡迎。在數(shù)據(jù)挖掘與分析方面，Python更是比其他語言具有優(yōu)勢，易上手、高度的封裝性以及豐富的第三方庫資源和代碼開源，使Python逐漸得到了業(yè)內(nèi)的熱捧。

2.2 ? 如何利用Python應對大數(shù)據(jù)挖掘與分析對項目管理造成的沖擊

2.2.1 ? 利用爬蟲進行數(shù)據(jù)挖掘

在面對互聯(lián)網(wǎng)大數(shù)據(jù)時代，對外部數(shù)據(jù)的獲取可以借助Python爬蟲技術（遵守robots協(xié)議），根據(jù)項目管理者的需求，通過設置關鍵字段信息，在網(wǎng)絡上對相關的數(shù)據(jù)進行抓取。Python爬蟲技術具有速度快、準確性高、可操作性強等特點，能夠有效提升數(shù)據(jù)采集和分析的效率，提高信息質(zhì)量，與傳統(tǒng)的人工搜尋相比，它在避免數(shù)據(jù)錯誤和遺漏方面優(yōu)勢明顯，針對數(shù)據(jù)爬取過程中產(chǎn)生的問題，用戶可以通過對代碼錯誤進行篩選排查、或者調(diào)整代碼的方式予以解決，而不需要重新編寫代碼。

在進行數(shù)據(jù)分析前，Python還可以對獲取到的數(shù)據(jù)進行清洗、篩選、填充、預處理等，把一些不符合要求、非結構化的、錯誤的數(shù)據(jù)去掉，使之能更好地為數(shù)據(jù)分析服務。另外Python也可以借助多元線性回歸、貝葉斯、神經(jīng)網(wǎng)絡、聚類分析等技術方法，對數(shù)據(jù)進行挖掘處理。

例如圖1，房地產(chǎn)公司在規(guī)劃房產(chǎn)投資項目時，首先要考慮到當?shù)叵嚓P的收入水平和房價等方面的信息，此時可以利用爬蟲技術在網(wǎng)頁上抓取相關的信息。例如我們對某房產(chǎn)平臺發(fā)布的信息進行爬取，首先導入requests、bs4、re、openpyxl庫，然后定義函數(shù)以獲取代碼和網(wǎng)頁信息，最后通過執(zhí)行程序，就可以將獲取的信息以Excel文件的形式存放在指定的路徑下并完成對數(shù)據(jù)的爬取工作，抓取到的內(nèi)容如圖1所示。

2.2.2 ? 利用Python數(shù)據(jù)分析

數(shù)據(jù)分析是指利用統(tǒng)計學、數(shù)學和計算機語言等，對收集來的數(shù)據(jù)進行適當?shù)奶幚砗烷_發(fā)，從而發(fā)現(xiàn)數(shù)據(jù)之間規(guī)律的過程。數(shù)據(jù)分析的工具眾多，比如Excel、Java、R語言、Python、SQL、Matlab等數(shù)據(jù)分析工具都能對獲取的數(shù)據(jù)進行合理有效挖掘與分析。但Python在數(shù)據(jù)分析方面具有很大的優(yōu)勢：首先Python擁有較為全面的數(shù)據(jù)分析庫支持，例如pandas、numpy、matplotlib、seaborn、bs4以及基于web構建可視化的plotly等數(shù)據(jù)分析庫;其次Python有著方便快捷實現(xiàn)數(shù)據(jù)可視化的能力，matpoltlib庫和seaborn庫能夠很方便地對數(shù)據(jù)分析創(chuàng)建2D和一些簡單的3D圖表。

比如項目管理過程中常用的甘特圖，也可以通過Python中plotpy庫來實現(xiàn)，先導入需要的庫，接著導入項目、數(shù)據(jù)以便對其進行定義，就可以創(chuàng)建項目進度的甘特圖，如圖2。

在項目管理工作中，引入Python語言進行大數(shù)據(jù)挖掘與分析，而所獲取的數(shù)據(jù)信息為項目管理提供了精準決策和科學管理的依據(jù)，有效地提高了決策工作的效率和質(zhì)量，增強了決策的科學性和抗風險能力，有利于節(jié)約項目成本，減少資源的浪費。

3 ? ? ?Python給項目管理帶來的機遇

3.1 ? 管理路徑優(yōu)化

隨著大數(shù)據(jù)時代的到來，項目管理的工作模式也變得更有深度和難度，傳統(tǒng)的項目管理方式很多都已經(jīng)無法適應信息時代的需要，效率低、差錯率高，成效不明顯等一系列問題時有發(fā)生。通過Python構建相關數(shù)據(jù)分析庫，對數(shù)據(jù)進行行之有效的挖掘與分析，可以洞察數(shù)據(jù)背后的規(guī)律性，從而有效提高數(shù)據(jù)信息處理和使用效率，保障信息質(zhì)量，讓項目管理更具規(guī)范性和系統(tǒng)性，節(jié)約時間成本，起到管理路徑優(yōu)化的作用。

3.2 ? 數(shù)據(jù)收集和分析過程創(chuàng)新

與傳統(tǒng)的數(shù)據(jù)收集相比，Python爬蟲進行相關數(shù)據(jù)收集更為便捷。內(nèi)部數(shù)據(jù)可以直接從企業(yè)數(shù)據(jù)庫獲取;外部數(shù)據(jù)可以通過建立爬蟲對數(shù)據(jù)進行獲取，然后進行分析。就獲取的數(shù)據(jù)可能存在非結構化或半結構化的情況，可對其先進行預處理，將其轉(zhuǎn)化為結構化數(shù)據(jù)再進行分析，極大地提升項目管理所需信息的獲取效率和質(zhì)量。另外，使用數(shù)據(jù)分析還能發(fā)現(xiàn)項目管理中存在的不足，對項目做出科學分析，找出問題根源及時提出解決方案，從而有效地降低項目風險。由于Python所具有的接合性特點，因此它也常被稱為“膠水”語言，它能很自然地與其他編程語言對接，這使得Python處理數(shù)據(jù)起來更為強大，范圍應用更加廣泛，使得項目管理能夠利用的資源有所增加，也將為項目管理工作創(chuàng)造更多的機會，使得項目管理者在同行中擁有一定的主動性，同時也給項目管理創(chuàng)新創(chuàng)造帶來保障支撐。

3.3 ? 項目管理工作方法創(chuàng)新，增強抗風險能力

在傳統(tǒng)的項目管理中，可以發(fā)現(xiàn)因人工自帶的不穩(wěn)定性而導致的工作失誤情況屢見不鮮。例如，工程造價計算錯誤、成本分析錯誤等問題時有發(fā)生，而這將嚴重影響企業(yè)的項目管理質(zhì)量和項目經(jīng)濟效益。雖說企業(yè)也針對這些現(xiàn)象建立了相應的管理制度，但是在傳統(tǒng)的項目管理模式下，還是無法避免出現(xiàn)人為的操作失誤和故意為之的現(xiàn)象。針對這種情況，項目管理方可以通過運用Python技術結合數(shù)據(jù)存儲的數(shù)據(jù)庫，對企業(yè)項目運營管理過程中出現(xiàn)的各種數(shù)據(jù)進行儲存管理，在項目管理的任何時間節(jié)點都可以通過Python調(diào)用數(shù)據(jù)庫中的數(shù)據(jù)，進而對各項數(shù)據(jù)進行對比分析、審核等，能系統(tǒng)性地和高效地避免出現(xiàn)數(shù)據(jù)錯誤和人為錯誤。