概率論與數理統計在大數據分析中的應用策略

（大同大學渾源師范分校 山西 渾源 037400）

0.引言

在人們的生產生活中，概率學知識在方方面面中得到了廣泛的應用，它是我們對世界進行更深刻認識的重要工具，通過概率學與數理統計工具的應用，能夠使人們對各種復雜的問題及數據進行冷靜科學的分析，從而使人們的生活質量得到顯著提高，并且能夠根據已有的數據對事物的演變規律及發展趨勢進行準確預測。正是因為這些優勢，使概率論與數理統計成為許多復雜問題的指引。如今，人們對大數據的分析需求越來越迫切，這也使人們急需一種能夠適用于大數據分析的有效方法來解決實際生產生活中的復雜問題。鑒于此，以下便對概率論與數理統計在大數據分析中的相關應用策略進行探討，希望能為人們在生產生活中的大數據分析提供相應的參考建議。

1.概率論與數理統計的含義

在高等數學中，概率論與數理統計方法一種具備鮮明特征的分析，其在研究對象上具有非常獨特的思維特征，并且它和其他學科特別是經濟學科存在著非常緊密的聯系。概率論與數理統計的內容非常豐富，這也使其成為數學學科中的重要組成部分。現階段，概率論與數理統計方法在各個領域中都得到了非常廣泛的應用。從當前來看，概率論與數理統計可以看作是一種較為獨立的學科，它在人們的生產生活當中發揮著巨大的作用，不論是在工業領域還是在其他領域，概率論與數理統計方法對信息技術的要求都非常嚴格，利用概率論與數理統計方法在大數據分析中具有著無可比擬的優勢。同時，其又不屬于獨立學科，這是因為它和其他學科存在著緊密的內在聯系，具有相互滲透的作用，正是因為概率論與數理統計的涵蓋范圍與應用范圍非常廣泛，這也使人們難以對其進行逐一解釋。因此，本文只對概率與數理統計在其中幾個方面中的應用策略進行了探討，以此明確概率論與數理統計在大數據中的具體應用及作用。

2.概率論與數理統計和大數據分析的密切聯系及常用方法

2.1 概率論與數理統計和大數據分析的密切聯系

大數據時代的來臨，使人們能夠利用概率論與數理統計來對大數據進行分析，這也使其和大數據分析具備著密切的聯系，其聯系主要集中在以下四個方面，首先，概率論與數理統計和大數據分析的研究目標是相同的，都是為了對數據結構進行探索與明確，以此找出大數據的內部聯系與規律。其次，大數據的不斷發展，使大數據分析為統計學開拓出了一個新的應用空間，這也為概率論與數理統計的研究提供了一個全新的課題，通過對大數據的分析，能夠極大程度的推動概率論與數理統計的發展。再次，大數據分析并不屬于統計學中的一種分支，大數據分析還能夠廣泛應用于其他領域當中，能夠為其他領域提供新的思想、工具與方法，例如利用大數據分析可以使機器進行學習，并能夠實現數據存儲等。最后，概率論與數理統計是DM中一種應用非常廣泛而又較為成熟的解決問題方法與技術，其在DM中占據著極為重要的地位。

2.2 概率論與數理統計在大數據分析中的常用方法

概率論與數理統計在大數據分析中的常用方法主要有兩種，一種是層次分析法，另一種是蒙特卡羅法，所謂層次分析法是指當人們對某些不確定因素的演變規律及發展趨勢進行研究時，必須要對這些因素的影響作用及相互聯系進行綜合考慮，由于評價指標中的這些不確定性因素是可以按照層次進行劃分的，同時，在各個層次中的不確定性因素內還包含著若干要素，這就使整個復雜問題的結構看上去是一種多級遞階結構，在對這類問題進行解決時，就可以采用層次分析法來對這些層次中的不確定性因素對于整個問題的相對重要度進行判斷，而這便產生了概率。在應用層次分析法時，應通過四個步驟來建立數學模型，第一個步驟是先對問題中的各個因素進行明確，然后對這些因素進行層次劃分，使整個問題的結構屬于一種遞階層次結構，然后以上一級的要素作為準則來對下一級的要素實施兩兩對比，并按照評定尺度來對下一級要素對于上一級要素的重要程度進行確定，并構建出相應的判斷矩陣，然后對問題中的各個要素的相對重要度進行計算，同時計算出該問題的綜合重要度，進而給決策者帶來可靠的決策支持保證。蒙特卡羅法則是在概率論與數理統計的基礎上對問題中的不確定性因素進行反復隨機的抽樣，以此模擬出該不確定性因素的自身變化給問題帶來的影響程度，并對問題中的所有不確定因素給問題帶來的影響進行計算分析，進而獲得科學的分析結果。蒙特卡羅法能夠對問題的實際過程進行真實模擬，這也使其在對實際問題的解決上具有十分顯著的效果。蒙特卡羅法的數學表達式是Z=k(x1,x2,x3,...,xn)，在該數學表達式中，xi(i=1,2,3,...,n)代表該復雜問題中存在n個互相獨立的隨機變量，例如在對問題產生影響的所有不確定性因素中，這些不確定性因素便是變量且呈概率分布特征，n個變量的函數則是Z，而這也正是需要求解的目標。

3.概率論與數理統計在大數據分析中的應用策略

3.1 概率論與數理統計在經濟數據分析中的應用策略

在大數據時代，數據對于經濟的作用是不言而喻的，而在各種類型的數據當中，經濟數據是最為常見的類型，對這些經濟數據的分析對于推動社會經濟發展具有著十分重要的意義。由于經濟數據在互聯網中是以低密度形式存在的，這也給人們對經濟數據的分析帶來較大的難度。而利用概率論與數理統計來對經濟數據進行分析，則不失為一種簡單而有效的方法。例如，利用正態概率分布方法來對經濟數據分析，該方法能夠對連續性隨機變量的概率進行預測與描述，而這種概率方法也被普遍應用到經濟金融管理領域當中。利用該方法能夠使人們能過概率論與數理統計來對概率的所有相關信息進行快速而又高效的分析，并按照分析結果來對市場經濟狀況進行實時掌握，使人們能夠了解市場經濟規律，并從中分析出更多的經濟信息，通過這些信息的幫助來對后續的決策與計劃進行靈活的制定與調整。經濟市場是變幻莫測的，但在變化上卻不會過于離譜，而對經濟數據的分析除了要對經濟市場的變化規律及發展趨勢進行預測，還要考慮經濟市場中的風險性，風險的存在是利益的獲取并不總是一成不變的，但通過對經濟數據的分析能夠找出相應的應對措施來避免這些問題。對于經濟風險來說，要想避免經濟風險的產生，利用概率論與數理統計能夠有效降低經濟風險的發生概率，而這也是人們最常采用的應對方法。以股票投資為例，利用概率論與數理統計方法來對經濟數據進行分析，可以顯而易見的看出投資股票的數量越多，則利潤的產生概率要比投資股票數量少的要高的多，而這正是通過概率論與數理統計方法得到的，因此，在投資決策中，更多的投資者往往會將資金分散到更多的股票當中來降低風險，而這就使投資者的利潤獲得概率大大提高，由此可見，概率論與數理統計在經濟數據分析中具有顯著的作用。

3.2 概率論與數理統計在商業數據分析中的應用策略

在大數據環境中，商業數據對于企業的重要性是不言而喻的，商業數據與經濟數據存在一定的聯系，商業數據屬于經濟數據的一種，但經濟數據卻不一定是商業數據。企業在對商業數據進行分析時，概率論與數理統計是最為常用的一種方法。以商業數據中的大客戶流失概率為例來對概率論與數理統計在商業數據中的應用策略進行探討。首先需要建立研究模型，在模型建立時需要確保滿足以下條件，其一是大客戶的基本屬性應當是相近的，并且流失數據能夠滿足相同的流失函數f0(t)。其二是流失數據的分布條件均來自于流失函數指數項，然后找出哪些因素給大客戶的流失概率造成較大影響，對數h0(t)據進行歸類并設定特定時段，然后對特定情況中的大客戶流失情況進行匯總，并獲得流失情況走勢圖，然后計算出走勢圖的標準函數，即，進而獲得某個確定客戶在某一時間中的流失概率與所在流失函數中的位置，客戶在[0,T]時期內的流失概率為p=維回歸參數的向量為c，p維協變量向量為，并將該協變量當作一種影響因素進行定義，進而完成研究模型的構建。其次，在研究模型建立后，便要選擇參數與協變量，然后通過最大偏似然函數對這些選擇的回歸參數進行計算。由于計算過程中對于大客戶流失的影響因素有多個，如果將所有因素全部定義成協變量，則會使模型維數更多，進而使參數估計難度大大提升，這也使參數的估計正確率無法得到保證。因此，需要對這些因素進行選擇性使用，為了對協變量的數量進行確定，應按照數理統計結果進行篩選，這樣才能避免錯誤的產生。

4.結語

綜上所述，概率論與數理統計在大數據分析中的作用是非常明顯的，現如今，概率論與數理統計在大數據分析中已經不再是一種輔助分析工具，更是一個簡單而又高效的分析方法。通過概率論與數理統計的應用，對于大數據中各類數據的過程、趨勢、效果等都已經成為人們進行數據分析時的分析對象。面對大數據的高速增長趨勢，應用概率論與數理統計來進行大數據分析，將更有助于推動人們生產生活的發展，促進我國經濟的快速增長。