大數據時代下的相關分析方法變革

陳 瑋

大數據時代下的相關分析方法變革

陳 瑋

自2008年《自然》(Nature)刊登“大數據”專刊以來，大數據迅速成為學界、商界、政界關注的熱點。一般認為，大數據指新處理模式下具有更強的決策力、洞察力和流程優化能力的海量、高增長率和多樣化的信息資產，也包括處理這些信息資產的技術。維克托·邁爾·舍恩伯格及肯尼斯·庫克耶提出大數據帶來分析信息的三個轉變，并斷言：“建立在相關關系分析法基礎上的預測是大數據的核心。”[1]通過比較傳統相關分析方法的特點可以發現，大數據時代下的相關分析方法在使用的資源、方法的發展、科學研究的目的與動因、對科學研究的影響等方面發生著轉變。

1 傳統相關分析方法及其特點

在大數據時代來臨以前，對相關關系的探究常見于社會科學領域，以統計學方法即相關分析方法為代表。在大數定律及中心極限定理的預設下，傳統相關分析是利用樣本分析以獲得總體變量相關性的方法。傳統相關分析方法的優勢在于僅通過對樣本的少量數據進行分析就可以最大限度地還原總體信息，省時省力，能夠降低成本，但傳統相關分析方法尚存在一些不足。

一方面，傳統相關分析受樣本限制。統計分析即樣本分析，而樣本的大小及取樣方式在一定程度上決定使用的數學模型以及樣本是否能很好地代表總體。因此樣本數據需要精確，且最大限度地排除干擾信息，其取樣易受影響。另一方面，傳統相關分析缺乏對所有數據的有效利用，使用樣本的同時就決定了對總體數據的取舍。由于數學模型對數據的要求，只有結構化的數據可以被分析，而不同的模型會不同程度地丟棄數據所蘊含的信息。此外，傳統相關分析方法在科學研究中地位較低。傳統相關分析的過程是假說——檢驗的過程，是驗證問題而不是發現問題的過程。在以問題驅動的科學研究占主流的時代，傳統相關分析通常只作為科學研究中的工具。傳統相關分析方法在科學研究中的使用有限，在自然科學中受到冷遇，歸根結底在于其方法論基礎是歸納推理，是一種或然性推理，它的前提與結論之間沒有“必然得出”關系而只具有或然性關系。傳統相關分析方法常用于社會科學中對相對復雜的變量關系進行探究，而對于追求因果關系的自然科學則較少使用。

2 大數據時代下相關分析方法的改變

信息時代，傳統相關分析在使用上除了以不同的數學模型為基礎，還會借助一些統計軟件，是相關分析法與信息技術的早期結合。但這僅節約了計算的時間成本，是量的改變，并沒有從質上使傳統相關分析法產生變革，即使需要使用者自主導入數據，也沒有改變相關分析法使用的問題驅動模式。隨著大數據時代的到來，對相關關系的探究越來越受重視，由此帶來了使用的資源、方法發展的方法、科學研究的目的與動因、對科學研究的影響四個方面的轉變。

2.1 使用更完整的數據

傳統相關分析根據不同總體分布及數據類型采用不同的數學模型，但不同的模型對數據信息的保留程度不同。在樣本的選取方面，統計學中一般將樣本數大于30的樣本看作“大樣本”，而擁有“大樣本”的相關分析可以選擇使用更多的數學模型。大數據時代下，往往出現樣本即是總體或無限趨近總體的情況。面對數據體量大、類型繁多但價值密度低的大數據資源，“大樣本”的概念已遠遠超出了30的標準，只使用包含少量數據的樣本難以擺脫干擾信息的影響，因此需要使用更為完整的數據。大數據的特點不僅在于其數據，同時還有能夠對這些數據進行快速處理的技術。龐大、可處理的數據量使得大數據相關分析在數學模型的選擇上可以不受樣本與總體的分布情況的限制，從而保留更多的信息。此外，傳統相關分析只能處理結構化的數據，而大數據采集的85%以上為非結構化和半結構化的數據[2]，大數據相關分析所處理的數據更貼近現實世界。總的來說，大數據時代下的相關分析所使用的數據更完整，研究的是更真實的世界。

2.2 信息技術成為突破口

統計模型是傳統統計學數據處理的基礎，建立不同的統計模型是傳統統計學的發展方向之一。大數據時代下，相關分析對統計模型的要求發生變化，一方面削弱了由樣本大小及總體分布等帶來的限制，另一方面，處理非結構化和半結構化信息成為必須具備的能力。大數據處理包含數據獲取、數據集成、數據分析和數據解釋的過程[3]，這幾部分環環相扣，相關分析不是一個獨立的環節。大數據的相關分析不僅需要獲取龐大的數據規模和繁多的數據類型的技術，亦需將非結構化數據轉化為結構數據的技術，同時需要識別并選取關聯數據的方式技術。也就是說，大數據的相關分析(關聯分析)是數據挖掘技術的一部分[4]。發展大數據相關分析是要使其適用于大數據，應用于大數據，最終使我們從大數據中獲益。目前已有的大數據處理關鍵技術主要包括大數據采集、大數據存儲和管理、大數據分析及挖掘、大數據解釋和應用[5]，這些技術都將成為發展大數據相關分析方法的突破口。

2.3 科學研究的目的和動因的轉移

2.3.1 對于微弱、模糊關系的重視

傳統統計學一般用相關度R(Relationship)表示相關關系的強弱。而大數據關聯規則中通常用支持度和置信度來反映所發現的關聯規則的有用性與確定性[6]。一般而言，人們總希望獲得強相關以證明事物之間的變化存在某種規律，即相關度或支持度、置信度越高越符合人們的心理期望。但著名的啤酒與尿布的故事告訴人們，即使是較低的支持度和置信度，同樣能帶來巨大的商業價值。賣場中，香檳與開瓶器、白面包與果醬之間的強相關早已為人們所料想到而被擺放在一起，而那些微弱相關商品的組合才是創收的關鍵。大數據的相關分析方法將事物之間微弱的聯系呈現出來，蘊藏了巨大的未曾開采的財富。2009年甲型H1N1流感爆發前，谷歌一群不懂醫學的工程師們以事物相關性的原理對流感的爆發做出大數據預測，比公共衛生機構更及時有效[7]，大數據為非專業主體的科學發現提供了可能性。此外，龐大的數據量導致相關分析中的精確性難以保證。大數據所挖掘的相關關系往往是復雜的，從而變得模糊難以被解釋，但這并不影響這種關系的有用性。正因如此，復雜性哲學和科學實踐主義哲學的主張才得到了真正落實[8]。

2.3.2 以大數據相關分析為起點發起科學研究

科學研究的邏輯起點問題曾在科學哲學史上引起關注，討論主要圍繞科學研究始于觀察還是問題展開。自波普爾提出科學研究始于問題以來，問題驅動的科學研究模式獲得了多數學者的認可。人們之所以尋求強相關，部分原因在于人的視野束縛了問題驅動的科學研究，以至于那些微弱的相關性因不會被注意到而無法成為科學研究中的問題。大數據4V的特點提供了一種可能，即相關分析可以是“盲目”的，科學研究可以始于對大數據的相關分析。對于“科學研究始于機會，還是始于問題或觀察”[9]的問題，大數據擴大了科學研究的可能性空間，為科學研究提供機會和資源；通過對大數據進行相關分析，出現與現有理論不相容的，或與理論預期發生沖突的結果，可以稱之為問題；而這種相關分析本身即為一種觀察和實踐，同時也可以形成一種理論。由此可以預見，以大數據相關分析為起點的科學研究將加速人類探索世界的進程。

2.4 相關關系的地位在提升

因果關系一直是科學尤其是自然科學所追求的規律，這種追求引發了科學體系的建立。而相關關系作為一種不夠精確、關聯性不夠強的規律則不被科學研究所重視。相關不等同于因果，使用相關分析方法不能檢驗邏輯上的因果關系。所以傳統相關分析法通常是經驗研究和理論研究的配角和檢驗者，但大數據相關分析的結果卻可以成為科學理論本身[10]。一方面，因為上述相關分析方法的變化，更多的相關關系被發現，使得科學研究可以更接近真實復雜的世界；另一方面，萬有因果律的存在一直飽受詰難；此外，表面上大數據的低價值密度給分析因果關系造成極大困難，使獲得相關關系成為無奈之舉，但實際上，商業領域并不關心因果，相關分析已足夠為企業提供有效措施增加利潤[11]。目前大數據相關分析方法已被運用到生物醫學、天文學、海洋學、環境學、高能物理等多個領域，相關關系的地位不斷得到提升。

3 結論

統計學中，相關分析法常作為探究事物之間關系的方法被社會科學使用，但一直存在如取樣困難、浪費數據等問題。而在大數據時代，相關分析方法產生極大的轉變。從研究的材料來看，大數據相關分析更完整地使用了數據；從方法本身的發展來看，信息技術或許會成為大數據相關分析法發展的突破口；從研究目的與動因的變化來看，數據驅動的科學研究中，人們可以尋求微弱、模糊的相關關系，非專業人士也可涉足其他學科領域；從產生的影響來看，相關關系在科學研究中的地位將會越來越高。

[1] 維克托·邁爾·舍恩伯格, 肯尼思·庫克耶. 大數據時代：生活、工作與思維的大變革[M]. 杭州:浙江人民出版社, 2013：75.

[2] 游士兵,張佩,姚雪梅. 大數據對統計學的挑戰和機遇[J]. 珞珈管理評論,2013(2):165-171.

[3] Dou Wanchun, Jiang Cheng. Big Data: Technical Ecosystem and Problem Discovery [J]. ZTE Technology, 2013, 19(4):8-16.

[4] 李平榮. 大數據時代的數據挖掘技術與應用[J]. 重慶三峽學院學報,2014(3):45-47.

[5] 徐子偉,張陳斌,陳宗海. 大數據技術概述[C]//中國自動化學會系統仿真專業委員會，中國系統仿真學會仿真技術應用專業委員會，離散系統仿真專業委員會.系統仿真技術及其應用學術論文集，2014:7.

[6] 金宗澤,馮亞麗,紀博,張希,高快. 大數據分析中的關聯挖掘[J]. 計算機與數字工程,2014(10):1924-1928.

[7] 張平. 故事里的大數據：從求因果到重相關[J]. 企業管理,2013(4):112-114.

[8] 黃欣榮. 大數據技術對科學方法論的革命[J]. 江南大學學報(人文社會科學版),2014(2):28-33.

[9] 吳彤. 科學研究始于機會,還是始于問題或觀察[J]. 哲學研究,2007(1):98-104.

[10] 張曉強,楊君游,曾國屏. 大數據方法:科學方法的變革和哲學思考[J]. 哲學動態,2014(8):83-91.

[11] 李國杰,程學旗. 大數據研究:未來科技及經濟社會發展的重大戰略領域[J]. 中國科學院院刊,2012(6):647-657.

責任編輯 閔海英

(北京理工大學 人文與社會科學學院，北京 100081)

大數據時代的到來使科學研究方法產生了變革。相關分析方法作為重要的科學研究方法得到學界的高度關注。通過將傳統的相關分析與大數據相關分析方法進行比較后發現，大數據相關分析在使用的資源、方法的發展、科學研究的目的與動因、對科學研究的影響四個方面發生轉變。這些轉變為科研創新提供了新的契機。

大數據； 相關分析方法； 變革

Transformations of the Correlation Analytic Method during the Age of Big Data

CHENWei

(School of Humanities and Social Science, Beijing Institute of Technology，Beijing 100081, China)

The age of big data brings a reform on the scientific research methods. As an important scientific research method, the correlation analytic method has been highly concerned by the academic circles. After compared correlation analytic methods of big data with traditional methods, the result could be found that the method of big data makes four major changes. They are been mentioned in the different resources, the development trend, the purpose and motivation of scientific research and the influence of R&D. These changes provide new opportunities for scientific research innovation.

Big Data; correlation analytic method; transformation

10.13750/j.cnki.issn.1671-7880.2017.01.014

2016-12-26

陳瑋(1990— )，男，安徽銅陵人，在讀碩士研究生，研究方向：科學思想史。

G 304

A

1671-7880(2017)01-0050-03