統計大數據的“狂想曲”

文/楊睿，重慶工業職業技術學院

1 數據時代背景下的統計學

在現代統計學還處于黎明期的1903年，威爾斯為何做出這樣的預言，我們無從得知。但是在接近100年后的今天，統計學的思考方法對我們來說毫無疑問已經成為與閱讀能力同樣重要的能力。就好像一個沒有閱讀能力的人在現代社會寸步難行，沒有統計學思維的人同樣難以在現代社會生存。我們生活在大數據時代。高性能計算機和全球網絡的強大組合正在得到人們的贊美甚至推崇。專家不斷告訴我們，他們發現了一種新的能力，可以對海量數據進行篩查并發現真相，這將為政府、商業、金融、醫療、法律以及我們的日常生活帶來一場革命。我們可以做出更明智的決策，因為強大的計算機可以對數據進行分析，發現重要的結論。

2 由于認知性錯誤，我們很容易受到各種統計性騙局的懵逼

在早期，癌癥能否被治愈？也許可以。但通常使用的據說最能證明這一點的數據其實并不能證明這一點。康涅狄格州腫瘤研究所掛號處那些數據記錄可一直追溯到1935年，這些數據似乎顯示，從1935年到1941年間，癌癥術后5年的存活率大幅提高。其實，這些數據記錄從1941年才開始采集，在此之前的所有數據都是追查所得。許多病人早已離開了康涅狄格州，他們是否尚在人世不得而知。按照醫學記者萊昂納德·恩格爾的說法，由此而導致的偏差足以解釋術后存活率為何會出現大幅提高的背后原因。為了更具價值，一份基于樣本的報告必須使用一個具備代表性的樣本，該樣本必須排除產生偏差的任何可能性。這正是耶魯大學畢業生調查數據不具價值的原因，也是許多報紙和雜志內容缺乏實質意義的原因。一位心理醫生曾寫報告說，其實每個人都是神經質的。拋開使用“神經質”一詞會破壞該詞所具有的意義不談，先看看這位醫生的樣本吧。也就是說，這位心理醫生的觀察對象都是哪些人？原來，這一富有“啟發性”的結論是他觀察自己的病人得來，這些病人與普通人樣本有著天壤之別。如果一個人精神正常，我們的這位醫生根本就見不到他。以這種方式再仔細看看你所讀到的東西，你就可以避免相信許多似是而非的東西。還要記住：導致偏差的顯性原因和隱性原因都有可能輕易摧毀一個樣本的可靠性。也就是說，即使找不到明顯的偏差來源，但只要在某處可能存在偏差，你就要對結果保持一定的懷疑。

3 統計調查的數據會出現偏差？

調查人員的構成往往會以一種微妙的方式影響到調查結果。第二次世界大戰期間，美國國家民意研究中心派出了兩組調查員，一組由白人構成，另一組由黑人構成，對南方一個城市中的500 個黑人進行三個問題的調查。第一個問題是：“如果日本戰勝美國，黑人在美國的待遇會得到改善還是會變得更糟？”黑人調查組的結果顯示他們的調查對象中9%的人認為是“得到改善”，而白人調查組的調查結果顯示只有2%的人這樣認為。黑人調查組的結果中有2 5%的人認為黑人的待遇會更加糟糕，而白人調查組的結果則是4 5%。第二個問題是將第一個問題中的“日本”替換成“納粹”，對這一問題調查所得結果和第一個問題的調查結果相近。第三個問題旨在探求被調查者對前兩個問題的真實態度。“打敗軸心國與改進國內的民主制度二者相比，您認為哪個更重要？”黑人調查組得出的結果是39%的人支持“打敗軸心國”，而白人調查組的結果則是62%。這就是受未知因素影響而導致的偏差。可能最有影響力的因素是在民意調查時，人們普遍都有一種說好話的傾向，這種傾向在閱讀民意調查時往往應該被考慮進來。在戰時回答一個暗含對國家是否忠誠的問題時，南方黑人對白人的回答都是一些冠冕堂皇的話，而不是他們內心的真實想法，這不是很正常嗎？此外，不同的調查員可能會選擇不同的群體進行調查，也可能是造成偏差的原因。在任何情況下，調查結果都明顯帶有一定的偏差，因此這些調查毫無價值。你自己可以判斷一下有多少民意調查的結論是帶有偏差且毫無價值的，但是卻沒有什么有效的辦法能避免。一般而言，民意調查都會帶有特定方向的偏差。如果你對這些民意調查的結果有所質疑，你可以收集有力證據來證明，比如《文學摘要》的方向錯誤。《文學摘要》的錯誤在于它選擇了與普通人相比生活更為寬裕、受過良好教育、消息靈通、警惕性高、著裝雅致、行為保守且愛好較為固定的群體作為調查對象。事實正如我們所見，完全沒有必要操縱一場民意調查，也不用為了制造一種假象而刻意扭曲調查結果。如果樣本的偏差與期望的結果一致，就能達到自動操縱的效果。

4 選擇性報告與謊報

《達拉斯晨報》的一位體育專欄作家度過了極為倒霉的一個星期，他在選擇國家橄欖球聯盟（NFL）比賽的獲勝球隊時猜對了1次，猜錯了12 次，還有一場比賽是平局。他寫道：“理論上說，如果讓達拉斯動物園里的一只狒狒觀看14 場NFL 比賽的賽程，讓它為每場比賽選擇一支球隊，它可以至少選出7 支獲勝球隊。”第二個星期，拉達斯動物園里的大猩猩“坎達大帝”通過選擇訓練員手里的紙條進行了預測。結果，坎達猜對了9 次，猜錯了4 次，擊敗了《達拉斯晨報》的所有6 位體育專欄作家。媒體像發現食物的餓狼一樣爭相報道這個故事。不過，如果坎達的表現沒有這么好，比如猜對6 次，猜錯7 次，它還會被人報道嗎？另一個因素是，為了出風頭，人們可能會捏造數據，以吸引公眾的注意。明尼阿波利斯那個股票經紀人和他的狗每天早上都會得到公正的監督嗎？過去，橋牌曾經是美國最流行的撲克游戲，當時有許多人向當地報紙表示，他們抽到了同一花色的十三張牌。一位喜歡數學的橋牌選手通過估計發現，出現這種情況的數量太過離譜。考慮到抽到這種牌的可能性，當時進行過的總局數遠遠不足以產生如此眾多的“同花色局”。值得注意的是，報紙報道的這種相同花色通常是黑桃。顯然，為了讓自己的名字出現在報紙上，人們對自己的經歷進行了潤色。由于這些錯誤，我們很容易受到各種統計性騙局的蒙蔽。當人們用毫無意義的模式來證明政府政策的后果、營銷計劃的不凡影響、投資策略的成功或者保健品的效果時，我們很容易認為這些模式是有意義的。由于我們在內心深處希望理解這個世界，因此我們形成了這種聲名狼藉的、很難擺脫的弱點。