人工智能和大數(shù)據(jù)存在的隱患

王雄

從數(shù)據(jù)稀缺到現(xiàn)在有大量的數(shù)據(jù)，近年來，可用的數(shù)據(jù)量呈指數(shù)級增長，大數(shù)據(jù)變得無處不在。這是由于數(shù)據(jù)記錄設備數(shù)量的巨大增長，以及這些設備之間通過物聯(lián)網(wǎng)連接。似乎每個人都有收集、分析大數(shù)據(jù)的力量。

盡管AI目前非常擅長在大型數(shù)據(jù)中查找模式和關系，但它仍然不是很智能。計算數(shù)字可以有效地識別并發(fā)現(xiàn)數(shù)據(jù)中的細微模式，但不能直接告訴我們這些關系中哪些實際上有意義。

相關性和因果關系

相關性并不意味著因果關系。“然而，人類的大腦天生就會尋找規(guī)律，當我們看到曲線傾斜在一起，數(shù)據(jù)中出現(xiàn)明顯的規(guī)律時，我們的大腦就會自動給出規(guī)律。”

然而，從統(tǒng)計數(shù)據(jù)來看，我們?nèi)匀粺o法實現(xiàn)這一飛躍。《虛假相關性》一書的作者Tyler Vigen在自己的網(wǎng)站上對此進行了調(diào)侃，還有很多例子，比如，展示冰淇淋是如何明顯地導致許多壞事的，從森林大火到鯊魚襲擊和脊髓灰質(zhì)炎爆發(fā)。

看看這些情節(jié)，人們可能會爭辯說，我們很可能早就應該禁止冰淇淋了。而且，實際上，在1940年代的小兒麻痹癥例子中，公共衛(wèi)生專家建議人們停止吃冰淇淋作為“反政治飲食”的一部分。幸運的是，他們最終意識到小兒麻痹癥暴發(fā)與冰淇淋消費之間的相關性是“完全是由于小兒麻痹癥的爆發(fā)在夏季最為普遍”。

在統(tǒng)計中，虛假關系或虛假相關性是一種數(shù)學關系，其中2個或多個事件或變量相關聯(lián)，但由于某種偶然的或某些第3個未見因素的存在而因果相關（稱為“常見響應”變量”“混雜因素”或“潛伏變量”）。這樣的“潛伏變量”的例子可以是冰淇淋銷量與鯊魚襲擊之間的相關性（雖然冰淇淋銷量的增長不會導致鯊魚襲擊人們）。但是，這2個數(shù)字之間有一個共同的環(huán)節(jié)，即溫度。較高的溫度導致更多的人購買冰淇淋以及更多的人去游泳。因此，這個“潛變量”確實是表觀相關性的原因。幸運的是，我們已經(jīng)學會將一種因果關系與另一種因果關系分開。而且，在炎熱的夏日，我們?nèi)匀豢梢韵硎鼙苛埽槐負男郝楸园Y爆發(fā)和鯊魚襲擊。

相關性的力量和局限性

有了足夠的數(shù)據(jù)，將會發(fā)現(xiàn)計算能力和統(tǒng)計算法的模式。但并不是所有的模式都有意義，因為虛假模式的數(shù)量很容易超過有意義的模式。將大數(shù)據(jù)與算法結(jié)合起來，如果能正確地用于解決問題，將是一個非常有用的工具。然而，沒有科學家會認為你可以通過單獨處理數(shù)據(jù)來解決這個問題，無論統(tǒng)計分析是多么強大，應該始終基于對要解決的問題的基本理解來進行分析。

數(shù)據(jù)科學是科學的終結(jié)嗎

2008年6月，《連線》雜志前主編C. Anderson寫了一篇頗具煽動性的文章，題為《理論的終結(jié)：數(shù)據(jù)洪流使科學方法過時》。“相關性取代因果關系，即使沒有連貫的模型和統(tǒng)一的理論，科學也能進步。”

這種方法的強度和通用性依賴于數(shù)據(jù)量，也就是說數(shù)據(jù)越多，基于計算發(fā)現(xiàn)的相關性的方法就越強大和有效。我們可以簡單地把數(shù)字輸入計算機，讓統(tǒng)計算法自動發(fā)現(xiàn)有趣的模式和見解。

但是，這種簡化的分析方法也存在一些陷阱，可以通過John Poppelaars在博客上找到的示例很好地說明：

假設我們要為某些變量創(chuàng)建一個預測模型。例如公司的股價、在線廣告的點擊率或下周的天氣。接下來，我們收集所有可以使用的數(shù)據(jù)，并將其放入統(tǒng)計過程中，以找到的最佳預測模型。常見的過程是首先使用所有變量對模型進行估計，篩選出不重要的變量，然后使用所選的變量子集重新估算模型，然后重復此過程，直到找到重要的模型為止。

但是，Anderson提出的分析方法存在一些嚴重的缺陷。我選擇了一個實例，從0到1的均勻分布中抽取100個樣本，為

創(chuàng)建了一組數(shù)據(jù)點，所以它是隨機噪聲。接下來，通過從0～1之間的均勻分布中抽取100個樣本，創(chuàng)建了一組50個解釋變量（）。因此，所有50個解釋變量也是隨機噪聲。使用所有的（）變量來預測，估計一個線性回歸模型。因為沒有任何相關的東西（所有的均布和自變量），所以期望2（0），但實際上不是，結(jié)果是0.5，對于隨機噪聲的回歸來說還不錯。幸運的是，這個模型并不重要。逐步剔除不顯著的變量，重新估計模型。重復這個過程，直到找到一個重要的模型。經(jīng)過幾個步驟后，發(fā)現(xiàn)一個顯著性模型，調(diào)整后的平方為0.4，7個變量的顯著性水平至少為99 %。再次，我們是在回歸隨機噪聲，它絕對沒有關系，但我們?nèi)匀徽业接?個重要參數(shù)的顯著模型。如果我們只是將數(shù)據(jù)輸入統(tǒng)計算法來尋找模式，就會出現(xiàn)這種情況。

數(shù)據(jù)集越大，噪聲越強

最近的研究證明，隨著數(shù)據(jù)集的增長，它們必定包含任意相關性。這些相關性根據(jù)數(shù)據(jù)的大小而出現(xiàn)，這表明，許多相關性都是虛假的。不幸的是，很多信息往往表面看顯得很少。

這是處理多維數(shù)據(jù)的應用程序中的主要問題。舉例來說，假設您從一家工廠的數(shù)千個傳感器中收集傳感器數(shù)據(jù)，然后挖掘這些數(shù)據(jù)以獲取模式優(yōu)化性能。在這種情況下，很容易被數(shù)據(jù)的表象所迷惑，而不是真正的運營績效指標。無論從財務上還是在工廠的安全運行方面，這都可能是一個壞消息。

添加數(shù)據(jù)和添加信息

作為數(shù)據(jù)科學家，我們可能經(jīng)常會說，改善人工智能模型的優(yōu)秀解決方案是“添加更多數(shù)據(jù)”。然而，僅“添加更多數(shù)據(jù)”就能提高模型性能嗎？不是這樣的。應該關注的是“添加更多的信息”。“添加數(shù)據(jù)”和“添加信息”之間的區(qū)別是至關重要的，添加更多的數(shù)據(jù)并不等于添加更多的信息。相反，盲目地添加越來越多的數(shù)據(jù)，有可能添加包含錯誤信息的數(shù)據(jù)，這些錯誤信息會相應地降低模型的性能。根據(jù)數(shù)據(jù)的大量訪問以及處理數(shù)據(jù)的計算能力，考慮這一點變得越來越重要。

那么，上述挑戰(zhàn)是否應該阻止您采用以數(shù)據(jù)為依據(jù)的決策？不，數(shù)據(jù)驅(qū)動的決策將繼續(xù)存在。隨著獲得更多有關如何很好利用數(shù)據(jù)和信息以提高績效的知識，這些將變得越來越有價值。

但是要意識到，想使方案成功，不僅需要硬件和大量數(shù)據(jù)，大數(shù)據(jù)和計算能力也是重要的組成部分，而且，應該了解連接數(shù)據(jù)的基本機制。數(shù)據(jù)不能說明一切，是人類給數(shù)字賦予了含義，數(shù)據(jù)的數(shù)量、種類是無法更改的。