大數據與人工智能

大數據不是一個單一的現象，在過去5～10年，借著越來越強大的計算能力，加上知識挖掘等算法上的突飛猛進，我們可以構建更大的模型。

我們都知道，其實很多的人工智能、機器智能，或者驅動一個數字世界的自動化，都需要模型。在過去的很長一段時間內，這些模型因為數據的不足，通常只能做一些小的模型或者淺的模型，但特別在過去的兩三年里，在機器學習領域有了突飛猛進的發展，可以構建更大、更深度的模型。

另外是知識挖掘，知識挖掘是怎樣在互聯網上大規模進行的？在這些結構化、半結構化的數據中構建人類最完整的知識表達，一旦我們掌握了這樣的表達，我們就可以對很多的數據做更深度的理解。

軟件產業新時代

微軟為什么看重大數據？微軟是從一家軟件企業開始的，在30年前，微軟就知道軟件會改變全世界，軟件幾乎可以做所有的事情。但今天，軟件的時代已經不一樣了。過去是程序員寫，接下來的軟件是靠數據，靠機器學習，自動寫出軟件。這意味著什么？當你擁有更大的數據的時候，軟件就更強大，軟件的性能就更好。大數據加上機器學習，這代表了軟件產業一個新時代來臨：不再是人寫軟件，是數據加算法，在數字化之后，以計算機驅動，用光速來推進我們人類社會的方方面面。因為都是靠數據和算法，我們能夠產生一個非常大的一個信息量，所以我們看重下一代所有的應用和服務。

今天，為什么各個大公司都在不斷地在人才、技術方面大量投入？就是因為我們已經在過去的幾年不斷地對這些數據進行加工，我們已經越來越接近從數據到信息，到知識到科技。

語音識別過去十幾年一直沒有突破，但就在這兩年實現了很大進展。其中重要原因就是因為有一種新的機器學習，可以從數據里面學表達方式，做很多模式識別。大家知道做影像、語音等最難的是怎么找出特征向量表示數據，過去的二三十年的研究都在研究怎么找特征，大數據來到的時候我們發現，特征也可以直接從數據去學。而且在這個過程中我們發現一個非常有趣的現象，就是越大的數據表達方式越好。因為數據大，信息就增加，所以技術上的突破就是計算能力和數據大了，而且自動學出來的發現比過去人設計的特征向量更好。

大數據的城市應用

今天的技術非常令人興奮，但今天很多城市里面的數據都是很低階的，這么大的數據如何表達？今天深度學習、機器學習帶來了革命性的機會。過去兩年我們也把這樣的機器學習開始應用在城市，所以微軟有一個城市計算的項目。在北京，我們收集了很多方面跟城市有關的數據，例如北京交通路網的數據、北京商業各方面的歷年數據，我們可以發現很多現象，比如北京過去10年酒吧在哪里越來越多，電影院也在一些地方增加了，這些其實代表了這個城市的發展。還有空氣的數據、氣象的數據等。我們還搜集了北京的30000輛出租車，特別裝有定位系統的數據，這樣便可以用出租車當做傳感器實時檢測城市的脈動，甚至交通的狀況，可以算出更好的開車路徑。

過去兩年，微軟與北京市政府及中國的高校合作，在城市計算這一領域實現了很多科研成果。大數據可以分析城市問題，改善城市規劃。

空氣質量是今天的城市居民最關注的一個話題。北京這么大規模的城市，現在只有15個空氣檢測站點，非常稀疏，每個站點的投入和花費與運營非常高。這些站點在任何時刻給的數據都是非常不一樣的，說明一個城市里面空氣質量分布是不均勻的。今天我們的問題是能不能用大數據，用機器學習的方法預測那些沒有空氣站點的地點的空氣質量。我們也利用了大數據把歷史上所有這些我們可以收集到的，關于偵測帶里的歷史的數據、氣象數據、交通數據、人員流動等數據，建一個非常大的模型，包含空間和時間的預測，能夠在有限的15個站點之上，進一步預測所有的位置。這就是大數據在智能城市里的應用，其中既有數據分析，而且是海量和一致性的數據。

實驗證明，雖然我們用的很多數據從某個角度來講是比較弱的信號，但是把大量相關的相對弱的信號收集起來，居然比原來最好的模型還好20%。利用大數據對整個城市的空氣做預測的模型是非常有價值的，這預示了這樣的應用將不只在城市，而是會進到人類社會方方面面，各個產業都會被大數據帶動，用更智能的算法，讓過程變得更有效。