情報機構數據失控？

或許所有的情報機構都希望盡可能地收集和挖掘所有的數據，但這樣做不僅破壞了社會大眾的信任感，同時也為大數據災難鋪平了道路，數據失控的風險將會是巨大的。

很多人都對向媒體揭露美國國家安全局（National Security Agency，簡稱NSA）棱鏡計劃（PRISM）的愛德華·斯諾登如何能夠復制成千上萬的高度機密數據記錄而感到好奇，按照NSA官方的說法，斯諾登是通過盜用同事的密碼，從而成功取得了他本人權限以外的許多機密信息。而根據NSA的消息人士傳言，甚至說斯諾登可能說服了NSA位于夏威夷的區域運營中心內20名以上的同事向其提供用戶名和密碼。斯諾登當時是該中心的電腦系統管理員，他以工作需要這些信息為由套取了這些賬戶和密碼，從而完成了人類歷史上最龐大的一次數據收集工作。

非常吸引人的故事，然而無論事實如何，都難以轉移人們對于秘密監聽以及大規模數據收集所產生的數據安全問題的關注。事實上，任何人收集海量的數據總是很難避免出現問題，而目前這種行為在情報機構中似乎越來越流行，雖然德國聯邦情報局（BND）和NSA也投入了大量的金錢用于群眾監督，但是很難真正讓人放心。

而另一方面，斯諾登曾多次在公開場合宣稱，他既不偷也不會套取前同事的密碼，他甚至為了防止NSA的這些員工被無端指控而特意留下了痕跡。根據記者格倫·格林沃爾德（Glenn Greenwald）在其新作《無處藏身：斯諾登、國安局與監控國家》（No Place to Hide： Edward Snowden， the NSA and the Surveillance State）的描述，斯諾登發現NSA的系統是令人難以置信般地寬限，他可以輕易地掩蓋自己的蹤跡，但是他還是決定留下一些電子腳印。

斯諾登：知道太多的人

根據斯諾登自己陳述，他也想保留一些后門以便進入NSA系統，但他還是留下痕跡表明自己訪問了哪些文件，又復制了哪些文件。通過這些痕跡，NSA可以有所啟發，對系統的安全架構進行修改。這可能影響斯諾登的計劃，但是也從另一個角度說明了斯諾登的動機：他既不是叛徒，也不是間諜，而是舉報人。

在開始的時候，NSA的消息人士傳言斯諾登取得了170萬份機密文檔。但其后，當時的NSA局長基思·亞歷山大說，他只知道在他的任期內NSA處理了多少文檔，并不知道斯諾登復制了什么文檔。這說明NSA的專家并沒有發現斯諾登為了讓他們了解這一情況而特意留下的痕跡。斯諾登在獲得“另類諾貝爾獎”后接受美國《連線》（Wired）雜志專訪時對此做出了評論：“我知道他們正面臨一個艱難的時期，但我不知道他們竟完全不稱職。”

基思·亞歷山大宣布的新安全機制，并沒有給社會大眾帶來多少安慰：采用四眼原則，下載文件到外部媒體必須受到監控，并執行更嚴格的規則和更緊的訪問權限。這些嚴格的措施有部分更是特別針對系統管理員，但是他們并不能夠阻止像愛德華·斯諾登這樣的人。因為他比普通員工的水平高很多，他曾在瑞士為美國中央情報局工作3年。他偽裝成一個外交使團工作人員，而他主要負責整個瑞士的網絡安全工作。他不是一個普通人，他可以破解高度安全的系統，也曾作為美國中央情報局的隨從伴隨總統喬治·布什參加在羅馬尼亞的北約首腦會議。

2010年斯諾登加入NSA，已經有了披露美國安全機構秘密行為的想法。NSA送他到日本，他被訓練為一個高度熟練的網絡間諜，在那里斯諾登可以窺探甚至攻擊其他國家的軍事或民用目標。145智商的他將黑客工作做得非常好，為此，美國國防情報局（DIA）雇用他為他們的外判商工作，他的工作領域比較特殊：反中國間諜。

因而，斯諾登實在沒有必要套取同事的密碼，斯諾登已經用他的天才實現了世界歷史上最重要的一次信息披露。然而，斯諾登的能力并不是獨一無二的，因為每一個情報機構的大型秘密設施都有自己的“斯諾登”，只是這些掌握相同技術的人未必有斯諾登同樣的道德標準，雖然他們中的某些人也同樣入侵NSA系統。

數據專政：有罪推定

我們的個人資料已經被NSA獲得，而且有可能已經落入其他不法分子手中。如果這些數據被出售給黑社會犯罪組織和情報服務的灰色市場則會怎么樣？如果我們對NSA的非法監聽行為只是簡單地聳聳肩，那么政府進一步地制定法律允許與追捕恐怖分子無關的類似數據收集和分析又會如何？如果大數據的誘惑最終導致這種行為被承認甚至成為規范那又會如何？數據是非常容易被操縱的，沒有過錯的人們因而陷入困境又會如何？

美國麻省理工學院（MIT）人類動力學實驗室的負責人亞歷克斯·彭特蘭一直在探索大數據可能帶來的機會和風險，他認為，數據失控的問題已經存在了很長一段時間，只是斯諾登的披露將其擺到了所有人的面前。亞歷克斯·彭特蘭說：“我敢打賭，有超過5個人偷走了同樣的數據，唯一的區別是他們選擇出售它們而不是告訴全世界。NSA是非常愚蠢的，中央存儲可導致可怕的數據泄露風險。”彭特蘭認為，NSA和類似組織應該在他們的監督下將數據留在創建它們的機構，并使用他們自己的加密方式。

彭特蘭的分散存儲模式可能有助于減少數據被竊取的影響，但是它改變不了什么，在不受任何外界監督的情況下美國國家安全局仍然可以訪問所有的數據，唯一的差別只是沒有集中存儲訪問起來那么舒服，該機構永遠也不會執行任何刪除數據的決定。沒有任何跡象表明NSA的監聽行為有所收斂，從斯諾登披露的信息我們知道，NSA已經制定了一個元數據搜索引擎，從該搜索引擎的設計來看彭特蘭的建議完全是一個天真浪漫的想法。該系統的前端非常簡單，就好像Google一樣，但是后臺非常復雜，同樣像Google的后臺系統那么復雜。

稱為ICReach（Intelligence Community Reach）的元數據搜索引擎項目啟于2005年，美國聯邦調查局（FBI）、中央情報局（CIA）、美國緝毒局（DEA）和國防情報局（DIA）參與了這一項目，由NSA領導。

ICReach項目的試驗階段始于2007年，3年后，共收集數據8 500億項，由于美國公民的數據是受到限制的，所以這些數據主要來自國外。5個創始成員通過所謂的數據經紀人，將電子郵箱等各種各樣的數字信息加載到他們的系統。到了2010年，每天處理的數據量已經高達20億個條目，元數據的類型有30多種，從電子郵件和電話交談，到智能手機位置數據、飛行數據和信用卡信息等應有盡有。這足以讓ICReach只需輸入電話號碼或電子郵件地址即可獲得有關當事人所有領域的信息，只需點擊一個按鈕即可創建當事人的個人配置文件，對個人的數據進行挖掘，可以評估其宗教和政治觀點，甚至可以在一定程度上估計其未來的行動。

事實上，從創始成員美國緝毒局DEA的存在已經表明ICReach絕不僅僅是用于追捕恐怖分子。根據2010年的一份備忘錄，23個美國當局的機構獲得了ICReach的使用權限。超過1 000個政府調查人員可以使用該搜索引擎。這些人每個人都可能犯錯誤，他們每個人都可以從搜索結果中得出錯誤的想法，同時他們每人都是一個安全風險人物。

布魯斯是一個公認的IT安全專家，他認為NSA如此龐大的數據量是不可能完全被隔離的：很早之前他就曾經在他的博客上發布自己的推測，認為還會有第二個NSA的告密者。而最早采訪斯諾登的記者格倫·格林沃爾德最終在Twitter上證實，他的推測是正確的。

BND和NSA：危險的關系

越來越多的情報機構開始向NSA學習，BND也希望能夠玩美國和英國情報機構的游戲，監聽Facebook和其他的公司，并要求政府撥款3億歐元啟動“技術戰略計劃（SIT）”，希望能夠通過這一項目，為BND能夠在2020年擺脫對美國的數據依賴鋪平道路。

在德國，情報機構被允許這樣做嗎？德國聯邦司法部長海科·馬斯對此表示懷疑。馬斯向CHIP表示，他看不到任何對社交網絡進行實時監控的法律依據。在沒有任何限制的情況下對社交網絡進行實時監控，將是一個非常大的間諜行動。以所謂的安全利益為目的而監控每一個人，在一個自由民主的憲政國家是完全不能接受的。目前，這位社民黨的部長已經要求加強對間諜行為的控制，馬斯認為必須認真審視間諜機構的動機，不得有法律真空，無論是對于國內還是外國的情報機構都是如此。必須考慮控制的機制，所有的一切都必須在議會和聯邦政府中認真加以討論。

毫無疑問，從2004年到2008年之間BND的行為來看，加強對間諜機構的控制是非常有必要的。當時，該機構通過法蘭克福的互聯網數據交換節點（DE-CIX）拆分數據到NSA在巴德艾比林的電腦。據多家媒體的調查顯示，當時的安全機構協調員弗蘭克·瓦爾特·施泰因邁爾認可了這種可疑的做法。G10委員會（情報審查委員會）以及議會管理委員會對此并不了解，也沒有獲得適當的通知。除此之外，除了政治控制的失敗，BND為保護德國用戶而設的技術控制也同樣宣告失敗，該機構所制定的特殊過濾器（DAFIS）并沒有正常工作，這導致德國互聯網用戶的數據落入美國人手中。

這一數據災難對于正在爭取監控社交網絡的BND來說或許不是一個好的預兆，但是負責BND的總理辦公室發言人聲稱這不是問題，而且他強調BND還沒有計劃“窺探”社交網絡。并強調分析動態信息流的目的主要在于國外，而不是在德國。或許，對于一位負責任的政府發言人來說，選擇不同的術語來回答問題是必然的，但是從BND目前努力爭取的項目來看，CHIP看不到這之間有什么差異。與此同時，一個國家前天和昨天還在抨擊美國的非法監聽行為，批評NSA截留數據，而今天馬上要開始效仿他們，而且是在沒有任何外界監督的情況下，難道這只是一個法律和政治的問題嗎？

當然，BND目前似乎還沒有做什么，所以負責BND的總理辦公室發言人對此的回應仍然在意料之中：“這些基于假設的指控是毫無根據的。”不過，也有傳言德國聯邦議院已經擱置聯邦安全局的項目，但是新聞發言人馬丁·海涅曼則聲稱技術戰略計劃絕對不會中止，相反它已經在編制預算的過程中。據稱德國IT巨頭SAP將成為BND的合作伙伴，這家歐洲最大的軟件公司主要開發各種商務應用，擁有強大的技術基礎，足以應對3個大數據平臺開發的主要挑戰：數據量、數據集和處理速度。

大數據這個術語準確地描述了數字世界數據的巨大增長以及兩者之間的關系。每一個大公司都通過巨大數據源，從數據中挖掘無限的潛能。互聯網是數據的主要貢獻者，而且機器和RFID射頻識別等技術也將產生數據，飛行半小時的飛機可以產生10TB的數據。據“EMC數字世界”的研究，今天全球存儲的數據大約是4.4ZB（澤字節，相當于1012GB），而到了2020年，數字世界將增長10倍到44ZB。

數據分析：Hana與科技

SAP開發的Hana被認為是一個面向未來的業務平臺，該平臺需要處理的數據量難以想象，它需要一種強大的存儲方案。常規的關系數據庫隨著數據量的增加會變得越來越慢，因此Hana需要一種可以容納其表結構的文件格式。對于地址和各種號碼、識別和標記這些結構化的數據來說不是什么問題，但是電子郵件之類半結構化數據會比較困難，因為連接的數據以及引用、參考等內容能夠以表的形式來表示，但是其內容卻不能。另外，數據量最大也是最有趣的部分是非結構化數據，例如演示文稿、照片、社交網絡帖子、視頻、文本以及其他個別和創造性內容，所以這一切對于關系數據庫來說都很難處理。

因此，大數據需要創新的數據庫，例如Google開發了MapReduce的算法，它利用并行計算替代中心處理，數據分布在電腦集群的存儲器，并同時進行處理，最后再將各個處理結果結合以形成一個整體。這種方法的一個關鍵問題是，速度緩慢的硬盤將影響并行計算的性能，因而，需要采用內存數據庫，當數據在內存中時，用戶可以獲得比任何數據庫更快的使用體驗。對于Hana和其他類似平臺的制造商，例如IBM和Oracle等制造商來說，相關的平臺將需要足以加載所有數據和相關應用的內存，這就要求數以TB大小的內存，不過，由于內存的價格不斷滑落，這或許算不上一筆很大的投資。

Hana處理混合數據結構非常好，并可以近乎實時地進行處理。主存儲器中的數據通過1000～10000倍的加速處理，并允許直接訪問，與此同時，數據也不斷地寫入到大型的數據庫服務器中。目前，SAP并沒有發表任何與BND合作關系的聲明，對于類似的問題，只是婉轉地回應：“SAP尊重客戶的意愿，不會提供任何客戶信息。請您理解，我們不能做任何進一步的評論。”

Hana主要吸引BND的是它處理海量數據的能力以及其令人難以置信的速度。通過所謂預測分析，應用程序將會給出目前所了解的準確情況，并預測未來的發展。這是一個采用統計和博弈論方法的水晶球，通過數據模型可以模擬最好情況和最壞情況。在這一基礎上，情報機構可以用于確定收集的數據中有用的信息，預測某些很不起眼的人或者團體可能的行為和計劃。

美國公司Palantir被認為是情報數據分析的大師，該公司的初始資本來源于美國中央情報局基金。據推測，就是該公司的軟件幫助美國政府找到本·拉登在巴基斯坦的藏身之處。自2004年成立以來，Palantir與CIA、NSA和FBI密切合作，2011年以來，德國公司SAP已與Palantir達成經銷商協議，聯合Palantir推動一個為公共部門提供情報信息智能分析的銷售計劃。在成為合作伙伴關系時SAP宣布將可以提供全面的產品，可以整合分析師和研究人員以及所有分類和安全級別的結構化和非結構化數據，并可以進行復雜的搜索查詢，可以從整個企業的知識管理中獲益，并在安全的環境下實現與主管部門之間的合作。

商業軟件供應商SAP與美國情報分析公司成為聯盟已經是事實，但是兩者間緊密合作將可能出現一些問題。瑞士商業雜志“Bilanz”認為毫無疑問SAP將會是一個搶手的目標，僅為上市公司提供情報分析，美國情報分析公司就可以從中獲得巨大的利益，但是SAP并沒有說明兩者之間的合作關系。那么，使用SAP商業軟件的用戶是否應該開始擔心？其他的企業又是否應該開始擔心夢魘般的商業間諜活動？另外，如果Palantir的分析軟件真的被傳遞到德國的情報機構，那么這一切又由誰來控制？

Palantir：性、謊言和錄像帶

Palantir的首席執行官亞歷克斯·卡普被認為是一個古怪的人，根據美國福布斯雜志的報道，亞歷克斯·卡普說：“我除了游泳、練習氣功或正在從事性活動之外，就總是想著公司的事情。”這位46歲曾在法蘭克福跟隨哈貝馬斯研究社會哲學的首席執行官，甚至經常通過員工的視頻頻道（KarpTube）給員工發表講座，講述貪婪、忠誠和馬克思。事實證明Palantir的專業技術并不僅服務于公正無私的目的，該公司4年前就曾經聯合安全公司Berico和HBGary Federal，炮制了一個所謂“維基解密威脅”的分析報告，為如何破壞和詆毀維基解密提供具體的建議。

該報告的PowerPoint演示文稿被黑客組織Anonymous公之于眾，HBGary的郵件也被泄露，報告顯示經常報道維基解密的格倫·格林沃爾德將成為被攻擊的目標，并且希望通過發起一場“維基解密的活動激進和不顧后果的傳媒戰役”打垮維基解密，而維基解密垮了也就沒有人會支持格倫·格林沃爾德。

消息一經披露，Palantir等公司立刻淪為眾矢之地，而卡普處理這一丑聞非常專業：他馬上向格林沃爾德道歉。這一事件使所有人認識到格倫·格林沃爾德這名忠實誠信的記者，讓愛德華·斯諾登知道哪些人是他可以信任的。而NSA和Palantir等公司則可以從這個事件學到另一些東西，就是數字世界的數據沒有什么所謂的絕對安全性。

格倫·格林沃爾德的最高榮譽

2014年1月12日，格倫·格林沃爾德新作《無處藏身：斯諾登、國安局與監控國家》被德國書業聯合會和慕尼黑市文化委員會授予“紹爾兄妹獎”（Geschwister-Scholl-Preis）。

2014年12月14日，格林沃爾德、斯諾登和他們志同道合的勞拉·波伊特拉斯一同被授予卡爾·馮·奧西埃茨基勛章。國際人權聯盟認可3人在數字時代為民主和人權所做的努力與成績。

智能手機成為漏洞

到2019年全球移動通信設備的數量將增至大約90億臺，每一臺都可以被NSA用于查找和監視用戶以及獲取網絡通信數據的重要來源。

很多人都對向媒體揭露美國國家安全局（National Security Agency，簡稱NSA）棱鏡計劃（PRISM）的愛德華·斯諾登如何能夠復制成千上萬的高度機密數據記錄而感到好奇，按照NSA官方的說法，斯諾登是通過盜用同事的密碼，從而成功取得了他本人權限以外的許多機密信息。而根據NSA的消息人士傳言，甚至說斯諾登可能說服了NSA位于夏威夷的區域運營中心內20名以上的同事向其提供用戶名和密碼。斯諾登當時是該中心的電腦系統管理員，他以工作需要這些信息為由套取了這些賬戶和密碼，從而完成了人類歷史上最龐大的一次數據收集工作。

非常吸引人的故事，然而無論事實如何，都難以轉移人們對于秘密監聽以及大規模數據收集所產生的數據安全問題的關注。事實上，任何人收集海量的數據總是很難避免出現問題，而目前這種行為在情報機構中似乎越來越流行，雖然德國聯邦情報局（BND）和NSA也投入了大量的金錢用于群眾監督，但是很難真正讓人放心。

而另一方面，斯諾登曾多次在公開場合宣稱，他既不偷也不會套取前同事的密碼，他甚至為了防止NSA的這些員工被無端指控而特意留下了痕跡。根據記者格倫·格林沃爾德（Glenn Greenwald）在其新作《無處藏身：斯諾登、國安局與監控國家》（No Place to Hide： Edward Snowden， the NSA and the Surveillance State）的描述，斯諾登發現NSA的系統是令人難以置信般地寬限，他可以輕易地掩蓋自己的蹤跡，但是他還是決定留下一些電子腳印。

斯諾登：知道太多的人

根據斯諾登自己陳述，他也想保留一些后門以便進入NSA系統，但他還是留下痕跡表明自己訪問了哪些文件，又復制了哪些文件。通過這些痕跡，NSA可以有所啟發，對系統的安全架構進行修改。這可能影響斯諾登的計劃，但是也從另一個角度說明了斯諾登的動機：他既不是叛徒，也不是間諜，而是舉報人。

在開始的時候，NSA的消息人士傳言斯諾登取得了170萬份機密文檔。但其后，當時的NSA局長基思·亞歷山大說，他只知道在他的任期內NSA處理了多少文檔，并不知道斯諾登復制了什么文檔。這說明NSA的專家并沒有發現斯諾登為了讓他們了解這一情況而特意留下的痕跡。斯諾登在獲得“另類諾貝爾獎”后接受美國《連線》（Wired）雜志專訪時對此做出了評論：“我知道他們正面臨一個艱難的時期，但我不知道他們竟完全不稱職。”

基思·亞歷山大宣布的新安全機制，并沒有給社會大眾帶來多少安慰：采用四眼原則，下載文件到外部媒體必須受到監控，并執行更嚴格的規則和更緊的訪問權限。這些嚴格的措施有部分更是特別針對系統管理員，但是他們并不能夠阻止像愛德華·斯諾登這樣的人。因為他比普通員工的水平高很多，他曾在瑞士為美國中央情報局工作3年。他偽裝成一個外交使團工作人員，而他主要負責整個瑞士的網絡安全工作。他不是一個普通人，他可以破解高度安全的系統，也曾作為美國中央情報局的隨從伴隨總統喬治·布什參加在羅馬尼亞的北約首腦會議。

2010年斯諾登加入NSA，已經有了披露美國安全機構秘密行為的想法。NSA送他到日本，他被訓練為一個高度熟練的網絡間諜，在那里斯諾登可以窺探甚至攻擊其他國家的軍事或民用目標。145智商的他將黑客工作做得非常好，為此，美國國防情報局（DIA）雇用他為他們的外判商工作，他的工作領域比較特殊：反中國間諜。

因而，斯諾登實在沒有必要套取同事的密碼，斯諾登已經用他的天才實現了世界歷史上最重要的一次信息披露。然而，斯諾登的能力并不是獨一無二的，因為每一個情報機構的大型秘密設施都有自己的“斯諾登”，只是這些掌握相同技術的人未必有斯諾登同樣的道德標準，雖然他們中的某些人也同樣入侵NSA系統。

數據專政：有罪推定

我們的個人資料已經被NSA獲得，而且有可能已經落入其他不法分子手中。如果這些數據被出售給黑社會犯罪組織和情報服務的灰色市場則會怎么樣？如果我們對NSA的非法監聽行為只是簡單地聳聳肩，那么政府進一步地制定法律允許與追捕恐怖分子無關的類似數據收集和分析又會如何？如果大數據的誘惑最終導致這種行為被承認甚至成為規范那又會如何？數據是非常容易被操縱的，沒有過錯的人們因而陷入困境又會如何？

美國麻省理工學院（MIT）人類動力學實驗室的負責人亞歷克斯·彭特蘭一直在探索大數據可能帶來的機會和風險，他認為，數據失控的問題已經存在了很長一段時間，只是斯諾登的披露將其擺到了所有人的面前。亞歷克斯·彭特蘭說：“我敢打賭，有超過5個人偷走了同樣的數據，唯一的區別是他們選擇出售它們而不是告訴全世界。NSA是非常愚蠢的，中央存儲可導致可怕的數據泄露風險。”彭特蘭認為，NSA和類似組織應該在他們的監督下將數據留在創建它們的機構，并使用他們自己的加密方式。

彭特蘭的分散存儲模式可能有助于減少數據被竊取的影響，但是它改變不了什么，在不受任何外界監督的情況下美國國家安全局仍然可以訪問所有的數據，唯一的差別只是沒有集中存儲訪問起來那么舒服，該機構永遠也不會執行任何刪除數據的決定。沒有任何跡象表明NSA的監聽行為有所收斂，從斯諾登披露的信息我們知道，NSA已經制定了一個元數據搜索引擎，從該搜索引擎的設計來看彭特蘭的建議完全是一個天真浪漫的想法。該系統的前端非常簡單，就好像Google一樣，但是后臺非常復雜，同樣像Google的后臺系統那么復雜。

稱為ICReach（Intelligence Community Reach）的元數據搜索引擎項目啟于2005年，美國聯邦調查局（FBI）、中央情報局（CIA）、美國緝毒局（DEA）和國防情報局（DIA）參與了這一項目，由NSA領導。

ICReach項目的試驗階段始于2007年，3年后，共收集數據8 500億項，由于美國公民的數據是受到限制的，所以這些數據主要來自國外。5個創始成員通過所謂的數據經紀人，將電子郵箱等各種各樣的數字信息加載到他們的系統。到了2010年，每天處理的數據量已經高達20億個條目，元數據的類型有30多種，從電子郵件和電話交談，到智能手機位置數據、飛行數據和信用卡信息等應有盡有。這足以讓ICReach只需輸入電話號碼或電子郵件地址即可獲得有關當事人所有領域的信息，只需點擊一個按鈕即可創建當事人的個人配置文件，對個人的數據進行挖掘，可以評估其宗教和政治觀點，甚至可以在一定程度上估計其未來的行動。

事實上，從創始成員美國緝毒局DEA的存在已經表明ICReach絕不僅僅是用于追捕恐怖分子。根據2010年的一份備忘錄，23個美國當局的機構獲得了ICReach的使用權限。超過1 000個政府調查人員可以使用該搜索引擎。這些人每個人都可能犯錯誤，他們每個人都可以從搜索結果中得出錯誤的想法，同時他們每人都是一個安全風險人物。

布魯斯是一個公認的IT安全專家，他認為NSA如此龐大的數據量是不可能完全被隔離的：很早之前他就曾經在他的博客上發布自己的推測，認為還會有第二個NSA的告密者。而最早采訪斯諾登的記者格倫·格林沃爾德最終在Twitter上證實，他的推測是正確的。

BND和NSA：危險的關系

越來越多的情報機構開始向NSA學習，BND也希望能夠玩美國和英國情報機構的游戲，監聽Facebook和其他的公司，并要求政府撥款3億歐元啟動“技術戰略計劃（SIT）”，希望能夠通過這一項目，為BND能夠在2020年擺脫對美國的數據依賴鋪平道路。

在德國，情報機構被允許這樣做嗎？德國聯邦司法部長海科·馬斯對此表示懷疑。馬斯向CHIP表示，他看不到任何對社交網絡進行實時監控的法律依據。在沒有任何限制的情況下對社交網絡進行實時監控，將是一個非常大的間諜行動。以所謂的安全利益為目的而監控每一個人，在一個自由民主的憲政國家是完全不能接受的。目前，這位社民黨的部長已經要求加強對間諜行為的控制，馬斯認為必須認真審視間諜機構的動機，不得有法律真空，無論是對于國內還是外國的情報機構都是如此。必須考慮控制的機制，所有的一切都必須在議會和聯邦政府中認真加以討論。

毫無疑問，從2004年到2008年之間BND的行為來看，加強對間諜機構的控制是非常有必要的。當時，該機構通過法蘭克福的互聯網數據交換節點（DE-CIX）拆分數據到NSA在巴德艾比林的電腦。據多家媒體的調查顯示，當時的安全機構協調員弗蘭克·瓦爾特·施泰因邁爾認可了這種可疑的做法。G10委員會（情報審查委員會）以及議會管理委員會對此并不了解，也沒有獲得適當的通知。除此之外，除了政治控制的失敗，BND為保護德國用戶而設的技術控制也同樣宣告失敗，該機構所制定的特殊過濾器（DAFIS）并沒有正常工作，這導致德國互聯網用戶的數據落入美國人手中。

這一數據災難對于正在爭取監控社交網絡的BND來說或許不是一個好的預兆，但是負責BND的總理辦公室發言人聲稱這不是問題，而且他強調BND還沒有計劃“窺探”社交網絡。并強調分析動態信息流的目的主要在于國外，而不是在德國。或許，對于一位負責任的政府發言人來說，選擇不同的術語來回答問題是必然的，但是從BND目前努力爭取的項目來看，CHIP看不到這之間有什么差異。與此同時，一個國家前天和昨天還在抨擊美國的非法監聽行為，批評NSA截留數據，而今天馬上要開始效仿他們，而且是在沒有任何外界監督的情況下，難道這只是一個法律和政治的問題嗎？

當然，BND目前似乎還沒有做什么，所以負責BND的總理辦公室發言人對此的回應仍然在意料之中：“這些基于假設的指控是毫無根據的。”不過，也有傳言德國聯邦議院已經擱置聯邦安全局的項目，但是新聞發言人馬丁·海涅曼則聲稱技術戰略計劃絕對不會中止，相反它已經在編制預算的過程中。據稱德國IT巨頭SAP將成為BND的合作伙伴，這家歐洲最大的軟件公司主要開發各種商務應用，擁有強大的技術基礎，足以應對3個大數據平臺開發的主要挑戰：數據量、數據集和處理速度。

大數據這個術語準確地描述了數字世界數據的巨大增長以及兩者之間的關系。每一個大公司都通過巨大數據源，從數據中挖掘無限的潛能。互聯網是數據的主要貢獻者，而且機器和RFID射頻識別等技術也將產生數據，飛行半小時的飛機可以產生10TB的數據。據“EMC數字世界”的研究，今天全球存儲的數據大約是4.4ZB（澤字節，相當于1012GB），而到了2020年，數字世界將增長10倍到44ZB。

數據分析：Hana與科技

SAP開發的Hana被認為是一個面向未來的業務平臺，該平臺需要處理的數據量難以想象，它需要一種強大的存儲方案。常規的關系數據庫隨著數據量的增加會變得越來越慢，因此Hana需要一種可以容納其表結構的文件格式。對于地址和各種號碼、識別和標記這些結構化的數據來說不是什么問題，但是電子郵件之類半結構化數據會比較困難，因為連接的數據以及引用、參考等內容能夠以表的形式來表示，但是其內容卻不能。另外，數據量最大也是最有趣的部分是非結構化數據，例如演示文稿、照片、社交網絡帖子、視頻、文本以及其他個別和創造性內容，所以這一切對于關系數據庫來說都很難處理。

因此，大數據需要創新的數據庫，例如Google開發了MapReduce的算法，它利用并行計算替代中心處理，數據分布在電腦集群的存儲器，并同時進行處理，最后再將各個處理結果結合以形成一個整體。這種方法的一個關鍵問題是，速度緩慢的硬盤將影響并行計算的性能，因而，需要采用內存數據庫，當數據在內存中時，用戶可以獲得比任何數據庫更快的使用體驗。對于Hana和其他類似平臺的制造商，例如IBM和Oracle等制造商來說，相關的平臺將需要足以加載所有數據和相關應用的內存，這就要求數以TB大小的內存，不過，由于內存的價格不斷滑落，這或許算不上一筆很大的投資。

Hana處理混合數據結構非常好，并可以近乎實時地進行處理。主存儲器中的數據通過1000～10000倍的加速處理，并允許直接訪問，與此同時，數據也不斷地寫入到大型的數據庫服務器中。目前，SAP并沒有發表任何與BND合作關系的聲明，對于類似的問題，只是婉轉地回應：“SAP尊重客戶的意愿，不會提供任何客戶信息。請您理解，我們不能做任何進一步的評論。”

Hana主要吸引BND的是它處理海量數據的能力以及其令人難以置信的速度。通過所謂預測分析，應用程序將會給出目前所了解的準確情況，并預測未來的發展。這是一個采用統計和博弈論方法的水晶球，通過數據模型可以模擬最好情況和最壞情況。在這一基礎上，情報機構可以用于確定收集的數據中有用的信息，預測某些很不起眼的人或者團體可能的行為和計劃。

美國公司Palantir被認為是情報數據分析的大師，該公司的初始資本來源于美國中央情報局基金。據推測，就是該公司的軟件幫助美國政府找到本·拉登在巴基斯坦的藏身之處。自2004年成立以來，Palantir與CIA、NSA和FBI密切合作，2011年以來，德國公司SAP已與Palantir達成經銷商協議，聯合Palantir推動一個為公共部門提供情報信息智能分析的銷售計劃。在成為合作伙伴關系時SAP宣布將可以提供全面的產品，可以整合分析師和研究人員以及所有分類和安全級別的結構化和非結構化數據，并可以進行復雜的搜索查詢，可以從整個企業的知識管理中獲益，并在安全的環境下實現與主管部門之間的合作。

商業軟件供應商SAP與美國情報分析公司成為聯盟已經是事實，但是兩者間緊密合作將可能出現一些問題。瑞士商業雜志“Bilanz”認為毫無疑問SAP將會是一個搶手的目標，僅為上市公司提供情報分析，美國情報分析公司就可以從中獲得巨大的利益，但是SAP并沒有說明兩者之間的合作關系。那么，使用SAP商業軟件的用戶是否應該開始擔心？其他的企業又是否應該開始擔心夢魘般的商業間諜活動？另外，如果Palantir的分析軟件真的被傳遞到德國的情報機構，那么這一切又由誰來控制？

Palantir：性、謊言和錄像帶

Palantir的首席執行官亞歷克斯·卡普被認為是一個古怪的人，根據美國福布斯雜志的報道，亞歷克斯·卡普說：“我除了游泳、練習氣功或正在從事性活動之外，就總是想著公司的事情。”這位46歲曾在法蘭克福跟隨哈貝馬斯研究社會哲學的首席執行官，甚至經常通過員工的視頻頻道（KarpTube）給員工發表講座，講述貪婪、忠誠和馬克思。事實證明Palantir的專業技術并不僅服務于公正無私的目的，該公司4年前就曾經聯合安全公司Berico和HBGary Federal，炮制了一個所謂“維基解密威脅”的分析報告，為如何破壞和詆毀維基解密提供具體的建議。

該報告的PowerPoint演示文稿被黑客組織Anonymous公之于眾，HBGary的郵件也被泄露，報告顯示經常報道維基解密的格倫·格林沃爾德將成為被攻擊的目標，并且希望通過發起一場“維基解密的活動激進和不顧后果的傳媒戰役”打垮維基解密，而維基解密垮了也就沒有人會支持格倫·格林沃爾德。

消息一經披露，Palantir等公司立刻淪為眾矢之地，而卡普處理這一丑聞非常專業：他馬上向格林沃爾德道歉。這一事件使所有人認識到格倫·格林沃爾德這名忠實誠信的記者，讓愛德華·斯諾登知道哪些人是他可以信任的。而NSA和Palantir等公司則可以從這個事件學到另一些東西，就是數字世界的數據沒有什么所謂的絕對安全性。