信息論之父克勞德·香農(nóng)：刷新你對(duì)信息的想象

編譯 費(fèi)文緒

一部新傳記向讀者介紹了克勞德·香農(nóng)：樂(lè)此不疲的創(chuàng)新者，古靈精怪的雜耍家和獨(dú)輪車(chē)愛(ài)好者，被譽(yù)為信息論奠基者的數(shù)學(xué)家。

《游戲之心：克勞德·香農(nóng)如何開(kāi)創(chuàng)信息時(shí)代》（A Mind at Play: How Claude Shannon Invented the Information Age）是吉米·索尼（Jimmy Soni）和羅布·古德曼（Rob Goodman）所著的克勞德·香農(nóng)的新傳記，這位數(shù)學(xué)家被奉為“信息論之父”。

該傳記以一則趣聞?shì)W事向我們介紹了主人公香農(nóng)：香農(nóng)在20世紀(jì)60年代淡出公眾的視線后，在1985年出人意料地在英國(guó)布賴(lài)頓的國(guó)際信息理論研討會(huì)上露面。這位白發(fā)蒼蒼的羞澀名人最終被人認(rèn)出來(lái)，尋求簽名的粉絲們很快就把他團(tuán)團(tuán)圍住。在研討會(huì)主席的盛情邀請(qǐng)下，香農(nóng)不情愿地在晚宴上登臺(tái)，忍受著自己被隆重介紹為“我們這個(gè)時(shí)代最偉大的科學(xué)巨匠之一”。當(dāng)與會(huì)者的歡呼和掌聲最終平息，香農(nóng)只能說(shuō)，“這真是——太可笑了！”他把手伸到衣服口袋里，變戲法一樣掏出3個(gè)球，竟然當(dāng)場(chǎng)玩起了雜耍。

香農(nóng)是一個(gè)狂熱的獨(dú)輪車(chē)愛(ài)好者，他喜歡設(shè)計(jì)和制造各種稀奇古怪的獨(dú)輪車(chē)。比如，他設(shè)計(jì)了一種輪轂偏離中心的獨(dú)輪車(chē)，會(huì)導(dǎo)致騎行者在踩踏板時(shí)上下彈跳。不管香農(nóng)是否重新設(shè)計(jì)了數(shù)據(jù)傳輸或獨(dú)輪車(chē)，該傳記的作者都指出，香農(nóng)的工作表現(xiàn)出了“對(duì)建模的精通：他善于從大問(wèn)題中提煉出核心實(shí)質(zhì)”。

研討會(huì)主席后來(lái)這樣描述這個(gè)不同尋常的場(chǎng)景：“香農(nóng)出現(xiàn)在信息理論研討會(huì)上，那情形簡(jiǎn)直就像是牛頓出現(xiàn)在物理學(xué)學(xué)術(shù)會(huì)議上，太轟動(dòng)了！”盡管這樣類(lèi)比有夸大其辭之嫌（據(jù)我們所知，牛頓并不會(huì)變戲法），研討會(huì)主席的這句總結(jié)表達(dá)出人們對(duì)香農(nóng)的景仰，而且這種景仰隨著歲月流逝只會(huì)與日俱增，在2016年香農(nóng)百年誕辰之際更是達(dá)到了前所未有的巔峰。全世界各地都在舉辦紀(jì)念大會(huì)。谷歌涂鴉紀(jì)念了香農(nóng)的生日——1916年4月30日，這一天，克勞德·香農(nóng)出生于美國(guó)密歇根州佩托斯基。不知道生前低調(diào)的香農(nóng)對(duì)身后所有這些大張旗鼓的紀(jì)念活動(dòng)會(huì)怎么想。

不過(guò)，世人對(duì)香農(nóng)的景仰也是情有可原的：香農(nóng)那些具有里程碑意義的創(chuàng)新——尤其是通過(guò)確定數(shù)字電路可以如何設(shè)計(jì)——奠定了信息傳輸編碼的理論基礎(chǔ)，使他與當(dāng)今的信息時(shí)代結(jié)下了不解之緣。在香農(nóng)的百年誕辰之后，新聞?dòng)浾咚髂岷妥骷摇⒄螌W(xué)家古德曼為好奇的讀者獻(xiàn)上了關(guān)于這位最謙遜的數(shù)學(xué)家香農(nóng)的更多故事。

香農(nóng)最多產(chǎn)的時(shí)期是1940至1955年前后，期間他在曼哈頓的貝爾實(shí)驗(yàn)室（后來(lái)搬到了新澤西的默里山）。第二次世界大戰(zhàn)期間，他開(kāi)展各種涉及電子學(xué)和密碼學(xué)的研究項(xiàng)目。不過(guò)，香農(nóng)經(jīng)久不衰的聲譽(yù)主要是建立在他那篇?jiǎng)潟r(shí)代的論文《通信的數(shù)學(xué)理論》（A Mathematical Theory of Communication），1948年發(fā)表于《貝爾系統(tǒng)技術(shù)雜志》（Bell System Technical Journal），1963年由伊利諾伊大學(xué)出版社再版。

在這篇短小精悍的論文中，香農(nóng)思考了沿著有噪聲的信道傳輸數(shù)字?jǐn)?shù)據(jù)（也就是0和1組成的數(shù)列）的問(wèn)題。那時(shí)，很多人都認(rèn)為要增加信息傳輸速率，只需增加信源的功率。在貝爾實(shí)驗(yàn)室兩位同事哈里·奈奎斯特（Harry Nyquist）和拉爾夫·哈特利（Ralph Hartley）前期工作的基礎(chǔ)上，香農(nóng)表明，實(shí)際上任何信道的信息傳輸速率都存在一個(gè)最大值。假設(shè)信道干擾是由白噪聲造成的，香農(nóng)給出了一個(gè)由帶寬和信噪比計(jì)算出最大信息傳輸速率的簡(jiǎn)便公式。用這個(gè)公式計(jì)算出來(lái)的信息傳輸速率是一個(gè)銳利的極值，意味著我們可以無(wú)限逼近這個(gè)極值，卻永遠(yuǎn)無(wú)法超越這個(gè)極值。

任何數(shù)據(jù)傳輸都難免出錯(cuò)——隨機(jī)地把0接收成了1，或是反之。香農(nóng)表明，如果信息傳輸速率小于最大值，那么就存在發(fā)送數(shù)據(jù)（通過(guò)對(duì)傳輸進(jìn)行編碼）的方法，能讓出錯(cuò)的概率任意小。不過(guò)，找到這種代碼的工作則留給那些接過(guò)這一挑戰(zhàn)的人。如今，從錄制音樂(lè)到探測(cè)器向地球傳回火星照片，很多數(shù)字任務(wù)都使用了建立在香農(nóng)定理基礎(chǔ)上的數(shù)據(jù)壓縮算法。

雖然“信息”一詞語(yǔ)義學(xué)上的詞義時(shí)過(guò)境遷，但是對(duì)“信息”的抽象闡釋才是香農(nóng)信息論的核心。滿(mǎn)足某個(gè)特定規(guī)則（比如，0不能緊跟在0后面）的任何0和1組成的字符串都是可以接受的。于是，英語(yǔ)單詞可以通過(guò)這種方式進(jìn)行通信——把不同的0和1組成的字符串分配給每個(gè)字母（包括把空格作為一個(gè)額外的字母）。

誠(chéng)如香農(nóng)觀察到的，我們的語(yǔ)言中存在一定量的冗余。比如，你可以讀懂這個(gè)句子，但是，正如索尼和古德曼在傳記中所傳達(dá)的，香農(nóng)也觀察到大多數(shù)人讀懂這個(gè)簡(jiǎn)寫(xiě)的句子“MST PPL HV LTTL DFFCLTY N RDNG THS SNTNC”幾乎都沒(méi)有困難——這是任何人發(fā)送文本信息時(shí)都熟悉的情況。香農(nóng)給出了一則信息中所傳輸?shù)男畔⒘康亩x。然后，他定義了信息中排除冗余后的平均信息量，他稱(chēng)之為“信息熵”。比如，如果我們限定自己所知的均是由0和1組成的信息，那么，一個(gè)信源如果只能產(chǎn)生1，則信息熵為0；如果一個(gè)信源以擲硬幣的方式產(chǎn)生0和1（即0和1出現(xiàn)的概率分別是0.5），則具有可能的最大信息熵。

索尼和古德曼講述了關(guān)于香農(nóng)選擇“信息熵”一詞的著名故事。數(shù)學(xué)家馮·諾依曼指出，香農(nóng)的“熵”概念與數(shù)十年來(lái)熱力學(xué)中一直使用的“熵”概念有著不可思議的相似性。“你應(yīng)該把你的概念稱(chēng)為‘熵’，有兩個(gè)原因，”馮·諾依曼向香農(nóng)建議，“首先，你的不確定性函數(shù)已經(jīng)以那個(gè)名字用在了統(tǒng)計(jì)力學(xué)中，所以它已經(jīng)有一個(gè)名字了。其次，而且更為重要的是，沒(méi)有人知道‘信息熵’究竟是什么，所以，你將總是在爭(zhēng)論中占上風(fēng)。”

“幾乎可以肯定，這樣的對(duì)話(huà)以前從未發(fā)生過(guò)。”兩位傳記作者堅(jiān)稱(chēng)，盡管有質(zhì)疑的聲音在別處回響。不過(guò)，在1971年與工程師邁倫·特里布斯（Myron Tribus）的會(huì)談中，香農(nóng)本人對(duì)這個(gè)故事的敘述與傳記作者如出一轍。姑且不論這個(gè)故事真實(shí)與否，香農(nóng)對(duì)熱力學(xué)術(shù)語(yǔ)“熵”的借用，激起了學(xué)術(shù)界關(guān)于信息論和熱力學(xué)之間深層關(guān)聯(lián)的富有成效的討論。從事概率論和動(dòng)力系統(tǒng)領(lǐng)域研究的數(shù)學(xué)家后來(lái)聽(tīng)說(shuō)了香農(nóng)對(duì)“信息熵”的定義，發(fā)現(xiàn)他們可以對(duì)“熵”這個(gè)概念進(jìn)行拓展，然后有效地運(yùn)用到自己的研究工作中。不難想象，馮·諾依曼這位20世紀(jì)最偉大的數(shù)學(xué)大師之一，在向香農(nóng)提建議時(shí)，早已預(yù)見(jiàn)到了“信息熵”這一概念后來(lái)的一些發(fā)展了。

人們總是難以抗拒誘惑，去回顧天才的早年生活，從中搜尋那些預(yù)示著天才將來(lái)之偉大的吉光片羽。不過(guò)，在香農(nóng)的例子中，我們鮮有發(fā)現(xiàn)天才的早年指征。我們?cè)趥饔浿凶x到，香農(nóng)贏得了3年級(jí)感恩節(jié)故事寫(xiě)作比賽并且在學(xué)校的音樂(lè)劇中吹奏中音號(hào)。他喜歡造東西、修東西，像很多20世紀(jì)20年代的少年一樣，尤其喜歡搗鼓收音機(jī)。他覺(jué)得數(shù)學(xué)很容易，喜歡數(shù)學(xué)具有競(jìng)爭(zhēng)性的方面，但是沒(méi)有證據(jù)表明香農(nóng)具有超常的數(shù)學(xué)能力。

同樣，香農(nóng)的大學(xué)經(jīng)歷也鮮有跡象預(yù)示他的卓越才能。他就讀于密歇根大學(xué)，獲得了數(shù)學(xué)和電氣工程雙學(xué)士學(xué)位，當(dāng)選榮譽(yù)組織Phi Kappa Phi和Sigma Xi的會(huì)員。對(duì)于《美國(guó)數(shù)學(xué)月刊》（American Mathematical Monthly）上刊登的數(shù)學(xué)問(wèn)題，他發(fā)表了兩個(gè)解法，該期刊是同時(shí)面向?qū)W生和教師的闡述性期刊。香農(nóng)的這些才能值得稱(chēng)贊，可無(wú)疑并非罕見(jiàn)的才能。可惜，我們不知道香農(nóng)的老師是誰(shuí)，也不知道他在密歇根大學(xué)上過(guò)哪些數(shù)學(xué)和科學(xué)課程。這些信息本來(lái)可以幫助我們預(yù)測(cè)香農(nóng)之天才的第一道閃光——他于1937年完成的碩士學(xué)位論文。

運(yùn)氣可以說(shuō)是名人履歷中的一個(gè)標(biāo)準(zhǔn)要素，對(duì)于香農(nóng)來(lái)說(shuō)，運(yùn)氣的降臨是在他讀碩士研究生期間。1936年春天，他注意到公告板上粘貼的一張打印的廣告——麻省理工學(xué)院（MIT）招募一個(gè)研究生助教，職責(zé)是運(yùn)行一臺(tái)微分分析器，這種機(jī)械計(jì)算機(jī)是用來(lái)解微積分方程的。1876年，這種模擬計(jì)算機(jī)就已經(jīng)誕生了，不過(guò)MIT的這臺(tái)微分分析器同時(shí)還有一些數(shù)字部件，是第一臺(tái)能用于一般應(yīng)用的模擬計(jì)算機(jī)。最終，它能解有18個(gè)獨(dú)立變量的微分方程。它的發(fā)明者是哈羅德·黑曾（Harold Hazen）和萬(wàn)尼瓦爾·布什（Vannevar Bush）。“我很努力地爭(zhēng)取這份工作，最終得到了它，”香農(nóng)回憶，“那是我一生中遇到的最幸運(yùn)的事情之一。”

萬(wàn)尼瓦爾·布什是美國(guó)科學(xué)史上的一位偉人。他于1919年加盟MIT的電氣工程系，3年后創(chuàng)立了一家軍用物資供應(yīng)企業(yè)，現(xiàn)名為雷神公司。1941年，布什幫助說(shuō)服羅斯福總統(tǒng)開(kāi)始制造原子彈，并在原子彈研制中發(fā)揮領(lǐng)導(dǎo)作用。在MIT，布什賞識(shí)香農(nóng)的才華，認(rèn)真為香農(nóng)的職業(yè)生涯考慮，指導(dǎo)香農(nóng)直到研究生畢業(yè)，而后進(jìn)入貝爾實(shí)驗(yàn)室工作。

香農(nóng)的碩士學(xué)位論文《繼電器與開(kāi)關(guān)電路的符號(hào)分析》（A Symbolic Analysis of Relay and Switching Circuits）被認(rèn)為是有史以來(lái)最重要的碩士論文。這篇論文完成于1937年，運(yùn)用英國(guó)邏輯學(xué)家喬治·布爾（George Boole）100年前提出的概念來(lái)簡(jiǎn)化構(gòu)成電路網(wǎng)絡(luò)的繼電器排列。香農(nóng)的符號(hào)系統(tǒng)優(yōu)美又實(shí)用，為現(xiàn)代數(shù)字電路設(shè)計(jì)奠定了基礎(chǔ)。大多數(shù)數(shù)學(xué)家在離散數(shù)學(xué)課上教授布爾代數(shù)在電路中的應(yīng)用時(shí)，并沒(méi)有意識(shí)到他們傳授的其實(shí)是香農(nóng)論文中的思想。50多年后，香農(nóng)淡化了他的發(fā)現(xiàn)的意義。“只不過(guò)是碰巧當(dāng)時(shí)沒(méi)有其他人同時(shí)熟悉這兩個(gè)領(lǐng)域，”他告訴一位采訪者，并補(bǔ)充說(shuō)，“而我一直很喜歡‘布爾’這個(gè)詞。”

布什不但善于判斷人的才智，而且對(duì)人的性情有著精明的觀察。他本來(lái)可能為自己的新門(mén)生擔(dān)心，因?yàn)橄戕r(nóng)在大學(xué)2年級(jí)時(shí)失去了父親，而且之后不久由于某種原因與母親不再講話(huà)。于是，布什鼓勵(lì)香農(nóng)在冷泉港實(shí)驗(yàn)室研習(xí)，把布爾代數(shù)應(yīng)用到孟德?tīng)栠z傳學(xué)中。在那里，香農(nóng)由富有同情心的心理學(xué)家芭芭拉·伯克斯（Barbara Stoddard Burks）監(jiān)管，伯克斯對(duì)天才的遺傳學(xué)感興趣，尤其熱衷研究遺傳和環(huán)境的問(wèn)題。冷泉港實(shí)驗(yàn)室的遺傳學(xué)記錄辦公室有超過(guò)25年的數(shù)據(jù)供香農(nóng)深思細(xì)想。不到一年時(shí)間，香農(nóng)就已經(jīng)學(xué)會(huì)了足夠多的遺傳學(xué)知識(shí)，來(lái)完成他的博士學(xué)位論文《理論遺傳學(xué)的代數(shù)學(xué)》（An Algebra for Theoretical Genetics），這是一篇精妙的卻過(guò)于理論化的論文，對(duì)遺傳學(xué)家來(lái)說(shuō)借鑒意義不大。香農(nóng)的這段經(jīng)歷證實(shí)了布什和伯克斯的一致看法：香農(nóng)是一個(gè)天才，他能快速掌握一個(gè)新學(xué)科的知識(shí)，并從中創(chuàng)造出有意義的數(shù)學(xué)。不過(guò)，香農(nóng)對(duì)自己的這項(xiàng)研究工作卻不太看重。他逃離了遺傳學(xué)這個(gè)領(lǐng)域，并且從未想過(guò)要出版自己的這篇博士學(xué)位論文。若干年后，他自黑地評(píng)論道，“有幾年，我曾愉快地充當(dāng)一位遺傳學(xué)家。”

獲得博士學(xué)位后，香農(nóng)在貝爾實(shí)驗(yàn)室度過(guò)了一個(gè)暑假，在普林斯頓高等研究院工作了一年，最終回到貝爾實(shí)驗(yàn)室找到了全職工作。

香農(nóng)很幸運(yùn)地正值美國(guó)大力資助研發(fā)事業(yè)的時(shí)期在貝爾實(shí)驗(yàn)室工作。他的才華使他有資格享受今天看起來(lái)似乎不可能的科研自由，現(xiàn)在國(guó)際競(jìng)爭(zhēng)激烈，股東要求快速盈利，科研人員很難享有完全的科研自由。以他特有的謙虛，香農(nóng)有一次向貝爾實(shí)驗(yàn)室的一位管理者承認(rèn)，“我總感覺(jué)，我在實(shí)驗(yàn)室享有的自由似乎是實(shí)驗(yàn)室對(duì)我的一種特別的厚愛(ài)。”

受到變換工作環(huán)境和學(xué)術(shù)生涯相對(duì)安穩(wěn)的誘惑，香農(nóng)于1958年接受MIT提供的職位，于1978年退休。伴隨香農(nóng)這么久的好運(yùn)氣終于在20世紀(jì)80年代離他而去，那時(shí)香農(nóng)開(kāi)始表現(xiàn)出患上阿爾茨海默氏癥的跡象。2001年，香農(nóng)因病去世。

《游戲之心》是一本由香農(nóng)的兩位崇拜者娓娓道來(lái)的有愛(ài)的傳記，尤其擅長(zhǎng)講述為其主人公增添魅力的很多故事。香農(nóng)是一位富有創(chuàng)造力的“修理匠”，具有獨(dú)一無(wú)二的幽默感，他發(fā)明了很多稀奇古怪而且有趣的設(shè)備，在傳記中都得到了描述，包括電動(dòng)彈簧單高蹺、火箭動(dòng)力飛盤(pán)、雜耍機(jī)、用羅馬數(shù)字運(yùn)算的計(jì)算機(jī)，以及繼電器控制的機(jī)器鼠，它會(huì)闖迷宮并記住自己走過(guò)的路線。香農(nóng)發(fā)明的所謂“終極機(jī)器”吸引了到訪貝爾實(shí)驗(yàn)室的科幻作家阿瑟·C·克拉克。在其1958年的作品《越洋之聲》（Voice across the Sea）中，克拉克有一段關(guān)于該機(jī)器操作的描述：當(dāng)你打開(kāi)開(kāi)關(guān)，會(huì)聽(tīng)到憤怒的意味深長(zhǎng)的蜂鳴聲，蓋子緩緩打開(kāi)，從里面伸出一只手，向下摸索關(guān)掉開(kāi)關(guān)，然后退回到盒子中。盒子最終合上后，蓋子砰地關(guān)上，蜂鳴聲停止，一切重歸寂靜。

當(dāng)提到數(shù)學(xué)時(shí)，《游戲之心》有點(diǎn)不太成功。例如，關(guān)于香農(nóng)的“色彩編碼定理”和哈特利的信息公式的結(jié)論都敘述有誤。作者用拋硬幣的比方來(lái)描述香農(nóng)的信息熵，令人欽佩，但是他們就此打住，并沒(méi)有進(jìn)一步解釋更普遍的信息源的信息熵問(wèn)題。讀者倘若希望了解香農(nóng)的研究工作的細(xì)節(jié)，最好去讀香農(nóng)的論文，這些論文寫(xiě)得很好，而且在網(wǎng)上可以免費(fèi)獲取。

比技術(shù)方面的小失誤更令人苦惱的是作者關(guān)于《通信的數(shù)學(xué)理論》一文發(fā)表后所受非難的討論。在引用概率學(xué)家約瑟夫·杜布（Joseph Doob）在一次采訪中的尖銳評(píng)論后，作者想象了純數(shù)學(xué)家結(jié)成陰謀來(lái)責(zé)備香農(nóng)的應(yīng)用研究。當(dāng)然，香農(nóng)給出的定義和證明并非總是完整的、正確的。例如，前文談到的，香農(nóng)關(guān)于通過(guò)編碼最優(yōu)化利用有噪聲信道的定理，最終被埃米爾·范斯坦（Amiel Feinstein）于1954年證明，所以如今被稱(chēng)為香農(nóng)-范斯坦定理。從過(guò)去到現(xiàn)在，數(shù)學(xué)界仍然持續(xù)運(yùn)用和推崇香農(nóng)的研究成果。發(fā)表了杜布對(duì)香農(nóng)可笑評(píng)論的《數(shù)學(xué)評(píng)論》（Mathematical Reviews）就收錄了2 000多篇提到香農(nóng)的信息熵的評(píng)論文章。

香農(nóng)所做的不僅僅是開(kāi)辟了信息論的嶄新領(lǐng)域，還示范了把充滿(mǎn)熱情的探究和對(duì)玩世不恭的喜愛(ài)結(jié)合起來(lái)會(huì)取得何種成就。《游戲之心》是一本令人愉快的傳記，把我們和克勞德·香農(nóng)獨(dú)一無(wú)二的心靈聯(lián)結(jié)在一起。