張拳石：懷揣敬畏之心走向深度學(xué)習(xí)

李明麗

“在時代的巨浪下，deep learning（深度學(xué)習(xí)）未來將向哪里發(fā)展？我不知道。我只能帶著一顆敬畏的心，摸著石頭過河，邊走邊瞧。”這是上海交通大學(xué)張拳石初次接觸深度學(xué)習(xí)時的心境，如今，深度學(xué)習(xí)的方向他已經(jīng)找到，但是敬畏之心一直未變。

抉擇時刻

弗羅斯特在《未選擇的路》中寫道：一片樹林里分出兩條路，而我選擇了人跡更少的一條，從此決定了我一生的道路。這句話可以算作張拳石科研生活的真實寫照。

張拳石與兒子合影

2012年，張拳石在日本東京大學(xué)攻讀博士學(xué)位，那一年，國際著名深度學(xué)習(xí)專家——辛頓帶領(lǐng)團隊參加了世界著名的ImageNet 圖像識別大賽，將錯誤率大幅下降到15.3%，而排名第二的模型，錯誤率則高達26.2%，這個對比讓整個人工智能領(lǐng)域都為之沸騰。此后一段時間內(nèi)，學(xué)術(shù)界和工業(yè)界都開啟了深度學(xué)習(xí)的浪潮。

2015年，深度學(xué)習(xí)研究如火如荼，然而，他的博士后合作導(dǎo)師朱松純的一句話，卻讓張拳石感覺當(dāng)頭棒喝，朱松純說：“深度學(xué)習(xí)已死。”盡管很多人對深度學(xué)習(xí)有種種擔(dān)心，但是在2015年深度學(xué)習(xí)風(fēng)頭正勁的年代，不是每個人都敢說這樣的話的，因為無論是從深度學(xué)習(xí)2015年前的勢頭還是2015年之后的輝煌來看，深度學(xué)習(xí)都絕對和“死亡”沾不上邊。

外行看熱鬧，但身處洪流之中，張拳石卻比常人更清楚表面背后的危機——首先，深度學(xué)習(xí)的出現(xiàn)，可以實現(xiàn)用一個簡單的算法解決所有不同難題的愿景。從整個AI發(fā)展歷史來看，確實是一個了不起的進展，但是，技術(shù)手段的單一化，也讓學(xué)科發(fā)展受到很大的限制，學(xué)科研究進入瓶頸。其次，理論和應(yīng)用嚴(yán)重脫節(jié)，很多傳統(tǒng)理論對深度學(xué)習(xí)的解釋，建立在不切實際的假設(shè)上，這就讓傳統(tǒng)理論研究進入一個非常尷尬的境地。傳統(tǒng)的理論在解釋深度學(xué)習(xí)方面陷入了極大的困境，無論從知識表征角度，還是從表達能力的角度，深度學(xué)習(xí)都缺乏可靠的解釋。深度學(xué)習(xí)的巨大成功帶給人的是更大的迷茫：沒有系統(tǒng)性解釋和建模，只有經(jīng)驗，未來何去何從。

張拳石認為，必須改變研究方向，否則，深度學(xué)習(xí)的邊界一定會到來。“從2012年到2015年，深度學(xué)習(xí)的論文迎來大爆發(fā)，整個領(lǐng)域研究非常火熱，而且不斷有重大的突破和驚艷的方法涌現(xiàn)，但是對很多問題的理解本質(zhì)上沒有突破2012年的認知范疇。你今天可以在這個層面發(fā)文章，但如果5年、10年后還是在這個層面發(fā)展，那整個領(lǐng)域就止步不前，看不到希望了。”

“希望人工智能應(yīng)該像過去一樣，持續(xù)指數(shù)爆炸地發(fā)展，而不是像物理化學(xué)等傳統(tǒng)學(xué)科漸漸平淡下去。”這句話本身沒有什么科學(xué)道理，但這是這一代學(xué)者的寄托和追求。

然而，放棄一個如火如荼的領(lǐng)域，也并不容易。最明顯的阻礙比如說，熱門領(lǐng)域的研究論文中稿率很高，這對未來的職位晉升有好處，但是繼續(xù)在深度學(xué)習(xí)內(nèi)注水發(fā)論文，也意味著放棄自己的職業(yè)道德。所以，這不僅是一個智商層面的考慮，還有一個道德上的讓步。

也許有人說，轉(zhuǎn)入新領(lǐng)域，耕耘無人區(qū)，不是更容易出成果嗎？然而事實卻并非如此。張拳石不無感慨地說：“從2015年至今，很多人立足當(dāng)下往后看，發(fā)現(xiàn)舉目四望，沒有方向，深度學(xué)習(xí)未來的突破口在哪，根本不知道。”重重的難題擺在面前，到底是選擇留在舒適區(qū)，還是突破自己，為行業(yè)考慮，張拳石選擇了后者，從此在人跡更少的那條路上，開啟了探索征程。

拓荒前行

深度學(xué)習(xí)當(dāng)前處于百家爭鳴沒有定論的階段，想找一條適合研究的路并不容易。博士后研究期間，張拳石花費了兩年時間，最終找到了可解釋性方向。為什么要研究這個方向？

張拳石說：神經(jīng)網(wǎng)絡(luò)就像一個黑盒模型，解釋性較弱，算法無法對特定任務(wù)給出清晰的概括，而在諸如自動駕駛、醫(yī)療和金融等決策“高風(fēng)險”領(lǐng)域，利用深度學(xué)習(xí)進行重大決策時，往往需要知曉算法所給出結(jié)果的依據(jù)，因此，透明化深度學(xué)習(xí)的“黑盒子”，使其具有可解釋性，具有重要意義。

盡管有重大意義，但是目前可解釋性領(lǐng)域的研究，依然停留在表面，其深度遠遠不足以支撐起“改造深度學(xué)習(xí)”的愿景，而且這個研究方向充滿風(fēng)險。在可解釋性研究這個大方向里，研究人員很少，而且根本沒有參考經(jīng)驗，所有研究者都在蹚路。有業(yè)內(nèi)人士稱：這個方向有可能5年、10年后能走通，但是走不通，也有可能。

在知乎“深度學(xué)習(xí)可解釋性方向的研究是不是巨坑？”的問題下，張拳石認真地回答說：“或許跳坑是科研的本分吧。從學(xué)科發(fā)展來看，只有這些坑才是真正值得去做的問題。”

在確定深度學(xué)習(xí)的出口后，張拳石開始在可解釋性方向上策馬狂奔，并試圖在深度學(xué)習(xí)可解釋性方向上搭起框架。在對神經(jīng)網(wǎng)絡(luò)進行語義層面的解釋、解構(gòu)和建模方面，他嘗試打通神經(jīng)網(wǎng)絡(luò)表達與符號化語義圖模型表達的壁壘，在沒有額外語義標(biāo)注的前提下，將面向視覺任務(wù)的神經(jīng)網(wǎng)絡(luò)中的層次化信息處理結(jié)構(gòu)，轉(zhuǎn)化為可解釋的語義圖模型。在對神經(jīng)網(wǎng)絡(luò)表達能力的解釋和建模層面，他提出對神經(jīng)網(wǎng)絡(luò)單詞/像素信息遺忘的統(tǒng)一量化標(biāo)準(zhǔn)，實現(xiàn)對神經(jīng)網(wǎng)絡(luò)表達能力的跨層、跨網(wǎng)絡(luò)、跨應(yīng)用的公平比較；提出對神經(jīng)網(wǎng)絡(luò)中層特征中所建模的概念的一般性定義和中層概念量化算法，實現(xiàn)了在概念層面對神經(jīng)網(wǎng)絡(luò)表達能力的解釋；定義并量化了兩個神經(jīng)網(wǎng)絡(luò)中層表征的知識同構(gòu)性，并基于知識同構(gòu)性指標(biāo)，提出解釋神經(jīng)網(wǎng)絡(luò)表達能力的一般性算法。

最終，張拳石發(fā)展了博弈交互理論，沿著可解釋性方向，做出了一系列工作，試圖將“知識意義層面對神經(jīng)網(wǎng)絡(luò)的解釋”和“對神經(jīng)網(wǎng)絡(luò)表達能力的分析”在同一個框架下統(tǒng)一起來。另一方面，針對深度學(xué)習(xí)領(lǐng)域中“神農(nóng)嘗百草”式直覺性算法的各自為戰(zhàn)的現(xiàn)狀，張拳石希望挖掘不同算法中公共成分，去蕪存菁，提煉出其內(nèi)在真正有效的算法機理。

今天的人工智能能夠取得如此輝煌的進步，在很大程度上要歸功于深度學(xué)習(xí)對傳統(tǒng)任務(wù)的性能提升。但是，可解釋性也是捆綁深度學(xué)習(xí)發(fā)展的一道“枷鎖”，所以，要想加快人工智能的發(fā)展，必須先重視深度學(xué)習(xí)可解釋性方向，解決其面臨的難題。張拳石說：“我們的最終目標(biāo)，就是盡量讓深度學(xué)習(xí)變成一門科學(xué)，而不是一項經(jīng)驗性的技術(shù)，未來也許我不一定能做出來，但是我會朝著這個目標(biāo)，一年一年地努力。”