著力構(gòu)建可解釋性模型

當人工智能（AI）機器人為你診斷疾病，你是否信任它的判斷？當用AI模型來預測蛋白質(zhì)的復雜結(jié)構(gòu)，你能否理解其預測邏輯？如今，AI已經(jīng)融入生活的方方面面，一個問題顯得愈發(fā)關鍵：如何讓人們理解并信任AI輸出的結(jié)果。

構(gòu)建可解釋性模型是解決這一難題的重要途徑。正如中國科學院院士張鈸所言，如果不能建立可解釋的AI理論，就會無法解決人們對AI技術(shù)的困惑和誤解，這也將限制AI技術(shù)的發(fā)展。

什么是可解釋性模型？它如何幫助人們理解AI？構(gòu)建可解釋性模型有哪些技術(shù)路徑？筆者日前就上述問題采訪了相關專家。

“看清”決策過程

“可解釋性模型是指能夠幫助人們理解其預測或決策過程的模型。可解釋性意味著模型的運行邏輯和預測結(jié)果對人類是透明且易于理解的。”中國科學技術(shù)大學人工智能與數(shù)據(jù)科學學院教授王翔解釋道。

王翔認為，可解釋性模型應當具有四個重要特性。一是透明性，可解釋性模型需要提供清晰的決策依據(jù)，讓人們能“看清”模型根據(jù)輸入數(shù)據(jù)做決定的全過程；二是一致性，可解釋性模型的解釋需要與人類已有知識一致，不與已知規(guī)律矛盾，例如醫(yī)療AI的診斷解釋應與醫(yī)學標準一致；三是語義性，可解釋性模型的解釋方式應易于理解，能通過自然語言或圖示化形式呈現(xiàn)；四是因果性，可解釋性模型能夠明確說明驅(qū)動其預測的關鍵輸入特征，用戶能夠通過調(diào)整輸入數(shù)據(jù)，觀察模型輸出的變化，從而驗證預測結(jié)果的可靠性和模型的局限性。

在AI影響力持續(xù)提升的今天，構(gòu)建可解釋性模型成了一項極為重要的任務。王翔認為，可解釋性模型不僅能提升用戶對AI系統(tǒng)的信任度，還有助于提升全社會對AI的接受程度，推動其在各領域廣泛應用。

“可解釋性模型還可以促進AI的公平性和倫理性，避免出現(xiàn)偏見或歧視。對于開發(fā)者來說，可解釋性模型能提高AI的調(diào)試和優(yōu)化能力，幫助開發(fā)者更好地理解和改進模型。可解釋性模型也有助于提升AI安全性，能幫助監(jiān)管機構(gòu)和政策制定者更清楚了解AI技術(shù)，確保技術(shù)應用符合法律和倫理框架。”王翔補充說。

探索兩種路徑

事實上，并不是所有的模型都難以理解。王翔介紹，對于結(jié)構(gòu)較為簡單、透明的模型，例如線性回歸或決策樹等，人們往往能夠直接理解輸入與輸出之間的關系。而對于復雜、高性能的神經(jīng)網(wǎng)絡模型來說，則需要借助相應的方法或工具來提高可解釋性。

目前，提升模型可解釋性的技術(shù)路徑主要分為內(nèi)在可解釋性方法和事后可解釋性方法。

內(nèi)在可解釋性方法是在模型設計階段就融入可解釋性需求，通過構(gòu)建天然具備解釋能力的模型，使其決策過程透明、直觀。例如，深度學習模型中的注意力機制就是一種常見的內(nèi)在可解釋性技術(shù)，它通過顯示模型關注的區(qū)域，幫助用戶理解模型的行為。“透明性和實時性是內(nèi)在可解釋性方法的優(yōu)勢。這種方法特別適合對解釋性要求高且需要快速響應的場景，如醫(yī)療診斷或金融決策。”王翔說。

事后可解釋性方法則是在模型訓練完成后，通過外部工具或算法分析模型的決策過程，無需修改模型本身。王翔介紹，事后可解釋性方法的最大優(yōu)勢在于靈活性，它幾乎適用于任何復雜的“黑箱”模型，但計算成本通常較高，尤其是單樣本解釋可能需要多次模型評估，不適合實時性要求高的場景。此外，事后可解釋性方法僅能輔助分析模型行為，無法深入影響或改變模型本身的結(jié)構(gòu)。

提升可解釋性

在提升模型可解釋性方面，學界正在積極進行探索。例如，王翔團隊致力于建立可信賴的圖基礎模型。圖基礎模型是能夠處理和分析各種復雜圖數(shù)據(jù)的數(shù)學模型，它要處理的圖數(shù)據(jù)可以是社交網(wǎng)絡中的朋友關系、生物中蛋白質(zhì)之間的相互作用、通信網(wǎng)絡中的設備連接，甚至是人類大腦中的神經(jīng)元連接等。傳統(tǒng)的圖神經(jīng)網(wǎng)絡通常通過聚合節(jié)點特征和拓撲結(jié)構(gòu)信息進行學習，但實際圖數(shù)據(jù)中往往包含冗余或噪聲信息，這可能導致模型捕獲與任務無關的特征。王翔團隊提出了一種基于因果的內(nèi)在可解釋架構(gòu)（DIR），有效剔除了干擾因素，保留了因果特征，大幅提升了模型的透明度和魯棒性。

產(chǎn)業(yè)界的探索也取得了進展。例如，螞蟻集團聯(lián)合清華大學發(fā)布的AI安全檢測平臺“蟻鑒2.0”融入了可解釋性檢測工具。綜合AI技術(shù)和專家知識，通過可視化、邏輯推理、因果推斷等技術(shù)，“蟻鑒2.0”從完整性、準確性、穩(wěn)定性等7個維度及20余項評估指標，對AI系統(tǒng)的解釋質(zhì)量進行量化分析，幫助用戶更清晰驗證與優(yōu)化可解釋方案。

商湯科技推出的自動駕駛大模型DriveMLM，則可以根據(jù)輸入的信息給出自動駕駛每一步?jīng)Q策和操作時背后的邏輯和推理的原因，能夠以自然語言解釋自動駕駛的行為。也就是說，人們只需將圖像、激光雷達信息、交通規(guī)則甚至是乘客需求“一股腦”丟給大模型，它就能給出駕駛方案，并解釋為什么要這么開。商湯科技聯(lián)合創(chuàng)始人王曉剛說，自動駕駛的挑戰(zhàn)之一就是AI模型的可解釋性不高，決策過程難以被人們理解，增強AI模型的可解釋性能推動自動駕駛技術(shù)進一步發(fā)展和普及。

仍存技術(shù)難題

行業(yè)在構(gòu)建可解釋性模型上取得一定進展，但仍存在不少技術(shù)難點，需要研究人員進一步攻克。

首先，隨著大模型性能、參數(shù)不斷提升，其內(nèi)部結(jié)構(gòu)的復雜程度也在增加，這使得大模型內(nèi)部決策機理變得越發(fā)難以理解，如何實現(xiàn)高度復雜模型的可解釋性是重要問題。

其次，通常情況下，模型性能越強，可解釋性就會越差，如何在模型的性能和可解釋性之間找到合適平衡點，也是亟待解決的問題。王翔認為，未來，開發(fā)新的可解釋性算法或?qū)⒊蔀橹匾l(fā)展方向之一，新算法可以結(jié)合深度學習和邏輯推理等多種路徑，實現(xiàn)模型高性能與解釋性的更好平衡。

最后，目前沒有統(tǒng)一標準來衡量模型的可解釋性，如何準確評估并提升模型的解釋性仍然是開放問題。“可以通過跨學科合作，結(jié)合認知科學、心理學等領域知識，共同定義和量化解釋的標準，提高模型的可解釋性。”王翔建議。