“大語(yǔ)言模型”多人談

迫切需要探索大語(yǔ)言模型的語(yǔ)言與知識(shí)機(jī)理

韓先培（中國(guó)科學(xué)院軟件研究所） 大模型是當(dāng)前人工智能研究的最前沿，正逐漸成為信息產(chǎn)業(yè)的重要基礎(chǔ)設(shè)施。但是，大模型雖然在寫作、推理、規(guī)劃、數(shù)學(xué)、代碼等諸多領(lǐng)域都展現(xiàn)出了強(qiáng)大甚至比肩人類的能力，卻經(jīng)常出現(xiàn)內(nèi)容幻覺、價(jià)值觀錯(cuò)位、歧視偏見等問題。應(yīng)該如何解決這一難題？

首先，要加強(qiáng)對(duì)大模型內(nèi)部語(yǔ)言和知識(shí)機(jī)理的研究，實(shí)現(xiàn)對(duì)大模型的深入理解，從原理上保障大模型的可靠性?，F(xiàn)有的各種大模型能力評(píng)測(cè)，大多把大模型看成一個(gè)黑箱，從外部行為評(píng)估大模型的能力，容易受到數(shù)據(jù)選擇、指標(biāo)設(shè)計(jì)、提示方案等因素的影響。而大模型機(jī)理研究把大模型看成一個(gè)白箱，分析不同大模型能力的內(nèi)部過程，建立相應(yīng)的因果機(jī)制和理論，從而實(shí)現(xiàn)更深層次的理解。當(dāng)然，大模型機(jī)理研究面臨諸多挑戰(zhàn)，特別是大規(guī)模參數(shù)化表征以及核心過程（如預(yù)訓(xùn)練、指令微調(diào)、人類反饋強(qiáng)化學(xué)習(xí)）的復(fù)雜動(dòng)態(tài)特性，這迫切需要研究人員發(fā)展出新的機(jī)理分析方法、工具和支撐資源。

其次，要將大模型作為審視語(yǔ)言、知識(shí)與智能機(jī)理的新視角。傳統(tǒng)的智能機(jī)理研究往往以人為研究對(duì)象，并通過心理學(xué)、認(rèn)知科學(xué)、神經(jīng)科學(xué)和計(jì)算科學(xué)等領(lǐng)域的方法來探索大腦的工作原理。大模型是人類之外又一個(gè)呈現(xiàn)出智能的對(duì)象，且這個(gè)智能對(duì)象的內(nèi)部參數(shù)和活動(dòng)過程完全可控制可觀測(cè)，這為語(yǔ)言、知識(shí)和智能機(jī)理的理解和研究提供了新的途徑、方法和機(jī)遇。

最后，要研究大模型對(duì)人類社會(huì)語(yǔ)言和知識(shí)生態(tài)的影響，及其背后的成因和機(jī)制，并采取相應(yīng)的干預(yù)手段。舉例來說，我們最近發(fā)現(xiàn)，如果放任大模型自動(dòng)生成的內(nèi)容大量進(jìn)入搜索引擎的文檔庫(kù)，會(huì)逐漸形成一個(gè)“沉默螺旋”過程，并最終導(dǎo)致內(nèi)容多樣性喪失的嚴(yán)重后果。因此，需要構(gòu)建新的研究手段來研究機(jī)器智能和人類智能混合的社會(huì)形態(tài)，分析、模擬和思考機(jī)器智能對(duì)人類社會(huì)的深遠(yuǎn)影響，探索如何規(guī)避和干預(yù)其中的風(fēng)險(xiǎn)，從而讓人工智能真正服務(wù)于社會(huì)效率和人們幸福感的提升。

綜上，關(guān)于大模型，仍有許多語(yǔ)言與知識(shí)謎題需要去探索。一切都剛剛開始，未來有無限可能。

大語(yǔ)言模型知識(shí)認(rèn)知能力的存在問題與提升路徑

李涓子（清華大學(xué)計(jì)算機(jī)系） 知識(shí)工程旨在將知識(shí)集成于計(jì)算機(jī)系統(tǒng)，為復(fù)雜任務(wù)提供解決辦法。大語(yǔ)言模型具有語(yǔ)言理解、推理和問題求解能力，為知識(shí)工程提供了新途徑，成為邁向通用智能的基礎(chǔ)。但大模型當(dāng)前還存在的知識(shí)幻覺和復(fù)雜任務(wù)推理求解能力局限性等問題亟待解決。

知識(shí)評(píng)估是衡量大語(yǔ)言模型知識(shí)認(rèn)知能力的重要手段，需要從知識(shí)內(nèi)容、認(rèn)知能力和知識(shí)評(píng)測(cè)指標(biāo)等多維度系統(tǒng)展開。知識(shí)內(nèi)容評(píng)測(cè)應(yīng)涵蓋大模型訓(xùn)練中已知和不斷演進(jìn)的不同類型的知識(shí)（如概念、實(shí)體、事件及其關(guān)系等）；認(rèn)知能力評(píng)測(cè)應(yīng)用從知識(shí)記憶、理解、應(yīng)用和創(chuàng)造等不同認(rèn)知層次進(jìn)行；而知識(shí)評(píng)測(cè)指標(biāo)則應(yīng)采用系統(tǒng)和標(biāo)準(zhǔn)化指標(biāo)進(jìn)行評(píng)估，以更全面、可靠地評(píng)估大模型的知識(shí)認(rèn)知能力。應(yīng)該研究自動(dòng)評(píng)測(cè)方法，以大模型為考官，解決人在評(píng)測(cè)過程中存在偏見和大模型能力增強(qiáng)后人在評(píng)測(cè)中存在局限性的問題。

當(dāng)前大語(yǔ)言模型在處理復(fù)雜知識(shí)和不完整知識(shí)方面仍然存在挑戰(zhàn)。復(fù)雜知識(shí)挑戰(zhàn)主要表現(xiàn)為知識(shí)結(jié)構(gòu)的復(fù)雜性和知識(shí)表達(dá)的多樣性。大模型難以理解復(fù)雜的知識(shí)結(jié)構(gòu)，如實(shí)體、關(guān)系、事件和概念以及其間的復(fù)雜關(guān)系；同樣的知識(shí)可以通過不用語(yǔ)言形式表達(dá)，大模型也難以處理。在知識(shí)不完整性方面，大模型要能夠利用外部資源，并與內(nèi)部參數(shù)化知識(shí)進(jìn)行整合。這就需要對(duì)大模型獲取外部資源、利用自身大模型中知識(shí)以及處理語(yǔ)言模型內(nèi)知識(shí)與外部知識(shí)沖突能力進(jìn)行系統(tǒng)評(píng)測(cè)。目前評(píng)測(cè)表明，大模型在外部知識(shí)獲取、利用和內(nèi)外部沖突知識(shí)處理方面存在一定的挑戰(zhàn)。

為提升大模型知識(shí)能力，可以思考以下技術(shù)途徑。研究大模型在知識(shí)存儲(chǔ)、推理和結(jié)構(gòu)理解方面的機(jī)理，有助于深入理解其知識(shí)能力；研究神經(jīng)? 符號(hào)推理編程方法，有助于提高大模型解決復(fù)雜密集型知識(shí)和多源融合知識(shí)的處理能力；研究知識(shí)對(duì)齊方法，讓大模型在文本、圖片和視頻的token 級(jí)和patch 級(jí)與知識(shí)元素進(jìn)行有效對(duì)齊，是讓大模型理解現(xiàn)實(shí)世界的關(guān)鍵，可以幫助大模型提高知識(shí)理解、推理和交互能力。

重視大語(yǔ)言模型對(duì)價(jià)值認(rèn)知的重塑，防范國(guó)家意識(shí)形態(tài)相關(guān)風(fēng)險(xiǎn)

劉鵬遠(yuǎn)（北京語(yǔ)言大學(xué)信息科學(xué)學(xué)院） 當(dāng)前，為確保以大語(yǔ)言模型為核心的人工智能按照與人類價(jià)值觀相匹配的方式行事，規(guī)避可能給人類帶來的災(zāi)難性風(fēng)險(xiǎn)，國(guó)內(nèi)外都會(huì)對(duì)大模型進(jìn)行價(jià)值對(duì)齊。因此，要重視價(jià)值對(duì)齊的大模型對(duì)價(jià)值認(rèn)知的重塑，防范國(guó)家意識(shí)形態(tài)相關(guān)風(fēng)險(xiǎn)。

大語(yǔ)言模型能夠生成具有邏輯性和說服力的文本，能夠模擬并反映大模型內(nèi)部的價(jià)值觀、道德觀及文化觀念。在個(gè)人層面，用戶在與大模型及其應(yīng)用的頻繁交互中，會(huì)不自覺地受到其傳遞的價(jià)值觀的影響，甚至?xí)淖冏约涸械膬r(jià)值觀，接受其傳遞的價(jià)值觀，影響自己的決策判斷、行為模式和道德觀念。在社會(huì)層面，基于大模型的各類智能應(yīng)用作為信息傳播的重要工具和推手，會(huì)加速或加強(qiáng)大模型內(nèi)部某些價(jià)值觀的傳播與普及，并引起社會(huì)價(jià)值觀的轉(zhuǎn)變。長(zhǎng)此以往，個(gè)人與社會(huì)的價(jià)值認(rèn)知都將被大模型價(jià)值觀重塑。

重塑價(jià)值認(rèn)知將會(huì)帶來安全風(fēng)險(xiǎn)，尤其是國(guó)家意識(shí)形態(tài)相關(guān)風(fēng)險(xiǎn)。在價(jià)值對(duì)齊的大語(yǔ)言模型重塑的價(jià)值觀與國(guó)家核心價(jià)值體系相悖的情況下，如果重塑的是中國(guó)民眾或社會(huì)的價(jià)值認(rèn)知，則可能影響中國(guó)的意識(shí)形態(tài)安全，影響民眾的國(guó)家認(rèn)同，削弱國(guó)家凝聚力與向心力，加劇社會(huì)內(nèi)部的矛盾與沖突，影響社會(huì)的穩(wěn)定與和諧；還可能為外部勢(shì)力滲透、煽動(dòng)分裂提供可乘之機(jī)，導(dǎo)致社會(huì)動(dòng)蕩、政治沖突甚至民族分裂等嚴(yán)重后果。如果重塑的是外國(guó)民眾或社會(huì)的價(jià)值認(rèn)知，則可能影響中國(guó)的國(guó)家形象和國(guó)際地位，導(dǎo)致中國(guó)在國(guó)際舞臺(tái)上喪失話語(yǔ)權(quán)和影響力，與他國(guó)之間關(guān)系緊張、信任缺失、合作受阻、發(fā)生貿(mào)易戰(zhàn)，陷入外交孤立，進(jìn)一步可能引發(fā)各類實(shí)質(zhì)性沖突。

重視風(fēng)險(xiǎn)，應(yīng)多管齊下，提前布局應(yīng)對(duì)。首先，加強(qiáng)中國(guó)國(guó)產(chǎn)大語(yǔ)言模型的技術(shù)研發(fā)與監(jiān)管，確保其所對(duì)齊的價(jià)值觀符合中國(guó)核心價(jià)值體系與意識(shí)形態(tài)；其次，加強(qiáng)國(guó)際合作，共同制定大模型價(jià)值對(duì)齊的國(guó)際標(biāo)準(zhǔn)，維護(hù)全球意識(shí)形態(tài)安全；最后，主動(dòng)布局，推動(dòng)中國(guó)國(guó)產(chǎn)大模型走向國(guó)際，服務(wù)全球民眾，占領(lǐng)國(guó)際價(jià)值體系與意識(shí)形態(tài)高地。

大語(yǔ)言模型推動(dòng)人工智能的智能涌現(xiàn)

劉知遠(yuǎn)（清華大學(xué)計(jì)算機(jī)系） 大語(yǔ)言模型在神經(jīng)網(wǎng)絡(luò)架構(gòu)Transformer和序列預(yù)測(cè)學(xué)習(xí)方法的支持下，能夠從無標(biāo)注大數(shù)據(jù)中持續(xù)萃取世界知識(shí)，更多知識(shí)在更大模型中的持續(xù)積累產(chǎn)生了智能涌現(xiàn)。以ChatGPT 為代表的大語(yǔ)言模型，可以完成過去需要不同專用小模型才能完成的多種任務(wù)，呈現(xiàn)出與人類通用智能相似的特點(diǎn)；此前普遍認(rèn)為數(shù)據(jù)驅(qū)動(dòng)的機(jī)器學(xué)習(xí)無法習(xí)得的常識(shí)知識(shí)，現(xiàn)在看來也可以通過預(yù)訓(xùn)練技術(shù)學(xué)習(xí)得到。而且，OpenAI 在ChatGPT 的自然語(yǔ)言交互能力之上，持續(xù)賦予大模型更多的交互能力，如2023 年9 月發(fā)布的GPT?4V，具備圖文多模態(tài)交互能力；2024 年5 月發(fā)布的GPT?4o，進(jìn)一步具備了包含語(yǔ)音在內(nèi)的多模態(tài)交互能力。大模型日益具備類人的與外界自主交互的能力，也被稱為“智能體”（agent）。

雖然目前大模型還主要用于完成人類用戶發(fā)出的指令，但這種強(qiáng)大的自然交互能力并不局限于發(fā)生在人類和機(jī)器之間。當(dāng)我們將多模態(tài)大模型裝到物理世界中的機(jī)器人上，就可以作為機(jī)器人的“大腦”感知物理世界并自主規(guī)劃、決策和行動(dòng)。

大模型的自然語(yǔ)言交互能力也可以發(fā)生在機(jī)器和機(jī)器之間，作為信息交流的工具和載體。例如，斯坦福大學(xué)團(tuán)隊(duì)2023 年4 月推出一個(gè)虛擬小鎮(zhèn)，構(gòu)建了25 個(gè)大模型驅(qū)動(dòng)的智能體，擁有不同個(gè)性的智能體，在小鎮(zhèn)中自由生活、工作和社交；清華大學(xué)團(tuán)隊(duì)2023 年7 月推出一個(gè)由大模型智能體組成的數(shù)字研發(fā)團(tuán)隊(duì)，包括首席執(zhí)行官、首席產(chǎn)品官、首席技術(shù)官、程序員、測(cè)試員等，可以通過自然語(yǔ)言對(duì)話進(jìn)行合作，高效完成軟件研發(fā)任務(wù)。

自然界中的蟻群和鳥群等生物群體可以涌現(xiàn)出超越個(gè)體的群體智能；人類社會(huì)也涌現(xiàn)出組織和公司等復(fù)雜群體智能，甚至形成社會(huì)學(xué)和管理學(xué)等學(xué)科專門研究人類群體智能的復(fù)雜規(guī)律。大模型日益強(qiáng)大的自然交互能力，將讓更多的機(jī)器建立合作，涌現(xiàn)群體智能。

如果說大模型技術(shù)迎來了人工智能的第一次智能涌現(xiàn)，是個(gè)體智能的涌現(xiàn)，那么大模型群體智能，將讓我們迎來人工智能的第二次智能涌現(xiàn)。相信在這個(gè)過程中，有大量重要的語(yǔ)言學(xué)問題值得我們探索。

大語(yǔ)言模型促進(jìn)語(yǔ)言應(yīng)用開發(fā)的四個(gè)維度

王斌（小米科技有限責(zé)任公司人工智能實(shí)驗(yàn)室主任、NLP 首席科學(xué)家） 一、大語(yǔ)言模型是語(yǔ)言學(xué)研究的全新利器。大語(yǔ)言模型基于海量語(yǔ)言數(shù)據(jù)進(jìn)行訓(xùn)練，能夠有效處理和分析大規(guī)模語(yǔ)料庫(kù)，為語(yǔ)言學(xué)研究提供新的方法和工具。傳統(tǒng)語(yǔ)言學(xué)研究通常依賴于小規(guī)模的語(yǔ)料庫(kù)和定性分析，而大語(yǔ)言模型能夠在短時(shí)間內(nèi)處理和分析海量的語(yǔ)言數(shù)據(jù)，從中發(fā)現(xiàn)語(yǔ)言現(xiàn)象和規(guī)律。例如，通過大語(yǔ)言模型對(duì)大量文本數(shù)據(jù)的分析，可以研究語(yǔ)言的演變、方言的分布以及語(yǔ)言之間的相互影響。

二、利用大語(yǔ)言模型構(gòu)建自動(dòng)化語(yǔ)言分析工具。在大語(yǔ)言模型基礎(chǔ)上可以構(gòu)建詞法分析器、句法分析器和語(yǔ)義分析器等工具。基于大語(yǔ)言模型構(gòu)建這些工具的難度小，但是構(gòu)建的工具的精度高。這些工具可以輔助語(yǔ)言學(xué)家進(jìn)行語(yǔ)言結(jié)構(gòu)的分析，從而大大提高研究效率。例如，基于大模型構(gòu)建出的語(yǔ)義分析器，可以幫助研究人員深入理解詞匯和句子的意義，從而進(jìn)一步揭示語(yǔ)言的深層結(jié)構(gòu)。

三、利用大語(yǔ)言模型來構(gòu)建或擴(kuò)展語(yǔ)言資源。傳統(tǒng)的手工或者自動(dòng)構(gòu)建詞典、語(yǔ)料庫(kù)、知識(shí)圖譜等資源的方法效率低下、精度有限，構(gòu)建出的資源分布相對(duì)單一。而大語(yǔ)言模型可以自動(dòng)標(biāo)注大規(guī)模的語(yǔ)料庫(kù)，從而大大減少人工標(biāo)注的工作量，提高語(yǔ)料庫(kù)建設(shè)的效率和精度。同時(shí)，大語(yǔ)言模型基于大量語(yǔ)言文本數(shù)據(jù)預(yù)訓(xùn)練微調(diào)而成，蘊(yùn)含著大量實(shí)例背后的通用結(jié)構(gòu)。基于大語(yǔ)言模型，可以快速、準(zhǔn)確地生成多樣化的語(yǔ)言實(shí)例，從而大大豐富語(yǔ)言學(xué)的研究?jī)?nèi)容，提升研究效率。

四、大語(yǔ)言模型可以為語(yǔ)言學(xué)研究開辟新的方向。大語(yǔ)言模型基于極大規(guī)模的語(yǔ)言文本數(shù)據(jù)預(yù)訓(xùn)練微調(diào)而成，這些數(shù)據(jù)來源分散、風(fēng)格各異、時(shí)代不一、語(yǔ)種多樣，里面包含著大量的語(yǔ)言現(xiàn)象，也隱含著豐富的語(yǔ)言學(xué)規(guī)律?；诖笳Z(yǔ)言模型，可以衍生出一些以往難以想象的研究問題，或者使得一些挑戰(zhàn)性的研究問題變得可行。例如，大語(yǔ)言模型能夠生成大量的自然語(yǔ)言文本，這為研究語(yǔ)言的創(chuàng)造性提供了新的可能。研究人員可以探索語(yǔ)言創(chuàng)造性的機(jī)制，揭示語(yǔ)言創(chuàng)新的認(rèn)知過程。

打通文理學(xué)科壁壘，讓語(yǔ)言研究融入AI發(fā)展大潮

宗成慶（中國(guó)科學(xué)院自動(dòng)化研究所） 長(zhǎng)期以來，中國(guó)的文理學(xué)科之間似乎存在著堅(jiān)固的壁壘，在很多情況下，兩類學(xué)科的人員之間無法在同一頻道上對(duì)話，導(dǎo)致語(yǔ)言學(xué)研究的成果無法為人工智能（AI）技術(shù)研發(fā)提供幫助和支持。反過來，AI 技術(shù)也未能在語(yǔ)言學(xué)研究中充分發(fā)揮作用。因此，打通學(xué)科壁壘，實(shí)現(xiàn)文理貫通，迫在眉睫。近年來，教育部推行的新文科建設(shè)政策已經(jīng)開始扭轉(zhuǎn)這一局面，但是，真正實(shí)現(xiàn)文理融合貫通，仍有待于進(jìn)一步探索和實(shí)踐。

我認(rèn)為，打通文理學(xué)科壁壘應(yīng)始于本科教學(xué)。深度的融合應(yīng)從高等教育的課程設(shè)置和教學(xué)開始，AI 基本原理和技術(shù)應(yīng)作為本科教學(xué)的通識(shí)課。當(dāng)然，講授什么內(nèi)容、講到什么深度，對(duì)于AI 和計(jì)算機(jī)專業(yè)的學(xué)生、一般理工科背景但非AI 和計(jì)算機(jī)專業(yè)的學(xué)生，以及人文學(xué)科背景的學(xué)生，可以區(qū)別對(duì)待，不同類型的學(xué)生分別有不同深度的教材。這就要求授課老師，尤其是研究生指導(dǎo)老師熟知學(xué)科需求、研究?jī)?nèi)容和學(xué)生已有的知識(shí)基礎(chǔ)。

當(dāng)然，打通并不意味著混同。找準(zhǔn)定位，發(fā)揮學(xué)科不可替代的作用，才是學(xué)科立足和發(fā)展的根基。AI 技術(shù)的快速發(fā)展給語(yǔ)言學(xué)和其他人文學(xué)科的研究帶來了前所未有的機(jī)遇。抓住這個(gè)機(jī)遇，讓大語(yǔ)言模型等服務(wù)于人文學(xué)科研究，可以讓人文學(xué)科的發(fā)展插上智能技術(shù)的翅膀，更好地服務(wù)于社會(huì)。而從另一個(gè)角度看，智能技術(shù)的研究也離不開語(yǔ)言學(xué)科的支撐。大量的對(duì)比分析發(fā)現(xiàn)，大模型在中文上性能表現(xiàn)不佳的一個(gè)主要原因就是訓(xùn)練樣本質(zhì)量不夠高、規(guī)模不夠大。那么，如何構(gòu)建質(zhì)量更高、規(guī)模更大的多語(yǔ)言資源庫(kù)，如何評(píng)價(jià)資源庫(kù)的質(zhì)量，甚至評(píng)價(jià)大模型的性能，等等，這些不正是語(yǔ)言學(xué)科大有可為之處嗎？

面向社會(huì)需求，順應(yīng)AI技術(shù)發(fā)展，打通文理學(xué)科之間的壁壘，是人文學(xué)科生存和發(fā)展的必然出路。同時(shí)，讓AI 新技術(shù)賦能語(yǔ)言教學(xué)、研究和人才培養(yǎng)，使語(yǔ)言學(xué)科真正成為一門科學(xué)，讓語(yǔ)言研究融入AI 發(fā)展的大潮，語(yǔ)言類學(xué)科甚至整個(gè)人文類學(xué)科才會(huì)大放異彩。或許這就是新文科建設(shè)的意義所在。