大模型為什么不會(huì)數(shù)數(shù)？

你應(yīng)該聽(tīng)說(shuō)過(guò)，現(xiàn)在的AI（人工智能）大模型很厲害，能寫(xiě)文章、作詩(shī)、編程序，甚至解答高難度的奧數(shù)題。但奇怪的是，有些時(shí)候，它居然會(huì)在最基礎(chǔ)的小學(xué)數(shù)學(xué)題上犯錯(cuò)！

比如我們測(cè)試某個(gè)AI大模型時(shí)問(wèn)它：“‘知識(shí)就是力量’這句話包含幾個(gè)字？”它的回答竟然是：“這句話包含4個(gè)字。”其實(shí)，這還不是個(gè)別現(xiàn)象，幾乎所有大模型都曾在數(shù)數(shù)這樣看似簡(jiǎn)單的問(wèn)題上“翻車(chē)”。一個(gè)能做對(duì)奧數(shù)題的大模型，為什么曾經(jīng)連數(shù)數(shù)都不會(huì)？它們現(xiàn)在又是怎么學(xué)會(huì)的？讓我們一探究竟。

大模型到底是什么？

我們說(shuō)的大模型，一般指語(yǔ)言大模型，如ChatGPT、DeepSeek等。它們通常是由數(shù)十億到上千億個(gè)參數(shù)構(gòu)成的龐大人工神經(jīng)網(wǎng)絡(luò)，采用自監(jiān)督學(xué)習(xí)技術(shù)（如遮蓋預(yù)測(cè)、下一詞預(yù)測(cè)、序列生成等），學(xué)習(xí)模仿人類的語(yǔ)言表達(dá)。它們的學(xué)習(xí)方式是“讀書(shū)”——通過(guò)閱讀海量文字資料，包括書(shū)籍、新聞、百科、評(píng)論、網(wǎng)頁(yè)等，從中學(xué)習(xí)語(yǔ)言的用法和模式。它們非常擅長(zhǎng)填空游戲。例如：今天我去超市買(mǎi)了一個(gè)______。大模型會(huì)計(jì)算各個(gè)詞語(yǔ)出現(xiàn)的概率，發(fā)現(xiàn)“蘋(píng)果”這個(gè)詞出現(xiàn)的可能性很高，于是就會(huì)選擇輸出它。

由此可見(jiàn)，大模型本質(zhì)上就是一個(gè)“詞語(yǔ)概率預(yù)測(cè)器”，它并不是真正理解這些句子，而只是學(xué)會(huì)了如何猜出“下一個(gè)最可能出現(xiàn)的詞”。它看起來(lái)很聰明，其實(shí)它只是擅長(zhǎng)預(yù)測(cè)。

什么是數(shù)數(shù)？

雖然你從小就會(huì)數(shù)“1、2、3、4……”，但在數(shù)學(xué)家眼中，數(shù)數(shù)是一個(gè)非常嚴(yán)肅的問(wèn)題。在19世紀(jì)，意大利數(shù)學(xué)家皮亞諾（Peano）提出了著名的皮亞諾公理，用來(lái)嚴(yán)格地定義自然數(shù)。通俗地講，其核心思想是：所有數(shù)字從0開(kāi)始，每個(gè)數(shù)字都有一個(gè)“后繼者”，你可以通過(guò)“走1步，加1”不斷前進(jìn)，像跳格子一樣，數(shù)到任何你想要的數(shù)字。

人類天生就理解這種“一個(gè)一個(gè)數(shù)”的規(guī)則。但大模型的思維方式卻完全不同，它們不是按“走1步，加1”的邏輯來(lái)數(shù)數(shù)的，這也是它們?cè)?jīng)不會(huì)數(shù)數(shù)的重要原因。

大模型為何不會(huì)數(shù)數(shù)？

雖然數(shù)數(shù)對(duì)我們來(lái)說(shuō)是小菜一碟，但對(duì)大模型來(lái)說(shuō)，過(guò)去它真的很難做好。下面是造成這個(gè)問(wèn)題的幾個(gè)關(guān)鍵原因：

學(xué)習(xí)模仿數(shù)字使用，但不真正數(shù)數(shù)字

對(duì)人類來(lái)說(shuō)，“3”不僅是一個(gè)數(shù)字，還代表“3個(gè)東西”，我們能通過(guò)觀察一張圖片，或者做一個(gè)動(dòng)作（加減），理解數(shù)量的真正含義。

大模型雖然也知道數(shù)字經(jīng)常和數(shù)量有關(guān)，例如“3個(gè)蘋(píng)果”“5只小貓”，但它是從大量文字?jǐn)?shù)據(jù)中學(xué)到的統(tǒng)計(jì)規(guī)律和關(guān)聯(lián)規(guī)則，并不是通過(guò)“觀察或理解數(shù)量本身”學(xué)會(huì)的，無(wú)法從數(shù)字中準(zhǔn)確感知具體數(shù)量，它只是在模仿語(yǔ)言中數(shù)字的用法，而不是真的數(shù)了一遍。

沒(méi)有內(nèi)置“計(jì)數(shù)器”或“記憶狀態(tài)”

人類數(shù)數(shù)時(shí)，會(huì)在心里默默記住“我已經(jīng)數(shù)了3個(gè)”。但大模型是“無(wú)狀態(tài)”的，它在預(yù)測(cè)下一個(gè)詞時(shí)，主要靠短期上下文，缺乏維持“我現(xiàn)在數(shù)到幾”的記憶能力。

詞元、詞表和嵌入向量

大模型通常用一個(gè)固定大小的“詞表”來(lái)代表它能認(rèn)識(shí)的所有基本單位（詞元，token），每一個(gè)token在詞表中有一個(gè)唯一的數(shù)字編號(hào)，并用一個(gè)N維的“嵌入向量”表示其語(yǔ)義信息。

Token通常比我們理解的字詞更小，在gpt-3.5-turbo中，“知識(shí)就是力量”由7個(gè)token構(gòu)成，其中“識(shí)”由2個(gè)token構(gòu)成，[6744，228]。大模型進(jìn)行文字處理的第一步是“分詞”——把句子切成詞表中token的序列。

如果這個(gè)詞表只包含到“1000”，那超過(guò)的數(shù)字就會(huì)被當(dāng)作多個(gè)token處理，這直接影響大模型處理較大數(shù)字的準(zhǔn)確性。比如“12345”可能會(huì)被拆成“123”和“45”，數(shù)字剛好被切開(kāi)，大模型就不太可能數(shù)對(duì)了。

另外，大模型詞表中相似的token的嵌入向量表示雖然具有一定的語(yǔ)義相關(guān)性（例如“5和4都是數(shù)字”，它們的嵌入向量的距離很近），卻無(wú)法表達(dá)出數(shù)字之間的大小和順序關(guān)系（例如“5比4大”等），那大模型自然難以完成準(zhǔn)確計(jì)數(shù)和計(jì)算。

大模型開(kāi)始學(xué)習(xí)數(shù)數(shù)

最近幾個(gè)月，AI科學(xué)家和工程師已經(jīng)采用多種有效方法，讓大模型開(kāi)始學(xué)會(huì)數(shù)數(shù)。

深度思考，模仿皮亞諾公理的數(shù)數(shù)過(guò)程

通過(guò)增加專門(mén)的訓(xùn)練數(shù)據(jù)（深度思考的思維鏈數(shù)據(jù)），并優(yōu)化模型結(jié)構(gòu)，一些大模型逐漸學(xué)會(huì)了“從0開(kāi)始，走1步，加1”的邏輯。它們模仿了皮亞諾公理的數(shù)數(shù)方式，保證了計(jì)數(shù)的準(zhǔn)確性。

這類大模型現(xiàn)在能準(zhǔn)確數(shù)出句子里有幾個(gè)字、段落里有多少句話，甚至能數(shù)出圖片里有幾只小貓（看圖數(shù)數(shù)，這需要結(jié)合圖像識(shí)別+語(yǔ)言理解+數(shù)數(shù)邏輯）。

調(diào)用外部數(shù)學(xué)工具，進(jìn)行自我檢驗(yàn)

還有一些大模型學(xué)會(huì)了調(diào)用外部數(shù)學(xué)工具和編寫(xiě)程序，例如 Wolfram Alpha 或內(nèi)置的計(jì)算模塊。它們?cè)诮拥綌?shù)數(shù)任務(wù)時(shí)，會(huì)像學(xué)生一樣使用“計(jì)算器”獲得計(jì)算結(jié)果，再用自身邏輯驗(yàn)證答案是否合理，全面提高了計(jì)數(shù)的準(zhǔn)確性。

通過(guò)這些改進(jìn)方法，大模型不僅能模仿數(shù)數(shù)，還將能模仿乘法、除法、組合、遞歸等數(shù)學(xué)運(yùn)算，學(xué)會(huì)真正的“數(shù)學(xué)思考過(guò)程”，甚至學(xué)會(huì)邏輯和因果。

如今，大模型已經(jīng)可以非常穩(wěn)定地完成各種數(shù)數(shù)任務(wù)了，這個(gè)過(guò)程，正是大模型逐步成長(zhǎng)的見(jiàn)證。在強(qiáng)大的深度思考、調(diào)用工具和自我檢驗(yàn)等能力加持下，大模型正在從“會(huì)說(shuō)話”，走向“能計(jì)算”“善思考”。也許未來(lái)，大模型不只是我們的助手，也會(huì)成為我們的數(shù)學(xué)老師，陪我們一起，一步一步——數(shù)到無(wú)限遠(yuǎn)。

（責(zé)任編輯 / 李銀慧" 美術(shù)編輯 / 周游）