2023AI大語(yǔ)言模型TOP10

米欄

時(shí)代變革的大幕已掀開一角，一場(chǎng)由OpenAI引領(lǐng)的全球AI大語(yǔ)言模型軍備競(jìng)賽正式開啟。

3月14日，GPT-4正式發(fā)布，大語(yǔ)言模型開始具備圖片和文字同時(shí)處理的多模態(tài)能力，繼續(xù)占據(jù)先入為主的優(yōu)勢(shì)。

全球大廠中率先回應(yīng)的是百度。3月16日，百度大語(yǔ)言模型“文心一言”正式推出，對(duì)外啟動(dòng)邀測(cè)。據(jù)公開報(bào)道，文心一言具備五項(xiàng)核心能力：文學(xué)創(chuàng)作、商業(yè)文案創(chuàng)作、數(shù)理邏輯推算、中文理解和多模態(tài)生成。

緊接著其他科技企業(yè)也陸續(xù)跟進(jìn)。4月11日，2023阿里云峰會(huì)現(xiàn)場(chǎng)演示了通義千問的多項(xiàng)功能，并定向邀請(qǐng)企業(yè)用戶進(jìn)行體驗(yàn)測(cè)試；5月10日，谷歌時(shí)隔一年推出了新一代語(yǔ)言大模型PaLM 2，被視為對(duì)此前發(fā)布會(huì)翻車的有力回應(yīng)。

此外，還有復(fù)旦大學(xué)在2月21日發(fā)布的“MOSS”、清華大學(xué)3月28日發(fā)布的“ChatGLM-6B”、360于4月10日發(fā)布的“360智腦”、商湯科技4月10日發(fā)布的“商量”、科大訊飛5月6日發(fā)布的“訊飛星火認(rèn)知大模型”，等等。

截至5月，據(jù)不完全統(tǒng)計(jì)，國(guó)內(nèi)已有超過40家公司、機(jī)構(gòu)發(fā)布了大模型產(chǎn)品或公布了大模型計(jì)劃。項(xiàng)目數(shù)量井噴式爆發(fā)，可預(yù)見的是，下半年的國(guó)內(nèi)AI大模型市場(chǎng)競(jìng)爭(zhēng)將會(huì)變得空前激烈。

不止于“大”

提到大模型，很多人的關(guān)注點(diǎn)都會(huì)放在“大”字上，畢竟足夠量級(jí)的參數(shù)是語(yǔ)言模型實(shí)現(xiàn)智能涌現(xiàn)、形成質(zhì)變的基礎(chǔ)。比如，不少大語(yǔ)言模型的參數(shù)量級(jí)達(dá)千億級(jí)，這也就意味著較為豐富的語(yǔ)言知識(shí)與較廣泛的語(yǔ)境理解能力。

不過，目前類GPT模型普遍采用的是Transformer架構(gòu)，所以必然包含市面上存在的大量文本數(shù)據(jù)例如小說、教科書、論壇、開源代碼等內(nèi)容的無監(jiān)督預(yù)訓(xùn)練過程，在此基礎(chǔ)上，僅需根據(jù)具體任務(wù)輸入少量的標(biāo)簽數(shù)據(jù)進(jìn)行監(jiān)督學(xué)習(xí)。在這樣的模式下，訓(xùn)練數(shù)據(jù)集質(zhì)量的重要性開始愈發(fā)凸顯。

本次評(píng)測(cè)的結(jié)果就可以印證這一點(diǎn)。評(píng)測(cè)主要考察各大語(yǔ)言模型在中文語(yǔ)境下的理解與生成能力，基于目前用戶對(duì)大語(yǔ)言模型在生活、辦公的普遍需求，選取語(yǔ)義理解、邏輯推理、情感分析、百科知識(shí)、文本質(zhì)量五個(gè)通用底層維度，以評(píng)估各大語(yǔ)言模型協(xié)助用戶日常處理事務(wù)、解決核心問題的能力，取0（無效應(yīng)答）、1（有效應(yīng)答）兩個(gè)分?jǐn)?shù)，其中文本質(zhì)量維度按照行文邏輯、信息密度，取0（一般）、0.5（良好）、1（優(yōu)秀）三個(gè)分?jǐn)?shù)。

評(píng)測(cè)問題也有別于針對(duì)BERT類判別式AI模型的選擇問法，采用更加適合AI生成式模型的相對(duì)開放式問法，以下為部分問題及回答評(píng)分示例：

在“I've got a thing for you，用文言文表達(dá)這句話”這一問題中，ChatGPT給出的回答是：“朕對(duì)汝有所鐘情。”理解正確，但生成文本質(zhì)量欠佳，取0.5分。文心一言的輸出內(nèi)容：“吾心向汝，實(shí)生情之。”文義相符，質(zhì)量較高，取1分。星火認(rèn)知大模型回答為：“吾有物以贈(zèng)君。”存在理解有誤的情況，取0分。

從結(jié)果看ChatGPT在語(yǔ)義理解、邏輯推理、百科知識(shí)、文本質(zhì)量四項(xiàng)中分別以18、19、19、18.5排名第一，綜合表現(xiàn)位居榜首，特別是在科技、學(xué)術(shù)、新聞等領(lǐng)域的文本生成部分領(lǐng)域表現(xiàn)突出，不過在相對(duì)復(fù)雜情景下的情感識(shí)別，以及散文、詩(shī)歌、文言文等較為考察深度理解能力方面表現(xiàn)相對(duì)乏善可陳。

文心一言作為首個(gè)全球大廠推出的知識(shí)增強(qiáng)大語(yǔ)言模型，本次排名位居國(guó)產(chǎn)大語(yǔ)言模型之首，效果僅次于ChatGPT，且在語(yǔ)義理解、情感分析兩項(xiàng)位列第一，分?jǐn)?shù)分別為18、19，這或許與百度使用的自有數(shù)據(jù)集有關(guān)，在質(zhì)量較高的文庫(kù)文本、百科數(shù)據(jù)等中文語(yǔ)料的訓(xùn)練下，在語(yǔ)義理解和情感分析方面具有很高的精度，可以識(shí)別出復(fù)雜的情感表達(dá)和語(yǔ)言隱喻。

除此以外，谷歌PaLM在邏輯推理部分（分?jǐn)?shù)19）、通義千問在語(yǔ)義理解（分?jǐn)?shù)17）、清華ChatGLM在文本質(zhì)量（分?jǐn)?shù)15.5）等成績(jī)均可圈可點(diǎn)。

結(jié)語(yǔ)

未來大模型的迭代也將更有針對(duì)性，對(duì)開發(fā)者的評(píng)估能力提出更高的要求。如何在有限的時(shí)間和資源條件下做出客觀的評(píng)價(jià)并給出有用的反饋，讓數(shù)據(jù)團(tuán)隊(duì)更有針對(duì)性地準(zhǔn)備數(shù)據(jù)，讓研發(fā)不偏離方向，保障模型的健康迭代，將是所有行業(yè)從業(yè)者的共同挑戰(zhàn)。

《互聯(lián)網(wǎng)周刊》也將持續(xù)跟蹤與關(guān)注各大語(yǔ)言模型的更新與迭代情況，定期進(jìn)行相關(guān)評(píng)測(cè)與分析。未來，相信隨著算法、硬件、數(shù)據(jù)和應(yīng)用場(chǎng)景的不斷發(fā)展，大型語(yǔ)言模型將會(huì)在各種自然語(yǔ)言處理任務(wù)中發(fā)揮更加重要的作用，為社會(huì)創(chuàng)造更多的價(jià)值。