超大規(guī)模智能模型“悟道2.0”發(fā)布

2021年6月1日，在“2021北京智源大會(huì)”開幕式上，北京智源人工智能研究院發(fā)布了“悟道2.0”模型。這是全球迄今最大的超大規(guī)模智能模型。

目前，“大模型+大算力”是邁向通用人工智能的一條可行路徑。大模型對(duì)于人工智能發(fā)展具有重大意義，未來將基于大模型形成類似電網(wǎng)的變革性AI產(chǎn)業(yè)基礎(chǔ)設(shè)施。AI大模型將數(shù)據(jù)轉(zhuǎn)換為智能能力，驅(qū)動(dòng)各種AI應(yīng)用。如果將大模型和所有的AI應(yīng)用相連接，為用戶提供統(tǒng)一的智能能力，全社會(huì)將形成一個(gè)智能能力生產(chǎn)和使用的網(wǎng)絡(luò)，即“智網(wǎng)”。大模型就是下一個(gè)AI的基礎(chǔ)平臺(tái)，是未來AI發(fā)展的戰(zhàn)略基礎(chǔ)設(shè)施。

“悟道2.0”模型的參數(shù)規(guī)模達(dá)到1.75萬億，是GPT-3的10倍，打破了之前由國外預(yù)訓(xùn)練模型創(chuàng)造的1.6萬億參數(shù)記錄，是目前中國首個(gè)、全球最大的萬億級(jí)模型。

“悟道2.0”模型在中英雙語共4.9 T的高質(zhì)量大規(guī)模清洗數(shù)據(jù)上進(jìn)行的訓(xùn)練。訓(xùn)練數(shù)據(jù)包含WuDaoCorpora中的1.2 TB中文文本數(shù)據(jù)、2.5 TB中文圖文數(shù)據(jù)，以及Pile數(shù)據(jù)集的1.2 TB英文文本數(shù)據(jù)。“悟道2.0”模型一統(tǒng)文本與視覺兩大陣地，支撐更多任務(wù)，更加通用化。

本次大會(huì)上，智源研究院與新華社、美團(tuán)、小米、快手、搜狗、360、寒武紀(jì)、第四范式、好未來、智譜華章等22家“悟道”大模型產(chǎn)業(yè)生態(tài)戰(zhàn)略合作單位進(jìn)行了簽約，并發(fā)出組建“悟道”大模型技術(shù)創(chuàng)新生態(tài)聯(lián)盟的倡議，吸引更多企業(yè)加入，將以聯(lián)盟為樞紐，以企業(yè)需求為導(dǎo)向，推動(dòng)模型研發(fā)，共同開發(fā)基于“悟道”大模型的智能應(yīng)用，以模型研發(fā)和應(yīng)用促進(jìn)產(chǎn)業(yè)集聚。