大模型普惠發(fā)展需提升知識密度

7月4日—6日，2024世界人工智能大會暨人工智能全球治理高級別會議在上海舉行。國務(wù)院總理李強(qiáng)出席開幕式并致辭。李強(qiáng)強(qiáng)調(diào)，要推動人工智能更好服務(wù)全球發(fā)展、增進(jìn)人類福祉，并建議要推進(jìn)網(wǎng)絡(luò)、算力、數(shù)據(jù)等普惠化，為廣大中小企業(yè)和普通民眾提供低門檻、低價(jià)格的人工智能服務(wù)，實(shí)現(xiàn)更大程度的數(shù)字包容。

人工智能的核心命題是讓計(jì)算機(jī)學(xué)會完成各類復(fù)雜任務(wù)的知識。在經(jīng)歷了符號智能和專用智能等發(fā)展階段后，以O(shè)penAIGPT為代表的大模型技術(shù)建立了通用的模型架構(gòu)和學(xué)習(xí)方法，能夠從大規(guī)模數(shù)據(jù)中持續(xù)學(xué)習(xí)和積累知識，在諸多任務(wù)上表現(xiàn)出強(qiáng)大乃至超越人類的性能，標(biāo)志著人工智能進(jìn)入通用智能階段。

2022年底，OpenAI發(fā)布ChatGPT后，引發(fā)全球關(guān)注。近兩年，大模型技術(shù)突飛猛進(jìn)，中國國內(nèi)上演了“百模大戰(zhàn)”。然而，在追逐更“大”模型的熱潮中，我們也需審視，“越大越好”是否是未來發(fā)展的最優(yōu)解。

數(shù)字社會的關(guān)鍵元器件——大規(guī)模集成電路的發(fā)展，或可為智能社會大模型技術(shù)的發(fā)展提供一定啟示。如摩爾定律所示，集成電路的成功關(guān)鍵在于晶體管密度的迅速提升，而非僅數(shù)量的持續(xù)增加。通過持續(xù)改進(jìn)制造工藝，電路密度的提升在增強(qiáng)電路性能的同時(shí)，也優(yōu)化了能效與成本。對照至大模型技術(shù)，模型規(guī)模的增長確實(shí)帶來了性能提升，但這種提升并非無限制。隨著模型規(guī)模增長，所需的計(jì)算資源與能耗也在迅速提升，這將成為制約大模型發(fā)展的瓶頸。……