2021年全球十大突破性技術(shù)發(fā)布（二）

2、GPT-3 語言模型

GPT-3 是一種大型自然語言計(jì)算機(jī)模型，可以學(xué)習(xí)書寫和說話，它朝著構(gòu)建可理解人類、并與人類世界交流互動的AI 系統(tǒng)邁出的重要一步，GPT-3 是迄今為止規(guī)模最大、精通讀寫能力最強(qiáng)的語言模型。“大型語言模型”指的是一種利用深度學(xué)習(xí)算法，通過數(shù)千本書籍和大部分互聯(lián)網(wǎng)書籍進(jìn)行文本訓(xùn)練，能將單詞和短語串在一起，真實(shí)模擬人類書寫文本，使其成為當(dāng)前使用機(jī)器學(xué)習(xí)生成的最令人印象深刻的語言系統(tǒng)。GPT-3 被稱為是智能機(jī)器道路上的重要里程碑，能夠熟練運(yùn)用語言的智能機(jī)器非常重要，是因?yàn)檎Z言對于理解世界至關(guān)重要，人類就是通過語言進(jìn)行交流、分享信息和描述事物概念，也就是說，掌握了語言的AI 智能系統(tǒng)，將更好地理解世界。

但是GPT-3 也存在著一些缺點(diǎn)，該系統(tǒng)并不理解它所書寫的內(nèi)容，因此有時最終書寫結(jié)果是混亂無序的，它需要大量的計(jì)算能力、數(shù)據(jù)和資金進(jìn)行訓(xùn)練，耗電多從而產(chǎn)生巨大的碳足跡，并限制那些具有特殊資源的實(shí)驗(yàn)室開發(fā)類似的語言模型。而且由于它是依據(jù)互聯(lián)網(wǎng)上的文本進(jìn)行訓(xùn)練，而這些文本存在著錯誤信息和偏見內(nèi)容，經(jīng)常會產(chǎn)生錯誤信息的段落。