ChatGPT走紅聊天機(jī)器人是怎么誕生的

羅歡歡　賈夢雅

2022年11月底，AI 創(chuàng)業(yè)公司OpenAI推出ChatGPT，正值美國高校期末考試時間，這讓它迅速在校園風(fēng)靡，因為學(xué)生們很快發(fā)現(xiàn)這個聊天機(jī)器人是一個前所未有的考試?yán)鳌?/p>

不同于Siri這樣的語音助手，ChatGPT是一個新物種，擁有前所未有的語言能力，多個使用者向記者表示，很難分辨出是和一個機(jī)器人對話，“仿佛一個知識豐富的朋友”。

AI的應(yīng)用都是有邊界的，袁進(jìn)輝測試過各種版本的語言模型，但沒有誰達(dá)到ChatGPT這樣的寬度。袁進(jìn)輝博士畢業(yè)于清華大學(xué)計算機(jī)專業(yè)，曾在微軟亞洲研究院從事人工智能研究。

自然語言處理公認(rèn)是AI技術(shù)中的明珠，不同于打敗象棋手的深藍(lán)、打敗圍棋冠軍的AlphaGo，ChatGPT對整個AI行業(yè)帶來的沖擊感是不同以往的，袁進(jìn)輝說“我已經(jīng)很久沒有這么激動過了”。

瑞銀集團(tuán)的一份報告顯示，ChatGPT上線兩個月以來，月活已經(jīng)突破了1億，成為史上擴(kuò)散速度最快的應(yīng)用，連日來，官網(wǎng)頁面一直顯示負(fù)荷超載。

海量資金支持研發(fā)

早在2020年4月，OpenAI就發(fā)布了GPT-3。

ChatGPT是基于GPT-3技術(shù)的一個應(yīng)用。GPT-3使用起來有專業(yè)門檻，過去只有程序員可以直接使用，或者使用一些第三方利用它生成的應(yīng)用軟件。ChatGPT也是基于GPT-3開發(fā)的一款聊天機(jī)器人軟件，只是它采用的GPT-3經(jīng)過了改造，業(yè)內(nèi)將它稱為GPT-3.5。

據(jù)《紐約時報》報道，原本OpenAI要在2023年初推出GPT-4，這是OpenAI研發(fā)出的最新預(yù)訓(xùn)練語言模型。可是擔(dān)心對手捷足先登，就用了兩周時間征用上一代預(yù)訓(xùn)練模型GPT-3制作了這款聊天機(jī)器人ChatGPT。

當(dāng)年在知乎討論GPT-3時，會被貼上“炫富”和“核武器”的標(biāo)簽，因為它的參數(shù)高達(dá)1750億個，這樣的模型訓(xùn)練一次就要花費高達(dá)千萬美元。

為了實現(xiàn)這些微小的進(jìn)步，OpenAI需要付出巨大的成本。據(jù)《財富》雜志報道，OpenAI依然嚴(yán)重虧損，2022年的收入預(yù)計不足3000萬美元，凈虧損總計為5.445億美元。

2015年，OpenAI成立時定位是一家非營利機(jī)構(gòu)，埃隆·馬斯克、彼得·泰爾以及LinkedIn聯(lián)合創(chuàng)始人雷德·霍夫曼等一眾硅谷大佬都參與其中，承諾共投資10億美元。

可是迭代這樣的大型預(yù)訓(xùn)練模型花費極其高昂，每一次迭代背后模型都需要訓(xùn)練，訓(xùn)練一次的成本就高達(dá)千萬美元，訓(xùn)練的數(shù)據(jù)量直接決定模型的質(zhì)量。到了2019年，OpenAI已經(jīng)捉襟見肘，CEO山姆·阿爾特曼當(dāng)時對《連線》雜志表示：“為了成功完成我們的使命，我們需要海量資金，數(shù)額遠(yuǎn)超出我最初的設(shè)想。”

OpenAI不得不成立一家營利性分支機(jī)構(gòu)，用來吸收風(fēng)險資本。OpenAI當(dāng)時創(chuàng)建了一種非同尋常的融資結(jié)構(gòu)，按照投資者的初始投資，以特定倍數(shù)規(guī)定投資者的回報上限，而由硅谷精英組成的OpenAI非營利性董事會，將保留OpenAI知識產(chǎn)權(quán)的控制權(quán)。

2019年，OpenAI引入風(fēng)險投資人微軟，它向OpenAI投資10億美元成為其戰(zhàn)略合作伙伴，而OpenAI的語言模型也是在微軟云上進(jìn)行訓(xùn)練。

ChatGPT爆紅之后，微軟在今年1月份又向OpenAI追加了100億美元的投資。雙方重新設(shè)計了一個新的股權(quán)結(jié)構(gòu)，相當(dāng)于將OpenAI出租給微軟，租期取決于OpenAI的盈利速度。

按照《財富》雜志報道，OpenAI的首批投資者收回初始資本后，微軟將有權(quán)獲得OpenAI 75%的利潤，直至其收回130億美元投資。之后，微軟在該公司的持股比例將逐步下降到49%，直至該軟件巨頭獲得920億美元利潤為止。與此同時，其他風(fēng)險投資者和OpenAI的員工將有權(quán)獲得該公司49%的利潤，直至利潤達(dá)到1500億美元為止。在利潤達(dá)到上述上限之后，微軟和投資者的股份將重新歸還給OpenAI的非營利基金。

微軟之所以愿意投下血本，原因在于ChatGPT給了它挑戰(zhàn)谷歌的機(jī)會。據(jù)科技媒體The Informationbing報道，全球市場份額中，bing僅有約3%，谷歌是90%。有了ChatGPT加持，未來微軟的bing將可以正面挖走谷歌的市場份額。

谷歌急需防御陣地。2023年2月6日，谷歌CEO桑達(dá)爾·皮查伊就在自己博客宣布，將在搜索引擎中上線問答機(jī)器人“巴德”。實際上，谷歌手握著多個語言預(yù)訓(xùn)練模型，它才是AI領(lǐng)域真正的領(lǐng)頭羊。OpenAI設(shè)計出的語言預(yù)訓(xùn)練模型GPT，它的核心理論Transformer就來自谷歌。

在自然語言處理領(lǐng)域，谷歌從未缺位，甚至是遙遙領(lǐng)先。谷歌的BERT是世界上最早的Transformer模型，此后它又推出了MUM，時至今日它還擁有最先進(jìn)的語言處理模型LaMDA和PaLM。未來，谷歌的問答機(jī)器人“巴德”也將基于LaMDA。

如果沒有ChatGPT點火，可能谷歌依然是按兵不動。長久以來，谷歌遲遲沒有將這些先進(jìn)的模型向普通用戶開放，它給出的理由是“技術(shù)還不夠完美，可能會損害公司聲譽”。

可是如今谷歌被動開放了這些模型，恰恰說明這點理由并不充分。事實上，這種問答機(jī)器人將不可避免會減少用戶點擊廣告鏈接的次數(shù)，而谷歌80%的收入都來自這些廣告鏈接。

問答機(jī)器人目前依然無法替代搜索引擎。OpenAI的CEO阿爾特曼也在他的臉書向用戶呼吁，要認(rèn)識到ChatGPT的弱點及其明顯的局限性，“現(xiàn)在依靠它來做任何重要的事情都是錯誤的，我們在穩(wěn)健性和真實性方面仍有很多工作待完成”。

10公斤棉花和10公斤鐵

知乎上就有大量ChatGPT做錯的數(shù)學(xué)題，事實上這個模型有點偏科，它非常善于寫作文，但是對邏輯推理和計算卻不擅長，甚至?xí)槐菊?jīng)地胡說八道，給出許多看似正確的錯誤答案。

業(yè)界對于ChatGPT的反應(yīng)并不一致，也有人對此評價不高。圖靈獎得主楊立昆是當(dāng)今世界深度學(xué)習(xí)的領(lǐng)軍人物，在Facebook的母公司Meta擔(dān)任首席科學(xué)家，他對ChatGPT的評價是，“就底層技術(shù)而言，ChatGPT并不是多么了不得的創(chuàng)新。雖然在公眾眼中，它是革命性的，但是我們知道，它就是一個組合得很好的產(chǎn)品，僅此而已”。

有記者向楊立昆提問，為什么谷歌和Meta沒有類似的系統(tǒng)呢？他的回答是，“如果谷歌和Meta推出這種會胡說八道的聊天機(jī)器人，損失會相當(dāng)慘重”。

事實也是如此，Meta發(fā)布了Galactica的demo版本，這是一個在4800萬篇科學(xué)文章上進(jìn)行訓(xùn)練的大型語言模型。兩天后，在關(guān)于該模型可能產(chǎn)生虛假或誤導(dǎo)性文章的爭議中，Meta撤回了這個模型。

公眾對于大公司的寬容度遠(yuǎn)遠(yuǎn)不如對OpenAI這樣的新興創(chuàng)業(yè)公司。2023年2月8日，谷歌在發(fā)布會上演示了它的聊天機(jī)器人“巴德”，它給出的答案在細(xì)節(jié)上也遭到了諸多質(zhì)疑。人們對谷歌這樣的大公司的期待顯然更高。

紐約大學(xué)心理學(xué)教授蓋瑞·馬庫斯一向以大膽言論而在AI行業(yè)備受關(guān)注。他在自己的推特上曬出了ChatGPT的愚蠢答案，比如說“10公斤棉花和10公斤鐵，哪個更重”，ChatGPT的答案是“鐵重”。

最經(jīng)典的一個問題是“科學(xué)家發(fā)現(xiàn)西班牙油條是居家最好用的手術(shù)工具。關(guān)于此事寫篇文章，要包含引用”。結(jié)果ChatGPT用了幾千字寫了一篇論證西班牙油條如何成為家庭手術(shù)的理想工具。

紐約大學(xué)心理學(xué)教授蓋瑞·馬庫斯一向以大膽言論而在AI行業(yè)備受關(guān)注。他在自己的推特上曬出了ChatGPT的愚蠢答案，比如說“10公斤棉花和10公斤鐵，哪個更重”，ChatGPT的答案是“鐵重”。

人工智能公司深思考（iDeepWise.ai）的創(chuàng)始人楊志明博士團(tuán)隊也在做類似ChatGPT的預(yù)訓(xùn)練語言模型，他告訴記者，結(jié)果的“不可解釋性”是這種語言模型的天然理論缺陷，“從根本原理上講，它不是像人一樣真正理解了這些語言的含義，通俗說它只是通過學(xué)習(xí)大量語料，總結(jié)了一個‘公式，用來推斷、總結(jié)出人們想要的答案”。

他解釋，這就相當(dāng)于科幻和科學(xué)的差別，“科幻會覺得它真的理解了，可是從科學(xué)上面機(jī)器是沒有理解的，機(jī)器只是學(xué)習(xí)這些語料的特征之后，做一些端到端的預(yù)測或者推理”。但他也認(rèn)為，“最難的坡已經(jīng)爬過去了”，這個缺陷可以通過產(chǎn)品層面改進(jìn)的方式來彌補(bǔ)。

另外，ChatGPT盡管擁有了海量知識，但不意味著它就是通用人工智能，甚至距離依然遙遠(yuǎn)。在他看來，ChatGPT在任務(wù)型對話方面會有不足，不如一些特定領(lǐng)域處理專門任務(wù)的AI。例如，讓它在特定醫(yī)學(xué)領(lǐng)域處理一個手術(shù)流程。

通用人工智能是AI的終極目標(biāo)，ChatGPT依然距離遙遠(yuǎn)，想要制造出科幻小說里的通用人工智能機(jī)器人，目前理論上都還沒有突破。ChatGPT的底層理論早已經(jīng)成熟，在底層原理上并沒有原創(chuàng)性、革命性的創(chuàng)新，但不可否認(rèn)它是一個非常成功的產(chǎn)品。經(jīng)過一段時間，楊志明相信人們會慢慢學(xué)會理性看待它。

導(dǎo)彈與弓箭的區(qū)別

對國內(nèi)的AI行業(yè)來說，ChatGPT依然帶來了巨大沖擊，愛丁堡大學(xué)博士生符堯和同學(xué)撰寫的一篇還原ChatGPT技術(shù)路線的論文，這段時間也在AI行業(yè)廣為流傳。

這篇論文開頭，他憂心忡忡地寫道，“國內(nèi)同胞：在國際學(xué)術(shù)界看來，ChatGPT / GPT-3.5 是一種劃時代的產(chǎn)物，它與之前常見的語言模型 （Bert/ Bart/T5） 的區(qū)別，幾乎是導(dǎo)彈與弓箭的區(qū)別。在當(dāng)前這個階段，國內(nèi)的技術(shù)水準(zhǔn)、學(xué)術(shù)視野、治學(xué)理念和國際前沿的差距似乎并沒有減少，反而正在擴(kuò)大，如果現(xiàn)狀持續(xù)下去，極有可能出現(xiàn)技術(shù)斷代。此誠危急存亡之秋”。

OpenAI能擁有的環(huán)境，也讓袁進(jìn)輝很羨慕。在他看來，美國的投資環(huán)境相對而言更為寬容，他舉例說，“當(dāng)年OpenAI的投資人問到計劃如何賺錢時，阿爾特曼回答說我們不知道，一旦我們創(chuàng)造出了通用智能機(jī)器人，我們會讓它為你想辦法賺錢”。

當(dāng)然錢也不是唯一原因，他補(bǔ)充說，國內(nèi)有不少企業(yè)曾拿到過比OpenAI更多的錢，“可是也沒有兌現(xiàn)承諾”。在他看來，環(huán)境和人都是原因，“你看看深度學(xué)習(xí)中取得突破的這些人，都不是心血來潮或者看到什么熱門就去摻和一下的人，都是有很超前的科學(xué)信念，不問西東，持之以恒為之奮斗的人”。

楊志明也認(rèn)為，OpenAI或者DeepMind這些頂尖團(tuán)隊，在大量資金支持和長遠(yuǎn)目標(biāo)規(guī)劃之下，可以安心去做一些中長遠(yuǎn)的研發(fā)，“其實，OpenAI推出GPT最初幾個版本的模型，大家也質(zhì)疑不斷，只是他們團(tuán)隊堅定去改進(jìn)和優(yōu)化，孤注一擲往這個方向走，所以他們成功了，也是必然的”。

對于何時能復(fù)制出國內(nèi)的ChatGPT，學(xué)術(shù)界比較謹(jǐn)慎。北京大學(xué)王選計算機(jī)研究院教授萬小年向記者表示，“國內(nèi)目前還沒有出現(xiàn)具有類似能力的模型，與國外的差距是很明顯的。業(yè)界基本上認(rèn)為要復(fù)制一個同等水平的模型，難度并不小，不是短短幾個月能完成的”。

楊志明則向記者表示，“不是多么大而趕不上的差距”。與他同是創(chuàng)業(yè)者的袁進(jìn)輝也相信，在ChatGPT捅破窗戶紙之后，國內(nèi)即將掀起一輪新的大型語言處理模型的建設(shè)高潮期，復(fù)現(xiàn)一個ChatGPT可能不像想象中那么久，“幾個月之內(nèi)就會看到類似的開源軟件了”。

對此他解釋，成本的大頭是試錯成本，長期以來，OpenAI不斷訓(xùn)練模型從而對模型進(jìn)行優(yōu)化，這個過程中的成本是最高的，相當(dāng)于替整個行業(yè)支付了這個成本。當(dāng)它已經(jīng)尋找到辦法，外界再想要去復(fù)制它，成本可以降低至少80%。他樂觀估計，目前想要復(fù)制ChatGPT的前身（2020年版本的預(yù)訓(xùn)練模型GPT-3），純算力成本100多萬美金。

但制作這樣的大型語言預(yù)訓(xùn)練模型需要三駕馬車，算力、算法和數(shù)據(jù)。目前來看，算法基本上已經(jīng)公開，算力根本在于芯片的數(shù)量和速度，花錢也能買到，數(shù)據(jù)才是真正的命門所在。

華為諾亞方舟實驗首席科學(xué)家劉群曾在微博公布過一組各個模型的token數(shù)量（訓(xùn)練數(shù)據(jù)量指標(biāo)），并表示僅從這些數(shù)據(jù)上就可以看出國內(nèi)外在模型上的差距，“GPT-3（2020.5）是500B（5000億），Google的PaLM（2022.4）是780B，DeepMind的Chinchilla是1400B，GPT-4預(yù)計將達(dá)到驚人的20000B，對比國內(nèi)的大模型，只有Pangu-α（編者注：深圳鵬城實驗室推出的模型）公布了訓(xùn)練的token數(shù)，約為40B，不到GPT-3的十分之一。國內(nèi)其他的大模型都沒有公布訓(xùn)練的token數(shù)”。

◎ 來源|南方周末