盧志武，最難是思想的突破

人工智能，容易唬人。業(yè)內(nèi)的一眾人等，樂于為自己打造故事，或者說一些驚世之論，“重寫一切代碼”已經(jīng)只是起步水準(zhǔn)，“超強AI威脅人類”早就屢聽不鮮。

盧志武沒有這樣的故事，也不會講這樣的話，甚至看上去，他是一個訥言的人。

收起鋒芒，在人群中，他只是行色匆匆的普通人。與他交談時，他的語言也很樸素，音量不大。不同的是他的眼神，沉靜，清醒，似乎不怎么眨眼，能讓人感受到它的穿透力。

不像外表那樣的憨厚，盧志武是“有刺”的，尤其是提到團(tuán)隊成果與OpenAI的Sora“撞車”的時候。

2024年2月，美國最強的人工智能公司OpenAI，發(fā)布它新一代視頻生成模型Sora。就像它的上一個產(chǎn)品ChatGPT那樣，Sora對視頻生成領(lǐng)域作出顛覆性改變，拋棄業(yè)界傳統(tǒng)的U-Net架構(gòu)，改用擴(kuò)展性更好的Diffusion Transformer（縮寫為DiT）。

就在世人驚呼Sora生成的視頻效果之好、DiT技術(shù)的前途無限時，業(yè)內(nèi)赫然發(fā)現(xiàn)，在Sora發(fā)布的10個月前，在中國人民大學(xué)高瓴人工智能學(xué)院，盧志武教授的團(tuán)隊早就公開發(fā)布了“幾乎一模一樣”視頻生成技術(shù)的研究成果。

科學(xué)史上，一項成果的首發(fā)者身份歸誰所有，是為數(shù)不多能讓“巨人們”爭得面紅耳赤的問題。盧志武的團(tuán)隊領(lǐng)先10個月，沒什么“口水仗”可打。

不過，提到這個“撞車”事件，盧志武并不得意，也沒有笑容。他平淡的語氣反而變得嘲弄起來。“技術(shù)上我們是第一個提出的，但把產(chǎn)品做出來，我們?yōu)槭裁床荒苁堑谝粋€呢？”

“一口氣”與“一根刺”

時勢造英雄。盧志武得“時”，也得“勢”。

2019年，中國人民大學(xué)的校友、高瓴資本創(chuàng)始人張磊捐資，網(wǎng)羅了“一大批很牛的人”，建設(shè)專門做AI研究的學(xué)院。從此，他們盯住了業(yè)內(nèi)的一切風(fēng)吹草動。

更關(guān)鍵的是2020年，那是“大模型”剛剛被命名的一年。當(dāng)年10月，北京智源人工智能研究院向時任北京市市長陳吉寧報告了“百人大模型計劃”，預(yù)備“煉大模型”，北京市決定大力支持。這一項目，就是后來被稱為中國第一個系列大模型的“悟道大模型”。

今天來看，悟道大模型是中國AI發(fā)展的轉(zhuǎn)折點，它也培養(yǎng)了中國第一批大模型人才。

煉大模型需要錢，“（北京市）一下子批了幾十億做大模型。所以，中國的大模型沒有掉隊得很厲害，都要感謝陳市長”。盧志武如此評價。

悟道項目中，最重要的高校力量是“清華隊”和“人大隊”。就這樣，盧志武隨“人大隊”加入了這個元老級的大模型項目。

而那個時候，美國是AI絕對的主陣地，國內(nèi)的種種動向，也不過是聞風(fēng)而起。

結(jié)合AI在美國的發(fā)展路線，會看得更清楚：2018年，谷歌發(fā)表著名的BERT論文，真正地將“預(yù)訓(xùn)練”的潛能發(fā)揮出來，AI開始顯現(xiàn)出“一模多用”的可能；2020年，OpenAI的GPT-3模型問世，強大的性能震驚業(yè)內(nèi)，其1750億的參數(shù)量，遠(yuǎn)遠(yuǎn)超過當(dāng)時主流模型1億到10億的參數(shù)量，研究人員第一次感受到“暴力美學(xué)”。

從那時算，再過2年，由OpenAI領(lǐng)銜的新一代AI就將震撼世人。從未見過的玩法和產(chǎn)品，如生命演化中的寒武紀(jì)時期一般，有如神跡，至今層出不窮。

但作為AI學(xué)者，盧志武的眼中，“硅基生物的寒武紀(jì)”有跡可循，其演化也有邏輯存在。在2020年，雖然這一切還看不清楚，但他直覺到，大模型是真正的未來。

“肯定有理性的分析（來判斷），但是首先，這是一種直覺，你能立刻決定這個（大模型）能做。”盧志武說。

那時他判斷，在此之前的上一代AI雖然很火，但已經(jīng)顯現(xiàn)出疲態(tài)來。舊版“AI四小龍”已經(jīng)走到茍延殘喘之時，有一些任務(wù)以及場景始終做不好，“說明那一代AI的技術(shù)有缺陷”。盧志武的話語直白簡單。

悟道大模型項目是一個他珍視的機會。“我不知道別人是怎么想的，其實在我們自己心里，大家心里都有一口氣。”盧志武解釋，“我們”，也想做出世界范圍內(nèi)的重要工作，說俗一點，我們也想青史留名。

他的語氣依然平實，又補充道：“你看歷史上的霍去病。你去當(dāng)武將，肯定都想做霍去病這樣的人。”

沒人走過的路

盧志武是幸運的。谷歌的Bert與OpenAI的GPT-3，都是公開發(fā)表之作，或許令當(dāng)時AI圈的人都有“直覺”。但在參與悟道大模型的項目后，盧志武有機會親自驗證直覺。

但是探索也從來是艱難的。正如今天的OpenAI被嘲笑為“CloseAI”，原因就在于，GPT-3之后，它不再公布任何旗下研究的技術(shù)文檔與細(xì)節(jié)。

大家開始了摸黑前進(jìn)。

悟道大模型有4個項目，對應(yīng)4個不同的大模型。“人大隊”由高瓴人工智能學(xué)院院長文繼榮帶隊，負(fù)責(zé)其中的“多模態(tài)大模型”研究任務(wù)，盧志武是團(tuán)隊中的模型組的負(fù)責(zé)人。對應(yīng)的大模型，后來被命名為“文瀾”。

“多模態(tài)”的概念不難理解。無論是Bert還是GPT-3，以至于最早的ChatGPT，它們屬于語言大模型，只能通過對語言的認(rèn)知和理解能力完成任務(wù)，而“多模態(tài)大模型”既能理解文字，也能理解視覺（圖片、視頻等）。

上一代AI技術(shù)中的計算機視覺（CV），與多模態(tài)大模型有著繼承關(guān)系。不過，盧志武認(rèn)為舊的范式在落地時有天然的缺陷，“它的通用性、泛化能力不強，這就是上一代AI公司盈利難的原因”。

時鐘撥回2020年，那時，沒幾個人相信一個AI模型能夠具有泛化能力。

盧志武團(tuán)隊很快決定增加模型的參數(shù)量。“這個方向，我也不是100%確認(rèn)，但如果有50%的把握，我就敢投入”，這是他一直以來的研究態(tài)度。

過程中，心中的把握逐漸切入80%，這讓盧志武和團(tuán)隊都興奮不已。它是全新的創(chuàng)舉—2023年以前，多模態(tài)模型一直是“無人區(qū)”。而早在2020年，盧志武就想用圖文數(shù)據(jù)來訓(xùn)練一個具有圖文能力的大模型，這是從未有人做過、甚至很少有人想到的。

2021年，盧志武曾對媒體說：“完全是在一片黑暗之中摸索的。”

關(guān)鍵在于原理設(shè)計。舊的計算機視覺時代，研究的都是專用小模型，相關(guān)經(jīng)驗不可參考。而在大模型研究的早期，包括領(lǐng)先者谷歌，都采取主流的“圖文對”訓(xùn)練視覺模型。意思是說，訓(xùn)練數(shù)據(jù)只能由圖文對組成，圖文對是指一張圖片和一段對該圖片解釋說明的文字所組成的“對子”。通過將大量“對子”輸入機器，來訓(xùn)練機器內(nèi)部的神經(jīng)網(wǎng)絡(luò)，最終，期待機器能理解圖片和文字。

因此，當(dāng)盧志武決定煉多模態(tài)大模型時，緊隨而來的問題就是，如何獲取巨量的、新的訓(xùn)練數(shù)據(jù)？

他們只好從網(wǎng)絡(luò)上爬圖，并且默認(rèn)“一個圖片附近位置的文字，大概率是與它有關(guān)的，但是關(guān)系沒有（圖文對）那么強”，以此獲取了訓(xùn)練數(shù)據(jù)。

新的問題又來了，弱聯(lián)系的“圖文對”，顯然不能按主流架構(gòu)來訓(xùn)練，會把機器越訓(xùn)越傻。盧志武設(shè)計了“雙塔結(jié)構(gòu)”來使用新的訓(xùn)練數(shù)據(jù)。他們不再像主流做法那樣，對“圖文對”進(jìn)行整體編碼，而是分別將圖片和文字都進(jìn)行編碼，再作匹配等進(jìn)一步的訓(xùn)練。

這與機器學(xué)習(xí)中“自監(jiān)督”或“無監(jiān)督”的概念相似，但不完全是一回事。何況，“當(dāng)時自監(jiān)督、無監(jiān)督，都是很新鮮的概念，還沒什么人提”，盧志武說。

它完全是新的訓(xùn)練方法。

2021年3月，首個中文通用多模態(tài)預(yù)訓(xùn)練大模型文瀾問世。在此兩個月前，OpenAI的第一個多模態(tài)大模型CLIP出爐。“你看CLIP，它跟我們的架構(gòu)是一模一樣的，只是一些細(xì)節(jié)上有差異。”盧志武說。

最難突破的

文瀾與CLIP，是盧志武團(tuán)隊與OpenAI的第一次“撞車”，類似的事情，又發(fā)生過兩次。

一次是多模態(tài)的應(yīng)用產(chǎn)品，盧志武團(tuán)隊、AI創(chuàng)企智子引擎，在2023年3月8日推出了全球第一個多模態(tài)對話應(yīng)用“元乘象”。就在6天后，3月14日，OpenAI發(fā)布GPT-4，宣布它是一個多模態(tài)模型及應(yīng)用。

另一次就是著名“撞車”事件，盧志武團(tuán)隊在2023年5月公開發(fā)布的VDT（Video Diffusion Transformer）技術(shù)，與2024年2月Sora的底層架構(gòu)DiT（Diffusion Transformer）撞車。盧志武把話又說了一遍，“幾乎一模一樣”。他補充說：“我甚至懷疑它（OpenAI）參考了我們的論文。”

“撞車”的描述來自媒體，談及對這個詞的看法，盧志武沉默了會兒，說道：“應(yīng)該說是幾乎同時，或者（除了文瀾與CLIP），我們比它還稍微領(lǐng)先一些。”

不過，盧志武自己不能夠很好地解釋，為什么他能夠接二連三地做出全新的學(xué)術(shù)成果。

他的回答，頗有煉大模型的一種“暴力美學(xué)”范兒。他說：要在世界范圍內(nèi)領(lǐng)先，當(dāng)然是挺難的一個事情，有各種機緣巧合，跟人的認(rèn)知有關(guān)，跟團(tuán)隊的水平有關(guān)，跟當(dāng)時所處的環(huán)境有關(guān)，這些得湊在一起。

成敗只是從事兒來看。盧志武也強調(diào)，做學(xué)術(shù)，做創(chuàng)新，“你認(rèn)為（找到了）是這條路，但是沒成之前，你就是在黑暗中”。

即便邏輯理順了，要得到最終好的結(jié)果，中間其實有九九八十一難。

文瀾時期，他們的工作沒有任何經(jīng)驗借鑒，“代碼都是一行一行重新敲的”。當(dāng)時，團(tuán)隊的人每天一睜眼，就要面臨全方位的問題，可能數(shù)據(jù)出問題，可能編程上出問題，可能算法上出問題，系統(tǒng)調(diào)用也會出問題……全靠團(tuán)隊的人自己應(yīng)付。

身處高校，盧志武和他的團(tuán)隊，不會沒有論文考核的壓力。他記得訓(xùn)文瀾時，一位特別年輕的女學(xué)生，入組三個月就弄出了高血壓。另有一位14歲上大學(xué)的“天才少年”，是訓(xùn)練的主力，壓力之下，頭發(fā)都白了，“當(dāng)然（文瀾項目）結(jié)束之后，頭發(fā)黑回來了，高血壓也消失了”。

做創(chuàng)新，最難的當(dāng)然不是身體疲勞，是“沒有人告訴你該怎么做”。盧志武說：“我覺得最難的是思想上的難，實踐的時候肯定會有難度，但是那個難度是可克服的。”

思想上的難，第一難可能是，敢于不同。

無論是訓(xùn)練文瀾，還是與Sora撞車的VDT，都與眾不同。盧志武說：“我是喜歡反著來的。”

于是，2022年，做多模態(tài)對話的盧志武轉(zhuǎn)入AI視頻生成的研究，技術(shù)上是很自然的。另一方面，他回憶，“當(dāng)時聽到硅谷的消息，據(jù)傳2023年應(yīng)該是AI視頻技術(shù)的一年”。

與文瀾時期類似，他不想走主流的路。當(dāng)時，視頻AI創(chuàng)企一片火熱，如Pika、Runway等等，它們都用了傳統(tǒng)的技術(shù)架構(gòu)U-Net。盧志武解釋說：“我一直想做有影響力的工作，不想跟著別人屁股后面走。你要說初心，要說真實的原因，就是這么簡單。”

盧志武并不覺得自己很特殊。他說，就像在Sora之前，要使用DiT架構(gòu)做視頻生成，這件事不可能只有他想過，“肯定也有人想過做過但是沒成。只是我的執(zhí)行力強而已”。

活下去

2024年初春時節(jié)，就在Sora的“宣傳片”掀起全網(wǎng)的浪潮時，中關(guān)村的人大系初創(chuàng)公司智子引擎也迎來戲劇性的一幕：從前這里門可羅雀，此后拜訪的人絡(luò)繹不絕。

在盧志武眼中，這一幕卻有悲劇的意味。

此時，他悄然露出鋒芒，“就是這樣，我們老是干這種事”，他譏誚道：“中間近一年的時間差，沒人愿意支持我們。大部分投資人不相信我們能做出來，可能也不相信中國人能做出來。假如我是一個美國人，他們馬上就信了。”

盧志武看得清楚，從悟道到具體的文瀾，再到視頻生成技術(shù)，與OpenAI“幾乎同時”，但是影響力完全不是一個量級。

與Sora“撞車”前，他也找過很多投資人，“他們聽得挺興奮的，但都是不敢出手”。即使撞車后，來訪的投資背景的人多了，盧志武也覺得“沒有太大意義，他們找我不是要投，只是想知道Sora的技術(shù)細(xì)節(jié)到底是什么樣的”。何況，Sora已經(jīng)做出第一個產(chǎn)品來。

“（心里）肯定是不平。”盧志武說，但這沒有辦法，當(dāng)前學(xué)術(shù)圈或者科技創(chuàng)新的圈子里，不公平的事有很多，這也不是頭一起了。

投資環(huán)境的不友好，疊加競爭對手的瘋狂“內(nèi)卷”，令A(yù)I行業(yè)迅速進(jìn)入淘汰期，活下去是第一訴求。

“現(xiàn)在的六小虎，明年可能要死一半。”這是盧志武的判斷。當(dāng)然，他也無法逃離激烈的內(nèi)卷，好在智子引擎“船小好調(diào)頭”，員工約50人，能夠控制住成本。

盧志武介紹，現(xiàn)在團(tuán)隊的主力產(chǎn)品和服務(wù)，還是以多模態(tài)大模型為核心。客戶粗略分為大客戶和小客戶兩類，大客戶如地方政府、央國企等。

小客戶方面，盧志武著重介紹了“影樓”的例子。許多愛美的女性會到影樓拍寫真，影樓提供攝像以及搭建場景、搭配衣裝的服務(wù)。“可能拍攝100張照片，最后選出20張左右，做成集子”，其中大部分作品被浪費了。團(tuán)隊想到的辦法是，經(jīng)客戶同意，將有瑕疵的廢片制作成AI視頻，自由度高，風(fēng)格多樣。結(jié)果證明，許多用戶愿意為此掏錢。

另一邊，影樓本身需要在各大論壇處引流，智子引擎還為其提供AI生成宣傳物料的服務(wù)，人力成本下降了，制作的物料卻成倍增長，營銷對象更加多樣、精細(xì)。

想用AI掙錢，必須要真正深入場景。盧志武介紹說，其實圖片生成、視頻生成的應(yīng)用很多，智子引擎團(tuán)隊用了大半年的時間，吃透場景，目前已經(jīng)合作了數(shù)十家影樓。而影樓及其客戶，稱得上是對圖片質(zhì)量要求最苛刻的人群，這反過來訓(xùn)練了團(tuán)隊和模型的基本功。

或許是因為見過上一代AI創(chuàng)企的窘迫，盧志武不愿賺自降身價的錢。比如，只是賣通用大模型，會因為開源模型的井噴導(dǎo)致模型逐漸廉價，走不通。一味強調(diào)定制化，針對每個場景都深度定制，成本太高，單純是個力氣活，也走不通。

訓(xùn)練AI時，算法、架構(gòu)的迭代演化，有時不只是為了實現(xiàn)，還為了更優(yōu)雅地實現(xiàn)。做AI的生意，類似于此，不是為了眼前而涸澤而漁，內(nèi)卷致死。

活下去，蟄伏，或許就能等到競爭環(huán)境的改善，等到理想主義的資本入場，等到高校與企業(yè)“產(chǎn)學(xué)研”架構(gòu)更進(jìn)一步的釋放。這些同樣需要思想上的突破，很難。