Sora：從技術哲學到文藝學的思考（筆談）

摘要：哲學學者吳冠軍從技術哲學的視角提出：從ChatGPT、DALL·E到Sora，基于轉化器的AIGC大模型并不只改變了內容創作，還改變了“世界”在最字面上的意義。世界化成的過程，越來越多被以有損壓縮-重新生成為發生學機制的AIGC之創造性活動所介入，這就導致“宇宙”（我們眼里的“物理宇宙”）與“元宇宙”不斷深層次地疊加，“自然進程”與“人工創造”不斷深層次地交織以至進入無可區分之域。這就意味著，我們所熟悉的那個“世界”，將一去不復返：當AIGC已“深”到參與世界化成本身之中時，討論“深偽”將越來越沒有意義。文藝學學者趙憲章則從“語圖關系學”的視角提出：Sora的橫空出世及其未來演進，不僅不是圖像時代符號危機的解除，更不是語圖關系研究的終結。恰恰相反，Sora加深了這一危機，語圖關系研究也延宕出新的面向。

關鍵詞：Sora；世界化成；元宇宙；語圖關系

中圖分類號：G02；I02 文獻標識碼：A 文章編號：1674-3180（2024）01-0010-06

基金項目：本文系國家社科基金重大項目“后現代主義哲學發展路徑與新進展研究”（項目編號18ZDA017）的階段性成果。

世界的元宇宙化：Sora的技術哲學探究*

吳冠軍（華東師范大學二級教授、政治與國際關系學院院長，教育部“長江學者”特聘教授）

2024年2月15日，OpenAI發布文生視頻大模型Sora，旋即激起了堪比2023年11月30日該公司發布ChatGPT時的現象級熱浪，并使得“人工智能生成內容”（Artificial Intelligence Generated Content， AIGC）又一次躍升成為全球關注的焦點。谷歌同期推出的大模型Gemini 1.5 Pro，革命性地將上下文容量一舉擴展至 100 萬個“標記”（tokens），但其影響力完全被Sora的風頭所淹沒。那么，Sora何以獨特？

根據目前OpenAI的展示，Sora能夠根據自然語言的描述提示，輸出長達一分鐘，有多個角色、多種場景、多角度運鏡的視頻畫面。這使得Sora的能力遠遠超過同賽道上的其他競品——僅就生成的視頻長度而言，此前大領風騷的Gen-2、Pika 1.0等文生視頻模型，至多只能形成幾秒具有連貫性的視頻（僅夠做表情包動圖），而Sora生成的60秒視頻已達到了一個商業廣告的長度。

但在筆者看來，Sora的重要性并不僅僅體現在視頻生成能力的強勁躍升上。要理解這一點，我們有必要回到ChatGPT：這個大語言模型所展現出的重要性，真的僅僅表現為知識全面、具有接近“通用智能”的聊天助手嗎？事實絕非如此。在ChatGPT剛問世時，筆者就曾提出，AIGC一定會通向AIGW（Artificial Intelligence Generated Worlds），即人工智能所生成的“世界”。a

ChatGPT實際上介入了對作為符號性秩序（symbolic order）的人類世界的模擬與重新生成；而DALL·E這款文生圖模型則進一步介入了想象性秩序（imaginary order）的模擬與重新生成。Sora延續了作為“世界模型”的ChatGPT（它具備直接調用DALL·E3的能力），并且進一步介入了物理性秩序（physical order）的模擬與重新生成。b

OpenAI于發布Sora的當日，同步發布了題為《視頻生成模型作為世界模擬器》的研究報告。在這篇報告中，開發團隊初步解釋了研發Sora的技術路徑，并開宗明義地表明Sora追隨了ChatGPT的成功經驗。不同于那些采用生成對抗網絡（generative adversarial networks， GAN）或遞歸網絡（recurrent networks）的開發路徑，Sora采取建立在轉化器架構上的擴散模型。此處值得重視的關鍵是：擴散轉化器（Diffusion Transformer， DiT）所達成的，歸根結底是對“世界”的一種有效壓縮。

我們有必要回頭從ChatGPT出發展開分析。ChatGPT的“預訓練”（pre-training），實質上就是把互聯網上所有文本進行大幅度壓縮，用“標記”把各種形式的文本模式（代碼、數學和自然語言）統一起來，從而獲得強大的符號性通用能力。經由“標記化”（tokenization），符號性的現實世界就能被映射為人工神經網絡之“潛空間”（latent space）里的一組參數數值。就這樣，符號性世界被大語言模型轉化為一個關于它的潛表征（latent representation），并且這個表征對于人類的大腦（亦是一個神經網絡）而言徹底不透明。轉化器的“自注意力”（self-attention）或者說“內注意力”（intra-attention）機制，會進一步計算每個標記對序列中其他標記的“注意力”，從而對權重以及序列（即標記的位置信息）做出調整，以使該標記包含更豐富的上下文信息。ChatGPT的潛空間構成了一個世界模型（標記化的“世界”），它能生成下一個標記的預測，并把內容“解碼”回人類可理解的文本。

ChatGPT彰顯出了轉化器架構的強大之處：它用人工神經網絡的方式，有效地做到了對世界的壓縮。當然，這是一種有損壓縮，故此，其輸出（即在潛空間預測下一個標記，再解碼成自然語言）并非完全復述，而是包含著創造。所謂的“幻覺”（hallucinations）問題，實際上亦可以被理解為ChatGPT介入符號性秩序并對它進行重新生成所產生的一種效應。c建立在有損壓縮上的重新生成，無法徹底避免“幻覺”。而這個機制，恰恰使得創造性活動（poiēsis）成為可能，就像是畫家對眼前景像（輸入）通過其“轉化器架構”（神經網絡+手掌肌肉）完成出一幅油畫作品（輸出）。

比起大語言模型ChatGPT，Sora在形式上就更像畫家了。Sora將轉化器架構安置在擴散模型中。轉化器能自主提取出信息之間的關聯并用“標記”的方式進行統一化重組。而擴散模型則通過控制增噪/去噪的過程，將文本信息（“能指”）依照模型對世界的潛表征進行具象化的渲染（轉化后的“所指”）。作為文生視頻模型，Sora在訓練數據上使用嵌有文本標識的各類視頻與圖像，并用“補丁包”（patches）來統一不同類型的視頻和圖像。在轉化器架構下，用“補丁包”對圖像與視頻進行“補丁化”操作，就對應ChatGPT對各類文本的“標記化”。換言之，在大語言模型之潛空間中用以構建世界模型的“標記”，就大體相當于文生視頻模型之潛空間中用以構建世界模型的“時空補丁包”（spacetime patches）。a

Sora用“噪聲補丁包”以及文本提示等條件性輸入信息來進行預訓練，用于預測原始的“干凈補丁包”——轉化器在這里，可以被視作某種“去噪器”。具體的做法是在一個低維度的潛空間中，從壓縮后的視頻內提取出序列，用OpenAI自己的話說：

我們先將視頻壓縮到一個低維度的潛空間中，繼而將視頻轉化為補丁包，并隨后將它們在時間-空間上進行分解。b

通過這個方式，原始視頻的輸入，在時間-空間上被壓縮為成序列的潛表征——成序列意味著其時間與空間上的位置與變化信息皆被“補丁化”到模型的低維度潛空間中，由一組參數數值所界定。轉化器的自注意力機制允許Sora在處理一個補丁包時，考慮到它對序列中的所有其他補丁包的“注意力”，從而以權重分布與序列位置的方式來表征補丁包之間的復雜關系。

人工神經網絡參數里關于世界的潛表征，使建立在轉化器架構上的大模型成為“世界模型”。世界模型，其實就是能夠有效構建對世界的潛表征，并在其基礎上做出關于世界化成（worlding）的預測——它能根據一個觀察（輸入的“提示”）來從潛變量中預測“世界”隨后會進入的狀態。潛變量參數化了關于可靠預測的分布（或集合）。換言之，從一個分布中采樣（或在一個集合中變化）的潛變量，結構性地定義了一個可能性區域，模型則根據這個區域來預測未來可能發生的情況。

作為世界模型的Sora根據輸入的“提示”在其潛空間中完成預測后，就進入輸出（內容生成）環節，即通過相應的解壓縮器將預測的補丁包從低維度的潛空間映射回像素空間，轉化為可視的視頻或圖像，亦即對干凈補丁包進行特定的增噪（添加高斯噪聲、提升信息熵），從而達成“渲染”。通過這樣的方式，Sora就能夠經由有損壓縮再重建同預訓練數據相似但又新穎的視頻。

通過上述分析我們可以看到，實際上，Sora是在符號、想象（影像）與物理三重面向上，對“世界”做出了一個有效的有損壓縮，并進而能夠根據“提示”（文字、圖片或視頻）重新渲染進行輸出。Sora能夠理解語言，并自行推演（“預測”）世界中能動者（人、非人類）之間的符號性與物理性互動，以及同周遭環境的互動。當然，Sora生成的視頻內容中仍會包含“故障”（glitches），譬如玻璃以違反物理學原理的方式碎裂。c但這些“故障”就如同大語言模型的“幻覺”，是所有經由有損壓縮再重新生成的世界模型所無法避免的——根據從潛變量中做出的預測重新渲染出來的“世界”，就會包含著“故障”。d實際上，動畫片乃至科幻片，恰恰皆可以有效利用這樣的“故障”，來進行藝術性的創作。

對于Sora，就像ChatGPT一樣，我們無法直接進入其神經網絡參數里的世界模型（其潛空間里關于世界的表征），而只能把整個模型作為經驗性的對象來觀察，也就是對其輸入與輸出進行觀察。通過參數數量與訓練數據數量這兩個變量的規模提升（scale），我們可以期待對于相同的輸入（“提示”），模型輸出的質量有大幅提升（這也包括“幻覺/故障”的減少）。實際上，目前我們無從獲悉任何一個人的神經網絡里的計算（思考、創作、決策……）過程，故此，我們只能把人作為經驗性的對象來觀察，即對其輸入與輸出進行觀察。a我們根據輸出結果的質量（如下圍棋、作畫……），來衡量能動者的智能（而不是通過直接檢查其計算過程來進行衡量）。我們找到了大幅提升大模型輸出質量的方法（規模提升），但人顯然無法用這種方式來提升其輸出質量。

OpenAI發布Sora后，在YouTube上從事視頻創作超過15年的“大V”帕蒂·加洛韋（Paddy Galloway）從創作者角度表示，“內容創作永遠改變了”。b我想進一步強調的是：從ChatGPT、DALL·E到Sora，基于轉化器的AIGC大模型不只永遠改變了內容創作，還改變了“世界”在最字面（literal）上的意義。世界化成的過程，越來越多被以有損壓縮-重新生成為發生學機制的AIGC之創造性活動所介入，這就導致“宇宙”（我們眼里的“物理宇宙”）與“元宇宙”不斷深層次地疊加，“自然進程”（natural process）與“人工創造”（artificial creation）不斷深層次地交織以至進入無可區分之域（zone of indistinction）。c

這就意味著，我們所熟悉的那個“世界”，將一去不復返：當AIGC已經“深”到參與到世界化成本身之中時，討論“深偽”（deep fake）將越來越沒有意義。

“語圖符號學”的新面向

趙憲章（南京大學文學院教授、博士生導師）

Sora橫空出世，引爆世人眼球，昭示了復雜的圖像制作也可以由計算機完成。目前，媒體上多是“語轉圖”的描述，未見“圖轉語”的報道，原因可能是后者近乎Ekphrasis（造型描述），技術難度大于前者。盡管如此，Ekphrasis的數字化應該是可以預見的。這也就意味著，“語圖互轉”將變得輕而易舉，無論“語轉圖”還是“圖轉語”，無論靜觀圖像還是施為圖像，d語圖無縫對接已經達到能夠以假亂真、真假難辨的程度。

出于個人學術習慣，我馬上聯想到自己所從事的語圖研究：多年來的苦思冥想、孜孜以求，是否意味著船到碼頭車到站了？因為，乍看上去，語圖互轉的輕而易舉和自動化，似乎是符號間性的彌合；復雜數字圖像的逼真性，似乎是現實與虛擬的消解。眾所周知，“圖像時代”的到來使語圖關系出現危機，現實與虛擬變得混淆不清，此乃語圖符號學的現實動因；而符號間性的彌合，不就意味著危機的解除，我們所擔心和焦慮的現象不存在了嗎？Sora的面世使獲取逼真圖像變得輕而易舉，不就意味著語圖矛盾的消解嗎？技術大踏步前進，應該高興才是，慶祝還來不及呢！

實際上，止于如此判斷很是片面，特別是對于學術研究而言。因為，追求生活便利是一把雙刃劍，技術進步往往與精神保全背道而馳。這就涉及如何正確認識Sora及其后果的問題，有必要將其納入圖像史進行考察。

首先，我們不能將“圖像”與“視覺”混用，它們是兩個有聯系但并不相同的概念。毫無疑問，“圖像”屬于視覺對象，但是，視覺對象并不限于圖像。之所以強調這一點，是因為符號學和圖像學論域中的“圖像”，特指人為的對象，而“視覺對象”還包括非人為之自然表象。只有將圖像定義為“人為”的，它才能與“語言”相對。而“語言”與“圖像”，作為人類有史以來最主要的兩種表意符號，都是人為的，非自然之本有。在這一意義上，“圖像”概念屬于符號學，“視覺”概念屬于心理學。

由此反觀作為表意符號的圖像的歷史，就其制作和功能而言，大體可劃分為手繪、機繪、數繪三大歷史階段。這三大階段同時也對應了圖像表意的三大形態——傳統繪畫屬于“手繪圖像”，照片與影視屬于“機繪圖像”，包括Sora在內的圖像則是“數碼圖像”。

其次，制作方式的不同導致不同的圖像表征：手繪圖像只是靜觀圖像；機繪圖像具有靜觀和施為雙重表征；數繪圖像更進一步，既可以靜觀，也可以施為，還有可能實現互動，就像“網游”那樣。“互動”意味著受眾被圖像肉身所包裹，受眾與圖像的關系不再是主客二分；而手繪和機繪圖像相對于受眾，只是主體觀看的對象，“主客二分”一目了然。

再次，圖像的不同表征又導致不同的功能，例如數繪圖像中的“網癮”，在前兩種圖像觀看中是不可能發生的；無論“手繪”還是“機繪”，圖像對于受眾的誘惑，一般只是“回味無窮”“三月不知肉味”之類，不可能罹患“網癮”。“網癮”意味著受眾被圖像肉身所包裹，不再有主、客二分，主體已深陷其中而不能自拔。這其實是“網癮”的哲學本質——圖像的誘惑力超過了受眾的自控力。而手繪和機繪圖像的審美表征只是韻味和動情，不可能像數繪圖像那樣可以摧毀受眾的自控閥門。

如是，我們現在就可以冷靜地反思Sora了。

不錯，Sora使圖像制作非常逼真且輕而易舉。但請注意：這只是從圖像的使用角度所做的判斷，意味著人作為圖像的使用者（主體），制作或享用圖像變得更加便利，如此而已。圖像制作和享用的便利，并不意味著語言和圖像的間性已經消弭——語言還是語言，圖像還是圖像，它們都在那兒，依舊保持各自的屬性。如果不需要語圖互轉，語言和圖像依舊牢牢占據自己的立場，絕對不會“自動”成為對方。同義反復，Sora的意義，主要是作為“工具”，它的出現不過是使語圖互轉更加便利。

就當下Sora將語言轉換為圖像而言，正是由于“工具”的改進，才收獲了“便利”，從而使語言的圖像化變得近乎瘋狂——本屬于語言的領地被圖像快速變現，圖像對語言的僭越與替代開始了“加速度”，前所未有……這不正是文學與圖像研究所憂心的“圖像時代”的負面影響嗎？文學與圖像研究不可能阻止這一大勢，但是有責任揭示其內在邏輯與學理奧秘。因為，就未來趨勢而言，強勢的圖像符號在技術的不斷加持下，對于語言的僭越或替代將會越來越嚴重，長此以往，人類的思維、語言、文化將發生怎樣的改變？“改變”是毋庸置疑的，問題是我們還沒有做好這方面的準備，既缺乏心理準備，也缺乏理論準備。毫無疑問，此乃深沉的人文關懷，語圖符號學責無旁貸，任重而道遠。

“語圖符號學”是廣義符號學的具體化，即：將符號學的理念與方法落實到語言和圖像的比較中，故亦稱“語圖比較符號學”。近年來，學界已把這一方法用于文學與圖像的關系研究，實踐證明是切實有效的。今天，Sora的橫空出世預示著數繪圖像進入了一個新時代，也意味著語圖符號學有了新的面向。此面向之“新”，主要表現為語圖互轉的程序化，即在數字程序的支持下，對于海量語言庫和圖像庫的快速搜索與抽繹，進而“編譯”成另一種表意符號，并且有可能衍生出“網游”那樣的主客互動。我們知道，傳統的語圖互轉基于“人工”，無論詩畫互轉還是影視改編，個人旨趣、心手無間、圖像載體、時代背景等決定了“互換”的千變萬化皆天機。那么，面對數字程序支持下的語圖互轉，語圖符號學將面對怎樣的不同呢？

首先，語圖符號學的主要對象是靜態的手繪圖像，這是學界以往經常研究的；現在，將其轉移到動態施為圖像是否適用，或者說如何才能適用？馬克思說：“人體解剖對于猴體解剖是一把鑰匙。反過來說，低等動物身上表露的高等動物的征兆，只有在高等動物本身已被認識之后才能理解。”a相對于靜觀圖像，施為圖像屬于“高等”級別，但二者可以互動，密切相關。也就是說，認識靜觀圖像是我們認識施為圖像的基礎，沒有分析靜觀圖像的經驗和能力，也就不可能有效地分析施為圖像。就像當下許多影視研究那樣，實際上是“改編”研究而沒能觸及圖像本體。另一方面，具備了一定的靜觀圖像分析的經驗和能力，原封不動地移植到施為圖像分析，也不一定完全有效，方枘圓鑿之尷尬難免發生。

其次，源自同樣的語言文本，不同的“程序”所生成的圖像肯定是不一樣的，而同一個程序所生成的圖像肯定一樣或相似。這也就意味著，“程序員”替代了畫家、攝影家、編導和演員等主創人，圖像藝術的風格也就被技術所壟斷。藝術應該是自由的，自由的藝術才能百花齊放，百花齊放的藝術才是真藝術。但是，“程序員”用技術優勢壟斷了圖像制作，即便不能壟斷整個藝術，也無疑會使受眾的興趣被吸引過去。于是，藝術市場開始了技術崇拜，“技術霸主”對傳統的、非數字化的、“韻味的藝術”產生嚴重威脅，藝術創作就可能陷入“技術專制”的時代。

當然，Sora目前才剛剛萌芽，所有的預測都不一定確切，更不一定全面。Sora一旦成熟，還會有很多新現象、新問題顯露出來，諸如“有圖有真相”之類的常識被顛覆等。如何解釋并應對這些問題，等待著人們去追蹤、去探究。

總之，Sora的橫空出世及其未來演進，不是圖像時代符號危機的解除，更不是語圖關系研究的終結。恰恰相反，Sora加深了這一危機，語圖關系研究也延宕出新的面向。此乃不以個人意志為轉移的大勢所趨，“語圖符號學”有必要修正自身，整裝前行。

（責任編輯：馮靜芳 孫婧）

a 參見林彩斐：《文本就是世界：從大語言模型到元宇宙》，https：//wxy.cqnu.edu.cn/info/1228/5556.htm，2023-07-10；吳冠軍：《技術與時尚》，《海歸學人》2023年第4期；《講座回顧：吳冠軍教授主講“大模型、元宇宙與技術政治學”》，https：//mp.weixin.qq.com/s/F7C_ aqJHaNbH-T6QLsyfyw ，2023-11-22。

b 參見吳冠軍：《面向大語言模型的知識實踐》，《人民論壇·學術前沿》2023年第21期；吳冠軍：《大語言模型的技術政治學評析》，《中國社會科學評價》2023年第4期；吳冠軍：《通用人工智能：是“賦能”還是“危險”》，《人民論壇》2023年第5期。

c 參見吳冠軍：《大語言模型的信任問題與資本邏輯》，《當代世界與社會主義》2023年第5期。

a Sora用“補丁包”將圖像與視頻統一在了一起——圖像實際上就是單幀的視頻。在原始意義上，“patch”就是指一個獨立的圖像塊。

b \"Video Generation Models as World Simulators，\" OpenAI， https：//openai.com/research/video-generation-models-as-world-simulators， 2024-02-15.

c “故障”不同于因缺少時間向度上連貫性而產生的“錯誤”（errors），譬如人臉在幾秒鐘后變成另一張臉。錯誤會在時間向度上積聚，這就是為什么生成4秒視頻和60秒視頻完全是兩碼事。

d Sora開發團隊成員阿迪提亞·拉米什（Aditya Ramesh）曾在社交平臺推特（現更名為X）上發布關于一只螞蟻在蟻巢內部移動的視頻，但細心的網友發現視頻中的螞蟻只有四條腿。這個“故障”遭到了圖靈獎得主楊立昆的尖銳批評。楊立昆旨在做出理解因果關系的世界模型。

a 參見吳冠軍：《愛的算法化與計算理性的限度——從婚姻經濟學到平臺資本主義》，《人民論壇·學術前沿》2022年第10期；吳冠軍：《愛的革命與算法革命——從平臺資本主義到后人類主義》，《山西大學學報（哲學社會科學版）》2022年第5期。

b 參見2024年2月16日帕蒂·加洛韋在社交平臺X發布的內容（@PaddyG96）。輔助鏡頭是針對主鏡頭（A-roll，譬如主講人對著鏡頭講話的內容）而言，比如一些空鏡頭、背景事物特寫、場景動畫等。

c 參見吳冠軍：《從元宇宙到量子現實：邁向后人類主義政治本體論》，中信出版社2023年版；吳冠軍：《再見智人：技術-政治與后人類境況》，北京大學出版社2024年版。

d “施為圖像”相對“靜觀圖像”而言，為動態影像，表意能力不受萊辛所謂“時間”的局限。此“施為”概念援自奧斯丁的言語行為理論，即認為語言的日常使用是一種“實施行為”（performative），“說話”就是“行事”，與此相對應的則是語言的描述功能。但是，“說話”畢竟不是“行事”，語言的“施為性”不過是一種合乎邏輯的理論假設，就像我們置身于現代影像的觀看現場，“動態”只是視覺暫留所形成的“似動”效果，即運動的假象，故也可以稱之為“使動圖像”。據此，我們也可以將“靜觀”與“施為”定義為圖像的兩種功能，也是圖像表意的兩種類型，就像奧斯丁將語言定義為“描述”和“施為”那樣。之所以啟用這個概念，意在使讀者自覺到“動態圖像”之“動”不過是一種假象，以便厘清現實與虛擬的不同。

a 馬克思：《〈經濟學手稿（1857—1858）〉導言》，《馬克思恩格斯全集》第46卷（上），人民出版社1995年版，第43頁。