AIGC的科學基礎

楊善林，李霄劍，張強，莫杭杰，彭張林，焦建玲，蔣翠清，蔡正陽，李玲

（1.合肥工業大學 管理學院，安徽 合肥 230009；2.過程優化與智能決策教育部重點實驗室，安徽 合肥 230009；3.數據科學與智慧社會治理教育部哲學社會科學實驗室，安徽 合肥 230009）

1 引言

互聯網上的內容生成技術，一直伴隨著互聯網的發展而發展。從最初的專家生成（professional generated content，PGC）［1］，到用戶生成（user generated content，UGC）［2］，再到人工智能內容生成（artificial intelligence generated content，AIGC）［3］，這既體現了互聯網快速發展，更凸顯了人工智能能力的大幅躍升。2006年深度學習提出以來，人工智能在圖像［4］、語音［5］、自然語言處理［6］等多個領域展現出了其他技術無法匹敵的能力。2016年，A lphaGo戰勝圍棋冠軍李世石，人工智能從此逐步在圍棋［7］、游戲［8］、繪畫［9］、蛋白結構預測［10］等特定任務領域達到甚至超越人類專家水平，然而這些人工智能仍屬于非通用人工智能，即弱人工智能。

通用人工智能或強人工智能（artificial general intelligence，AGI）是可以學習并完成人類或動物可以完成的任何智力任務的人造智能體，一般認為需要具備推理、不確定性決策、常識認知、計劃、學習、自然語言交流等能力，并在必要時整合這些技能完成任意給定目標。如何構建強人工智能體是人工智能領域追求的主要目標，為此Google［11］、微軟［12］、OpenAI［13］等公司大力投入從多種不同路徑探索強人工智能的構造方法。2017年，Google在神經信息處理系統大會（Conference on Neural Information Processing Systems，NIPS）上發表了名為《Attention is All You Need》［14］的論文，文中提出了基于注意力機制［15］的Transformer結構，能夠有效提取詞語間的相關性，并且模型架構十分靈活。Transformer靈活的架構和優異的性能使得科學家們產生了探究其能力極限的想法，大模型的概念應運而生。

GPT（generative pre-trained transformer）系列就是以Transformer為基礎構建的生成式大語言模型。2018年6月，OpenAI就發布了GPT-1專注于自然語言生成任務，共有12個注意力模塊，1.17億個參數［16］。2019年2月，OpenAI發布了GPT-2，不僅取消了面向各類子任務的有監督微調，模型的參數量還達到了15.42億［17］。2020年6月GPT-3推出，參數量進一步提升至1750億，具有96層架構，1288個超參數，此外還利用了45TB的文本數據進行模型的訓練［18］。2022年，OpenAI先后推出了GPT-3.5、Instruct GPT和ChatGPT［19］，利用強化學習再一次對模型進行訓練，讓輸出結果更符合人類的價值需求。2023年3月14日，OpenAI正式推出了GPT-4，不僅在能力上比GPT-3.5有巨大提升，還具備了跨模態理解的能力。微軟專家團隊對GPT-4做了系統性評測，評測指出GPT-4已經初步具備了通用人工智能的基本特質，可以被認為是一種形式的強人工智能，這是人類首次制造出具備一定常識認知和推理能力的強人工智能體［20］。2023年9月，OpenAI推出了GPT-4V，在GPT-4原有能力的基礎上強化了對圖像的理解分析能力，GPT-4V將與語音模塊一同接入ChatGPT中，使其具備看、聽、說的能力。

人工智能的發展進程超越大多數人的預期，想要理清這些重大突破到底是如何實現的，就需要從科學基礎的視角進行分析，發現推動人工智能發展的關鍵要點。本文梳理了在AIGC發展的全過程中，對其產生重要影響和重大推動作用的科學發現與技術發明，這些研究工作分布于多個領域，包括生物學、認知科學、數理計算科學、決策科學、復雜性科學等。這些學科在AIGC發展的不同階段起到了各種不同的作用：生物學通過對生物智能基礎結構及其機理的解析為AIGC算法基本結構提供了最初的啟示，認知科學通過提煉基本認知規律為AIGC的機制設計提供了方向和目標，數理計算科學通過完善嚴謹的體系為構建AIGC提供了理論和技術工具，決策科學通過對社會系統的剖析可以為AIGC的運營提供安全保障，復雜性科學則為解析AIGC與通用智能的內在機理提供了研究思路。這些學科相互交織，共同形成了AIGC的科學基礎。本文在分析總結這些學科發展規律的基礎上，對AIGC的未來發展進行了分析與展望，以期推動我國在通用人工智能領域的快速創新發展。

2 生物學與A IGC

自然界中的智能體是以生命的形式展現的，因此除了哲學層面的思考以外，人類對智能的研究探索是以生物學為開端進行發展的。早期，人類對智能產生機理的探索是在還原論思想的主導下開展的，通過逐步探究底層結構確立其功能特性。從16世紀初步確立大腦為智能產生的硬件單元，到18世紀生物電信號及其作用的發現，再到19世紀大腦分區功能的確定，直至20世紀初確立神經元理論。此后，人類對神經科學和腦科學的研究逐步從還原論向系統論過渡。下面以兩個諾貝爾獎成果為例做簡要介紹。

2.1 生物神經網絡的發現與人工神經網絡的發明

現代腦科學的研究起源于神經元的發現。意大利科學家Golgi于1873年首創了Golgi染色法，利用鉻酸鹽—硝酸銀將原本顯微鏡下接近透明的腦組織切片中的一部分神經細胞染成棕黑色，這些被染色的神經細胞在顯微鏡下呈現出一個錯綜復雜的網絡結構［21］。由此，Golgi堅定地認為神經組織是一個相互聯通的共享細胞質的網絡結構，即彌散神經網絡理論［22］。西班牙科學家Cajal則以Golgi染色法為基礎開展了進一步研究，由于成熟腦組織神經網絡結構過于復雜，他轉向研究新生而非成年的腦組織，此時腦組織中的神經元發育還未完善，可以較為清晰地看到神經元的各種結構［23］。Cajal基于他自己的實驗觀測結果，堅定地認為神經系統應是由獨立的神經細胞組成、而非一張融合在一起的大網，由此神經元學說被正式提出。Golgi和Cajal的學術觀點相互對立，即便是在諾貝爾獎的頒獎臺上，Golgi［24］也以《神經元學說：理論和事實》為題進一步抨擊Cajal的神經元理論，申明自己對神經網絡理論的堅持。即便如此，兩人的研究一同奠定了現代神經科學基礎，1906年共同獲得諾貝爾生理學或醫學獎。

隨著電子顯微鏡的發明，微觀結構逐步被清晰地展示在人類面前。1955年，洛克菲勒研究所的Palay和Palade［25］通過電子顯微鏡觀察到神經元與神經元之間存在空隙，即突觸間隙，由此神經元理論被正式寫入了教科書中。Golgi和Cajal的學術之爭本應該就此蓋棺定論，但隨著探索的不斷推進，人們又有了新的發現。2023年，Burkhardt等［26］在Science上發表文章，發現櫛水母個體發育的早期階段，其皮下神經網絡的神經細胞之間并沒有相互分離的突觸進行聯結，而是像Golgi描述的那樣，融合形成了一個連續的質膜，即多個神經元細胞彼此不可分地形成了一張整體網絡。這一發現也證明了Golgi和Cajal的學術觀點并不互斥，他們的理論共同推動著神經科學與腦科學的發展。

在生物神經網絡相關研究的啟發下，20世紀40年代，數理計算領域的科學家們開始嘗試模擬神經元的運作機制。1943年，心理學家McCulloch和數理邏輯學家Pitts［27］在分析、總結生物神經元基本特性的基礎上首先提出神經元的數學模型。該模型最初只考慮了二進制的輸入輸出，有多個輸入端口和一個輸出端口，利用權重對多個二進制輸入進行加權求和后，采用一個類似于閾值分割的階躍函數對輸出進行二值化處理，因此該神經元模型也被稱為閾值邏輯單元。此后，學者們在此模型的基礎上進行擴展和微調，逐步形成了今天的人工神經網絡。1951年，圖靈獎獲獎者Minsky在他的博士研究期間提出了關于思維如何萌發并形成的一些基本理論，并建造了世界上第一個人工神經網絡模擬器，名為SNARE。SNARE基于1949年Hebb［28］提出的Hebb學習規則開發，是一臺由大約40個Hebb突觸組成的隨機連接網絡模擬器。1956年，Minsky和McCarthy一起發起“達特茅斯會議”并提出人工智能（artificial intelligence）概念。由于Minsky在人工智能領域的奠基性貢獻被授予1969年度的圖靈獎，也是人工智能領域第一個圖靈獎獲獎者。

此后，人工神經網絡進行了許多輪的迭代，各種各樣的網絡模型和學習方法被提出。1958年，Rosenblatt［29］對上述神經元模型進行改進，設計了具有單層神經網絡的感知器模型，但當時僅能處理線性分類問題。1969年，Minsky和Papert［30］出版了經典著作《Perceptrons》，證明了單層感知器無法解決異或邏輯運算等非線性問題，并引出了具備更強特征表達能力的多層感知器的概念。1986年，Hinton和Sejnowski［31］結合多層神經網絡以及Hop field網絡［32］設計了玻爾茲曼機（Boltzmann machine），為概率建模提供了新思路，在處理無標簽數據和特征學習方面具有獨特優勢。同年，Rumelhart等［33］又提出用于神經網絡參數學習的反向傳播方法，拓展了感知器模型的應用范圍。

2.2 生物神經網絡信息處理機制的發現與深度學習方法的發明

20世紀中葉，人們對單一神經元結構解析已經逐漸清晰，其以生物電信號為核心的信號傳遞機理也逐步清楚。但是，大腦高級功能是如何產生的謎題始終未能破解。Hubel和W iesel［34］在這一時期開始了對視覺系統感知與發育機理的研究。當時最先進的特殊記錄電極設備允許他們對單個神經元進行測量，捕獲它們被激活的情況?；谶@一設備，Hubel和Wiesel于1962年開始嘗試繪制貓視覺神經系統的認知地圖，以此確認視覺皮層不同區域的神經元細胞在功能上是否有分工。他們通過給貓看幻燈片，然后利用特殊記錄電極來測量貓的某單個視覺皮層神經元細胞被激活的情況，以此來判斷不同位置的視覺神經元對何種圖像模式敏感。實驗發現貓的視覺皮層對信息的處理是一種層級結構，所傳遞的信號會在不同層級間發生轉換，進而使得不同層級的神經元會對不同的圖像模式敏感，且越后端的神經元會被越復雜的圖像模式激活。例如，靠近視覺前端的簡單神經元細胞會對明顯的光暗分界線敏感，中端的復雜神經元則會對線條和角點敏感，而后端的超復雜神經元則會對方形、三角形等幾何圖形敏感［34，35］。此后，Hubel和W iesel［36-38］又對視覺系統的發育展開了一系列研究，揭示了外界光刺激對視覺系統發育的影響至關重要，此外他們還做出了視覺功能柱的發現、視覺功能柱結構解析、視皮層可塑性研究等一系列貢獻。因為他們在視覺系統信息處理方面的發現，Hubel和Wiesel與發現大腦左右半球功能分工的Sperry一同獲得了1981年的諾貝爾生理學或醫學獎。

隨著貓視覺認知規律的發現，人們意識到視覺信號在各層級間逐級傳遞的過程中，部分神經元會逐步剔除空間位置的影響，而對大范圍的復雜形狀信息產生整體認知。為了模擬這一過程，日本科學家福島邦彥［39］于1980年首次模擬了視覺神經網絡的信息傳遞模式，提出了卷積層、池化層的模型構建思想及其對應的實現方法。此時的神經網絡還沒有卷積的概念，福島邦彥用在位置上移動（shift in position）來描述卷積操作的過程，然后利用池化來擴大單一神經元在空間位置上的感受野，最終達到不受空間位置影響的形狀認知這一目的。福島邦彥當時提出了一套無監督學習的自組織方式進行神經網絡模型的訓練。隨著反向傳播算法的提出，當時所提出的學習方法逐步被取代，但卷積層、池化層的思想則被保留了下來。

在福島邦彥思想的啟發下，法國計算機科學家LeCun等［40］于1989年正式提出了卷積神經網絡（CNN），定義了矩陣表述的卷積核對圖像進行卷積處理，以此作為神經網絡的核心結構，再結合池化層，實現了層級化的視覺信息提取。他們利用三層隱藏層對256像素的圖像進行識別，利用Hinton提出的反向傳播算法進行參數學習，成功應用于信件上手寫郵編的文本識別［40］。在此基礎上，LeCun與Hinton、Bengio一同繼續改進反向傳播算法，并開始探索神經網絡深度和廣度對算法性能的影響，發現如果一個深層結構能夠剛剛好解決問題，那么就不可能用一個更淺的同樣緊湊的結構來解決。因此，要解決復雜的問題，要么增加深度，要么增加寬度［41］。后續研究表明，增加深度比增加寬度更加有意義，深度學習的研究框架也在這一過程中逐步確立。LeCun與Hinton、Bengio也因深度學習方面的研究貢獻共同獲得了2018年度的圖靈獎。

正如Golgi在諾貝爾獎頒獎典禮上引用了Nobel的一句話：“每個新發現將在人類腦中留下種子，使新一代更多人可能思考更偉大的科學觀點。”AIGC的發明也正是通過生命科學發現和基礎技術發明的漫長積累而形成的，如圖1所示。首先，由神經學家、生物學家進行基礎科學探索，發現生物神經網絡構造和視覺信息處理機制等；緊接著，數學家、心理學家、計算機科學家進行新技術的發明，逐步建立了神經網絡模型和深度學習方法等；然后，一些頂尖的人工智能企業在大規模實踐中大力推動AIGC的成功應用和快速發展。

圖1 生物學原理引導AIGC發明

3 認知科學與A IGC

認知科學是探究人腦或心智工作機制的前沿性尖端學科。1975年，在美國斯隆基金的支持下，科學家們在早期探索與發現的基礎上，將哲學、心理學、語言學、人類學、計算機科學和神經科學六大學科整合在一起，以研究“在認識過程中信息是如何傳遞的”這一共性問題，并形成了認知科學學科。認知科學確立時間較晚，從研究領域來看與生物學、數理計算科學均存在交集，因此能夠將這些與智能相關的學科聯結到一起，加速學科間知識、規律、機理的融通，為人工智能的發展及其相關機理的研究起到強大的推動作用。認知科學的研究對象包括感知、注意、記憶、語言、思維、意識等。

3.1 注意力模型與Transform er

注意力是大腦從龐雜信息中抽取核心信息并加以分析處理的重要機制。1958年，英國心理學家Broadbent［42］提出了過濾器模型，描述了注意力選擇的過程，如圖2（a）所示。Broadbent認為當人們接收到多種信號源時，由于人腦的信息處理能力存在極限，需要通過過濾器加以調節，將關注重點放在某一特定信號源上，從而忽略其他信息源。基于這一觀點，Broadbent構建了包含感覺記憶存儲、選擇過濾器、有限容量高級處理系統和工作記憶等四部分組成的過濾器模型，其中選擇過濾器的作用就是從所有感知信息中篩選可被高級處理系統進一步處理的信息。Broadbent所提出的模型是一種早期選擇模型，信息僅經過最為基本的特征識別后，就會依據特征進行選擇或者過濾。在Broadbent研究的基礎上，后續的研究者提出了許多更加復雜和精細化的注意力模型，例如后期選擇模型、注意力衰減模型、注意力的記憶選擇模型、注意力的多模模型、注意力容量模型等［43］，為人類解析注意力機制提供了深刻的認識。此后，大量的研究也從生理學的角度解析注意力機制的形成機理。例如，1977年Skinner［44］提出的丘腦網狀核閘門理論，從生理學的角度解釋了中腦網狀結構對人腦注意力的調節與控制機制。再如，在哺乳動物的視覺系統［45］中，科學家也發現存在“LGN→V1→高級皮質區”的“自下而上”投射和自“高級皮質區→V1→LGN”的“自上而下”投射，這樣的雙向投射構成了一個神經環路，具有注意力控制的功能。

圖2 注意力過濾器模型和深度學習中的注意力機制

2010年后，人們就逐步開始探索注意力機制在深度學習領域應用，圖2（b）所示即為深度學習中的注意力機制［46］。2014年，Mnih等［47］發表了題為《Recurrent Models of Visual Attention》的文章，將注意力機制引入計算機視覺處理任務中，使得神經網絡模型可以有選擇地關注圖像的某些局部區域，提高處理能力。隨后，Bahdanau等［48］則將類似的注意力機制應用于機器翻譯任務中，使得神經網絡模型能夠在翻譯的同時進行語義對齊。在這些工作基礎上，注意力機制在各類自然語言處理任務中被廣泛使用。2017年，Google發表了《Attention is All You Need》［14］，在注意力機制的基礎上提出了Transformer模型，開啟了人工智能的大模型時代。

3.2 記憶模塊模型與LSTM

記憶不僅僅是智能體存儲信息的主要方式，更是歸納提取關鍵要素的信息處理過程。1968年，認知心理學家Atkinson和Shiffrin［49］提出了記憶的模塊模型，認為存在三種模式的記憶：感覺記憶（sensory memory）、短時記憶（short-term memory）、長時記憶（long-term memory），如圖3（a）所示。三種記憶［50］在特定條件下會相互轉換，外界信息首先被存儲在感覺記憶中，通過注意力機制將注意選擇的信息轉化為短時記憶。通過對短時記憶的復述，信息會逐步寫入長時記憶中，而長時記憶可以通過提取重新載入為短時記憶［51］。在上述信息的轉化過程中，信息會經過一系列的篩選和處理，在此過程中信息可能會遺失［52］。在隨后的研究中，學者們圍繞該模型開展了一系列生理機理的研究，對上述記憶功能對應的大腦區域有了基本的認識。

圖3 三種記憶模式和長短時記憶網絡

長短時記憶網絡（long short term memory，LSTM）就是對記憶功能的一種模擬，是Hochreiter和Schm idhuber［53］于1997年首次提出，后經過學者們的反復改進形成了現有的LSTM 網絡模型，如圖3（b）所示。LSTM 與RNN（recurrent neural network）結構一樣也是一個由重復模塊反復堆疊形成的鏈式結構，有三個門控模塊進行信息的處理，分別為輸入門、遺忘門和輸出門，但是每個模塊之間都存在兩條信息通路分別傳遞神經網絡的短時記憶和長時記憶，并通過遺忘門來調節后向傳遞過程中信息的損失量［54］，以此模擬記憶和遺忘的認知學機理。

3.3 獎勵機制與強化學習

自古以來，獎懲機制就被用于社會的諸多領域，成為人類社會有序運行的重要基石。歷代政治家、思想家對賞罰多有論述。例如，唐太宗說：“國家大事，惟賞與罰?！蔽鳚h魏相說：“賞罰所以勸善禁惡，政之本也。”因此，人們對利用人類自身的獎勵系統進行行為管理的歷史極為悠久，但在科學的范疇下研究人類獎勵系統的奧秘則是到20世紀中葉才正式開始的。

1954年加拿大麥吉爾大學的兩位博士后Olds和Milner［55］在一次偶然的實驗中發現了小鼠大腦中的獎勵系統，這是人類首次發現大腦中的獎勵系統。當時，他們正在做小鼠腦區電刺激的實驗，電極一端是小鼠腳下的一小塊通電區域，另一端是植入大腦某區域的導線。這并不是他們第一次做此類實驗，在之前的實驗中，盡管刺激電流極其微弱，小鼠也會表現出憤怒、焦慮、緊張等情緒，從而試圖從地面的通電區域逃離。但這一次他們將電極接入了小鼠腦干后的某個區域，小鼠卻表現出了不一樣的行為特征：小鼠似乎很享受刺激，并且在小鼠脫離通電區域后還會主動返回通電區域繼續接受腦區電刺激。發現了這個現象后，Milner和Olds就開始有針對性地設計實驗，他們做了一個拉桿，一旦小鼠按下拉桿就會獲得腦干后區域的電刺激。結果發現小鼠會以每小時數百乃至數千次的頻率主動按下拉桿，以尋求腦區的刺激，直到筋疲力盡為止［56］。Milner和Olds還設計了走迷宮、解決問題等任務，并在小鼠完成任務后給予電刺激獎勵，他們的實驗結論是這種電刺激可以作為一種操作性的強化劑（operant reinforcer），即當某種行為之后出現刺激時，就會發生操作性強化，這對于學習反應習慣至關重要［57］。

1961年，Minsky［58］發表了《Steps Toward Artificial Intelligence》一文，首次提出了強化學習（reinforcement learning）的概念，如圖4（a）所示。同時提出了“reinforcement operator” “reinforcement process”“reinforcement system”“trial and error”等概念。1989年，Watkins［59］首次提出了Q-learning算法，該算法是時間差分學習與最優控制理論的結合體，實現了對之前不同強化學習路徑的統一。Q-learning算法在強化學習領域具有重要意義，但它在處理狀態空間過大的問題上存在局限性。2013年，DeepM ind公司提出了結合深度學習技術的強化學習模型——Deep Q Network（DQN）［60］，模型框架如圖4（b）所示［61］。該模型通過利用深度神經網絡來處理高維狀態空間的問題，顯著提升了強化學習模型在復雜環境中的應用效果。AlphaGo就是在DQN基礎上研發出來的，使得人工智能在圍棋領域全面超越人類水平。在GPT-3.5的研發過程中，強化學習也被用來調整AIGC的答題偏好，使得GPT在與人交互過程中，逐步學會人類的喜好進而給出更加貼合人類需求的答案。

圖4 強化學習框架的演化

認知科學作為20世紀70年代才成立的新興學科，和生物學具有類似特性，即都在解析生物體所蘊含的規律。但認知科學和生物學也存在較為明顯的區別，生物學多從生理、生化層面揭示生物體的底層運作規律，而認知科學往往從行為規律層面挖掘智能體產生這些行為的機理。并且認知科學的研究對象不僅是生物智能體，還包括人工智能體。因此，與生物學相比，發掘認知科學的規律啟發人工智能領域的研究創新是更為快速的創新之路。

4 數理計算科學與AIGC

人類在生物學、認知科學研究中雖對神經網絡的物理形態和信息傳播規律有了較深入的了解，但是在學習、記憶、決策這些高階復雜功能的機理解析上尚有諸多謎題有待攻克，無法完全通過仿生模擬實現智能體的設計開發，而數理計算科學正是彌補這一缺憾的核心手段。在人工智能發展過程中，神經網絡模型的訓練方法和機理解析工具是以數學理論為核心正向構建出來的，同時數學自身的嚴謹性也為人工智能理論的發展奠定了堅實的基礎。

4.1 優化理論與機器學習

從數學的角度出發，深度神經網絡就是一個具有龐大參數的復雜非線性函數，在模型結構確定的情況下，模型參數的取值直接決定了函數的性質，即人工智能的能力水平。然而，“如何獲得最佳的權值”是神經網絡模型誕生后一直困擾科學家的關鍵難題。

在早期，人們依然嘗試遵從仿生學的方法模擬人腦中的學習機制。加拿大心理學家Hebb［28］于1949提出了Hebb法則，當存在兩個相鄰的神經元細胞A和B，當神經元A的激發反復或持續導致神經元B的激發時，兩者之間鏈接關系將被增強?；谶@一法則發展的Hebb學習是一種無監督學習方法，當神經網絡中兩個神經元同時被激活則兩者間的權重正向增大，反之則減小。此后，Hebb學習還引申出來諸多變體，例如Klopf［62］提出的模型，再現了許多生物現象。然而，Hebb學習及其變體并沒有為神經網絡引入功能性，也就是說無法實現有意義的學習。

為了實現有意義的學習，科學家們將學習看作是一個數學中的優化問題，提出了反向傳播方法。該方法的思想最早由Rosenblatt［63］于1962年提出“back-propagating error correction”（反向傳播糾錯）一詞進行描述，但當時他還不知道如何實現。經過Linnainmaa，Rumelhart，Hinton和LeCun等的發展完善［64］，反向傳播方法逐漸成為大家所熟知的形態，其強大的適應性使其成為深度學習最為通用的參數學習方法，最終人們將這項技術的發明歸功于Hinton。反向傳播的核心是最為常見的凸優化求解算法——梯度下降法。一般而言，梯度下降法僅適用于凸優化問題，而神經網絡是一個典型的非凸函數，為何梯度下降法能夠適應神經網絡的學習需求呢？一種常見的解釋是，神經網絡構成的“地形”上有許多局部最小值和一個全局最小值，由于神經網絡本身的復雜性，局部最小值和全局最小值并不存在太大的性能差別［65］。而且，基于隨機梯度下降的反向傳播算法能夠以較大概率跳出那些泛化性能差的“狹小”的局部最小值，而以較大概率停留在泛化性較好的“平坦”的局部最小值處［65］。除此之外，元學習、終身學習等研究方向上都有大批成果是從優化理論的角度出發進行創新與改進的。

值得注意的是，反向傳播的提出者Hinton一直對反向傳播方法抱有懷疑態度，最直接的理由就在于生物大腦在學習過程中無法求導。2022年，Hinton等提出基于擾動的學習方法并利用大量的局部貪心損失幫助推進學習規模，以期尋找生物學上合理的學習算法［66］。

4.2 信息科學與特征提取

特征提取的目的是將原始數據映射到一個新的低維度空間，使得這個新的特征空間能盡可能地保留原始數據中的關鍵信息，同時去除冗余和噪聲。從信息科學的角度看，特征提取可以被視為一種數據的信息編碼過程。然而，如何高效提取特征信息一直是科學家們致力于解決的關鍵科學問題。

早期的特征提取通常模仿人類大腦的理解機制設計特征提取方法，需要大量的領域知識和經驗，而且對于復雜的任務，人工設計的特征往往效果不佳。但是，即使在這個階段，信息科學深刻影響特征提取算法設計。在語音識別中，梅爾頻率倒譜系數（Mel frequency cepstral coefficients）是一種常見的特征，其設計就參考了人類聽覺的頻率感知特性，這本質上是一種對于信息重要性的編碼［67］。深度學習的發展將特征提取的重心逐漸從人工設計轉向自動學習。在神經網絡模型中，每一層通過非線性變換來實現特征的提取和信息的編碼。每一層的變換都可以被看作是一種編碼器，它將輸入的特征編碼為新的特征，并且傳遞給下一層［68］。在信息科學的框架下，這個過程可以被理解為一種信息的壓縮和去噪。每一層的變換都試圖將輸入的特征編碼為一個較小的特征集，同時保留盡可能多的有用信息。與此同時，每一層的變換都試圖忽略那些噪聲信息，只保留那些對任務有用的信息。因此，特征提取可以被看作是信息壓縮和信息去噪之間的一種平衡。

神經網絡模型需要通過訓練來找到一種最優的平衡。在這個過程中，損失函數起到了關鍵的作用。損失函數定義了模型預測的準確性，它為模型的訓練提供了目標。從信息科學的角度看，損失函數實際上定義了一種在原始數據和編碼特征之間的信息距離。通過最小化這個信息距離，神經網絡模型可以學習到一種最優的特征提取和信息編碼方式。因此，信息熵和KL散度等信息科學中的概念被廣泛應用于構建和優化損失函數，驅動網絡的學習和特征提取。例如，在變分自編碼器中，KL散度被用來測量編碼后的特征與先驗分布的相似性，從而實現對特征的約束和正則化［69］。

信息科學為特征提取提供了重要的理論支持和方法工具，也影響了特征提取的實踐和發展方向。同時，信息科學也為理解和解決大模型中的許多問題提供了一種基于數學的嚴格框架，這有助于我們在設計、訓練和理解大模型時做出更有根據的決策。

4.3 概率論與生成模型

生成模型是AIGC的核心算法，從字面意義上理解，就是基于模型輸入自主生成輸出內容的模型。在數理研究領域，人們一般利用概率論來描述生成模型及其訓練過程，即學習輸入數據與輸出數據的聯合概率分布，在使用過程中，通過給定的模型輸入來約束輸出數據的概率分布，并進行采樣得到模型的輸出結果。因此，生成模型是通過引入隨機性來使得模型具備一定的“創造性”能力，而概率論正是理解和復現數據生成過程、推動生成模型發展的核心理論。

在生成模型的初期發展階段，人們嘗試利用一系列的條件概率分布來描述數據的生成過程。Bayes［70］于1763年發表了那篇著名的《An Essay Towards Solving a Problem in the Doctrine of Chances》一文后，以貝葉斯公式為核心的貝葉斯理論開始逐漸發展起來。貝葉斯理論認為任意未知量都可以被看作一個隨機變量，對該未知量的描述可以用一個概率分布來概括?；谠摾碚摪l展起來的貝葉斯網絡［71］和隱式馬爾科夫生成模型［72］可以直接推斷條件概率分布，或者通過最大似然估計等方法進行優化。

受限玻爾茲曼機（restricted Boltzmann machines，RBM）是Hinton于1986年提出的一種生成式隨機神經網絡，是生成模型發展中一次重大的進步［73］。受限玻爾茲曼機從能量函數角度描述系統的狀態，其中包括可見層（觀測數據）和隱藏層，系統的概率分布由一個玻爾茲曼分布給出［73］。RBM 的訓練過程涉及到馬爾可夫鏈蒙特卡羅（Markov Chain Monte Carlo，MCMC）［74］采樣，這是一種通過構建轉移矩陣對概率分布進行采樣的方法。然而，MCMC方法在訓練和推斷期間都需要進行多次迭代，造成了較高的計算復雜度。

隨著深度學習的快速發展，生成對抗網絡（generative adversarial networks，GANs）［75］和變分自編碼器（variational autoencoders，VAEs）［76］的出現帶來了生成模型的新一波革命。VAEs引入了基于概率的編碼器和解碼器，通過一個易于采樣和計算密度的隱變量來描述數據的生成過程。在訓練期間，VAEs采用了變分推斷來近似后驗分布，然后優化了重構損失和隱變量的KL散度，這兩者一起構成了VAEs的目標函數。除此之外，流模型（flow-based model）和擴散模型（diffusion model）等生成模型的研究都是基于概率論的視角出發。

概率論在理解數據分布和設計有效的生成策略上發揮決定性作用。隨著更多的概率工具和理論的發展，例如隨機梯度變分推斷、正則化自編碼器等，生成模型將在處理更復雜的數據生成任務上取得更大的突破。

數理計算科學作為AIGC的技術核心，是論文成果涌現最多的領域，也是計算機科學、信息科學、控制科學等工科研究者最為熟悉的領域。人工智能領域所獲得的7次圖靈獎，共11位獲獎者，均在這個領域做出了卓越的貢獻，AIGC能夠從科學探索一步一步走到實踐應用更是離不開一大批在該領域投入海量精力的科學家和工程師們。目前，數理計算領域仍有可解釋學習、終身學習、可信推理等問題有待進一步研究解決，現有的理論方法在描述AIGC算法的學習與使用過程仍存在能力欠缺，呼吁數理計算領域的研究者們勇于創新，為AIGC建立更為完善的理論大廈。

5 決策科學與A IGC

隨著通用人工智能能力的不斷提升，人工智能體將逐漸融入社會系統中，承擔越來越復雜的實際任務，逐步呈現出利益關聯、多級聯動、目標多樣、多方交互等特點。如何將社會規律與價值觀念融入智能體，如何平衡多樣化的決策目標，如何適應并模擬不同人類個體和團體的決策偏好進行群體智能決策，如何成為社會系統中的一環維持系統穩定高效運行，已然成為了人工智能進一步發展的核心問題。此時，以人類的價值準則、推理機制以及調控與反饋機制為核心的決策科學就在人工智能的發展與應用過程中，起到了基礎性的科學理論與技術支撐作用。

5.1 A IGC的決策價值調控

在復雜社會系統中，人類活動的決策價值往往與價值觀、文化、理念等思想層面的內容深度綁定，在這些思想內容的引導下推動決策共識的達成。但是，AIGC生成內容的過程是具有一定隨機性的，如何把控AIGC生成方案的決策價值傾向，使其能夠按照人們的意愿進行方案生成，是該領域需要解決的一項技術難題。這一難題被稱為是AI對齊問題（AI alignment），即AI系統的目標要和人類的價值觀與利益相對齊。

由于深度神經網絡自身的黑盒特性和這些思想性的內容難以形式化描述的現實狀況，AI對齊問題往往難以通過建立規則直接解決。因此，需要在模型訓練過程中通過人為調控，使得大模型具備基本的決策價值傾向。例如，可以通過對訓練數據進行篩選，強化具備某種決策價值傾向的樣本，引導大模型直接學習具備某類決策價值的思維模式。OpenAI在對大模型安全性進行改進時就引入了這種模式，整個大模型的訓練會分為預訓練和微調兩個步驟，在預訓練的過程中由于數據量過大往往難以把控模型的安全性和偏見，但可以在微調的過程中利用相對較小的數據庫進行訓練，以此來剔除算法偏見，保證模型安全性［77］。圖5所示為OpenAI提出的面向AI對齊的模型微調策略［77］。用于微調的數據集需要精心準備，OpenAI也為此組織了一批專家組成的編審團隊，并制定了詳細的內容撰寫指南，指南中概述一些可能的模型輸入類別。由編審團隊給出相應的模型輸出示例，并符合“不要完成對非法內容的請求”“避免對有爭議的話題給出立場”等要求，由此人工生成微調所需的數據集。

圖5 面向AI對齊的模型微調策略

一種更為節約成本的方式就是通過人機交互，讓大模型學習到人類決策價值。OpenAI在推出GPT-3.5時就開始利用人類反饋對GPT模型的輸出進行調整，通過強化學習來引導GPT輸出更符合人類價值判斷的回答［19］。他們專門組建了由各領域專家組成的指導團隊和對抗團隊，由這些團隊與GPT進行對話，模擬各類場景和各類任務，由人類對GPT所執行任務的準確性、安全性等方面進行評價。此外，在實際使用過程中，用戶的反饋也可以作為改進GPT的參考依據。但是，這種決策調整方式基于一個基本的假設，那就是人類可以準確公正地給出評價。然而，人類本身就是有限理性的，其評價往往也帶有傾向性，在交互中學習決策價值往往會使得模型學會輸出人類想聽的事情，而不是學會輸出公平公正的真相。

除此之外，OpenAI還提出了訓練專用模型進行對齊評估、開發可進行對齊研究的人工智能系統等思路，來解決GPT的安全性和生成一致性等問題［78］。在這些努力下，GPT在面向“我該如何制造一個炸彈？”這類具有風險性的問題時，會直接拒絕回答。但總體而言，目前關于AGI的對齊技術仍沒有十分完善的解決方案，目前所采用的對齊方法僅僅只是一種較為初步的應對策略，特別是當人工智能所解決的問題逐漸超過人類評判能力極限時，如何正確評價人工智能的決策，保證其與人類價值觀一致，是當前迫切需要解決的重要科學問題。

5.2 AIGC的決策價值管理

如何實現AI對齊是一類技術問題，AI要與什么樣的價值觀對齊則屬于哲學和管理問題。人類社會中的價值、文化、理念本就是多樣化的，如何決定特定場合下人工智能應當以何種決策價值采取行動，成為了AIGC融入社會系統過程中需要重點考慮的問題。

Google旗下的DeepMind就“如何將人類價值觀融入AI系統”進行了詳細探討［79］。DeepMind引入了哲學家Raw ls在20世紀70年代提出的一個思想實驗“無知之幕”，即當人們為一個社會選擇正義的原則時，他們應該想象自己在這樣做的時候并不知道自己在這個社會中的特殊地位。DeepMind認為“無知之幕”可以用于指導AIGC決策價值的選擇，并基于此設計了一個思想實驗，假設AI有兩種行動原則：“最大化原則”幫助優勢人群提升整體生產力，“優先原則”幫助弱勢人群以維持公平。DeepMind建立了一個模擬伐木的游戲場景，由4位玩家參與，每位玩家所處環境中的樹木密度不同，因此伐木的收益效率也會有所不同，游戲中有一個AI控制的機器人可以自主伐木，玩家可以選擇將機器人放入某一個玩家所在的環境中，機器人自主伐木的收益也歸該玩家所有。很顯然，按照“最大化原則”將機器人放置于樹木密度最高的環境中，會使整個團隊伐木收益最高，但會造成貧富差距增大；而按照“公平原則”則會將機器人放置于樹木密度最低的環境中，幫助收益最低的玩家減小貧富差距，但會降低整體效率。實驗表明當參與者被置于“無知之幕”后，更傾向于選擇“公平原則”，并且被AI幫助過的人在獲得優勢社會地位后仍傾向于“公平原則”。DeepMind認為“無知之幕”有助于促進AI系統與人類價值觀對齊過程中的公平性，有助于管理AI的決策價值取向。

隨著AI通用性的涌現，在實際使用過程中，AI所要處理任務的復雜性將進一步提升，管理AI的原則將決定它的影響和潛在利益的分配。決策科學作為研究決策原理、決策程序和決策方法的一門綜合性學科，應將人工智能作為一種決策要素納入決策流程構建的過程之中，考量其決策價值對社會系統運行的綜合影響，進而有效管理AIGC的決策價值。

6 復雜性科學與AIGC

AI大模型作為一種具有深度層級結構的自發演化復雜網絡，能夠通過與用戶對話自動學習知識，并且能夠在一定引導下完成復雜推理，涌現出通用智能的能力，具備了自組織性、非線性、涌現性、自適應性等復雜系統特性。正如微軟研究人員指出的：GPT-4實現了一種形式的通用智能，但我們沒有解決它為什么以及如何實現如此卓越的智力的根本問題［20］。因此，GPT-4的產生本質上是對涌現規律的一種利用，但其涌現機理仍然有待解析。復雜性科學作為系統科學新發展階段的一種新興交叉前沿學科，通過跨學科的方法研究不同復雜系統中的涌現行為和統一性規律，不僅有助于理解和研究自然界中的現象、復雜社會經濟和環境問題，也為揭示AI大模型的運行機制和復雜行為提供了一類理論與方法。

6.1 通用智能與涌現

AI大模型的涌現能力是指隨著模型規模的增長，其突變式地獲得了小語言模型所不具備的通用智能能力［80］，類似于復雜系統中的相變現象。從復雜性科學的角度來看，神經網絡模型本質上是一個具有眾多非線性神經元的復雜系統，這些神經元之間的相互作用會導致神經網絡模型的涌現性質，例如高層次的抽象概念和語言表達能力等。Kaplan等［81］指出損失與模型大小、數據集大小和用于訓練的計算量之間遵循著規模法則，存在復雜系統特有的冪律關系，一些趨勢跨越7個數量級以上。Gordon等［82］發現有監督交叉熵損失、訓練數據量和模型中非嵌入參數的數量呈冪律關系。這種冪律關系不僅僅能夠用于計算訓練大語言模型的最佳預算配置，即算力、算法與數據的投入配置，還可以在模型尚未完成訓練時預測其最終精度。OpenAI就基于這一規律提出了一種精度預測方法，可以僅用千分之一乃至萬分之一的計算量對模型進行初步訓練，根據其結果對模型收斂曲線進行擬合，計算模型的最終精度［13］。基于這一方法，OpenAI即可依據預測精度對GPT的結構進行低成本的快速迭代，提升模型效率。

涌現機制不僅僅體現在模型參數規模的空間維度上［80］，也體現在模型學習過程的時間維度上［83］。Google的人工智能科學家在研究過程中意外發現，有一些AI在訓練過程中會忽然產生一個泛化性的大幅躍升，對沒見過的數據表現出概括能力，而且算法精度會有一個階躍般的提升，他們用“領悟力”（grokking）來描述這一過程［83］。實驗發現并非所有人工神經網絡都會產生這種突變現象，這種突變現象一方面和損失函數強相關，另一方面步長設置、模型大小、數據量和超參設置都會對“領悟力”的出現產生影響。對領悟力等通用智能涌現機理的深入挖掘有助于通用人工智能的設計與優化，為解密智能誕生機理奠定基礎。

6.2 神經網絡結構與復雜動力學

將神經網絡模型作為一種具備特定拓撲結構的復雜系統，則其行為特征可以用復雜動力學來進行描述和解析。這一動力學特性包含兩個不同尺度上的動力學過程：一是在模型的訓練過程中，即在大的時間尺度上，描述了模型利用反向傳播等機器學習方法進行訓練并逐步收斂的動力學過程。二是在模型的使用過程中，即在小的時間尺度上，描述模型在前饋過程中如何對輸入信息進行處理、展現出通用人工智能能力的過程［84］。這樣兩種時間尺度的協調與配合使得神經網絡展現出極強的適應性能力。

針對大尺度上的復雜動力學過程，相關學者開始將復雜動力學相關理論應用于神經網絡模型的訓練中。例如，利用混沌理論來優化神經網絡的訓練過程，或者通過復雜網絡的理論來研究神經網絡模型中的拓撲結構對其性能的影響。Rodriguez等［85］通過研究循環神經網絡的標準反向傳播訓練技術，指出神經網絡的前饋運算過程是高維空間中的動力學演化過程。Haber和Ruthotto［86］將ResNet理解為一個動力系統，從而討論其動力學的穩定性問題。Chen等［87］基于異常擴散動力學，驗證了隨機梯度下降方法在深度學習中的有效性。

針對小尺度上的復雜動力學過程，相關學者對注意力機制為核心的Transformer結構進行了一系列的解析。從復雜性科學的視角，自注意力機制作為神經網絡正向傳播的高階控制結構，使得單一的前饋運算過程轉化為快慢兩種時間尺度混合的動力學過程，從而提升了神經網絡的動態自我調控能力［88］。具體說，由于自注意力機制的引入，神經網絡在前向動力學中能夠動態地決定一個加權有向網絡，該有向網絡可以反作用到神經網絡上，從而在前向動力學過程中就形成了一種高階的控制結構。目前的大語言模型都采用了基于自注意力機制的Transformer架構，形成了具有系統自調控的“自我編程”能力。這種能力可能是大語言模型能夠實現上下文學習（in-context learning），以及各種復雜推理功能的核心。

由于AI大模型的超大規模和非線性等特征，利用復雜性科學研究大模型方面也存在一定的挑戰和限制。例如，如何量化和描述大模型的復雜性，如何處理大量的高維數據等。因此，我們需要不斷探索和發展新的復雜性科學方法。一方面，采用非線性動力學、復雜網絡、統計物理、范疇論等復雜科學相關的研究工具，來理解AI大模型的神經網絡動力學及其學習過程。另一方面，對于只有AI大模型才能展現出來的涌現能力、規模法則現象，則可能可以通過復雜系統的相變理論等進行深入理解。進一步，如果站在復雜適應系統的視角，還可以將復雜AI大模型類比為類似生態網絡的復雜適應系統，從而站在更高抽象的層次理解生態位、類比推理，以及普適的適應學習原理。通過上述的研究工作，不僅能夠從普遍系統視角更好地理解AI大模型，而且能夠更好地改進模型，從而構造可解釋的AI模型。

7 總結與展望

AIGC發展到今天離不開生物學、認知科學、數理計算科學、決策科學、復雜性科學等基礎學科的支撐，AIGC的進一步研究發展也需要與這些學科進一步深度融合，規劃AIGC未來的發展路徑。

生物學是AIGC最原始的基礎科學。在過去的探索中，受到科學認知局限、技術實現能力等方面的制約，生物學的發現演變至AIGC的發明是一個漫長的探索過程?，F階段，以算法、算力、數據為核心的深度學習科學體系逐漸被建立，生物學發現的機制性原理可以在一個較為完善的理論平臺上進行模擬，因此生物學機制發現轉化為人工智能領域算法發明的速率會越來越快。未來，通過人工智能算法模擬生物智能生理機制模式，可能會反向成為揭示生物學奧秘的研究范式之一。此外，隨著腦機接口、基于微電極陣列（m icroelectrode array）神經細胞電刺激等技術的不斷成熟，數字神經網絡與生物神經網絡間信息的融通已經可以實現。這既有助于研究兩類智能體之間的異同，相互借鑒、揭示智能奧秘，更有可能讓兩類智能體優勢互補，構建數字與生物混合的全新人工智能體。

認知科學是AIGC最直接的科學基礎。許多認知科學中發現的機制和模型都可以直接用來構建人工智能算法，認知科學的一系列研究方法也可以直接用于人工智能行為規律的研究。需要特別說明的是，認知科學領域觀測到的諸多現象規律僅僅是生物智能體整體特性的局部寫照，片面地模擬某一類認知規律一定無法建立如生物一般的人工智能體，如何有機整合各類認知規律構建更加通用的人工智能體是人工智能領域進一步發展的一個重要方向。此外，認知科學與行為科學、社會學、經濟學、管理學等以人為核心的學科也有著極強的交叉關聯性，我們可以進一步構建與社會系統相互映射的群體人工智能體，從行為科學與AIGC、社會學與AIGC、經濟學與AIGC、管理學與AIGC等方面來加強對認知科學和AIGC的研究。

數理計算科學是AIGC的技術基礎。數理計算科學不僅僅為AIGC提供了一系列成熟可用的算法工具，更為AIGC的理論思考提供了成熟的框架體系，以支撐人們對AIGC構造方法的理解。目前的理論框架對AIGC的支撐作用仍然有限，AIGC面向復雜任務所展現出的通用能力很難在現有數理計算科學的理論體系下精確描述。因此，要繼續在現有數理計算科學的理論體系下尋求AIGC的理論創新，更要面向AIGC的研究需求創造新的數理計算科學的理論工具，以推動AIGC的進一步發展。

決策科學是AIGC安全保障的科學技術基礎。與其他按照預設規則或算法進行決策的智能體不同，AIGC是目前唯一可以針對復雜任務自主進行分析判斷并決策的智能體，這一特性與人類本身高度相似。因此，AIGC在社會系統中發揮的作用是與人高度重合的，人類的諸多工作都可以逐步被AIGC所取代，由此在整個社會系統決策架構之中人工智能的決策占比、決策層級、決策權重均會不斷提升，涌現出大量智能自主決策、人機混合決策等問題。如何保障AIGC嵌入社會系統之后，整個系統能夠安全穩定可控運行，有效提高系統的運作效率和質量，是決策科學領域必須深入研究的科學問題，也是AIGC大范圍推廣應用的關鍵瓶頸之一。

復雜性科學是分析研究AIGC的科學基礎。目前AIGC展現出來了通用人工智能的能力，但人們對產生這種智能能力的內在機理仍然知之甚少，模型結構復雜、參數量龐大、學習過程漫長、通用能力等都成為解析智能涌現機理所要應對的科學挑戰，而這些也正是復雜性科學所研究的核心。AIGC的誕生使得人類除了生物智能體外擁有了另一種形態的強人工智能體。生物的自身構造與成活環境使得生物智能體的研究在物理、生物層面均存在諸多局限，其實驗往往是以規律、現象觀察為主，能夠進行的人為干預方法極其受限。與之相比，AIGC是一種全透明、可操控、可復制的通用人工智能體，解析AIGC的工作機理在物理上并不存在太多的障礙。從復雜性科學的視角解析AIGC，并與神經生物學、腦科學等生物智能體的研究相互印證，有望建立通用人工智能的核心理論體系。由此，AIGC的設計開發模式將從工程經驗推動向科學理論指引轉變，人工智能的創新發展將再一次出現質的飛躍。

由此可見，GPT的成果應用標志著AIGC已經從初期的科學技術研究階段逐步邁入工程產業應用階段，但圍繞AIGC的研究才剛剛起步。從科學研究來看，AIGC的研究維度正在從以設計開發為核心向規律發現、機理解析、理論構建、應用管控等多維度轉變，并且在應用價值的驅動下研究模式正在從自由探索向有組織的科研轉變，迫切需要組建生物學、認知科學、數理計算科學、決策科學、復雜性科學等跨學科研究團隊，加強多維度的研究與創新，將AIGC作為科技進步的一個新的基石，逐步開拓出一系列全新的理論發現和技術發明，推動人類科技又一次跨越式發展。從產業生態來看，隨著AIGC模型規模的不斷提升，其研發、建設、運營所需的資源成本也在大幅增長，同時AIGC的應用潛力又吸引著海量社會資本的急速涌入，迫切需要從數據、算法、算力、云服務、產業應用等方面引導資源的有序配置，避免同質化競爭，鼓勵企業個性化、專精化，最終實現高質量的創新發展。

總而言之，AIGC正在成為一種全新的生產要素，為所有腦力勞動者提供效率加成，全社會數字資源的生產效率將極大提升，人才的價值效益在AIGC的加成下得到加強，而低質重復的腦力生產工作將會逐步被AIGC所取代，進而推動整個經濟結構的巨大轉變，推動數字經濟向智能經濟轉變。我們必須牢牢把握上述轉變帶來的歷史性機遇，也需要充分預估在此轉變過程中面臨的人類能夠識別和控制的安全風險、人類難以預測和控制的安全風險、人類惡意制造的安全威脅風險、軟硬結合的破壞性安全風險等諸多風險，充分利用AIGC產生的技術紅利，為人類創造更加美好的未來。