ChatGPT背后的人工智能大模型的技術影響及應用展望

文/李振華 倪丹成 徐潤 編輯/韓英彤

從2022年下半年人工智能繪畫熱潮，到人工智能對話機器人程序ChatGPT在全球走紅，ChatGPT上線僅2個月全球活躍用戶數量達1億，超越TikTok成為史上用戶增長最快的消費者應用，再到3月14日OpenAI發布下一代里程碑大模型GPT-4，生成式人工智能領域持續爆出令人驚喜的技術突破和產品體驗，并催生多家獨角獸公司。生成式人工智能領域的爆發主要歸功于人工智能大模型技術的巨大突破，標志著人工智能技術從專用人工智能轉向通用人工智能的拐點，有望大幅提升人工智能的適用場景和研發效率，并打開大規模商業化的想象空間。目前以微軟、谷歌、Meta、百度、騰訊、阿里巴巴、字節跳動等為代表的頭部科技企業紛紛摩拳擦掌，積極投身于人工智能大模型研發熱潮之中。

人工智能大模型技術演進趨勢

人工智能大模型的定義和優勢

人工智能大模型即基礎模型（Foundation Model）（《On the Opportunities and Risk of Foundation Models》，2021.08，李飛飛等100位學者聯合發表），國際上稱為預訓練模型，指通過在大規模寬泛的數據上進行訓練后能適應一系列下游任務的模型。

相較于小模型（針對特定場景需求、使用人工標注數據訓練出來的模型），大模型主要有以下三點優勢：

涌現能力。通過簡單的規則和相互作用，大模型能夠有效集成自然語言處理等多項人工智能核心技術，并涌現出強大的智能表現，將人工智能的能力從感知提升至理解、推理，甚至近似人類“無中生有”的原創能力。

適用場景廣泛。人工智能大模型通過在海量、多類型的場景數據中學習，能夠總結不同場景、不同業務下的通用能力，擺脫了小模型場景碎片化、難以復用的局限性，為大規模落地人工智能應用提供可能。

研發效率提高。傳統小模型研發普遍為手工作坊式，高度依賴人工標注數據和人工調優調參，研發成本高、周期長、效率低。大模型則將研發模式升級為大規模工廠式，采用自監督學習方法，減少對人工標注數據的依賴，顯著降低人力成本、提升研發效率。

人工智能大模型的技術演進趨勢

階段一，訓練數據演進：從追求規模到重視質量

追求規模。2018年以來，以BERT、GPT-3等為代表的人工智能大模型的成功使人們認識到通過提升參數規模、訓練數據量有助于顯著提升人工智能的智能水平，引發了大模型研發的軍備競賽，大模型參數呈現數量級增長，充分享受算法進步下的數據規模紅利。

人工智能大模型的發展也經歷預訓練模型、大規模預訓練模型、超大規模預訓練模型三個階段，參數量實現從億級到百萬億級突破（見圖1）。

圖1 人工智能大模型參數量從億級到百萬億級

重視質量。伴隨大模型參數的持續擴大，訓練數據的質量對模型表現的重要性愈發凸顯。OpenAI對其研發的InstructGPT模型進行實驗發現：隨著參數量增加，模型性能均得到不同程度的提高；利用人工標注數據進行有監督的微調訓練后的小參數模型，比100倍參數規模無監督的GPT模型效果更好。未來，提升大模型的訓練數據質量或許比提升數據規模更為重要，人工標注數據仍有其存在的價值和意義，相關產業鏈的發展也值得重視（見圖2）。

圖2 InstructGPT采用不同訓練方法的效果對比圖

階段二，模態支持演進：從單一模態到多模態

從支持的模態來看，人工智能大模型先后經歷了單語言預訓練模型、多語言預訓練模型、多模態預訓練模型三個階段，模型能力持續升級（見圖3）。

圖3 從支持模態來看人工智能大模型的發展歷程

多模態預訓練模型代表有2022年大火的開源模型Stable Diffusion，掀起一波人工智能繪畫熱潮，已有大量產品級應用；以及谷歌、Meta推出的文字生成視頻、文字生成音樂等預訓練模型，但仍在早期研發階段，技術尚未成熟。

ChatGPT所基于的InstructGPT模型仍屬于自然語言處理（NLP）領域的單模態模型，擅長理解和生成文本，但不支持從文本生成圖片、音頻、視頻等功能。OpenAI最新發布的大模型里程碑之作GPT-4并沒有一味追求更大規模參數，而是轉向多模態，支持輸入圖像或文本后生成文本。

階段三，架構設計演進：從稠密結構到稀疏結構

人工智能大模型架構設計指模型的計算架構，分為稠密結構和稀疏結構，二者區別為：在訓練中，稠密結構需激活全部神經元參與運算，而稀疏結構僅需部分神經元參與運算。

稠密結構導致高昂的大模型訓練成本。以GPT-3為代表的早期的人工智能大模型均為稠密結構，在計算時需激活整個神經網絡，帶來極大的算力開銷和內存開銷。根據國盛證券的測算，GPT-3一次訓練成本高達140萬美元。

稀疏結構能夠顯著降低大模型訓練成本。稀疏結構是一種更像人腦的神經網絡結構，在執行具體任務的過程中只有部分特定的神經元會被激活，顯著降低模型算力消耗。目前稀疏結構已經應用至人工智能前沿研究。2022年6月，谷歌發布了第一個基于稀疏結構的多模態模型LIMoE，證明了稀疏結構在降低模型算力消耗的同時，還能在多項任務中取得不亞于稠密結構的效果。

中美人工智能大模型技術現狀對比及原因探析

國內在人工智能大模型研究上具備良好的基礎

從2018年至今推出大模型數量來看，美國頭部科技企業如谷歌、Meta、OpenAI、微軟等在人工智能大模型領域積累深厚，但我國研究機構在全球前十大排名中也占據四個席位，包括智源人工智能研究院、清華大學、百度、阿里巴巴（見圖4）。

圖4 中美人工智能大模型十大機構（2018至2023年總模型數）

我國與國外最領先的技術相比仍有2—3年差距

從大模型的參數量來看，美國人工智能研究機構總是率先取得突破，比如谷歌201 7年提出Transformer模型奠定了大模型的底層模型基礎，OpenAI的GPT系列持續引領潮流；中國人工智能大模型雖然具備追趕的能力，但追趕的過程需要花費1—2年時間，此后在模型技能上仍需時間打磨，完全拉齊效果大概需要2—3年時間（見圖5）。例如，OpenAI于2019年1月推出擁有15億參數量的GPT-2大模型，而國內直至2021年1月由智源人工智能研究院研發出26億參數量的大模型——悟道文源1.0。

圖5 中美代表性大模型推出時間及參數量對比

中美大模型技術差距的原因探析

人工智能大模型研發已成為全球新一輪技術競爭的核心領域之一，但以下多種因素制約了我國大模型技術的進一步發展，導致與美國大模型技術存在較大差距。

過度依賴開源模型進行復制和模仿。人工智能大模型研發的關鍵因素之一是算法，而算法的進步又依賴于持之以恒的前沿研究投入。在當下國內企業快節奏的競爭和盈利壓力下，企業難以做到不計短期回報的投入。因而，在這些高風險的創新技術領域，國內企業更傾向于采取復制和追隨策略，國內大模型大多基于國外公開論文和開源模型的基礎上進行模仿和復制，故而總是“慢人一步”。

產業鏈仍有短板，人工智能芯片自研能力不足制約算力發展。伴隨大模型參數量的指數級擴張，對于算力的要求也呈爆炸式增長，而算力增長主要依靠高端人工智能芯片的儲備和芯片技術的持續進步。但在芯片方面，美國占據絕對領先地位，我國起步晚，對美國進口依賴程度高，存在“卡脖子”風險。近年來，國內大廠如阿里巴巴、華為、百度、騰訊等也正加快投入積極研發本土人工智能芯片。

制度保障尚不完善，數據流通和管理機制仍有不足。在大模型訓練所需要的數據方面，中文數據雖然在規模上有優勢，但質量普遍不高，一方面是國內數據積累問題，國內的數據存在嚴重的“信息孤島”問題，高質量的數據信息割裂并沉淀在各個機構和企業內部；另一方面是由于數據管理機制不夠成熟，也影響了國內數據價值的釋放。

人工智能大模型應用場景和商業化前景展望

人工智能大模型有望賦能乃至顛覆各行各業

賦能制造業。首先，人工智能大模型能夠大幅提高制造業的從研發、銷售到售后各個環節的工作效率。比如研發環節可利用人工智能生成圖像或生成3D模型技術賦能產品設計、工藝設計、工廠設計等流程。在銷售和售后環節，可利用生成式人工智能技術打造更懂用戶需求、更個性化的智能客服及數字人帶貨主播，大幅提高銷售和售后服務能力及效率。其次，人工智能大模型結合機器人流程自動化（RPA）有望解決人工智能無法直接指揮工廠機器設備的痛點。RPA作為“四肢”連接作為“大腦”的人工智能大模型和作為“工具”的機器設備，降低流程銜接難度，實現工廠生產全流程自動化。最后，人工智能大模型合成數據能夠解決制造業缺乏人工智能模型訓練數據的痛點。以搬運機器人（AMR）為例，核心痛點是它對工廠本身的地圖識別、干擾情景訓練數據積累有限，自動駕駛的算法精度較差，顯著影響產品性能。但人工智能大模型合成的數據可作為真實場景數據的廉價替代品，大幅縮短訓練模型的周期，提高生產效率。

賦能醫療行業。首先，人工智能大模型能夠幫助提升醫療通用需求的處理效率，比如呼叫中心自動分診、常見病的問診輔助、醫療影像解讀輔助等。其次，人工智能大模型通過合成數據支持醫學研究。醫藥研發所需數據存在法律限制和病人授權等約束，難以規模化；通過合成數據，能夠精確復制原始數據集的統計特征，但又與原始數據不存在關聯性，賦能醫學研究進步。此外，人工智能大模型通過生成3D虛擬人像和合成人聲，解決部分輔助醫療設備匱乏的痛點，幫助喪失表情、聲音等表達能力的病人更好地求醫問診。

賦能金融行業。對于銀行業，可以在智慧網點、智能服務、智能風控、智能運營、智能營銷等場景開展人工智能大模型技術應用；對于保險業，人工智能大模型應用包括智能保險銷售助手、智能培訓助手等，但在精算、理賠、資管等核心價值鏈環節賦能仍需根據專業知識做模型訓練和微調；對于證券期貨業，人工智能大模型可以運用在智能投研、智能營銷、降低自動化交易門檻等領域。

賦能乃至顛覆傳媒與互聯網行業。首先，人工智能大模型將顯著提升文娛內容生產效率、降低成本。此前人工智能只能輔助生產初級重復性或結構化內容，如人工智能自動寫新聞稿、人工智能播報天氣等。在大模型賦能下，已經可以實現人工智能營銷文案撰寫（如美國獨角獸公司Jasper.ai）、人工智能生成游戲原畫（目前國內游戲廠商積極應用人工智能繪畫技術）、人工智能撰寫劇本（僅憑一段大綱可以自動生成完整劇本的產品Dramatron）等，后續伴隨音樂生成、動畫視頻生成等AIGC技術的持續突破，人工智能大模型將顯著縮短內容生產周期、降低制作成本。其次，人工智能大模型將顛覆互聯網已有業態及場景入口。短期來看，傳統搜索引擎最容易被類似ChatGPT的對話式信息生成服務所取代，因為后者具備更高的信息獲取效率和更好的交互體驗；同時傳統搜索引擎商業模式搜索競價廣告也將迎來嚴峻的挑戰，未來可能會衍生出付費會員模式或新一代營銷科技。中長期看，其他互聯網業態，如內容聚合分發平臺、生活服務平臺、電商購物平臺、社交社區等流量入口都將有被人工智能大模型重塑或顛覆的可能性。

人工智能大模型的商業模式及前景分析

短期內，人工智能大模型的變現方式仍然以開放付費應用程序編程接口（API）調用為主。由于人工智能大模型投入成本高昂，大模型廠商前期投入巨大，通過開放API模式向各行業開放模型并收取調用費，能夠規避集中押注單一行業的風險，構建相對穩定且輕量的收入模型。而行業應用開發者通過較低的價格便可調用最領先的大模型技術，應用于自身產品中提升服務質量。以OpenAI為例，2023年3月1日宣布正式允許第三方開發者通過API將ChatGPT集成到其應用程序（APP）和服務中，同時采取低價搶占市場策略，將優化后API定價降至此前的十分之一，對后發大模型公司帶來巨大追趕壓力。這一舉措大幅降低使用門檻，商業用戶數量將迎來快速增長。

在人工智能大模型及相關應用產業發展的早期，監管層應以更為包容的態度展開相關工作，鼓勵探索創新。

長期來看，人工智能大模型廠商仍會深度介入某些具備重要價值的垂類應用場景，比如信息咨詢、金融服務、醫療服務等，通過戰略投資生態合作伙伴或自研應用級產品的方式，并通過付費訂閱或新一代廣告模式來進行變現。

相關建議

現階段，人工智能大模型發展存在著一定挑戰。首先，人工智能大模型本身仍有一定技術風險：魯棒性（即系統的健壯性）不足，系統在面對黑天鵝事件和對抗性威脅時可能會表現出能力缺失；可解釋性較低，缺乏理論支撐，本質基于條件概率，只能接近但無法重現人類思維邏輯，存在部分事實性錯誤；算法偏見，訓練語料庫若缺乏代表性或包含人類偏見，模型會存在算法偏見問題。其次，人工智能大模型發展也會帶來一定的社會風險：數字鴻溝，可能會加劇技術擁有者和缺乏者在信息獲取層面的不公平現象；壟斷風險，領先的大模型技術若被海外巨頭壟斷，將對國內的技術進步和經濟發展造成不利影響；內容風險，人工智能生成內容爆發后可能會產生大量錯誤信息污染互聯網環境。

為此，人工智能大模型作為中美新一輪技術競爭的核心領域之一，國家層面應積極鼓勵國內基礎模型研究的發展、配套硬件基礎設施建設及應用落地，配套管理措施也需及時跟進。

基礎研究方面，人工智能大模型是高資金投入、高人才壁壘的研究領域，頭部效應明顯，應構建以領軍企業為主體、產學研合作的創新體系，對于重點人才需加大力度引進，強化科學家之家的國際交流合作，加速追趕國際前沿水平。

產業配套方面，大力支持國產人工智能芯片和超算平臺的發展，構建國家數據資源平臺、發展數據標注產業及合成數據產業等，為國產人工智能大模型研發提供算力和數據保障。

應用落地方面，應積極推動大模型在制造業、醫療、金融、傳媒、互聯網領域的行業示范應用和規模化價值落地，打造一批可復制、可推廣的標桿型示范案例。

行業監管方面，在人工智能大模型及相關應用產業發展的早期，監管層應以更為包容的態度展開相關工作，鼓勵探索創新，大模型帶來的風險主要是技術層面的問題，通過行業共同探索技術解決方案能夠有效把控相關風險。