多模態技術帶來人工智能“新機遇”

多模態人工智能距離進入產業還有幾道彎？

ChatGPT-4的橫空出世，讓人工智能（AI）行業再一次柳暗花明。

有業內人士如此評價GPT-4的進步：“GPT-3或3.5像一個小學六年級學生，而GPT-4像一個聰明的高中一年級學生。”即將畢業的小學生與新晉高中生的思維差距，既體現在涉獵知識的廣度上，也體現在獨立思考的深度上。

GPT-4為代表的AI智力上的提升，直觀表現為，從實現單調的文本交互，轉變為可以接受圖像、文本作為輸入，并表現出更人性化的交互能力。這種處理多種類型信息的能力，被稱為“多模態技術”。

接下來，掌握了多模態AI技術密鑰的公司，可以進一步拓展下游新興領域，改變傳統AI定制化的特點，向通用化方向發展。整個產業也將在更加多樣化的場景應用以及產業鏈的進一步集成融合中，迎來規模化的升級。

從簡單的人臉識別、文字語音識別，上升到理解人的行為意圖，像人一樣懂得察言觀色，以人類復雜性作為參考的人工智能與人類的差距之一，就是多模態信息的智能化理解。

如果說，人工智能的終極目的是讓AI基于對環境的感知采取合理行動，從而幫助人類獲得最大收益，那么，在更多復雜場景對AI技術的應用效果提出更高要求的當下，多模態儼然成為AI產業突圍的重點方向。

AI的未來范式

多模態并非新概念，早在2018年，多模態作為AI未來的一個發展方向，已開始成為業界研究的重點。

“模態”一詞最早是一個生物學概念，以人類為例，觸覺、聽覺、視覺、嗅覺、味覺，都是一種模態。從人工智能和計算機視覺的角度來說，模態就是感官數據。簡單理解，多模態AI相當于“多種數據類型+多種智能處理算法”。

以往單模態、單任務的人工智能技術，局限于AI模型與數據之間的交互，通過讓AI學習互聯網上的海量文本、圖片等不同模態的數據，尋找其內在規律，但在算力、數據資源的限制下，僅依賴互聯網上數據學習很大可能會達到瓶頸。

多模態AI技術為AI能力的提升提供了一個解法，即讓人工智能自主學習并不斷迭代新的知識。之所以能做到這一點，是因為多模態AI技術是一種交互式的AI技術，突破了以往單一的模型與數據的交互，可以實現模型與模型、模型與人類、模型與環境等多種交互。舉例來說，現在很火的AIGC，可以通過文本生成圖像甚至視頻，就是多模態AI的一個典型應用。

但多模態AI的想象力遠不止于此。從技術的創新上來看，模態不僅包括最常見的圖像、文本、視頻、音頻數據，還包括無線電信息、光電傳感器、壓觸傳感器等更多可能性。不同模態都有各自擅長的事情，這些數據之間的有效融合，不僅可以實現比單個模態更好的效果，還可以做到單個模態無法完成的事情。

多模態AI的設計和應用體現一個詞：以人為中心。當AI同時處理多個模態的數據時，其感知方式會更貼近人類，從而讓機器更加全面、準確地理解人類的真實指令和意圖，比如能夠理解人類交流中細微差別的系統，具有高度關懷感和真實感的虛擬助手等，實現的是一種高度自然的人機交互和協同。

雖然AI在多模態方面取得了突破，但這種技術及其應用還不成熟，由多模態AI帶來的產業規模升級，面臨重重阻礙。

多模態AI的兩大挑戰

多模態AI探索的是人類行動和感知背后的關系，其蘊含的想象力與應用潛能毋庸置疑。但圍繞搜索和生成兩項基本任務，多模態AI的訓練還存在諸多難點，如多模態數據的收集、新的模型和架構的搭建、高效的數據融合等問題。

首先，多模態的數據收集、對齊和標注，復雜且不易完成。一方面，優質的多模態數據規模還不夠大；另一方面，在具體的業務場景中，很難同時滿足所有的模態數據的收集。

其次，不同模態具有不同的數據特性，多模態AI的訓練需要根據不同模態的特性，開發新的模型和架構。構建統一、跨場景、多任務的多模態基礎預訓練模型包含兩個問題：一是如何在統一的預訓練模型中，處理視覺（圖片、視頻、3D 圖像）三種模態的輸入，并將其映射到統一的特征空間的問題；二是如何采用統一的模型和訓練框架，分別訓練文本、圖像、語音的預訓練模型的問題。此外，開發能夠大幅降低AI模型訓練門檻，簡化部署流程，讓不具備AI專業知識的人員也能生產算法的平臺也十分重要。

再者，讓不同模態的數據有效融合以指導決策并非易事。大模型中有非常多隱性的知識，對這些知識的優化、迭代是一大挑戰。多模態AI需要處理的數據和參數十分海量，如何利用并行計算和分布式計算等技術來提高計算效率，也是多模態人工智能技術需要解決的難點之一。此外，如何在多模態AI的下游任務中進行自監督學習也是一大難點。

多模態AI最終是為了實現高質量的內容生成，背后需要參數規模巨大的模型以及海量數據集作為支撐。AIoT（人工智能物聯網）場景下，AI應用對于端云互動有著更強的需求。

尋找商業化落腳點

經過模型參數與數據規模的比拼階段后，搭載在攝像頭、邊緣計算盒子、機器人等智能設備中的多模態AI正走向場景應用。

目前已知的是，多模態AI首先在計算機視覺和自然語言處理等領域獲得驗證。OpenAI的DALL-E模型可以從文本描述中生成對應圖像，谷歌的多任務統一模型MUM可以做到從75種不同語言中挖掘上下文信息來提高搜索體驗，英偉達的GauGAN2模型可以根據簡單的文本輸入生成照片般逼真的圖像。

多模態大模型時代，AI應用也正走向產業縱深處。

工業場景中，運用多模態的智能化管理系統正在走進工廠和車間。以中科搖櫓船的AGV調度管理系統為例，通過將雷達圖像處理、視覺圖像處理等圖像處理技術集成在同一產品中，可以輕松完成車輛、交通、調度、運行、叫料、通信、統計等管理工作。相比于人力，這種智能化的管理更能滿足當下制造業客戶的柔性定制需求。

在城市治理場景中，多模態AI技術可以運用在巡檢機器人上。當前的巡檢機器人可以通過“眼睛”識別占道經營、垃圾桶滿溢等問題，并對相關情況進行提醒，但大多沒有“耳朵”。

相關研究表明，人類獲取信息中的25%都是通過聽覺實現的。對于巡檢機器人來說，沒有“耳朵”，意味著難以監測到環境中的異常響動。

云天勵飛未來將研發下一代高效多模信息感知引擎，在原有的視頻結構化技術基礎上結合三維場景信息、音頻信息等其他模態信息，提升傳感器信息流中語義和非語義信息的結構化密度，從而為相關產品及服務在更多應用場景的落地提供算法技術支持。

客觀來看，在視覺和聽覺之外，能夠商業化落地的多模態技術還很少，大多處于研究階段。多模態AI之路不好走，高度智能的人機交互道阻且長，主要表現為：

一、AI的理解和執行還不夠可控、可信賴、可復制。比如，多樣化風險和AI偏見風險，當數據不具有廣泛代表性時，算法就會出現偏差。

二、算法開發成本較高，產品不具性價比，市場和客戶不愿意買單。多模態AI的應用落地需要大量專業的研究人員，包括算法架構師或AI開發者，也包括產業專家。而這兩類專家關注點的相對獨立，又往往進一步增加研發和落地過程中的成本。此外，多模態AI的應用需要不同類型的數據、知識、產品等，其落地需要產業鏈整體加強協作和溝通，從核心的AI芯片，到物聯網硬件，再到軟件算法開發，時間周期長，需要協調各方利益。

三、業務場景較少且業務場景的定義還不夠清晰。多模態AI產品和方案需要根據實際需求針對性開發，什么場景需要使用哪幾個模態，從成本和收益上來看是否有商業價值，都需要進行前置考慮。AI能力想要進入實體產業，尤其是工業屬性相對較強的產業，需要從方方面面的復雜細節中進入。

多模態技術是個硬骨頭，更加類人的智能需要AI公司投入大量的研發；其背后需要的大模型和海量數據，同時對產業鏈上的硬件和芯片廠商提出了更高的要求；業務場景的探索尚處迷霧之中；市場的接受度也還不盡如人意。但從好的一面看，無論是最近大火的AIGC（生成式人工智能），還是在國內默默壯大的多模態人工智能產業聯合體，都說明AI將不斷朝著多模態方向發展，以更為廣泛的感知能力，進一步向產業落地。

（編輯 宦菁 huanjing0511@sohu.com）