“端到端”風(fēng)口已至？

從概念興起到深入布局，“端到端”幾乎已經(jīng)成為了車(chē)企近階段在自動(dòng)駕駛領(lǐng)域的重點(diǎn)工作。8月初，有媒體報(bào)道稱(chēng)，小鵬汽車(chē)近期對(duì)自動(dòng)駕駛部門(mén)進(jìn)行了相應(yīng)的組織架構(gòu)調(diào)整，新設(shè)AI模型開(kāi)發(fā)、AI應(yīng)用開(kāi)發(fā)、AI效能開(kāi)發(fā)三大板塊職能，旨在加速AI能力進(jìn)化和組織AI化轉(zhuǎn)型。無(wú)獨(dú)有偶，6月蔚來(lái)也被曝重組了智駕團(tuán)隊(duì)，將感知和規(guī)控團(tuán)隊(duì)合并為大模型團(tuán)隊(duì)，而理想汽車(chē)也在7月成立了“端到端自動(dòng)駕駛”實(shí)體組織，規(guī)模約200人。

“‘端到端’采用神經(jīng)網(wǎng)絡(luò)作為信息傳遞的橋梁，通過(guò)數(shù)據(jù)驅(qū)動(dòng)實(shí)現(xiàn)全局優(yōu)化，理論上性能上限更高，可以更好地處理復(fù)雜場(chǎng)景，避免了模塊化系統(tǒng)中各部分獨(dú)立優(yōu)化可能帶來(lái)的整體性能損失，并具備利用數(shù)據(jù)閉環(huán)進(jìn)行快速更新的能力，獲得了國(guó)內(nèi)外眾多主機(jī)廠和供應(yīng)商的青睞，有望推動(dòng)智能駕駛向更高級(jí)別的發(fā)展。”清華汽研院智能網(wǎng)聯(lián)中心技術(shù)總監(jiān)孫輝在接受采訪時(shí)表示，2024年已經(jīng)有一些企業(yè)宣稱(chēng)在測(cè)試或量產(chǎn)“端到端”方案，預(yù)計(jì)在2025年會(huì)迎來(lái)更大的爆發(fā)。隨著技術(shù)的進(jìn)步，相信“端到端”將在不久的將來(lái)重塑智駕格局。

忽如一夜春風(fēng)來(lái)，家家都上“端到端”

有的人因?yàn)橄嘈挪趴匆?jiàn)，例如特斯拉，而有的人則因?yàn)榭匆?jiàn)了才相信，例如近期公開(kāi)“端到端”自動(dòng)駕駛方案上車(chē)規(guī)劃的一眾車(chē)企。

其實(shí)“端到端”并不是一個(gè)新詞，早在2016年，英偉達(dá)就提出采用單個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)“端到端”的自動(dòng)駕駛，但只完成了小規(guī)模的demo驗(yàn)證。直到隨著Transformer網(wǎng)絡(luò)架構(gòu)和車(chē)端算力（逐步可支持0.1B～1B級(jí)參數(shù)量網(wǎng)絡(luò)運(yùn)行）的提升，One Model的“端到端”方案才又重新回到人們的視野中。

特斯拉成為了這一時(shí)期“第一個(gè)吃螃蟹的人”。2023年8月，特斯拉在公布FSD V12版本時(shí)正式宣布引入了“端到端”技術(shù)。今年3月，特斯拉開(kāi)始在北美地區(qū)大范圍推送FSD V12。這套智駕系統(tǒng)的優(yōu)秀表現(xiàn)，讓從業(yè)者和用戶都迅速感受到了智能化技術(shù)所帶來(lái)的駕乘體驗(yàn)提升，因此也在一定程度上推動(dòng)了“端到端”自動(dòng)駕駛技術(shù)路線在短期內(nèi)形成了大范圍的共識(shí)。

同樣作為“端到端”技術(shù)的忠實(shí)擁護(hù)者，小鵬積極跟進(jìn)，先是在今年1月30日提出未來(lái)將實(shí)現(xiàn)“端到端”模型全面上車(chē)，隨后在5月20日宣布開(kāi)始向用戶推送基于“端到端”大模型的智能駕駛和智能座艙系統(tǒng)。到了7月30日，小鵬汽車(chē)官宣將向全球用戶全量推送AI天璣系統(tǒng)XOS 5.2.0版本，同時(shí)提出在2024年四季度可以實(shí)現(xiàn)“門(mén)到門(mén)”的智能駕駛，即居住小區(qū)停車(chē)場(chǎng)到單位園區(qū)停車(chē)場(chǎng)的高級(jí)別輔助駕駛。

7 月30 日，小鵬汽車(chē)官宣將向全球用戶全量推送AI 天璣系統(tǒng)XOS 5.2.0 版本，同時(shí)提出在2024 年四季度可以實(shí)現(xiàn)“門(mén)到門(mén)”的智能駕駛，即居住小區(qū)停車(chē)場(chǎng)到單位園區(qū)停車(chē)場(chǎng)的高級(jí)別輔助駕駛。

其余企業(yè)也紛紛行動(dòng)起來(lái)。4月，華為推出了采用“端到端”架構(gòu)的ADS 3.0，并已搭載于6月上市的享界S9；在北京車(chē)展上，元戎啟行展示了基于DeepRoute IO的“端到端”解決方案，商湯絕影則推出了面向量產(chǎn)的“端到端”自動(dòng)駕駛解決方案“UniAD”；地平線在5月發(fā)布了SuperDrive全場(chǎng)景智能駕駛解決方案，使用了動(dòng)態(tài)、靜態(tài)、Occupancy三網(wǎng)合一的感知“端到端”架構(gòu)；7月5日，理想宣布，向全量理想AD Max用戶推送“全國(guó)都能開(kāi)”的無(wú)圖NOA并發(fā)布基于“端到端”模型、VLM視覺(jué)語(yǔ)言模型和世界模型的全新自動(dòng)駕駛技術(shù)架構(gòu)；7月27日，蔚來(lái)正式發(fā)布智能駕駛技術(shù)架構(gòu)，并表示該技術(shù)架構(gòu)在算法層升級(jí)引入了自研的蔚來(lái)世界模型的“端到端”架構(gòu)。

原教旨定義的“端到端”仍在路上

有意思的是，盡管“端到端”已經(jīng)被公認(rèn)為自動(dòng)駕駛技術(shù)發(fā)展的大趨勢(shì)，但業(yè)界對(duì)其定義仍存有爭(zhēng)議，一位國(guó)內(nèi)一線智駕車(chē)企工程師甚至在接受媒體采訪時(shí)這樣說(shuō)道：“目前為止，我沒(méi)有聽(tīng)到任何一家做到了（原教旨定義下的）‘端到端’。沒(méi)有任何一家，包括特斯拉。”

對(duì)此，孫輝提出，“端到端”是一種通用的技術(shù)類(lèi)別，根據(jù)不同應(yīng)用具有不同的含義。目前行業(yè)內(nèi)普遍認(rèn)可的“端到端”技術(shù)主要分為兩類(lèi)，一類(lèi)是感知規(guī)劃“端到端”，以多傳感器數(shù)據(jù)為輸入，行駛軌跡規(guī)劃為輸出，該路線繼承自BEV、OCC，有良好的產(chǎn)業(yè)量產(chǎn)基礎(chǔ)和較低的運(yùn)行算力需求，是最主要的路線。第二類(lèi)則是基于多模態(tài)大模型（VLM、MLM）的“端到端”，利用大語(yǔ)言模型的知識(shí)底座，通過(guò)微調(diào)的方式適應(yīng)自動(dòng)駕駛場(chǎng)景理解和決策。孫輝指出，這類(lèi)大模型由于參數(shù)量過(guò)大的原因，無(wú)法用于實(shí)時(shí)推理，但對(duì)corner case的理解能力更強(qiáng)，決策更擬人化，可作為有效補(bǔ)充。

根據(jù)前不久發(fā)布的《端到端自動(dòng)駕駛行業(yè)研究報(bào)告》（以下簡(jiǎn)稱(chēng)《報(bào)告》），在目前國(guó)內(nèi)“端到端”技術(shù)路線的主要“玩家”中，商湯絕影和小鵬汽車(chē)跑得比較靠前。其中，小鵬的“端到端”大模型有三個(gè)組成部分，包括神經(jīng)網(wǎng)絡(luò)XNet、規(guī)控大模型XPlanner和大語(yǔ)言模型XBrain；而商湯絕影的“端到端 UniAD”屬于“模塊化端到端”類(lèi)型，與決策規(guī)劃模型化的技術(shù)架構(gòu)（即“兩段式端到端網(wǎng)絡(luò)”）相比，不需要對(duì)感知數(shù)據(jù)進(jìn)行抽象和逐級(jí)傳遞，實(shí)現(xiàn)了感知決策一體化和系統(tǒng)的聯(lián)合優(yōu)化。

不過(guò)，誠(chéng)如上述車(chē)企工程師所說(shuō)，幾乎目前市面上所有的“端到端”技術(shù)都留有“兜底規(guī)則”，也就是說(shuō)，系統(tǒng)中的規(guī)控大部分仍是混合架構(gòu)。“目前看來(lái)，‘兜底’是非常有必要的事情。”孫輝告訴記者，在“端到端”模型沒(méi)有達(dá)到足夠可靠的時(shí)候，可能需要基于規(guī)則的方法和“端到端”模型同時(shí)工作。一方面，這在資源分配上是可行的，因?yàn)閭鹘y(tǒng)方法多依賴(lài)CPU資源，而端到端依賴(lài)GPU/NPU資源；另一方面，智駕研發(fā)企業(yè)并不適合在沒(méi)有成熟基于規(guī)則的方法之前，跳過(guò)該環(huán)節(jié)直接開(kāi)發(fā)“端到端”方案，這樣會(huì)降低系統(tǒng)的可靠性。他認(rèn)為，“兜底規(guī)則”或基于規(guī)則的安全保障，將在很長(zhǎng)的時(shí)間內(nèi)都是一個(gè)必備的模塊，隨著技術(shù)的發(fā)展，其觸發(fā)幾率會(huì)持續(xù)降低。

上車(chē)制約因素：可靠性、適應(yīng)性和實(shí)時(shí)性

盡管像孫輝所說(shuō)，今年就已經(jīng)有一些企業(yè)宣稱(chēng)在測(cè)試或量產(chǎn)“端到端”方案，預(yù)計(jì)在2025年會(huì)迎來(lái)更大的爆發(fā)。但對(duì)于現(xiàn)在的智能駕駛汽車(chē)企業(yè)而言，要實(shí)現(xiàn)“端到端”的量產(chǎn)上車(chē)仍需面臨可靠性、適應(yīng)性和實(shí)時(shí)性等因素的制約。

在孫輝看來(lái)，企業(yè)會(huì)根據(jù)所依托的控制器硬件選擇合理的模型規(guī)模，其主要挑戰(zhàn)在于當(dāng)網(wǎng)絡(luò)規(guī)模受限時(shí)，如何訓(xùn)練出可靠性高、泛化能力好的模型。借鑒其他領(lǐng)域的經(jīng)驗(yàn)，如采用大規(guī)模數(shù)據(jù)訓(xùn)練（如SAM）、教師模型蒸餾、人工反饋的強(qiáng)化學(xué)習(xí)（RLHF）等，還需要行業(yè)內(nèi)更多的探索嘗試。

在這一過(guò)程中，數(shù)據(jù)和算力就成為了擺在車(chē)企面前的兩大難題。理想汽車(chē)總裁、總工程師馬東輝在今年第一季度財(cái)報(bào)電話會(huì)上直言，特斯拉的“端到端”大模型需要大量的數(shù)據(jù)和訓(xùn)練算力，“這不是所有車(chē)企都有能力和資源做到的”。

另一大挑戰(zhàn)是“端到端”如何處理corner case。孫輝指出，在升級(jí)為大模型之前，邊緣場(chǎng)景對(duì)“端到端”算法來(lái)說(shuō)依然是挑戰(zhàn)，因?yàn)檫吘増?chǎng)景在數(shù)據(jù)中呈現(xiàn)出極度稀疏的狀態(tài)，很難被有效學(xué)習(xí)。目前行業(yè)里的一種解決方法是單獨(dú)添加標(biāo)簽，采用類(lèi)似Focal Loss的方式提高其貢獻(xiàn)，另一種則是采用合成數(shù)據(jù)來(lái)人為制造邊緣場(chǎng)景用于學(xué)習(xí)。

特斯拉在2021 年和2022 年年底的AIDay 上分別公布了BEV 和OcuupancyNetwork 的技術(shù)架構(gòu)，而國(guó)內(nèi)車(chē)企開(kāi)始OTA 基于BEV/ Occupancy Network的功能普遍在2023-2024 年，與特斯拉的研發(fā)進(jìn)度差大概在1.5～2 年。

“特斯拉在2021年和2022年年底的AI Day上分別公布了BEV和Ocuupancy Network的技術(shù)架構(gòu)，而國(guó)內(nèi)車(chē)企開(kāi)始OTA基于BEV/ Occupa-ncy Network的功能普遍在2023-2024年，與特斯拉的研發(fā)進(jìn)度差大概在1.5～2年。”《報(bào)告》認(rèn)為，參考前述追趕進(jìn)度， 國(guó)內(nèi)自動(dòng)駕駛公司的模塊化“端到端”方案上車(chē)量產(chǎn)時(shí)間可能會(huì)在2025年。

孫輝對(duì)此抱持相同的觀點(diǎn)。“在已有技術(shù)的基礎(chǔ)上，或多或少地添加‘端到端’的方案具有較好的可行性，OTA技術(shù)也為后續(xù)持續(xù)更新奠定了基礎(chǔ)。”孫輝表示，隨著技術(shù)的進(jìn)步，有理由相信“端到端”將在不久的將來(lái)重塑智駕格局。