1558
作者｜白雪
2024 年最重要的技術(shù)趨勢(shì)，非端到端自動(dòng)駕駛莫屬。這還要從特斯拉端到端上車說(shuō)起。今年 1 月，特斯拉向美國(guó)用戶推送了 FSD V12 測(cè)試版本。在這一版本中，F(xiàn)SD V12 將城市街道駕駛的軟件棧升級(jí)為端到端神經(jīng)網(wǎng)絡(luò)。
特斯拉 FSD V12.2.1 版本今年 2 月 19 號(hào)向 1.5 萬(wàn)名員工推送，還新增了 0.5%—2% 的用戶推送量，估算下來(lái)約 1 萬(wàn)人可以體驗(yàn)到這一版本。預(yù)計(jì)在今年上半年，V12 版本將完成向美國(guó)全量 FSD 用戶推送。這引發(fā)了大量真實(shí)車主測(cè)評(píng)，F(xiàn)SD V12 面對(duì)各類復(fù)雜場(chǎng)景都展現(xiàn)出了更加接近人的駕駛邏輯。
FSD V12 上線，也引起了行業(yè)的思考：端到端會(huì)不會(huì)成為高階智駕的未來(lái)？
「只有端到端才能做到真正駕駛行為上的 Human like，理解那些無(wú)法窮盡的 Corner cases?！惯@一聲音也越來(lái)越成為一種共識(shí)。換句話說(shuō)，無(wú)論是實(shí)際路測(cè)還是底層技術(shù)架構(gòu)，端到端才是自動(dòng)駕駛的最終解。
01、端到端模型，為何讓人著迷？
基于傳統(tǒng)自動(dòng)駕駛算法，智能汽車在走向高階智駕的過(guò)程中，出現(xiàn)了三大挑戰(zhàn)：開(kāi)城瓶頸、體驗(yàn)瓶頸、成本瓶頸。
車企大規(guī)模開(kāi)城是以人工規(guī)則為核心的高精地圖打底，這意味著高精地圖的鮮度必須以天為單位。一旦遇到維修施工就需要人工接管，這為車企實(shí)現(xiàn) 100% 開(kāi)城帶來(lái)了挑戰(zhàn)。體驗(yàn)瓶頸表現(xiàn)得更明顯，在許多車企推送城市 NOA 后，不少用戶發(fā)現(xiàn)會(huì)遇到系統(tǒng)還無(wú)法處理的 Corner cases，同時(shí)還會(huì)存在智駕不靈活的頓挫感。而對(duì)高精地圖、更大算力芯片的需求，也在加重車企成本壓力，動(dòng)輒 4 顆 Orin-X、12 顆傳感器使得硬件內(nèi)卷變得更瘋狂。
傳統(tǒng)模塊化自動(dòng)駕駛向左，端到端自動(dòng)駕駛向右。端到端之所以吸引眾多企業(yè)入局，在于它是比傳統(tǒng)模塊化系統(tǒng)更好用的技術(shù)指南。需要指出，端到端模型與大模型有著本質(zhì)區(qū)別。大模型，是指數(shù)據(jù)容量大小。大模型是把雙刃劍，傳統(tǒng)模塊化系統(tǒng)導(dǎo)入大模型，巨量數(shù)據(jù)會(huì)導(dǎo)致規(guī)則越變?cè)蕉?，進(jìn)而影響智駕體驗(yàn)。端到端，指的是自動(dòng)駕駛可達(dá)到一端輸入感知數(shù)據(jù)、一端輸出決策的效果。端到端利用大模型巨量數(shù)據(jù)，反而會(huì)培育出更加聰明的神經(jīng)網(wǎng)絡(luò)。
大模型時(shí)代下，端到端才是與之更加匹配的解題思路。
究其根本——端到端與傳統(tǒng)模塊化方案在開(kāi)發(fā)訓(xùn)練、規(guī)則設(shè)定、模型部署上有本質(zhì)區(qū)別。在開(kāi)發(fā)訓(xùn)練上，傳統(tǒng)自動(dòng)駕駛是感知、預(yù)測(cè)、規(guī)劃三個(gè)模塊獨(dú)立開(kāi)發(fā)訓(xùn)練。模塊之間的通信協(xié)議是工程師憑個(gè)人經(jīng)驗(yàn)抽象出來(lái)的結(jié)構(gòu)化數(shù)據(jù)。在這種分裂的模塊化架構(gòu)下，信息傳遞會(huì)出現(xiàn)減損。
端到端是則是將感知、規(guī)劃、決策、控制融合為一個(gè)神經(jīng)網(wǎng)絡(luò)架構(gòu)。在規(guī)則設(shè)定上，傳統(tǒng)自動(dòng)駕駛使用的是人為定義規(guī)則，僅能通過(guò)有限的規(guī)則處理有限場(chǎng)景。端到端利用神經(jīng)網(wǎng)絡(luò)，無(wú)需定義規(guī)則，同步也降低了人工代碼的數(shù)量。馬斯克就透露，特斯拉 FSD V12 通過(guò)神經(jīng)網(wǎng)絡(luò)，人工編程的 C++控制代碼由 30 萬(wàn)行縮減到了 3000 行。
類似地，元戎啟行做過(guò)統(tǒng)計(jì)，如果手動(dòng)處理 case，一位工程師一天只能處理 10 多個(gè)，但端到端模型可以用 AI 的方式去解決問(wèn)題，系統(tǒng)性學(xué)習(xí)老司機(jī)。在模型部署上，傳統(tǒng)自動(dòng)駕駛需要多任務(wù)、多模型部署，相應(yīng)地，算力和功耗的負(fù)擔(dān)就越重。端到端，破解了算力的無(wú)限游戲。在元戎啟行 CEO 周光看來(lái)，現(xiàn)階段，與基于人工規(guī)則驅(qū)動(dòng)的傳統(tǒng)方案相比，端到端反而會(huì)減少對(duì)車端算力的需求。由于可以使用同一個(gè)模型完成目標(biāo)檢測(cè)跟蹤與軌跡預(yù)測(cè)，這種將感知和預(yù)測(cè)模塊綁定在一起的方案，減少算力消耗的同時(shí)，還能提升目標(biāo)軌跡預(yù)測(cè)精度。
元戎啟行基于一顆英偉達(dá) Orin-X 芯片做過(guò)測(cè)試，同樣的芯片端到端上車在城市道路的流暢感明顯優(yōu)于傳統(tǒng)的模塊化自動(dòng)駕駛。但未來(lái)如果想要繼續(xù)優(yōu)化達(dá)到更高程度的類人自動(dòng)駕駛，仍需提升對(duì)算力的需求。據(jù)悉，在英偉達(dá)主辦的 GTC 大會(huì)上，元戎啟行和英偉達(dá)達(dá)成合作，將于 2025 年使用英偉達(dá)的 DRIVE Thor 芯片適配端到端智能駕駛模型。
而這些端到端「反常識(shí)」的優(yōu)點(diǎn)，就是在為車企降本增效?，F(xiàn)階段減輕對(duì)車端算力的需求，只是其中一點(diǎn)。除此之外，端到端并不需要高精度地圖。
本質(zhì)上，高精地圖就是巨大的規(guī)則體系，通過(guò)人工標(biāo)注好道路結(jié)構(gòu)和場(chǎng)景信息，把底層信息提前交給系統(tǒng)來(lái)識(shí)別道路。端到端，不需要這樣的巨量、精密的基于規(guī)則的信息，在為自動(dòng)駕駛「減負(fù)」的同時(shí)，還能提升系統(tǒng)的性能與體驗(yàn)。從底層技術(shù)架構(gòu)的角度看，端到端已經(jīng)展現(xiàn)出效率提升、性能上限更高、泛化能力和拓展能力更強(qiáng)的優(yōu)勢(shì)。馬斯克就曾透露特斯拉 FSD V12 的運(yùn)行功耗只有 100 多瓦，這相當(dāng)于行駛 100 公里耗電只在 0.1 度左右，而且 V12 的計(jì)算性能還在提升，能夠以 50 幀/秒的計(jì)算效率高效運(yùn)行。端到端的出現(xiàn)，為智駕上車、提升消費(fèi)者體驗(yàn)，帶來(lái)了「雙贏」的可能性。
02、端到端打響軍備賽，先有技術(shù)嗅覺(jué)才有技術(shù)選擇
一場(chǎng)圍繞端到端模型的軍備賽，已經(jīng)展開(kāi)。布局端到端自動(dòng)駕駛有兩大門派，學(xué)術(shù)派與一線技術(shù)派，二者互為養(yǎng)分。
全球計(jì)算機(jī)視覺(jué)盛會(huì) CVPR 2023 的最佳論文《Planning-oriented Autonomous Driving》提出了端到端的感知決策一體化框架，而這篇論文由上海人工智能實(shí)驗(yàn)室、武漢大學(xué)、商湯科技合作完成，是學(xué)界和業(yè)界合作的典型成果。學(xué)界給行業(yè)注入技術(shù)靈感，而真正開(kāi)啟端到端時(shí)代的是車企和自動(dòng)駕駛公司。
特斯拉是全球第一個(gè)將深度學(xué)習(xí)模型 Transformer 應(yīng)用于自動(dòng)駕駛中的車企。由特斯拉引發(fā)的「技術(shù)地震」，也讓國(guó)內(nèi)許多車企也開(kāi)始探索端到端。最激進(jìn)的是新勢(shì)力。去年 12 月底，理想 AD MAX3.0 系統(tǒng)在端到端架構(gòu)下，整合了 BEV 模型、MPC 模型預(yù)測(cè)控制以及時(shí)空聯(lián)合規(guī)劃等能力。蔚來(lái)將在今年上半年上線「基于端到端」的主動(dòng)安全功能。接近蔚來(lái)內(nèi)部的人士透露，半年前蔚來(lái)就為端到端的研發(fā)投入了幾十人規(guī)模的團(tuán)隊(duì)。小鵬的下一步也是實(shí)現(xiàn)端到端模型全面上車?？梢钥吹?，新勢(shì)力都在爭(zhēng)分奪秒爭(zhēng)搶量產(chǎn)端到端自動(dòng)駕駛的桂冠。
但現(xiàn)在看來(lái)，比新勢(shì)力更有可能先得到桂冠的是自動(dòng)駕駛企業(yè)。新勢(shì)力主要在去年下半年開(kāi)始投入研發(fā)，但目前還沒(méi)有更具體的計(jì)劃表。據(jù)汽車之心觀察，早在一年多前，元戎啟行就已經(jīng)將技術(shù)重點(diǎn)轉(zhuǎn)向端到端。2023 年年初，元戎啟行就向英偉達(dá)高層交流、展示了端到端技術(shù)，這個(gè)時(shí)間遠(yuǎn)早于馬斯克公開(kāi)宣布采用端到端模型。
2023 年 8 月，元戎啟行的端到端模型上車，進(jìn)行了路測(cè)。最為關(guān)鍵的是，在商業(yè)化量產(chǎn)階段元戎也持續(xù)保持了研發(fā)時(shí)的快節(jié)奏。
周光透露，搭載端到端模型的車型，將在今年面向市場(chǎng)量產(chǎn)。不出意外，元戎將是繼特斯拉之后，國(guó)內(nèi)最早量產(chǎn)端到端自動(dòng)駕駛公司之一。在周光看來(lái)，能在時(shí)間上搶占部署端到端模型，是因?yàn)榧夹g(shù)嗅覺(jué)總是先于技術(shù)選擇。
縱觀科技史上偉大的技術(shù)變革，其實(shí)都是先有技術(shù)嗅覺(jué)再有技術(shù)選擇。明星公司 Open AI，就是依靠技術(shù)敏感度得以引領(lǐng)行業(yè)。2020 年，Open AI 發(fā)表了一篇論文《Sacling Laws for Neural Language Models》，驗(yàn)證了模擬神經(jīng)語(yǔ)言模型的模型性能與模型數(shù)據(jù)、數(shù)據(jù)集大小以及訓(xùn)練數(shù)據(jù)量的關(guān)系。
這個(gè)函數(shù)關(guān)系被稱為比例定律（Sacling Laws），它驗(yàn)證了隨著模型大小、數(shù)據(jù)集大小和浮點(diǎn)數(shù)計(jì)算量的增加，模型的性能會(huì)可預(yù)測(cè)地提高。涌現(xiàn)能力就是 Sacling Laws 中的特殊節(jié)點(diǎn)，一旦達(dá)到某個(gè)臨界點(diǎn)時(shí)，性能就會(huì)出現(xiàn)急劇提升。
Sacling Laws 幫助科學(xué)家在數(shù)據(jù)資源有限的情況下作出合理的模型選擇。而涌現(xiàn)能力告訴我們，類人的人工智能可以在越過(guò)閾值后實(shí)現(xiàn)。選擇端到端，就是選擇把大語(yǔ)言模型驗(yàn)證過(guò)的涌現(xiàn)能力，最大化結(jié)合 Sacling Laws 重新在自動(dòng)駕駛領(lǐng)域做一遍。現(xiàn)在，元戎啟行就是希望找到智能駕駛的 Sacling laws——在小模型、小數(shù)據(jù)驗(yàn)證下確認(rèn)「公式」，以最低的實(shí)驗(yàn)成本設(shè)計(jì)出更大的訓(xùn)練模型。
對(duì)此，元戎建立了一套循序漸進(jìn)的端到端「兩部曲」：
第一步：打造端到端模型。將后融合感知技術(shù)，變成多傳感器前融合感知。同時(shí)，將過(guò)去由規(guī)則驅(qū)動(dòng)的預(yù)測(cè)和規(guī)劃，變成數(shù)據(jù)驅(qū)動(dòng)。對(duì)應(yīng)的是 2019 年，元戎發(fā)布多傳感器融合感知算法、2023 年 3 月元戎發(fā)布了不搭載高精地圖的智能駕駛解決方案 DeepRoute-Driver 3.0。
第二步：端到端模型上車。對(duì)應(yīng)的是 2023 年 8 月，元戎成功完成端到端上車路測(cè)，并將端到端模型應(yīng)用到量產(chǎn)車上。2024 年下半年，伴隨著量產(chǎn)車下線，將端到端模型推入消費(fèi)者市場(chǎng)。
元戎之所以能在國(guó)內(nèi)率先建立起端到端方法論，在于掌舵人對(duì)技術(shù)風(fēng)向的洞察。周光本科畢業(yè)于清華大學(xué)基礎(chǔ)科學(xué)班，博士畢業(yè)于德克薩斯大學(xué)達(dá)拉斯分校人工智能和機(jī)器人方向，扎實(shí)的數(shù)學(xué)與物理學(xué)基礎(chǔ)理論與人工智能實(shí)踐學(xué)習(xí)，使其更敏感地察覺(jué)到了端到端技術(shù)趨勢(shì)。早在兩年前，他就表示機(jī)器學(xué)習(xí)很多邏輯與數(shù)學(xué)密不可分，本質(zhì)上就是通過(guò)數(shù)據(jù)的方式去尋找規(guī)律。這也使得元戎更早看清，智駕駛向深水區(qū)，更需要借助端到端這股東風(fēng)。
03、逃不開(kāi)誤解的端到端，卻是高階智駕的最終解
目前，高階智駕正在以超乎想象的速度推進(jìn)。極氪智能科技副總裁陳奇曾提到：2023 年 12 月，國(guó)內(nèi)頭部廠商高階智駕選裝率達(dá)到了 48.73%，這相當(dāng)于頭部車企每賣出兩臺(tái)智能車，其中一臺(tái)都具備城市 NOA。
再過(guò)一個(gè)季度，頭部車企們將會(huì)城市 NOA 進(jìn)行全量推送，這將會(huì)是一場(chǎng)史上規(guī)模最大、難度最高的智駕檢驗(yàn)：多數(shù)消費(fèi)者與機(jī)器共駕的默契還有待提升，同時(shí)也要求車企能夠用高階智駕在復(fù)雜的城市道路中為用戶安全兜底。
現(xiàn)階段，從國(guó)內(nèi)目前多家車企的城市 NOA 體驗(yàn)來(lái)看，多數(shù)遇到施工或道路有所更新的路段，幾乎都需要接管。這也意味著，目前用戶尚未享受到高階智能駕駛尚未達(dá)到用戶眼中的「可用」「好用」。
一個(gè)完善的端到端模型，將會(huì)在消費(fèi)端為用戶智駕體驗(yàn)帶來(lái)質(zhì)的改變。這里存在兩個(gè)有些「反常識(shí)」的知識(shí)點(diǎn)。一方面，過(guò)去以深度學(xué)習(xí)為基本盤的端到端模型，被外界詬病「就像一個(gè)黑箱系統(tǒng)，性能很好，但缺乏解釋性?！沟?strong>這種「不可解釋性」，并不代表不安全。
這就像人類面對(duì)復(fù)雜場(chǎng)景時(shí)產(chǎn)生的大多數(shù)駕駛行為也存在不可解釋性。元戎啟行在最開(kāi)始端到端模型上車時(shí)，會(huì)采用基于規(guī)則的安全兜底策略保證駕駛安全。比如系統(tǒng)如果檢測(cè)將要發(fā)生碰撞，將會(huì)盡早進(jìn)入保守策略，啟動(dòng)安全模式，避免端到端模型出現(xiàn)安全事故。
另一方面，端到端模型即使是底層技術(shù)架構(gòu)，其實(shí)在消費(fèi)端也是可以被察覺(jué)的。這種「可察覺(jué)」，是把「數(shù)碼味」變成真正人類司機(jī)駕駛。
今天，已經(jīng)量產(chǎn)的傳統(tǒng)方案，在直行、加塞、變道時(shí)會(huì)有明顯的頓挫感，感覺(jué)還有不同的系統(tǒng)切換。但端到端模型上車的體驗(yàn)，會(huì)更擬人化。底層原因是，如果單純基于人工規(guī)則，包括道路施工、壓實(shí)線、應(yīng)對(duì)違停車輛等等在內(nèi)的每種場(chǎng)景都需要單獨(dú)的規(guī)則，這樣的系統(tǒng)并不好用。
現(xiàn)在，端到端大模型的魔盒已經(jīng)打開(kāi)：馬斯克直播路測(cè)特斯拉 V12 版本 45 分鐘內(nèi)僅接管一次、蔚小理陸續(xù)宣布投入端到端研發(fā)......甚至還有一個(gè)小細(xì)節(jié)，最初特斯拉采用純視覺(jué)端到端被外界認(rèn)為不可靠、不安全，但當(dāng)今年 1 月特斯拉舉辦 2023 年財(cái)報(bào)會(huì)時(shí)，馬斯克被問(wèn)到特斯拉是否會(huì)在今年舉辦 AI Day 活動(dòng)。
馬斯克對(duì)此表示，今后謹(jǐn)慎透露技術(shù)，因?yàn)楦?jìng)爭(zhēng)對(duì)手已經(jīng)開(kāi)始模仿創(chuàng)新。一個(gè)行業(yè)走向爆發(fā)前夕，往往會(huì)信息封鎖，迎來(lái)最為緊張的時(shí)刻。進(jìn)入 2024 年，周光認(rèn)為，「端到端是打開(kāi)物理世界通用人工智能大門的一把鑰匙。」
本質(zhì)上，Chat GPT、Sora、Midjourney，仍然屬于互聯(lián)網(wǎng)世界的生成式人工智能，所收集、生成的數(shù)據(jù)都是網(wǎng)絡(luò)虛擬數(shù)據(jù)。這就意味著，仍沒(méi)有針對(duì)物理世界的通用人工智能。要讓人工智能具備物理常識(shí)，就需要大量物理世界的真實(shí)數(shù)據(jù)。在這種情況下，智能駕駛就是最佳解。
正如地平線 CEO 余凱所言，「手機(jī)是擊穿物聯(lián)網(wǎng)的關(guān)鍵，智能駕駛是擊穿物理世界通用人工智能的關(guān)鍵?！惯@也讓自動(dòng)駕駛趨勢(shì)愈發(fā)清晰：以模塊化為主導(dǎo)的原始人工智能時(shí)代終結(jié)了，物理世界通用人工智能時(shí)代正拉開(kāi)帷幕。
下載ECAD模型
