采 訪 | 德新

編輯 | Dude

在智能汽車的賽道里，特斯拉是獨樹一幟的旗手，幾乎引領了大部分技術變革的風潮。最近一次，是特斯拉掀起的「端到端」熱潮。拋棄規(guī)則，擁抱數(shù)據(jù)，在這一年內(nèi)迅速成為業(yè)界共識。

只是在技術落地的過程中，光有共識是不夠的，人們需要一條足夠清晰、安全、可解釋的路徑。

在這場落地競賽中，不同的玩家都給出自己的解法。在這場新的技術競賽里，蔚小理們是最積極的一波，各個車企都處在于摸著石頭過河的探索狀態(tài)。但可以肯定的是，端到端是大家都認可的方向，但是落地確實是一場事關算力、數(shù)據(jù)的綜合角力。

在端到端牌桌上的，并非只有車企陣營，以商湯絕影、Momenta為代表的供應商，正在成為一股新的技術力量，推動著中國自動駕駛走向ChatGPT時刻。

在今年的WAIC上，商湯絕影拿出了可解釋、可交互的自動駕駛大模型DriveAGI，HiEV在前不久采 訪了商湯科技聯(lián)合創(chuàng)始人、首席科學家、絕影智能汽車事業(yè)群總裁王曉剛。

在人工智能1.0時代一騎絕塵，開辟了AI人臉應用時代的巨頭，在2.0時代會交出什么答卷？該如何為端到端的智駕新范式，煉就高增長性的模型？

以下是HiEV 對話商湯科技聯(lián)合創(chuàng)始人、首席科學家、商湯絕影智能汽車事業(yè)群總裁王曉剛的內(nèi)容，HiEV做了不改變原意的編輯：

一、通用泛化性，檢驗端到端智駕的黃金標準

HiEV：絕影的端到端智駕做到什么階段，如何評價現(xiàn)階段的表現(xiàn)？

王曉剛：目前，我們在上海的部分區(qū)域，例如臨港、新洲周圍的區(qū)域整體表現(xiàn)還是比較穩(wěn)定，規(guī)則能夠處理的問題，端到端也能夠應對，我們已經(jīng)打通了技術路線。

另外，在完全不依賴地圖的復雜場景下，端到端能夠突破原來規(guī)則設計里面做不到事情。比如在沒有清晰車道線的小路、或者是比較多的遮擋的情況下，恰當?shù)剡M行應急的避讓。當出現(xiàn)異形車，突如其來的行人、機動車、電動車，端到端能夠恰當?shù)剡M行和其他車輛進行交互和避讓。

HiEV：在只用端到端一個模型的情況下，只要這個區(qū)域的數(shù)據(jù)足夠多，就能逐步解決該區(qū)域遇到的問題嗎？

王曉剛：對，但我們的模型具備泛化的能力。涉及更大規(guī)模的數(shù)據(jù)泛化，更多的還是需要跟車廠進行配合。所以，現(xiàn)階段我們首先要把方案做得足夠好，跟車廠配合在更多的城市去推廣。

在這個過程當中，實際上追求的還是模型本身的通用能力，而并非是某個區(qū)域或者是選定區(qū)域泛化性。

HiEV：現(xiàn)在系統(tǒng)的迭代速度、迭代能力怎么樣？

王曉剛：在迭代的過程中，還要進行模型的不同Pipeline（研發(fā)流水線），以及各方面的嘗試。在最開始的階段，模型并不是非常成熟的狀態(tài)，但是只需要到大量跑數(shù)據(jù)階段，模型會迭代變得比較快。

今天我們能做的還是摳細節(jié)，比如數(shù)據(jù)清理、數(shù)據(jù)標注，通過各種方式能夠讓模型達到一個比較好、比較穩(wěn)定的狀態(tài)。

HiEV：這個階段的工作，是比較偏重于數(shù)據(jù)這一端，還是偏重模型設計這一端?

王曉剛：這兩個部分都會涉及到，比如今天的網(wǎng)絡結(jié)構(gòu)，跟一年前比，已經(jīng)發(fā)生了非常大的變化。

在最開始的階段，我們是用最簡單的端到端的方式——由若干個模塊組成，每個模塊就有一個網(wǎng)絡去擬合它，然后將這些網(wǎng)絡串起來，這就是最開始的端到端，但這不是一個大模型的端到端。

這種模型還是一系列的小模型串聯(lián)起來，今天很多人把預測、決策和規(guī)劃用網(wǎng)絡來進行替代，這個網(wǎng)絡的規(guī)模會比感知網(wǎng)絡還要小很多。

今天ChatGPT做出來的模型，根本不是按照意圖、具體任務來預測任務，它是通過預測下一個token方式來訓練出來模型，同時，它要通過理解很復雜的任務，才能夠把下一個token預測好。

今天做自動駕駛也是一樣的，通過輸入的大量的視頻，預測的是未來規(guī)劃的軌跡，這本身就是一件很難的事情。但這種方式，能夠讓模型具有更好的、通用化的能力。

所以大家走的道路其實本質(zhì)上差別很大，如果沿用以前數(shù)據(jù)標注、通過打標簽的方式輔助，模型是比較容易訓練的，但是它的通用能力就會差很多。

HiEV：現(xiàn)在商湯跑的端到端的模型已經(jīng)比原來模塊化方式設計的模型大很多，但是肯定離最終的ChatGPT時刻還是會有比較大的差距，我們應該要怎么理解這個差距？

王曉剛：在大模型里面，有尺度定律Scaling Law。

針對小規(guī)模的模型，包括數(shù)據(jù)，結(jié)構(gòu)、Pipeline，大模型進行預測。等這個模型的體量要再大一個數(shù)量級、兩個數(shù)量級的時候，表現(xiàn)會完全不同。所以今天我們做很多的嘗試，在一個相對小一點的規(guī)模上，把整個模型的scale再提上去，這時候能夠看到更大量的更通用的能力。

有了這些能力以后，再把這個模型變小，模型才能夠有一個比較好的表現(xiàn)。

這里面不光涉及到模型的體量的問題，很重要的就是對它訓練的方式。

我們在2022年，就做過32億參數(shù)的感知模型，雖然這種模型的網(wǎng)絡規(guī)模很大的，但是它的訓練方式還是以標注的方式來做，就很容易達到模型的上限。因為大量的數(shù)據(jù)都是經(jīng)過標注的數(shù)據(jù)，但最終起到的效果是比較小的。

HiEV：因為它包含的信息是比較少、比較簡單的？

王曉剛：它的任務就是識別，雖然增加了很多數(shù)據(jù)，模型量也很大，但是如果出現(xiàn)很難的東西、未見過的東西，模型還是識別不了。

HiEV：所以我們需要豐富它數(shù)據(jù)的維度？

王曉剛：跟訓練的方式有關系。像ChatGPT這種模型，它之所以能夠涌現(xiàn)出新的通用化的能力，因為它的訓練的方式是預測下一個token。

這就是為什么今天大家覺得訓練的時候就把原來這幾個網(wǎng)絡串一串，或者說加大原來的感知網(wǎng)絡的規(guī)模就是大模型。但其實不是，因為這種訓練的方式是不對的。

之前這些路線我們也都嘗試過，比如我們在2022年做的感知大模型，可以做自動標注，還可以預標注。但這種模型跟今天能理解很多復雜場景的模型，能力根本不在一個層次上。

HiEV :那這個模型設計目的是什么呢？

王曉剛：比如說很多時候，不好定義的場景。

例如前面你看到了一個小電瓶車，正常操作是把電瓶車框出來進行避讓，但這個車的后面拉了一個竹竿，這就跟之前定義的不在一個類別里面。遇到這種情況，會繞的更遠一些。它是一個異形的車輛。

HiEV: 所以現(xiàn)在怎么驗證、評估它未來的泛化性？

王曉剛：我們在各個地方的不同區(qū)域進行試驗，這中間當大模型遇到新的場景，所表現(xiàn)出來的行為是否合理。

另外，我們基于現(xiàn)有模型再去延伸出來的多模態(tài)，后面還可以通過SFT（Supervised Fine-Tuning有監(jiān)督微調(diào)）這種方式點亮新的能力，識別出各種場景，做各種復雜的分析。

這個時候就顯現(xiàn)出來，之前專門用來讓它去做自動駕駛單一目標任務，所不具備的能力。

二、大模型時代，車企 - Tier 1醞釀新合作模式

HiEV：WAIC大會上商湯也公布了一些座艙上的進程。智駕大模型的落地時間是怎樣的？

王曉剛：今年是一個非常重要的時間點。一系列支持大模型的芯片，Thor 、MTK會面世，到明年會有各種量產(chǎn)的車型上來。我們整個節(jié)奏還都是比較緊張的。

智駕的端到端大模型逐漸成熟量產(chǎn)，需要一個過程。一開始，很難做到完全只依賴模型本身，不依賴任何的規(guī)則，因為量產(chǎn)交付面對需要對各種特定的任務和場景。但是大模型隨著數(shù)據(jù)量的增長和積累，規(guī)則部分會變得越來越少，模型會處于一個爆發(fā)的狀態(tài)。

座艙方面，現(xiàn)在我們有好幾個模型已經(jīng)進入量產(chǎn)狀態(tài)。

像小米SU7的對話能力，就是應用了我們的大模型、多模態(tài)的能力；還有在智己、吉利旗下品牌翼真上，也應用了文生圖的能力；在極氪上，則是應用了商湯全套的大模型能力，但這些都是云端的大模型。

明年，我們會把現(xiàn)有的模型變成終端的大模型，另外基于現(xiàn)有的大模型開發(fā)更好的、更具有用戶價值體驗的應用。今年有幾個客戶，都跟我們在這方面形成戰(zhàn)略合作。

商湯絕影具備云側(cè)、端側(cè)和端云結(jié)合等各種大模型部署的能力。明年，一批采用端云結(jié)合技術的車艙大模型將正式上車。

HiEV：很多主流觀點認為座艙跟智駕基本上是沒有關聯(lián)，現(xiàn)在商湯所做的座艙大模型對智駕會有幫助嗎？

王曉剛：現(xiàn)在多模態(tài)模型就已經(jīng)實現(xiàn)了關聯(lián)性了。因為駕駛一旦有了多模態(tài)，其實就已經(jīng)具備了交互的屬性。

今天我們有幾個方面都體現(xiàn)了這種關聯(lián)性，一方面是人機交互，另一方面在呈現(xiàn)和顯示我們在座艙里面，對智駕的場景里3D城市的內(nèi)容的顯示，包括我們對城市的探索在這方面，智能座艙和智能駕駛會有一個更深入的結(jié)合。

HiEV：從智能座艙的功能來講，由現(xiàn)有的轉(zhuǎn)向更加豐富或者多模態(tài)的功能，是非常順理成章。那智能駕駛這一塊，你們接下來規(guī)劃是什么？

王曉剛：對于商湯來說，目前比較重要的是要跟車廠形成一個新的合作模式。所以是根據(jù)技術發(fā)展的趨勢，來改變合作模式和商業(yè)模式。

因為現(xiàn)在端到端，更多依賴的是后臺的算力、能力、數(shù)據(jù)的平臺。前端可能相對簡單，這時候如何跟車廠進行合作，很多時候就不是交付輸出標品了。

最終，能夠展現(xiàn)出智駕的產(chǎn)品本身特色，差異化的地方，更多是在于如何獲取數(shù)據(jù)、如何生產(chǎn)、篩選數(shù)據(jù)。因此，最重要的就是要讓車廠能夠參與到這里面來。

讓車企更了解商湯端到端平臺的流程，展現(xiàn)更多的C端的數(shù)據(jù)，更能夠真正理解這里面跟以前的模式不一樣的地方。特斯拉就擁有非常強大的基礎AI能力，同時它又會拿到 C端的獨特的有價值的數(shù)據(jù)，能夠把大模型的新的能力釋放出來，形成新的產(chǎn)品形態(tài)。

HiEV：那車企能夠參照特斯拉的形式來做一套端到端方案嗎？

王曉剛：首先，今天絕大多數(shù)車廠，很難具備像特斯拉的AI能力。

特斯拉有10萬塊GPU，今天絕大多數(shù)的車廠最多就是幾百塊，在算力基礎上就有一定的差距。

另一個原有的合作模式是，車廠將他認為有價值且重要的問題進行反饋，因此能夠獲取的數(shù)據(jù)也不是第一手的數(shù)據(jù)。供應商可以去修復這些問題，但是很難超越現(xiàn)有的體驗，形成一個提升。

我覺得無論駕駛還是座艙，都存在這些問題。如要解決這個問題，必須是兩邊都有更加深入的合作，我們也能夠更多的接觸到終端消費者的數(shù)據(jù)所產(chǎn)生的價值。

HiEV：有一種情況，比如說現(xiàn)在車企其實已經(jīng)有很多的量產(chǎn)項目，然后從現(xiàn)有的量產(chǎn)項目就會產(chǎn)生很多的數(shù)據(jù)，有沒有可能通過那樣的方式來進行？

王曉剛：但這個取決于對模型的理解，對數(shù)據(jù)的理解。因為今天我們拿到的數(shù)據(jù)，是從車企反饋回來的數(shù)據(jù)，那是他認為需要解決的問題，但實際上是被過濾了一層。

比如有時候，路上遇到了某一個障礙物，造成了體驗上的問題，所以我們會修復一些bug，這些都是可以從車企的量產(chǎn)項目里面完成的，但是要再去挖掘模型新的能力，這些就不是在現(xiàn)有的流程體系里面。

HiEV：現(xiàn)在車企跟供應商共享的數(shù)據(jù)也是定義好的。

王曉剛：對，車企會過濾，并不會全部數(shù)據(jù)都給我們，車企把最重要的case、最重要的問題列出來，在這個基礎上才會進行數(shù)據(jù)共享。

HiEV：從能力增長的曲線來看，你們覺得現(xiàn)在在一個什么狀態(tài)？主機廠肯定需要看到端到端的能力或者增長性潛力，才會有所行動，你們看增長曲線會在什么時間點?

王曉剛：我覺得今天我們看到的端到端，應該還是在ChatGPT的前夕。

但這個方向跟路線是清晰的，如果自動駕駛要到達ChatGPT時刻，得走一條正確的路。如果還是走原來的路，永遠也到不了ChatGPT時刻。

依靠原有的感知模型，我再怎么標它，它還是原來那個樣子。所以我覺得我們實際上也是修正了原來對技術路線的認知，正在接近自動駕駛的ChatGPT時刻。

大家能夠看到，這個模型不僅解決了原來的自動駕駛里出現(xiàn)的一些問題，而且還能夠展現(xiàn)出很多原來沒有想到的能力。

HiEV：這樣的合作方式，對車廠的心態(tài)也是蠻挑戰(zhàn)的。

王曉剛：這是我們必須要走的一條路。OpenAI用的數(shù)據(jù)都是互聯(lián)網(wǎng)上的數(shù)據(jù)，公開的數(shù)據(jù)去做訓練。

在垂直行業(yè)里，我們走得更深。OpenAI不會去做自動駕駛，不會在這里走得很深。我們拿到了有價值的自動駕駛數(shù)據(jù)，對它進行足夠深入的分析。

在這套 AI的研發(fā)框架下，結(jié)合我們對數(shù)據(jù)的理解，那才能夠?qū)崿F(xiàn)超越。否則，看不到任何超越 OpenAI的希望。

必須在垂直行業(yè)里走入的足夠深，能夠拿到足夠豐富的數(shù)據(jù)跟應用的場景，有更加足夠深入的結(jié)合。

AGI時代合作模式，不光是過去主機廠采購、供應商供貨，絕影愿意白盒交付，幫車企理解和掌握大模型技術。只有這樣，大家才能更加積極地共同開發(fā)，加速迭代，打造真正的、以用戶為中心的AI大模型。

另一方面，作為戰(zhàn)略合作伙伴，絕影和主機廠之間也要實現(xiàn)數(shù)據(jù)共享。主機廠把不涉及隱私的數(shù)據(jù)給到絕影，訓練出車載原生的大模型，這是共贏的。

HiEV：在這種狀態(tài)下，因為大模型對整個數(shù)據(jù)的要求非常高，主機廠會不會更愿意去自研？

王曉剛：這很難。對于車企來說，是一個性價比的問題。

首先，需要基礎設施，能夠把1萬塊GPU連在一起進行模型訓練。這件事，商湯從2018、2019年開始到現(xiàn)在都做了五六年了，我們有上百億的投入，做了很多這種嘗試，就幾十億這種規(guī)模的參數(shù)模型就做了幾百次，它其實都是時間、錢堆出來的。

車廠做這件事情，一個是時間需要很長，另外投入很大。

我們做大模型不是為某一個車廠做，甚至不只是為汽車行業(yè)做的。我們是基于商湯的平臺體系，跨行業(yè)的模型可以進行跨行業(yè)應用。我們的能耗、數(shù)據(jù)的生產(chǎn)都是跨行業(yè)的。因此，研發(fā)成本是由很多的行業(yè)、無數(shù)的企業(yè)來分攤的。

在這個點上來說，讓某一個車廠去做這件事情，性價比差很多。

另外，時間窗口也不允許了。

返回第一電動網(wǎng)首頁 >