“人們習(xí)慣將凡事分出黑與白，但很遺憾，現(xiàn)實(shí)全是灰色的。”劉慈欣筆下的這句話，恰恰也是自動(dòng)駕駛行業(yè)的真實(shí)寫照。兩個(gè)流派，重感知和重地圖，華山論道，暗流擊水。只是眼下，尚沒有一個(gè)最優(yōu)解，讓汽車徹底擺脫人類干預(yù)。

因?yàn)闊o論什么樣的捷徑，打造智慧的車都是必由之路。尤其當(dāng)自動(dòng)駕駛場(chǎng)景從高速延伸到城市道路，提高車端的感知與認(rèn)知能力將變得愈發(fā)關(guān)鍵。 

一方面，高度信息缺乏之余，地圖始終在變化。舉例來說，北京半年內(nèi)道路拓?fù)渥兓s達(dá)到平均每百公里5.06處，廣州市內(nèi)改道施工平均一天能有兩起，只有采集車不停采不?；貍鲾?shù)據(jù)，才能保證地圖的“鮮”度；另一方面，道路參與者無序且隨機(jī)。除了車輛，行人、非機(jī)動(dòng)車等不確定因素也成為自動(dòng)駕駛進(jìn)階的一大考驗(yàn)。

小鵬汽車自動(dòng)駕駛副總裁吳新宙曾直言，“和高速NGP相比，如果要拿一個(gè)數(shù)字作說明，城市NGP可能是百倍以上的困難程度?！钡獙?shí)現(xiàn)自動(dòng)駕駛規(guī)模量產(chǎn)，就必須通過城市道路這個(gè)關(guān)卡。

訓(xùn)練數(shù)據(jù)之“九九八十一難”

截止到目前，國內(nèi)已有北京、重慶、武漢、深圳、廣州、長沙等多個(gè)城市允許自動(dòng)駕駛車輛在特定區(qū)域、特定時(shí)段進(jìn)行商業(yè)化試運(yùn)營。前不久，北京頒發(fā)了“無人化車外遠(yuǎn)程階段”道路測(cè)試許可。

自動(dòng)駕駛無人測(cè)試從“副駕有人”、“前排無人，后排有人”邁向第三階段——“車外遠(yuǎn)程”。一個(gè)永恒主題是，利用源源不斷的數(shù)據(jù)，打磨自動(dòng)駕駛感知模型。模型決定了功能的上限，數(shù)據(jù)是源驅(qū)動(dòng)力。而首要問題在于，如何以更低成本、更高效率獲取更多有價(jià)值的訓(xùn)練數(shù)據(jù)？

圖片來源：天風(fēng)證券

聽起來或許有些不可思議，僅以數(shù)據(jù)標(biāo)注為例，過去業(yè)內(nèi)普遍做法是標(biāo)注單幀2D圖像，也就是每秒標(biāo)注一幀，但真實(shí)視頻每秒由10幀以上圖像構(gòu)成，換句話說，中間有很多空隙沒有被標(biāo)注，這部分也成了“白白浪費(fèi)”的資源。

不僅如此，隨著自動(dòng)駕駛數(shù)據(jù)標(biāo)注轉(zhuǎn)移到4D空間（3D空間+時(shí)間維度），數(shù)據(jù)以一個(gè)Clip相當(dāng)于包含了攝像頭、傳感器數(shù)據(jù)的短視頻為最小標(biāo)注單位，使得人工標(biāo)注難度增大。

天風(fēng)證券的研報(bào)顯示，L3級(jí)別以上自動(dòng)駕駛需要大量的3D點(diǎn)云數(shù)據(jù)支撐，不僅要求對(duì)傳感器回傳的數(shù)據(jù)進(jìn)行實(shí)時(shí)處理分析，大量的彎道車道線、日積月累的消耗和損壞等帶來的形狀和反射率失真問題，也給識(shí)別的準(zhǔn)確率帶來極大挑戰(zhàn)。

因此如果將這些離散幀擴(kuò)充成Clip的形式，采用人工標(biāo)注和返工的成本勢(shì)必將墊高自動(dòng)駕駛模型訓(xùn)練的開支。這也是，特斯拉從外包數(shù)據(jù)標(biāo)注，到建立自己的人工標(biāo)注團(tuán)隊(duì)、再到推進(jìn)自動(dòng)化標(biāo)注的關(guān)鍵原因。國內(nèi)車企如小鵬也打造了全自動(dòng)標(biāo)注系統(tǒng)，效率方面提高近4.5萬倍，過去2000人一年的標(biāo)注任務(wù)，現(xiàn)在只需16.7天左右就能完成。

除了車企，自動(dòng)駕駛公司也在積極嘗試，包括毫末智行在數(shù)據(jù)智能體系MANA的基礎(chǔ)上，推出了視頻自監(jiān)督大模型。簡(jiǎn)單理解，利用圖像掩膜對(duì)視頻某些區(qū)域作屏蔽，給出上一幀，讓模型猜下一幀，自主學(xué)習(xí)進(jìn)行特征提取。

圖片來源：毫末智行

接著再將帶有完整標(biāo)注的Clip給到該模型，進(jìn)行微調(diào)。循環(huán)往復(fù)，基于深度學(xué)習(xí)算法提高模型的準(zhǔn)確率和精度。通過視頻自監(jiān)督大模型，毫末智行降低了98%的Clip標(biāo)注成本。同時(shí)鑒于服務(wù)器端跑的大模型具有更高的泛化性，訓(xùn)練完成部署在車端自動(dòng)駕駛平臺(tái)后，預(yù)測(cè)能力要更強(qiáng)一些。

不過僅有這些還不夠，現(xiàn)階段自動(dòng)駕駛對(duì)于數(shù)據(jù)的渴望遠(yuǎn)遠(yuǎn)沒有達(dá)到盡頭，豐富的數(shù)據(jù)分布，是訓(xùn)練和優(yōu)化自動(dòng)駕駛感知模型的前提，沒有之一。

對(duì)于打造自動(dòng)駕駛系統(tǒng)來說，不論是采集車預(yù)先采集數(shù)據(jù)，還是量產(chǎn)車回灌數(shù)據(jù)，都存在較長的開發(fā)周期和不菲的成本問題。也因此，仿真技術(shù)被視為自動(dòng)駕駛開發(fā)的加速器，受到業(yè)內(nèi)廣泛采用。通常自動(dòng)駕駛系統(tǒng)在裝車量產(chǎn)前，都需要經(jīng)過大量的仿真測(cè)試。

然而毫末智行技術(shù)副總裁艾銳指出，從各傳感器不同的特性來看，當(dāng)前仿真技術(shù)還有很大的進(jìn)步空間。比如，激光雷達(dá)底噪普遍低于毫末波雷達(dá)，二者對(duì)于雨雪霧等條件的要求也大不相同，導(dǎo)致同一場(chǎng)景下建模難度較高。

“好比看電影一樣，CG動(dòng)畫即便做得再好，但仍能和真實(shí)場(chǎng)景區(qū)分開來。”相比于過分依賴仿真技術(shù)，毫米智行看中的是，用低成本的一般場(chǎng)景生成得到高成本的邊緣場(chǎng)景（corner case）優(yōu)勢(shì)。

這也是毫末智行在3D重建大模型中引入了NeRF（Neural Radiance Fields）技術(shù)的根本原因。NeRF是一種3D重構(gòu)技術(shù)，起步于2020年，憑借幾張圖片就可以合成360度全包圍視角的特點(diǎn)，迅速風(fēng)靡電商領(lǐng)域。

放到自動(dòng)駕駛領(lǐng)域，NeRF不僅有助于重構(gòu)場(chǎng)景數(shù)據(jù)，還可以做相應(yīng)視角的調(diào)整。如此一來，便可以模擬極端路況的車輛行駛，實(shí)現(xiàn)對(duì)長尾場(chǎng)景的全面覆蓋。除此之外，還可以模擬光線調(diào)整、夜晚效果等生成所需數(shù)據(jù)。

在增加NeRF生成的數(shù)據(jù)后，毫末智行將感知錯(cuò)誤率在原基礎(chǔ)上至少降低了30%。數(shù)據(jù)越多越好，關(guān)鍵不僅在縱向的“量”，更關(guān)乎橫向的“豐富度”。面對(duì)數(shù)據(jù)這座大山，積累是唯一的出路。

特斯拉有百萬車隊(duì)，小鵬有十萬車隊(duì)，而毫末智行依托長城汽車的品牌規(guī)模，截止2022年底累計(jì)行駛里程已經(jīng)突破2500萬公里。搭載毫末HPilot系統(tǒng)的車型將近二十款，月度搭載增速超過200%。預(yù)計(jì)到2024年上半年，毫末將完成HPilot落地中國100個(gè)城市的計(jì)劃。

自動(dòng)駕駛“進(jìn)城”  認(rèn)知比感知難

從大數(shù)據(jù)里鍛煉感知能力是自動(dòng)駕駛目標(biāo)實(shí)現(xiàn)的第一步。不止如此，清華大學(xué)教授鄧志東在接受國內(nèi)媒體采訪時(shí)指出，自動(dòng)駕駛核心技術(shù)難點(diǎn)之一是汽車如何理解復(fù)雜的動(dòng)態(tài)駕駛場(chǎng)景（DDS），保證自動(dòng)駕駛的安全性。

據(jù)其表示，人類駕駛是建立在認(rèn)知理解基礎(chǔ)之上，依靠可理解的視覺感知和大腦實(shí)現(xiàn)決策。相比之下，自動(dòng)駕駛車輛很難在復(fù)雜動(dòng)態(tài)環(huán)境中獲得人類水平的駕駛知覺、預(yù)測(cè)與認(rèn)知判決能力。

早些時(shí)候，毫末智行推出了基于transformer模型的環(huán)視感知算法（BEV），并逐漸應(yīng)用于實(shí)際道路。但CEO顧維灝也指出，BEV方案上車后，對(duì)車道線和常見障礙物的檢測(cè)效果相對(duì)不錯(cuò)，各種復(fù)雜工況下的探測(cè)范圍和測(cè)量精度也有明顯提升。但仍然遺留了一些比較困難的挑戰(zhàn)，特別是視覺方案對(duì)城市道路多種多樣異形障礙物的穩(wěn)定檢測(cè)問題。

一般有兩種解決思路：擴(kuò)大語義白名單。以識(shí)別輪胎為例，需要搜集大量的輪胎信息，擴(kuò)充標(biāo)注樣本容量，這種方法往往要耗時(shí)費(fèi)力；相比之下，更通用的方法或許可以事半功倍。即不需理解障礙物到底是什么，根據(jù)高度等信息判斷若對(duì)通行有影響，就避讓或者繞行。

毫末為此推出了多模態(tài)互監(jiān)督大模型和動(dòng)態(tài)環(huán)境大模型。前者是利用攝像頭、激光雷達(dá)、毫米波雷達(dá)等傳感器的不同特性，互相監(jiān)督的方式進(jìn)行通用障礙物或者通用結(jié)構(gòu)的識(shí)別，后者有點(diǎn)類似視頻自監(jiān)督大模型，其目的是讓系統(tǒng)增強(qiáng)感知能力。

利用自回歸編解碼網(wǎng)絡(luò)將BEV特征解碼為結(jié)構(gòu)化的拓?fù)潼c(diǎn)序列，實(shí)現(xiàn)車道拓?fù)漕A(yù)測(cè)?！白屪詣?dòng)駕駛系統(tǒng)像人類一樣，在標(biāo)準(zhǔn)地圖的導(dǎo)航提示下實(shí)現(xiàn)對(duì)道路拓?fù)浣Y(jié)構(gòu)的實(shí)時(shí)推斷。”盡管這是一個(gè)理想狀態(tài)，但根據(jù)艾銳的說法，毫末接下來將致力于解決“二選一”的難題。如果地圖導(dǎo)航的是明顯有錯(cuò)誤的路線，模型可以通過事先輸入的地圖先驗(yàn)信息，作出糾錯(cuò)改道判斷。

不乏有觀點(diǎn)指出，自動(dòng)駕駛的下一戰(zhàn)場(chǎng)將聚焦城市導(dǎo)航輔助駕駛功能。正如前文所述，城市道路的不斷變化和隨機(jī)的參與者構(gòu)成，都對(duì)感知提出了更高要求，尤其城市路口的通過率已經(jīng)成為城市導(dǎo)航輔助駕駛的最大難點(diǎn)。

在近日舉辦的 HAOMO AI DAY上，毫末智行也交出了首份成績單，在河北保定和北京85%的路口拓?fù)漕A(yù)測(cè)上，其算法準(zhǔn)確率高達(dá)95%。盡管對(duì)于一些小路、支路的判斷還有待提升，但在城市NOH上，毫末算是首戰(zhàn)告捷。

除了以上四個(gè)大模型，毫末還發(fā)布了人駕自監(jiān)督認(rèn)知大模型。與自動(dòng)駕駛感知相比，用顧維灝的話說“認(rèn)知更是業(yè)界難題。”尤其自動(dòng)駕駛朝更高級(jí)別升級(jí)的過程中，決策規(guī)劃將是核心能力，傳統(tǒng)基于規(guī)則的認(rèn)知算法已經(jīng)進(jìn)入瓶頸，已很難再取得突破。

一個(gè)突出問題是，由于相同場(chǎng)景不同司機(jī)的駕駛開法大不相同，完全基于大模型擬合海量的人駕數(shù)據(jù)，最終結(jié)果往往會(huì)傾向于擬合均值而不是最優(yōu)值。也就是說，系統(tǒng)學(xué)到的并不是最佳開法，并且效果也不十分穩(wěn)定。

全自動(dòng)駕駛大范圍落地的必要條件是具備足夠的安全性，1%的失誤都可能導(dǎo)致其無法落地應(yīng)用。如何讓機(jī)器更像人，確切地說是車技成熟且優(yōu)秀的司機(jī)，是擺在自動(dòng)駕駛決策規(guī)劃面前的一個(gè)待解課題。

因而從ChatGPT的走紅，毫末發(fā)現(xiàn)自動(dòng)駕駛也可以借鑒人類反饋強(qiáng)化學(xué)習(xí)RLHF的訓(xùn)練方式，先從模型入手得到一個(gè)獎(jiǎng)勵(lì)模型（reward model），讓其知道什么是好的開法，什么是不好的，以及哪些行為需要改進(jìn)。

通俗地講，績效越高工資就越高，要想工資更高，績效就得跟上。按照此方法，更容易培養(yǎng)出一個(gè)高質(zhì)量模型。諸如在掉頭、環(huán)島等場(chǎng)景下，毫末可以將通過率提升30%以上。

人的認(rèn)知能力并非一朝一夕練就的，機(jī)器也一樣，盡管有大量的科技手段可以加速迭代進(jìn)程，但以卷積神經(jīng)網(wǎng)絡(luò)（CNN）、生成對(duì)抗網(wǎng)絡(luò)（GANs）、深度強(qiáng)化學(xué)習(xí)（RL）等為代表的深度學(xué)習(xí)算法都需要數(shù)據(jù)和時(shí)間的積累才能形成一個(gè)逐步穩(wěn)定的認(rèn)知體系。

這也決定了，自動(dòng)駕駛不僅是數(shù)據(jù)戰(zhàn)，模型戰(zhàn)，更是算力戰(zhàn)。

算力的比拼不僅僅是堆GPU卡

在車端，大算力智能駕駛SoC卷出新高度，英偉達(dá)的Thor和高通Snapdragon Ride Flex的目標(biāo)都涵蓋了L5級(jí)市場(chǎng)。根據(jù)英特爾推算，全自動(dòng)駕駛時(shí)代，單車每天可產(chǎn)生大約4000GB的數(shù)據(jù)量。

不僅如此，小鵬自動(dòng)駕駛專家陳林在GTIC 2022全球自動(dòng)駕駛峰會(huì)上也表示，相比高速NGP，城市NGP代碼量大約提升6倍，感知模型的數(shù)量增加4倍，決策控制相關(guān)的代碼量更是達(dá)到驚人的88倍。

如果采用單機(jī)訓(xùn)練AI算法模型，就需要276天才能完成，即使優(yōu)化后的單機(jī)訓(xùn)練也要耗時(shí)32天。車端需要大算力芯片，云端訓(xùn)練模型更需要算力的支撐。

NVIDIA汽車數(shù)據(jù)中心業(yè)務(wù)總監(jiān)陳曄之前就表示 ，如果這家車廠以自動(dòng)駕駛或者科技為主打，那么超算中心將必不可少。在未來甚至?xí)蔀闇?zhǔn)入門檻。因?yàn)槿绻麤]有超算中心，就無法做軟件的持續(xù)開發(fā)與迭代。

小鵬率先發(fā)布了智算中心“扶搖”，而在本屆 HAOMO AI DAY上，毫末智行也聯(lián)手火山引擎發(fā)布了自己的智算中心“雪湖·綠洲”（MANA OAISIS）。MANA OASIS的算力高達(dá)67億億次/秒，存儲(chǔ)帶寬可以達(dá)到2T/秒，通信帶寬達(dá)到800G/秒。

搭建自動(dòng)駕駛模型訓(xùn)練所需的智算中心，不僅僅是堆服務(wù)器和GPU卡就能成。主要需求體現(xiàn)在以下幾點(diǎn)：

• 算力。算力一定程度上能代表可以做什么大模型，能做多少大模型，以及能支持多少個(gè)AI工程師在這個(gè)“練武場(chǎng)”中進(jìn)行訓(xùn)練；

• 存儲(chǔ)效率。自動(dòng)駕駛的數(shù)據(jù)是片段式的，最大特點(diǎn)是小文件多，達(dá)到百億個(gè)。因此對(duì)這些小文件隨機(jī)存儲(chǔ)的效率，也代表著模型訓(xùn)練效率；

• 存儲(chǔ)帶寬。自動(dòng)駕駛的大模型訓(xùn)練需要交換的數(shù)據(jù)頗多，這就要求有高性能的存儲(chǔ)帶寬（指單位時(shí)間里存儲(chǔ)器所存取的信息量），這樣大量的數(shù)據(jù)才能在大模型中順暢流動(dòng)；

• 通訊帶寬。所有的這些計(jì)算能力不能在單臺(tái)服務(wù)器中完成，需要多臺(tái)服務(wù)器協(xié)同工作，這也就要求了集群的通訊帶寬；

• 并行計(jì)算能力。自動(dòng)駕駛所需要的模型，例如transformer，當(dāng)變得很大的時(shí)候，就會(huì)稀疏，也就不要求有更好的并行計(jì)算框架，在訓(xùn)練時(shí)將硬件資源都利用起來；

• 創(chuàng)新能力。人工智能發(fā)展很快，新的算法層出不窮，這就要求車企和自動(dòng)駕駛公司能夠盡快引入新的技術(shù)和新的模型。

自動(dòng)駕駛數(shù)據(jù)量不斷累積，大模型復(fù)雜度不斷提高，新車交付和創(chuàng)新周期卻不斷收窄，都對(duì)智算中心這個(gè)承載平臺(tái)提出了更高要求。更為重要的是，自動(dòng)駕駛未來的形態(tài)以及到底能達(dá)到怎樣的高度，沒有人知道。在真正的量產(chǎn)日前，唯有儲(chǔ)備糧草建設(shè)營地，才能巧借東風(fēng)。

結(jié)語

1886年，卡爾·本茨為他發(fā)明的三輪汽車“Motorwagen”申請(qǐng)了全球第一項(xiàng)汽車發(fā)明專利，之后汽車工業(yè)成為制造業(yè)的典范。不久的未來，電動(dòng)化與智能化浪潮將顛覆整個(gè)汽車產(chǎn)業(yè)，不僅是自動(dòng)駕駛，科技的屬性將烙印在汽車行業(yè)滾滾向前的車輪上。而全無人駕駛時(shí)代，即將開啟。

返回第一電動(dòng)網(wǎng)首頁 >