講述 | 金杰盂

編輯 | 張祥威

“有了Occupancy后，是否還需要激光雷達(dá)？” 

“BEV+4D毫米波雷達(dá)方案，能否支持實(shí)現(xiàn)城市NOA？” 

“BEV落地中，芯片的哪些算子還不能很好的支持？” 

以上這些，是BEV落地中很多人關(guān)注的問題，也是上汽旗下飛凡汽車在量產(chǎn)落地BEV的過程已經(jīng)有了答案的地方。 

相比特斯拉、蔚小理落地BEV方案的節(jié)奏，飛凡并不慢。 

2020年10月，特斯拉開始在美國進(jìn)行基于BEV算法的FSD Beta測試。幾個月后，2021年4月，飛凡汽車開始為PP-CEM智駕系統(tǒng)布局BEV算法。去年9月， BEV感知算法在飛凡R7車型上進(jìn)行量產(chǎn)。 

PP-CEM&飛凡智能駕駛首席科學(xué)家金杰盂認(rèn)為，BEV有以下幾大優(yōu)勢： 

• 可以提供更好的異構(gòu)多傳感器的表征，進(jìn)行多元數(shù)據(jù)的融合和預(yù)測處理；

• 更便利地進(jìn)行時序融合，和更多的連續(xù)幀的特征處理；

• 把更多的任務(wù)模塊集成到神經(jīng)網(wǎng)絡(luò)中。

金杰盂在上汽飛凡PP-CEM團(tuán)隊(duì)負(fù)責(zé)智能駕駛相關(guān)的開發(fā)和工程生產(chǎn)，帶領(lǐng)團(tuán)隊(duì)完整量產(chǎn)了飛凡的R7和F7的Orin平臺行泊一體智能駕駛系統(tǒng)和生產(chǎn)售后相關(guān)的全套開發(fā)落地。 

據(jù)他介紹，飛凡在研發(fā)BEV方案過程中，更注重對數(shù)據(jù)挖掘，以及多樣性、有效性的獲取，設(shè)置了非常多的觸發(fā)事件，可以每周進(jìn)行 250 萬個clips的處理。 

另外，針對原生算子不支持的情況，會進(jìn)行一定的操作組合，以及比如針對坐標(biāo)處理層的定制化開發(fā)和算子優(yōu)化，以實(shí)現(xiàn)性能的數(shù)倍提升。 

飛凡的量產(chǎn)車采用了不同傳感器配置的方案，并且支持多種傳感器下的Occupancy占用網(wǎng)絡(luò)，這將為接下來的城市NOA落地打下基礎(chǔ)。 

2023年下半年，是頭部幾家車企較量智駕水平的重要節(jié)點(diǎn)，飛凡在BEV方案上的投入，將是其躋身智駕第一梯隊(duì)的基礎(chǔ)。 

本文是HiEV出品的系列直播 「硬核拆解BEV」第四期，金杰盂分享的《車企如何布局BEV通往高階智駕》內(nèi)容梳理。 

一、注重數(shù)據(jù)挖掘，每周可以處理250萬個clips

整體看，一套BEV方案有三個核心： 

• 芯片SoC；

• 像素Pixel；

• 點(diǎn)云Point Cloud。

今年，飛凡上線了泊車功能，即將在城市推送領(lǐng)航功能，一些如遙控泊車的功能也將釋放。我們還在做 PP-CEM2.0的開發(fā)，接下來會推出更復(fù)雜場景下的功能。 

飛凡的智駕方案有不同的配置： 

• Pro版，包括5-6個毫米波雷達(dá)、12個攝像頭、1個激光雷達(dá)，2顆Orin X ；

• Standard版，包括3-5個毫米波雷達(dá)、11個攝像頭、1顆Orin X；

• Lite版，包括3到5個毫米波雷達(dá)、7個攝像頭、1顆 Orin N。

在設(shè)計(jì)BEV方案時，攝像頭、4D毫米波雷達(dá)、激光雷達(dá)會經(jīng)過encoder的層級，然后進(jìn)入Cross Attention層，生成多模態(tài)的3D特征。針對多模態(tài)的3D特征再進(jìn)行時間序列的處理， 實(shí)現(xiàn)4D特征融合。 

整體上，有幾類任務(wù)的Head網(wǎng)絡(luò)： 

• 周圍的靜態(tài)交通環(huán)境要素，比如車道線、路沿、停止線、道路標(biāo)識、人行道等；

• 交通參與者的任務(wù)輸出，比如運(yùn)動的障礙物、交通錐，紅綠燈、車尾燈等；

• 泊車任務(wù)要素輸出，比如泊車位、多語義分割通行空間與地面要素等；

• 語義占據(jù)柵格要素輸出等。

如何實(shí)現(xiàn)高效的數(shù)據(jù)閉環(huán)？ 

飛凡現(xiàn)在做得非常多的是 主動挖掘，clips挖掘是決定迭代效率的關(guān)鍵環(huán)節(jié)。飛凡每周大概可以進(jìn)行 250萬個clips的處理。 

那么，怎么實(shí)現(xiàn)數(shù)據(jù)clips的多樣性和有效性？ 

我們在車端設(shè)置了非常多的Triggered event（觸發(fā)事件），觸發(fā)這些條件后，可以進(jìn)行多樣性的數(shù)據(jù)回傳。在三個月里，我們獲得了 將近1200萬個clips數(shù)據(jù)回傳。 

對于異常數(shù)據(jù)，比如攝像頭數(shù)據(jù)以及clips數(shù)據(jù)中的異常數(shù)據(jù)，我們開發(fā)了大量的識別和處理的神經(jīng)網(wǎng)絡(luò)小模型，并且會對神經(jīng)網(wǎng)絡(luò)小模型做一些標(biāo)簽和處理。 

數(shù)據(jù)處理方面，基本上全部做到了自動化的處理。比如，對語義數(shù)據(jù)的處理，包括前向、后向、左右和周視等的語義處理。 

我們可以對不同型號的激光雷達(dá)（R7上的Luminar和F7激光雷達(dá)版的速騰聚創(chuàng)）采集的數(shù)據(jù)進(jìn)行 檢測神經(jīng)網(wǎng)絡(luò)、分割神經(jīng)網(wǎng)絡(luò)的適配和自動化數(shù)據(jù)處理。 

在降低對高精度地圖依賴方面，會生成非常多的離線道路基礎(chǔ)要素真值，然后進(jìn)行車端和云端的綜合處理，以實(shí)現(xiàn)對“地圖空洞”（Map Hole）的增強(qiáng)和地圖鮮度的完善。 

進(jìn)行自動化生成時，有些標(biāo)簽可能不準(zhǔn)確，但也一定會有部分標(biāo)簽是準(zhǔn)確的，我們會針對不同任務(wù)的數(shù)據(jù)進(jìn)行重采樣。將標(biāo)簽不完整的部分，和完整的數(shù)據(jù)標(biāo)簽進(jìn)行聯(lián)合訓(xùn)練，以提升網(wǎng)絡(luò)的感知性能。 

BEV算法向芯片端移植時，有非常多的層級是芯片端無法很好支持的。 

舉個例子，傳感器數(shù)據(jù)送到芯片端時，有一個 Grid_Sampler（坐標(biāo)處理）的層級，芯片中并沒有原生算子的支持，需要我們進(jìn)行定制化開發(fā)。 

另外，一些原生算子的性能不好，達(dá)不到最佳計(jì)算效率。 

在Transformer 架構(gòu)里，飛凡開發(fā)了一個 替換梅林結(jié)構(gòu)的算子，性能得到了數(shù)倍的提升。

向芯片端移植的時候，還會有非常多的量化，會有一定的精度損失。 

在整個訓(xùn)練過程中，我們通過一系列的算子開發(fā)和優(yōu)化，實(shí)現(xiàn)了在耗時大幅度降低的情況下， 精度損失維持在1% 左右，一個很低的水平。隨著算法、數(shù)據(jù)模型的不斷迭代，以及云端大模型處理能力的提升，我們也在思考后續(xù)如何來實(shí)現(xiàn)更豐富的智駕功能。 

最后，分享一些飛凡最新的算法進(jìn)展。 

無論是否搭載激光雷達(dá)，我們均實(shí)現(xiàn)了實(shí)時推理的Occupancy占用網(wǎng)絡(luò)，它主要針對一些不容易直接表征的環(huán)境信息，進(jìn)行靈活地探測。 

比如，針對遛狗時行人和動物的高度、位置、速度進(jìn)行探測，針對Protruding類（也是歐洲高關(guān)注的場景）的交通參與者的運(yùn)動位置、語義、運(yùn)動趨勢進(jìn)行精準(zhǔn)的刻畫，以及對高速道路上的道路施工場景、異型車輛，以及倒地的自行車和錐桶進(jìn)行精準(zhǔn)車輛周圍的數(shù)字刻畫。 

我們還在做全局動靜屬性相互關(guān)聯(lián)的算法開發(fā)，相信可以針對城區(qū)的博弈空間，提供更好的端到端數(shù)據(jù)閉環(huán)。 

整體上，BEV就是通過SoC芯片，以及攝像頭、 4D毫米波雷達(dá)、激光雷達(dá)等傳感器，構(gòu)建整個周圍環(huán)境的數(shù)字 Voxel World Model（體素世界模型），然后在World Model 里為規(guī)劃和決策提供更靈活的描述。 

二、時序?qū)λ惴ㄙY源占用高，BEV需要激光雷達(dá)

在線上圓桌互動環(huán)節(jié)，HiEV邀請到探維科技聯(lián)合創(chuàng)始人、COO沈羅豐、馭視科技定位感知部門總監(jiān)張丹與金杰盂和智駕產(chǎn)品市場專家周琳一起，圍繞BEV方案進(jìn)行了探討。 

周琳：飛凡提供了不同的智駕方案配置，原因是什么，優(yōu)劣性如何？ 

金杰盂：主要還是基于軟硬一體化方案的思考。我們有不同的車型，比如R7是SUV ，車頂上的空間對于激光雷達(dá)的安裝比較靈活。F7是轎車，空間相對受限。BEV方案的出發(fā)點(diǎn)，是Soc的芯片+視覺要素的處理。在整個方案的梯隊(duì)化上，我們考慮得比較完備，希望這套方案可以更好地進(jìn)行一些序列化、梯隊(duì)化的拓展。 

沈羅豐：時序的使用，是否會對算法資源占用有更高的要求，如何平衡算力資源和識別效率之間的平衡？ 

金杰盂：選擇時序，主要因?yàn)樗鼘τ诟兄?、預(yù)測、規(guī)劃，以及位置、測速、精度提升都有非常好的受益。 

為了平衡耗時和精度，我們會對歷史幀的Feature做低分辨率的處理，在訓(xùn)練時做一些稀疏化的處理，來實(shí)現(xiàn)計(jì)算效率的綜合平衡。 

沈羅豐：你們使用了不同廠家、不同類型的激光雷達(dá)，對于已經(jīng)做好的模型來說，哪些工作是重復(fù)的？ 

金杰盂：我們對不同的激光雷達(dá)做了相應(yīng)的處理，通過在Encoder時做一些特征的提取，消除一些Domain（域）的誤差。再通過數(shù)據(jù)對齊的處理，使特征層的表征盡可能一致。然后做一些語義空間的對齊， 消除激光雷達(dá)在不同距離、不同角度分辨率下的點(diǎn)云密度差異。 

沈羅豐：隨著BEV的應(yīng)用，感知系統(tǒng)對于激光雷達(dá)的需求是加強(qiáng)還是減弱了？整個系統(tǒng)對激光雷達(dá)的需求，是不是會由于應(yīng)用場景的不同而存在差異？ 

金杰盂：在不同的場景下確實(shí)會有不同的收益。 

視覺可以提供更穩(wěn)健、更豐富的特征，但是在一些復(fù)雜的場景下，點(diǎn)云會發(fā)揮互補(bǔ)作用。舉個例子，對于一些非規(guī)則的物體，通過點(diǎn)云的確可以實(shí)現(xiàn)探測的補(bǔ)充。 

總之，隨著BEV的出現(xiàn)，感知性能在進(jìn)步，這個趨勢非常明確。 

另外，我也想向沈總請教一個問題。在使用激光雷達(dá)的過程中，我們希望挖掘除了點(diǎn)云位置等以外的其它特征。激光雷達(dá)在這方面有哪些趨勢？ 

沈羅豐：激光雷達(dá)本身輸出的是脈沖，是信號的強(qiáng)度。我們直接測到的就是脈沖的飛行時間和脈寬。 

對于不同反射率的目標(biāo)物，強(qiáng)度的對比度是非常明顯的，所以如果只是需要用對比度做一些車道線等的判斷，強(qiáng)度信息是足夠的。 

金杰盂：不同的激光雷達(dá)，在不同的位置，以及雨、雪、霧、逆光等情況下，會產(chǎn)生不同的激光。在應(yīng)對這些場景適應(yīng)性上，有哪些策略？ 

沈羅豐：激光雷達(dá)遠(yuǎn)近目標(biāo)進(jìn)行判斷時，遵循近大遠(yuǎn)小的規(guī)律。 

如果要實(shí)現(xiàn)更遠(yuǎn)距離的探測，可以考慮通過動態(tài)的自適應(yīng)方式。比如在某一些角度下，增加采樣的速率來實(shí)現(xiàn)。 

當(dāng)然，這會犧牲掉其它位置上的測距能力或分辨率。 

對于近處的目標(biāo)物，分辨率如果過高的話，點(diǎn)云對于后端來說是過剩的。為了減小數(shù)據(jù)的帶寬，以及減少數(shù)據(jù)的預(yù)處理壓力，我們在雷達(dá)層面嵌入了預(yù)處理的算法，可以將近處的點(diǎn)云進(jìn)行稀疏化處理，降頻輸出后再給到后端。 

對于雨、雪、霧等場景目標(biāo)物，它們會被探測到，探測到之后，我們統(tǒng)計(jì)它們的距離、脈寬分布，進(jìn)行特征的識別。在激光雷達(dá)內(nèi)部，我們可以做算法的嵌入，提前識別這些目標(biāo)物，之后把回波去掉，然后給到后端。 

金杰盂：一些激光雷達(dá)可以支持動態(tài)探測的點(diǎn)云配置，成本和性能上有哪些趨勢？ 

沈羅豐：一般來說，激光雷達(dá)的采樣點(diǎn)頻、測距能力、測距精度三者是互相耦合、互相平衡的關(guān)系。 

成本主要體現(xiàn)在算法上。我們需要在雷達(dá)系統(tǒng)控制層面之外，開發(fā)一部分算法。硬件成本是不變的，需要做軟件層面的自適應(yīng)。 

三、Occupancy對網(wǎng)格要求高， 需要云端大模型處理數(shù)據(jù) 

張丹：Occupancy這項(xiàng)技術(shù)會把純視覺感知的上限提升到什么程度，是否還有其它優(yōu)化方向？ 

金杰盂：采用傳統(tǒng)的語義分割時，語義上不夠精細(xì)。我們做了一個云端大模型，參數(shù)大概是Billion這種級別，專門對語義做處理。 

Occupancy對像素的網(wǎng)格要求比較高，如果很粗糙，下游環(huán)節(jié)很難用。如果網(wǎng)格很精細(xì)，語義很混亂，下游也很難用。并且需要平衡自動化真值準(zhǔn)確程度帶來的過擬合和泛化魯棒性的問題。 

所以，需要在云端做高準(zhǔn)確程度大模型的處理，通過大模型做蒸餾和自動化標(biāo)注，才能得到一個比較精準(zhǔn)的結(jié)果，實(shí)現(xiàn)對幾何分布或組合分布比較復(fù)雜的障礙物檢測，具備更好的通用性、可擴(kuò)展性。 

張丹：搭載4D毫米波雷達(dá)、激光雷達(dá)后，對視覺BEV 的感知效果有多大的加成作用？ 

金杰盂：在整個融合框架里，我們使用了全融合的方式，每一類的傳感器會進(jìn)行獨(dú)立的BEV的感知。 

帶激光雷達(dá)的車型，對小的障礙物或者不規(guī)則的障礙物上探測更加準(zhǔn)確，它與視覺進(jìn)行組合后，可以獲取更加準(zhǔn)確的特征，實(shí)現(xiàn)更好地探測。搭載4D毫米波雷達(dá)的車型，在對道路拓?fù)浣Y(jié)構(gòu)、雨天中的穩(wěn)定性、靜態(tài)非電波穿透類物體的探測上與視覺可以互相補(bǔ)充。 

周琳：基于BEV和4D毫米波雷達(dá)，是否可以實(shí)現(xiàn)城市NOA？ 

金杰盂：絕大多數(shù)的城市場景是可以支持的。像特斯拉的Hardware 4.0 ，有很多場景跑得很好，無非是算法魯棒性和感知準(zhǔn)確性。 

周琳：不帶激光雷達(dá)能夠做到什么程度？ 

金杰盂：有一些場景，我認(rèn)為有激光雷達(dá)會更好。比如，對于送外賣的電動車，通過激光雷達(dá)可以更好地探測。 

張丹：4D毫米波雷達(dá)等的硬件成熟需要經(jīng)歷一段時間，實(shí)際量產(chǎn)過程中，你們碰到了哪些具有挑戰(zhàn)的問題？哪些可以通過數(shù)據(jù)驅(qū)動優(yōu)化，哪些需要硬件供應(yīng)商來解決？ 

金杰盂：有兩類問題相對有挑戰(zhàn)性，花了比較多的時間最終才解決掉了。 

第一類，性能問題。傳感器的固件存在性能差異，需要團(tuán)隊(duì)對傳感器深入理解，以及與傳感器供應(yīng)商支持團(tuán)隊(duì)的高效溝通，進(jìn)行及時地響應(yīng)和處理。 

第二類，生產(chǎn)問題。傳感器要導(dǎo)入到工廠，與車輛一起按照像流水線批量下線，整個過程中會存在診斷等問題。 

張丹：飛凡的包括車端算法、數(shù)據(jù)閉環(huán)在內(nèi)的平臺，是全自研，還是有一部分會采用第三方的工具？ 

金杰盂：全自研。邏輯很簡單，大家都在談數(shù)據(jù)閉環(huán)，其實(shí)所有的數(shù)據(jù)處理處理和算法密不可分。 

算法處理數(shù)據(jù)，可能只能把它挖掘成比較有效的clips，然后對這些clips 進(jìn)行一些標(biāo)簽化，促進(jìn)算法的迭代。但是，如果數(shù)據(jù)和算法無法適配，很多時候組合效率會很低。 

我也想請教張總一個問題。馭勢科技在園區(qū)等場景做了許多工作，對于輕地圖，想聽聽你們的一些思考和一些方法。 

張丹：在一些封閉場景，輕地圖肯定可以做。對于輕地圖，我們內(nèi)部會再做一些探討和基于BEV的預(yù)研?，F(xiàn)在談到的輕地圖，我認(rèn)為更多的還是在開放場景下應(yīng)用，因?yàn)榈貓D的鮮度、成本等方面存在很多問題。 

四、4D毫米波有驚喜，從來沒把激光雷達(dá)當(dāng)做冗余件

直播期間，金杰盂還解答了一些線上觀眾的問題。 

Q：BEV上車之后，會帶來哪些功能和體驗(yàn)上的提升？ 

A：第一點(diǎn)，無論是LCC還是領(lǐng)航的功能，連續(xù)性會更好。加入時序處理后，對很多場景比如cut in的處理，性能會有大幅度的提升。 

第二點(diǎn)，我們在設(shè)計(jì)產(chǎn)品時，一直認(rèn)為交互特別重要。無論是否開啟智駕系統(tǒng)，所有的感知要素都會實(shí)時地顯示，讓用戶實(shí)時地感受到車輛的系統(tǒng)探測能力，了解系統(tǒng)的邊界，更好地去使用系統(tǒng)。 

Q：BEV對數(shù)據(jù)的需求量是巨大的，怎么估算成本，需要多大的數(shù)據(jù)量？ 

A：有了量產(chǎn)車以后，數(shù)據(jù)獲取會相對容易很多，更大的成本來自于數(shù)據(jù)挖掘和清洗。 

具體的數(shù)據(jù)量，不太容易準(zhǔn)確地定義。核心是基于SoC芯片，軟件、模型算法是否進(jìn)行了有效利用。 

Q：激光雷達(dá)本身提供了3D點(diǎn)云信息，對于飛凡帶有激光雷達(dá)的高配車型，是否還需要Occupancy ？ 

A：需要。在一些小的障礙物上，帶有激光雷達(dá)的Occupancy方案能夠在探測范圍、距離、精準(zhǔn)性上表現(xiàn)更好一些。 

當(dāng)然，我們的4D毫米波雷達(dá)也能夠提供比較連貫、流暢的體驗(yàn)，特別是對于一些結(jié)構(gòu)化道路而言。 

尤其是，今年我們更新了一個4D毫米波雷達(dá)的固件后，發(fā)現(xiàn)它對一些低矮障礙物，比如15厘米左右的障礙物的探測能力非常好，穩(wěn)定性也很好。對一些道路結(jié)構(gòu)上的處理、環(huán)境適應(yīng)性，也有它獨(dú)特的地方。 

Q：主機(jī)廠是否會在算法比較成熟后，考慮去掉激光雷達(dá)的這個硬件冗余？ 

A：我認(rèn)為，激光雷達(dá)本身就不是一個redundancy（冗余），我們在最初考慮激光雷達(dá)的用途時，就沒有把它當(dāng)做冗余來用。 

如果車企剛剛開始做，又想很快地搞定一些場景，有激光雷達(dá)的話難度會低一些，當(dāng)然需要付出更多的成本。如果車企已經(jīng)有了很強(qiáng)的積累，不帶激光雷達(dá)也會做得很好。 

要不斷地壓榨傳感器的性能，比如R7不帶激光雷達(dá)的車，在很多的場景下確實(shí)也可以運(yùn)行得很好。視覺算法發(fā)展一定程度之后，確實(shí)在面對很多場景時問題不大。 

Q：要帶動激光雷達(dá)，芯片算力是否有最低的要求？ 

A：會有一些要求，但不是絕對的。 

在激光雷達(dá)點(diǎn)云數(shù)據(jù)上實(shí)現(xiàn)很多的網(wǎng)絡(luò)處理，特別是做一些語義分割等，還是比較耗費(fèi)計(jì)算資源的。我們認(rèn)為，還是要看對芯片是否足夠了解。最終取決于是否可以對芯片里面的絕大多數(shù)的計(jì)算資源，能清晰懂得如何利用。 

目前來看，飛凡已經(jīng)圍繞BEV建立了一套成體系的數(shù)據(jù)標(biāo)注和處理體系，并且在算子優(yōu)化、云端大模型建立、Occupancy開發(fā)等方面分別取得了進(jìn)展。 

通常，傳統(tǒng)車企給大家的印象是，智能駕駛研發(fā)進(jìn)展緩慢，自研比例不高。但是，飛凡通過BEV方案展現(xiàn)了新的一面，至于真實(shí)的道路表現(xiàn)，應(yīng)該會在下半年逐漸看到。 

返回第一電動網(wǎng)首頁 >