如今，智能化程度越來(lái)越能夠決定一臺(tái)車的價(jià)格和熱銷程度，智能化已經(jīng)是汽車行業(yè)的核心趨勢(shì)。相關(guān)數(shù)據(jù)顯示，2022年L2級(jí)智能駕駛滲透率已提升至38%，預(yù)計(jì)到2025年滲透率會(huì)超過(guò)60%，且隨著利好政策的相繼出臺(tái)，以及主流車企的陸續(xù)發(fā)力，智能駕駛正由L2向L3甚至更高階的L4跨越。

2022年11月2日，工信部會(huì)同公安部公開(kāi)《關(guān)于開(kāi)展智能網(wǎng)聯(lián)汽車準(zhǔn)入和上路通行試點(diǎn)工作的通知》征求意見(jiàn)稿，《通知》特別提到智能網(wǎng)聯(lián)汽車搭載的自動(dòng)駕駛功能是指國(guó)家標(biāo)準(zhǔn)《汽車駕駛自動(dòng)化分級(jí)》（GB/T40429-2-21）定義的３級(jí)駕駛自動(dòng)化（有條件自動(dòng)駕駛）和４級(jí)駕駛自動(dòng)化（高度自動(dòng)駕駛）功能（也就是我們常說(shuō)的L3與L4），《通知》將加速我國(guó)L3/L4自動(dòng)駕駛的落地速度。

與此同時(shí)，國(guó)際車企也在爭(zhēng)先恐后推進(jìn)相關(guān)進(jìn)程，德國(guó)奔馳今年２月在美國(guó)加州開(kāi)了一場(chǎng)110分鐘的發(fā)布會(huì)，主題便是“L4自動(dòng)駕駛，2024年見(jiàn)！”

可以預(yù)見(jiàn)的是，自動(dòng)駕駛即將加速向更高級(jí)別邁進(jìn)。而聚焦當(dāng)下，車企以及技術(shù)供應(yīng)商們面臨的更關(guān)鍵問(wèn)題是，如何邁過(guò)L3/L4的相關(guān)技術(shù)門(mén)檻？

感知系統(tǒng)是關(guān)鍵一環(huán)，4D毫米波雷達(dá)備受青睞

在汽車智能化發(fā)展過(guò)程中，感知系統(tǒng)是至關(guān)重要的一環(huán)，自動(dòng)駕駛系統(tǒng)需要全天候、全覆蓋、全目標(biāo)、全工況的感知。尤其L2及以上的智能駕駛，必須構(gòu)建多個(gè)感知維度的目標(biāo)及環(huán)境探測(cè)系統(tǒng)，有效融合各種傳感器的優(yōu)勢(shì)，為車輛的規(guī)劃控制提供準(zhǔn)確有效的信息。

而在多傳感器的感知維度里，視覺(jué)與毫米波雷達(dá)通常被認(rèn)為是不可或缺的兩種傳感器，它們之間的感知優(yōu)勢(shì)互補(bǔ)性非常強(qiáng)，合理搭配“1+1>2”的效果非常明顯。

要知道，即便是此前一直堅(jiān)持純視覺(jué)路線的特斯拉，也被爆在其最新的自動(dòng)駕駛硬件HW4.0中加回了毫米波雷達(dá)，而且是高分辨率的4D毫米波雷達(dá)。

事實(shí)上，在此之前，4D毫米波雷達(dá)市場(chǎng)關(guān)注度便已不斷上升。

究其原因，4D毫米波成像雷達(dá)，可檢測(cè)物體的方位、距離、速度、高度等數(shù)據(jù)。同時(shí)，4D成像毫米波雷達(dá)具有像素級(jí)的角分辨率，可以分辨目標(biāo)物體的輪廓，經(jīng)過(guò)深度學(xué)習(xí)，4D雷達(dá)還可以區(qū)分行人、自行車、汽車、卡車等不同目標(biāo)。4D成像雷達(dá)可以實(shí)現(xiàn)多傳感器的前融合和點(diǎn)云融合，從而降低漏檢率、誤報(bào)率等。

而值得注意的是，隨著毫米波雷達(dá)系統(tǒng)射頻收發(fā)通道數(shù)的增多，傳統(tǒng)的處理器無(wú)法滿足毫米波雷達(dá)系統(tǒng)大吞吐量數(shù)據(jù)的計(jì)算需求，因此迫切需要設(shè)計(jì)符合大陣列大吞吐量的雷達(dá)專用處理器芯片，近年來(lái)海外多家公司都在設(shè)計(jì)相關(guān)的雷達(dá)專用處理器。

作為一家在上海張江“中國(guó)硅谷”成立的提供智能感知芯片及系統(tǒng)解決方案的半導(dǎo)體設(shè)計(jì)公司，上海昱感微電子科技有限公司（以下簡(jiǎn)稱“昱感微”）也是該領(lǐng)域的重要玩家之一。

資料顯示，昱感微的核心員工全部來(lái)自全球頂尖的半導(dǎo)體企業(yè)，公司成立不久就獲得張江人才港“最具潛力的海歸創(chuàng)業(yè)團(tuán)隊(duì)”大獎(jiǎng)。該公司定位在“感知智能”領(lǐng)域，產(chǎn)品目標(biāo)是幫助客戶“多維度高效獲取物理世界信息”，為客戶提供全球領(lǐng)先的感知技術(shù)。

據(jù)悉，昱感微電子目前正在研發(fā)的4D成像毫米波雷達(dá)處理器芯片支持多片射頻前端MMIC（四片級(jí)聯(lián): 16發(fā)16收信號(hào)通道）高性能4D毫米波感知，或分布式集總架構(gòu)；其中完全自主知識(shí)產(chǎn)權(quán)雷達(dá)信號(hào)處理單元（硬件加速器）信號(hào)處理能力強(qiáng)，能耗比高，簡(jiǎn)化客戶開(kāi)發(fā)。

具體來(lái)看，其產(chǎn)品特點(diǎn)包括：模塊化高度可擴(kuò)展架構(gòu)，高效L1/L2/DDR 數(shù)據(jù)流，兼容CPLX/REAL計(jì)算引擎；通用DDMA以及超分辨硬加速，支持檢測(cè)/DOA交互式先進(jìn)算法，32bit 高SNR FFT算子，軟件定義LRR/MRR/SRR；獨(dú)創(chuàng)的BIG.little多線程架構(gòu)，支持實(shí)時(shí)低延遲感知?！?/p>

按照昱感微的說(shuō)法，其4D成像毫米波雷達(dá)處理器芯片，可以協(xié)助客戶降低成本，降低功耗，同時(shí)產(chǎn)品的４D雷達(dá)點(diǎn)云密度更高，反應(yīng)更快，探測(cè)距離更遠(yuǎn)。

還有非常重要的一點(diǎn)是：由于４D毫米波成像雷達(dá)目前發(fā)展非?？?，各種先進(jìn)的算法都正在引入４D成像雷達(dá)產(chǎn)品中，對(duì)于雷達(dá)處理器芯片而言，芯片的架構(gòu)就必須要能夠支持到客戶軟件差異化實(shí)現(xiàn)的需求。針對(duì)此，昱感微在其4D成像毫米波雷達(dá)處理器芯片的架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)上也是下足功夫，其雷達(dá)處理器芯片在硬件優(yōu)化（硬件加速器／硬件算子）實(shí)現(xiàn)的同時(shí)還可保持軟件與算法的高度可擴(kuò)展性，能夠支持客戶各種先進(jìn)的雷達(dá)算法在芯片內(nèi)的高效實(shí)現(xiàn)。

傳感器融合方式升級(jí)，智能感知芯片再進(jìn)化

4D毫米波雷達(dá)的火熱，也帶出了“視覺(jué)＋毫米波雷達(dá)＂數(shù)據(jù)融合方式的新變化。正如前文所說(shuō)，4D成像雷達(dá)可以實(shí)現(xiàn)多傳感器的前融合。

據(jù)悉，特斯拉新發(fā)布的HW4.0，并非簡(jiǎn)單地把雷達(dá)傳感器加了回來(lái)，特斯拉也同時(shí)改進(jìn)了攝像頭與毫米波雷達(dá)的數(shù)據(jù)融合方式，由以前發(fā)生問(wèn)題的“傳感器后融合”方式進(jìn)化到“傳感器混合式融合”架構(gòu)。這個(gè)系統(tǒng)架構(gòu)的改進(jìn)也是特斯拉把毫米波雷達(dá)重新加回到系統(tǒng)的另一個(gè)原因。

而即便拋開(kāi)特斯拉的方案不談，此前業(yè)界對(duì)于多傳感器融合的方式也已有預(yù)測(cè)：隨著各種傳感器感知性能的提升，多傳感器融合的方式會(huì)從簡(jiǎn)單的結(jié)果比對(duì)“傳感器后融合”方式向“傳感器混合式融合”以及“傳感器前融合”演進(jìn)，最終都會(huì)進(jìn)化到“傳感器前融合”架構(gòu)。

只不過(guò)，要實(shí)現(xiàn)這樣的演進(jìn)并不簡(jiǎn)單。據(jù)了解，“傳感器前融合”的感知系統(tǒng)，系統(tǒng)不光要對(duì)不同傳感器感知信號(hào)處理過(guò)程做交叉互動(dòng)來(lái)提高有效信息的獲取量以及提取質(zhì)量，系統(tǒng)還要在各傳感器捕獲目標(biāo)原始數(shù)據(jù)的過(guò)程就開(kāi)始互動(dòng)，系統(tǒng)需要準(zhǔn)確地針對(duì)感知目標(biāo)來(lái)獲取對(duì)應(yīng)的有效信息，這也是AI系統(tǒng)里常常提到的“智能感知“。

昱感微第一代芯片的第二款產(chǎn)品-多傳感器多維像素融合感知芯片，就是針對(duì)多傳感器前融合的客戶需求而設(shè)計(jì)的，其芯片及系統(tǒng)的架構(gòu)示意圖如下：

據(jù)企業(yè)官方資料，這一多傳感器多維像素融合感知芯片在4D成像毫米波雷達(dá)處理器芯片基礎(chǔ)上又增加了以下部分：１）對(duì)來(lái)自攝像頭的圖像數(shù)據(jù)做處理的視覺(jué)處理子系統(tǒng)（包含支持?jǐn)z像頭傳感器的特定曝光控制等功能）；２）對(duì)多種傳感器的目標(biāo)捕獲信息做交互數(shù)據(jù)挖掘以提高目標(biāo)探測(cè)精準(zhǔn)度的交互數(shù)據(jù)處理系統(tǒng)；３）對(duì)多傳感器感知數(shù)據(jù)做高效數(shù)據(jù)組合并輸出的多維像素生成系統(tǒng)。

據(jù)稱，昱感微的多傳感器多維像素融合感知芯片可以幫助客戶實(shí)現(xiàn)多傳感器原始數(shù)據(jù)的融合（傳感器前融合），對(duì)目標(biāo)和環(huán)境的感知可以在傳感器系統(tǒng)的邊緣側(cè)就能挖掘出更多的信息，數(shù)據(jù)維度更多，目標(biāo)探測(cè)更精準(zhǔn)。

目前行業(yè)通用的認(rèn)知是，多種傳感器做感知融合時(shí)至少包含有攝像頭與毫米波雷達(dá)。而當(dāng)其中一種或多種傳感器探測(cè)到潛在目標(biāo)時(shí)，昱感微的多傳感器多維像素融合感知芯片可以實(shí)時(shí)地對(duì)部分或全部其余傳感器的探測(cè)參數(shù)進(jìn)行互動(dòng)實(shí)時(shí)調(diào)整。

具體來(lái)看，其可對(duì)攝像頭的像素級(jí)的探測(cè)參數(shù)進(jìn)行互動(dòng)實(shí)時(shí)調(diào)整，互動(dòng)實(shí)時(shí)調(diào)整中的探測(cè)參數(shù)包括：曝光區(qū)域、曝光時(shí)間、對(duì)焦距離、圖像傳感器的信號(hào)增益、圖像傳感器的靈敏度、圖像傳感器的信噪比、色彩濾波陣列中的任意一種或多種；對(duì)雷達(dá)的發(fā)射和/或接收信號(hào)的探測(cè)參數(shù)或探測(cè)數(shù)據(jù)的篩選進(jìn)行互動(dòng)實(shí)時(shí)調(diào)整，互動(dòng)實(shí)時(shí)調(diào)整中的探測(cè)參數(shù)包括：捕獲視角、目標(biāo)信號(hào)的檢測(cè)提取參數(shù)、信號(hào)波形及調(diào)制方式、信號(hào)頻率、信號(hào)強(qiáng)度、信號(hào)幀率、信號(hào)帶寬、速度譜中的任意一種或多種，等等；然后芯片再將多種傳感器探測(cè)到的數(shù)據(jù)處理好后同步實(shí)時(shí)輸出。

舉例來(lái)說(shuō)，當(dāng)雷達(dá)子系統(tǒng)探測(cè)到潛在目標(biāo)時(shí)，芯片內(nèi)運(yùn)行的軟件立刻實(shí)時(shí)地對(duì)攝像頭的曝光控制區(qū)域進(jìn)行調(diào)整，使其針對(duì)目標(biāo)檢測(cè)子區(qū)域（有運(yùn)動(dòng)目標(biāo)的子區(qū)域）進(jìn)行快速局部曝光，然后對(duì)同一時(shí)間段內(nèi)采集的多幅目標(biāo)檢測(cè)子區(qū)域圖像做圖像疊加的寬動(dòng)態(tài)處理，融合產(chǎn)生完整的超寬動(dòng)態(tài)圖像實(shí)時(shí)輸出。這樣，即使在車輛夜間行駛的過(guò)程中遇到對(duì)面相向而行的車輛開(kāi)著遠(yuǎn)光燈干擾本車攝像頭系統(tǒng)的挑戰(zhàn)場(chǎng)景下，昱感微的多傳感器多維像素融合感知芯片仍然可以引導(dǎo)本車的攝像頭針對(duì)運(yùn)動(dòng)目標(biāo)(可能是在當(dāng)前圖像嚴(yán)重欠曝區(qū)域內(nèi)正在橫穿馬路的騎車人－非常危險(xiǎn)的情況)做快速局部曝光來(lái)實(shí)時(shí)獲取運(yùn)動(dòng)目標(biāo)的分辨細(xì)節(jié)特征，這樣的處理就可以防止自動(dòng)駕駛控制系統(tǒng)出現(xiàn)漏檢而撞擊目標(biāo)的情況發(fā)生。

昱感微的多傳感器多維像素融合感知芯片將多傳感器感知數(shù)據(jù)做高效數(shù)據(jù)組合并輸出的多維像素的數(shù)據(jù)格式。

對(duì)傳感器融合系統(tǒng)而言，各傳感器感知數(shù)據(jù)的“坐標(biāo)統(tǒng)一，時(shí)序?qū)R”是必須的，同時(shí)系統(tǒng)還要做到“數(shù)據(jù)同質(zhì)”，并且能夠突出“事件感知”（做好針對(duì)目標(biāo)的探測(cè)而非籠統(tǒng)的背景探測(cè)，同時(shí)需要具備對(duì)事件是否會(huì)發(fā)生的預(yù)測(cè)數(shù)據(jù) - 車輛自駕系統(tǒng)對(duì)道路上妨礙行駛的障礙物之相對(duì)距離與速度的精準(zhǔn)探測(cè)）。

多傳感器組合的探測(cè)域空間映射關(guān)系示意圖

昱感微的多傳感器融合處理器芯片把多傳感器的目標(biāo)探測(cè)數(shù)據(jù)用“多維度測(cè)量參數(shù)”矩陣數(shù)組（簡(jiǎn)稱為“多維像素”）的形式組合在一起，建立以攝像頭像素為顆粒度的立體多維深度感知；像素除了其原本包含的亮度與顏色信息，還增加了多個(gè)維度，如相對(duì)距離、相對(duì)運(yùn)動(dòng)速度、目標(biāo)的雷達(dá)散射截面RCS數(shù)據(jù)以及目標(biāo)的熱輻射溫度分布等數(shù)據(jù)，目標(biāo)檢測(cè)算法基于多維像素矩陣結(jié)構(gòu)，可充分利用信息的融合做深度環(huán)境感知。

“多維度測(cè)量參數(shù)”矩陣數(shù)組結(jié)構(gòu)示意圖

多維像素這樣的數(shù)據(jù)結(jié)構(gòu)是非常高效的感知信息數(shù)據(jù)組合方式，不僅直接體現(xiàn)了：坐標(biāo)統(tǒng)一，時(shí)序?qū)R，數(shù)據(jù)同質(zhì)，由于多維像素包含了目標(biāo)及環(huán)境的多個(gè)物理維度探測(cè)的實(shí)時(shí)信息（目標(biāo)的距離、相對(duì)速度等信息）,它也能夠很好地突出：“事件感知”的能力，包含能夠預(yù)測(cè)事件發(fā)生的能力；同時(shí)，多維像素?cái)?shù)據(jù)來(lái)自多種（不同種類的）傳感器的感知數(shù)據(jù)組合，多維像素?cái)?shù)據(jù)本身就包含了：異構(gòu)冗余、多重校驗(yàn)，交互感知，超維耦合，感存一體。這些是都是我們對(duì)高效可靠的傳感器感知系統(tǒng)的必須要求（滿足高質(zhì)量自動(dòng)駕駛的必要條件）。

多傳感器多維像素組合可以包含的目標(biāo)與環(huán)境感知信息量非常大。舉例來(lái)說(shuō)，把視覺(jué)圖像與毫米波無(wú)線檢測(cè)信號(hào)直接對(duì)接組合，由于毫米波無(wú)線探測(cè)在毫米波（77Ghz對(duì)應(yīng)４mm的無(wú)線電波波長(zhǎng)），無(wú)線電波是有繞射及多徑穿透能力的，這樣的“圖像＋毫米波”組合的多維像素，在前面有一輛車的探測(cè)場(chǎng)景下，在前車這個(gè)“多維像素宏塊”上可以再包含前前車（被前面這輛車擋住攝像頭視野的再前面的一輛車）的存在（有距離、相對(duì)速度、RCS）信息，以及可以感知前前一輛車的突發(fā)急剎車事件，系統(tǒng)可以預(yù)防這樣的事故發(fā)生！

昱感微指出，多傳感器多維像素的組合，就像是我們?nèi)藢?duì)目標(biāo)與環(huán)境的感知，我們以人眼視覺(jué)為主體，同時(shí)我們每個(gè)人都有天然的“腦機(jī)接口”，我們會(huì)在視覺(jué)的基礎(chǔ)上把其它感覺(jué)（聽(tīng)覺(jué)，嗅覺(jué)…）都組合在視覺(jué)圖像里，然后希望具備第六感（預(yù)感事件的發(fā)生）。昱感微電子的多傳感器多維像素融合感知芯片也希望可以助力到AI感知系統(tǒng)相同的功能。

多維像素是在以圖像像素為基礎(chǔ)的模型上再增加了其它維度（目標(biāo)的距離、速度等）感知信息，多維像素使得目前的AI處理器都可以復(fù)用已有的圖像數(shù)據(jù)集，免除新產(chǎn)品的訓(xùn)練數(shù)據(jù)需要全部重新采集的困擾，對(duì)于目前流行的神經(jīng)網(wǎng)絡(luò)框架只需要做很小的修改就可直接適配昱感微電子的芯片輸出的“多維像素”，而且神經(jīng)網(wǎng)絡(luò)的訓(xùn)練收斂效率以及目標(biāo)識(shí)別準(zhǔn)確率都會(huì)因?yàn)槭褂昧硕嗑S像素而有效提升。多維像素的產(chǎn)品落地非常直接簡(jiǎn)單，不會(huì)是因?yàn)樾碌臄?shù)據(jù)結(jié)構(gòu)而給應(yīng)用推廣產(chǎn)品化帶來(lái)困擾。

特斯拉目前在感知方面的一個(gè)重點(diǎn)技術(shù)是Occupancy Network (占據(jù)網(wǎng)絡(luò))。研究機(jī)器人技術(shù)的同學(xué)肯定對(duì)occupancy grid不會(huì)陌生，occupancy grid表示空間中每個(gè)3D體素（voxel）是否被占據(jù)，可以是0/1二元表示，也可以是[0, 1]之間的一個(gè)概率值。

為什么估計(jì)occupancy對(duì)自動(dòng)駕駛感知很重要呢？因?yàn)樵谛旭傊?，除了常?jiàn)障礙物如車輛、行人，我們可以通過(guò)3D物體檢測(cè)的方式來(lái)估計(jì)他們的位置和大小，還有更多長(zhǎng)尾的障礙物也會(huì)對(duì)行駛產(chǎn)生重要影響。例如：1.可變形的障礙物，如兩節(jié)的掛車，不適合用3D bounding box來(lái)表示；2.異形障礙物，如翻倒的車輛，3D姿態(tài)估計(jì)會(huì)失效；3.不在已知類別中的障礙物，如路上的石子、垃圾等，無(wú)法進(jìn)行分類。大家都希望能找到更好的表達(dá)來(lái)描述這些長(zhǎng)尾障礙物，完整估計(jì)3D空間中每一個(gè)位置的占據(jù)情況（occupancy），還要包含語(yǔ)義（semantics）和運(yùn)動(dòng)狀態(tài)（flow）信息。特斯拉希望利用基于“視覺(jué)”的占用網(wǎng)絡(luò)算法, 將感知空間劃分為一個(gè)個(gè)立體網(wǎng)格，通過(guò)檢測(cè)網(wǎng)格是否被占用，實(shí)現(xiàn)對(duì)物體體積的測(cè)算-包括探測(cè)到讓全世界智能駕駛團(tuán)隊(duì)頭疼的各類異形物體。

在昱感微看來(lái)，真正的自動(dòng)駕駛面臨的道路狀況千變?nèi)f化，自動(dòng)駕駛要求開(kāi)發(fā)者回到智能的“第一性原理”——從感知和決策的角度先感知周圍環(huán)境，再根據(jù)感知預(yù)測(cè)其他車輛的運(yùn)行軌跡，作出自動(dòng)駕駛車輛的行為規(guī)劃和決策，完成系統(tǒng)級(jí)開(kāi)發(fā)。

“如果自動(dòng)駕駛系統(tǒng)的算法完全基于深度學(xué)習(xí)（Deep Learning），就無(wú)法解決這種深度神經(jīng)網(wǎng)絡(luò)可能帶來(lái)的‘黑盒’問(wèn)題：即無(wú)法確定系統(tǒng)是根據(jù)什么作出決策的－它自己也不知道，因此就無(wú)法實(shí)現(xiàn)人為預(yù)先干預(yù)；這樣的自動(dòng)駕駛系統(tǒng)是無(wú)法支撐L3及以上的自動(dòng)駕駛要求的，一臺(tái)車在地球上可能遭遇的駕駛場(chǎng)景永遠(yuǎn)會(huì)比一個(gè)系統(tǒng)接受訓(xùn)練時(shí)的數(shù)據(jù)更豐富，以深度學(xué)習(xí)為底層算法的系統(tǒng)如何應(yīng)對(duì)復(fù)雜長(zhǎng)尾場(chǎng)景是讓人擔(dān)心的?！?/p>

而昱感微的多傳感器多維像素融合感知芯片的“多維像素”數(shù)據(jù)輸出直接具備了目標(biāo)與環(huán)境在３維立體空間所處的物理維度探測(cè)信息－感知周圍環(huán)境與目標(biāo)的各維度所需物理量，直接提供給系統(tǒng)做高效和精準(zhǔn)的決策與執(zhí)行，避免系統(tǒng)仍需借助大算力“推演”出目標(biāo)感知數(shù)據(jù)再做決策執(zhí)行的潛在問(wèn)題。

總而言之，昱感微所研發(fā)的全新一代智能感知芯片將助力車企跨越L3/L4級(jí)智能駕駛感知技術(shù)門(mén)檻。

返回第一電動(dòng)網(wǎng)首頁(yè) >