8月26日，由蓋世汽車(chē)主辦的“2021行業(yè)首屆智能汽車(chē)域控制器創(chuàng)新峰會(huì)”于上海汽車(chē)城瑞立酒店隆重召開(kāi)。本次會(huì)議持續(xù)兩天，將圍繞智能汽車(chē)、智能駕駛域控制器、智能座艙域控制器、底盤(pán)及車(chē)身域控制器、智能駕駛計(jì)算平臺(tái)、電子電氣架構(gòu)、軟件定義汽車(chē)、車(chē)規(guī)芯片等行業(yè)焦點(diǎn)話題展開(kāi)。會(huì)議期間，英偉達(dá)半導(dǎo)體科技（上海）有限公司自動(dòng)駕駛軟件總監(jiān) 馮棟棟發(fā)表了《NVIDIA DRIVE 端到端自動(dòng)駕駛平臺(tái)》的主題演講。

以下為演講實(shí)錄：

大家早上好，非常高興今天有機(jī)會(huì)跟大家分享英偉達(dá)在汽車(chē)領(lǐng)域NVIDIA DRIVE端到端自動(dòng)駕駛平臺(tái)。

1999年NVIDIA發(fā)明了GPU極大地推動(dòng)了 PC 游戲市場(chǎng)的發(fā)展，重新定義了現(xiàn)代計(jì)算機(jī)圖形技術(shù)，并徹底改變了并行計(jì)算。我們基于強(qiáng)大的GPU和高性能計(jì)算開(kāi)發(fā)了各種AI相關(guān)產(chǎn)品，今天主要給大家分享英偉達(dá)賦能自動(dòng)駕駛領(lǐng)域的NVIDIA DRIVE平臺(tái)。

昨天的演講嘉賓，包括剛才小鵬閆雪先生也提到未來(lái)的汽車(chē)一定是軟件定義汽車(chē)。我們認(rèn)為在未來(lái)汽車(chē)不再是單純的交通工具，它一定是具有持續(xù)軟件迭代的軟件定義汽車(chē)。過(guò)去大家買(mǎi)到傳統(tǒng)汽車(chē)的時(shí)候第一天它是最好的，但是隨著時(shí)間的推演也許不再具有新穎性。但是軟件汽車(chē)恰恰相反，當(dāng)你買(mǎi)到這臺(tái)汽車(chē)的時(shí)候第一天可能是最年輕，也可能是最不完美的，但隨著隨著時(shí)間的推演和持續(xù)的OTA軟件迭代更新，它將會(huì)給產(chǎn)品帶來(lái)更多的新功能和新穎性，其發(fā)展歷程與傳統(tǒng)汽車(chē)完全不同。

針對(duì)軟件定義汽車(chē)的需求，英偉達(dá)開(kāi)發(fā)了端到端自動(dòng)駕駛平臺(tái)，主要是為了賦能自動(dòng)駕駛行業(yè)的客戶基于我們的平臺(tái)能夠快速高效地開(kāi)發(fā)自動(dòng)駕駛產(chǎn)品。

NVIDIA DRIVE平臺(tái)主要包括包括DRIVE Orin芯片 、DRIVE AGX Orin車(chē)端集中式AI 計(jì)算平臺(tái)， DRIVE OS 基礎(chǔ)軟件平臺(tái)、Driveworks中間件、DRIVE AV自動(dòng)駕駛軟件棧， DRIVE Hyperion 數(shù)據(jù)采集和開(kāi)發(fā)驗(yàn)證套件 、DRIVE Constellation虛擬仿真平臺(tái)和DGX高性能AI訓(xùn)服務(wù)器。

DRIVE Hyperion 是NVIDIA 自動(dòng)駕駛數(shù)據(jù)采集和驗(yàn)證開(kāi)發(fā)套件，該套件包含NVIDIA DRIVE AGX 開(kāi)發(fā)平臺(tái)、主流傳感器比如Camera，Radar，Lidar，GPS，IMU等硬件。同時(shí)，也包擴(kuò)DRIVE OS基礎(chǔ)軟件平臺(tái) 、Driveworks中間件及數(shù)據(jù)采集相關(guān)的軟件。 我們的客戶、合作伙伴可以基于DRIVE Hyperion 開(kāi)發(fā)套件快速搭建自動(dòng)駕駛數(shù)據(jù)采集車(chē)和測(cè)試車(chē)輛，從而進(jìn)行多傳感器數(shù)據(jù)采集和自動(dòng)駕駛算法測(cè)試驗(yàn)證。

DGX A100是全球首款高性能AI計(jì)算機(jī)，內(nèi)部集成A100 Tensor Core GPU可達(dá)到640GB GPU 內(nèi)存，內(nèi)置 Mellanox ConnectX-6 InfiniBand超高帶寬以太網(wǎng)適配器，其雙向帶寬峰值為 500Gb/s?；诟咝阅艿腄GX AI服務(wù)器，客戶可以進(jìn)行深度網(wǎng)絡(luò)學(xué)習(xí)的訓(xùn)練、推理和數(shù)據(jù)分析，同時(shí)多臺(tái)DGX A100再結(jié)合NVIDIA DGX SuperPOD?  、NVIDIA BlueField? 數(shù)據(jù)處理單元 DPU及 NVIDIA Base Command? 就可以構(gòu)建超級(jí)計(jì)算機(jī)或者AI 集群，為具有挑戰(zhàn)性的自動(dòng)駕駛海量數(shù)據(jù)進(jìn)行深度學(xué)習(xí)網(wǎng)絡(luò)模型訓(xùn)練和建圖提供出色的基礎(chǔ)設(shè)施和靈活可擴(kuò)展的AI計(jì)算性能。

DRIVE Constellation仿真平臺(tái)，主要完成對(duì)各種虛擬場(chǎng)景的渲染、仿真，產(chǎn)生模擬傳感器數(shù)據(jù)，它主要提供兩大功能： 1) 虛擬仿真- DRIVE Constellation Simulator上運(yùn)行DRIVE Sim 軟件仿真虛擬世界、交通場(chǎng)景和道路上的車(chē)輛行駛。虛擬汽車(chē)在仿真環(huán)境中行駛可產(chǎn)生Camera, Radar, Lidar, GPS 和IMU 等模擬傳感器數(shù)據(jù)。這些模擬傳感器數(shù)據(jù)發(fā)送到DRIVE Constellation Computer 內(nèi)的DRIVE AGX車(chē)端計(jì)算平臺(tái)進(jìn)行感知、定位、規(guī)劃和產(chǎn)生決策控制數(shù)據(jù)并回傳給DRIVE Constellation Simulator上進(jìn)行評(píng)估驗(yàn)證。2）供數(shù)據(jù)回放- 自動(dòng)駕駛車(chē)輛數(shù)據(jù)采集過(guò)程中物理傳感器的真實(shí)數(shù)據(jù)也可以通過(guò)DRIVE Constellation Simulator 進(jìn)行數(shù)據(jù)回放輸出給DRIVE Constellation Computer 內(nèi)的DRIVE AGX 車(chē)端計(jì)算平臺(tái)進(jìn)行感知、定位、規(guī)劃和產(chǎn)生決策控制數(shù)據(jù)并回送DRIVE Constellation Simulator上進(jìn)行評(píng)估驗(yàn)證。DRIVE Constellation? 仿真平臺(tái)提供可擴(kuò)展、全面且多樣化的測(cè)試環(huán)境。借助開(kāi)放的模塊化架構(gòu)，DRIVE Sim 軟件可讓客戶利用自己的仿真模型或生態(tài)合作伙伴的自定義車(chē)輛、環(huán)境、傳感器或交通場(chǎng)景。

DRIVE AGX平臺(tái)主要是給自動(dòng)駕駛汽車(chē)提供高性能的車(chē)端AI計(jì)算平臺(tái)。經(jīng)過(guò)仿真測(cè)試后的深度學(xué)習(xí)網(wǎng)絡(luò)模型和算法，可以部署在 DRIVE AGX 車(chē)端平臺(tái)進(jìn)行相應(yīng)的自動(dòng)駕駛功能道路測(cè)試和驗(yàn)證。此外，在DRIVE AGX車(chē)端平臺(tái)之上，也可以創(chuàng)建或繪制世界模型并顯示當(dāng)前車(chē)輛的3D 環(huán)繞模型。自動(dòng)駕駛車(chē)輛在道路測(cè)試驗(yàn)證的同時(shí)也可以進(jìn)行傳感器數(shù)據(jù)采集，因此，數(shù)據(jù)采集、數(shù)據(jù)訓(xùn)練，模擬仿真，自動(dòng)駕駛道路測(cè)試驗(yàn)證就形成了一個(gè)數(shù)據(jù)閉環(huán)。

2019年我們發(fā)布了DRIVE ORIN芯片，主要是為了滿足L2輔助駕駛，L2+ 高階輔助駕駛和高階自動(dòng)駕駛的需求。Orin由245億個(gè)晶體管構(gòu)成，集成12個(gè)64位的ARM A78 CPU核， 提供228K DMIPS CPU計(jì)算能力；Orin Tensor Core GPU 和DLA 提供254 TOPS INT8 AI 推理能力；Orin提供高達(dá)205 GB/S的內(nèi)存帶寬并內(nèi)部集成4路萬(wàn)兆以太網(wǎng)；Orin支持H264/H265/VP9 格式的8K 像素 30幀/秒的圖像解碼和4K 像素60幀/秒 圖像編碼；Orin的功能安全島集成4個(gè)Lock-Step Cortex-R52 核并達(dá)到隨機(jī)硬件失效ASIL-D。最重要的是Orin芯片嚴(yán)格按照ISO26262功能安全設(shè)計(jì)開(kāi)發(fā)，可達(dá)到隨機(jī)硬件失效ASIL-B 和系統(tǒng)級(jí)ASIL-D 功能安全認(rèn)證。我們基于Orin芯片開(kāi)發(fā)硬件架構(gòu)可擴(kuò)展和軟件可編程的自動(dòng)駕駛集中式架構(gòu)AI計(jì)算平臺(tái)，該AI計(jì)算平臺(tái)單顆Orin芯片提供 254 TOPS INT8 AI 推理能力可以滿足L2輔助駕駛、 L2+高階輔助駕駛產(chǎn)品需求。多個(gè)Orin芯片或者Orin 加安培GPU 可以構(gòu)建超過(guò)2000 TOPS INT8 算力的AI計(jì)算平臺(tái)以便滿足RoboTaxi 產(chǎn)品需求。

當(dāng)前傳統(tǒng)的L2輔助駕駛系統(tǒng)一般由多個(gè)ECU構(gòu)成，包括360環(huán)視、ADAS域控制器、Smart Camera?；贒RIVE Orin 可擴(kuò)展的參考平臺(tái)設(shè)計(jì)， 我們的客戶可以根據(jù)不同車(chē)型需求快速設(shè)計(jì)開(kāi)發(fā)靈活可擴(kuò)展、統(tǒng)一硬件和軟件架構(gòu)的自動(dòng)駕駛集中式AI計(jì)算平臺(tái)來(lái)滿足L2 輔助駕駛至L4高階自動(dòng)駕駛產(chǎn)品功能需求。

剛才談到了ORIN芯片從單顆芯片提供254Tops推理能力，借助可擴(kuò)展的 DRIVE Orin產(chǎn)品系列，客戶可以在多個(gè)車(chē)型系列中利用DRIVE Orin硬件平臺(tái)的靈活擴(kuò)展性和統(tǒng)一架構(gòu)的巨大優(yōu)勢(shì)速構(gòu)建智能駕駛域控制器硬件平臺(tái)，同一硬件架構(gòu)的域控制器平臺(tái)可以兼容從L2輔助駕駛、L2+高級(jí)輔助駕駛、L4高階自動(dòng)駕駛和無(wú)人駕駛系統(tǒng)，從而大大加速了域控制器硬件平臺(tái)開(kāi)發(fā)速度并降低硬件研發(fā)測(cè)試成本和軟件維護(hù)成本。

基于ORIN靈活可拓展性，我們也開(kāi)發(fā)了對(duì)應(yīng)的基礎(chǔ)軟件平臺(tái)和中間件。我們的客戶可以通過(guò)統(tǒng)一API接口的SDK快速開(kāi)發(fā)自己的應(yīng)用程序和算法，為了方便客戶更好地使用DRIVE OS，我們進(jìn)行了抽象封裝，提供模塊化抽象封裝庫(kù)，包括硬件傳感器抽象層、圖像處理和點(diǎn)云處理，并提供方便使用的計(jì)算圖框架。我們的客戶可以利用DRIVE OS 的這些優(yōu)勢(shì)快速構(gòu)建可最大化復(fù)用的應(yīng)用軟件及算法，同一軟件架構(gòu)的域控制器平臺(tái)軟件可以支持從L2輔助駕駛、高階自動(dòng)駕駛和無(wú)人駕駛系統(tǒng)，從而加速了軟件產(chǎn)品開(kāi)發(fā)迭代速度并且降低軟件研發(fā)和測(cè)試驗(yàn)證成本。

未來(lái)的汽車(chē)一定是集中式架構(gòu)或者中央架構(gòu)。為了滿足集中式架構(gòu)，我們的DRIVE OS平臺(tái)從設(shè)計(jì)角度也考慮了SOA理念，所有軟件基于模塊化設(shè)計(jì)。DRIVE OS是英偉達(dá)為車(chē)端芯片開(kāi)發(fā)的模塊化的AI計(jì)算平臺(tái)軟件。深綠色部分是 ORIN芯片，淺綠色是DRIVE OS各個(gè)軟件模塊，灰色是第三方軟件或者客戶自己開(kāi)發(fā)的軟件模塊。為實(shí)現(xiàn)DRIVE OS 功能安全和軟硬件相互隔離，Orin SOC 上運(yùn)行NVIDIA自研的符合功能安全的實(shí)時(shí)微內(nèi)核Type 1 Hypervisor。Hypervisor 之上運(yùn)行符合功能安全的QNX QOS作為Guest OS。Hypervisor 之上還運(yùn)負(fù)責(zé)OTA更新的DRIVE UPDAE Service 和Foundation Services 等多個(gè)虛擬機(jī)。NVIDIA 在QNX Guest OS 之上開(kāi)發(fā)了NvMedia、NvStreams、VulkanSC SDK和CUDA 、TensorRT AI 引擎加速庫(kù)。在ORIN功能安全島可以運(yùn)行OEM跟功能安全相關(guān)的算法，比如說(shuō)車(chē)控算法，比對(duì)算法，傳感器后融合算法。另外，在功能安全島上運(yùn)行英偉達(dá)自己的Safety框架，主要是對(duì)ORIN芯片進(jìn)行實(shí)時(shí)監(jiān)控，硬件模塊以及寄存器狀態(tài)，同時(shí)也對(duì)DRIVE OS軟件進(jìn)行監(jiān)控。

NVDIA Driveworks SDK主要實(shí)現(xiàn)對(duì)Camera、毫米波雷達(dá)、激光雷達(dá)、GPS 和IMU 等傳感器的抽象封裝，并支持圖像處理和點(diǎn)云預(yù)處理。當(dāng)自動(dòng)駕駛汽車(chē)在路上行駛一段時(shí)間，某些視覺(jué)傳感器可能因?yàn)檎袷幵虍a(chǎn)生圖像輸出畸變，我們可以利用Self Calibration進(jìn)行在線標(biāo)定。同時(shí)還提供對(duì)于當(dāng)前車(chē)輛位置的估計(jì)和預(yù)測(cè)，基于DRIVE Works采集到的傳感器數(shù)據(jù)，我們?cè)贒RIVE AV層進(jìn)行相應(yīng)障礙物感知、車(chē)道線感知、交通燈的感知，同時(shí)基于這些感知結(jié)果結(jié)合高清地圖實(shí)現(xiàn)定位并創(chuàng)建世界模型，最后再通過(guò)行為規(guī)劃，車(chē)道線規(guī)劃、路徑規(guī)劃和車(chē)輛控制。

基于DRIVE Works，我們針對(duì)自動(dòng)駕駛的典型使用場(chǎng)景和Corner Case場(chǎng)景開(kāi)發(fā)了多種豐富的神經(jīng)網(wǎng)絡(luò)，包括障礙物感知、車(chē)道線檢測(cè)、交叉路口感知、距離感知、交通牌以及交通燈的感知以及對(duì)駕駛員的監(jiān)測(cè)等常用網(wǎng)絡(luò)，同時(shí)我們也開(kāi)發(fā)了針對(duì)交警手勢(shì)指揮的檢測(cè)網(wǎng)絡(luò)、遠(yuǎn)光燈的檢測(cè)網(wǎng)絡(luò)、相機(jī)失明檢測(cè)網(wǎng)絡(luò)等等。

剛才主要是針對(duì)當(dāng)前這一代ORIN平臺(tái)做了介紹。為了滿足軟件定義汽車(chē)以及客戶對(duì)高性能AI計(jì)算平臺(tái)的需求，我們正在研發(fā)ORIN下一代產(chǎn)品DRIVE ATLAN，單芯片可以提供1000 TOPS算力，可以滿足2024年自動(dòng)駕駛汽車(chē)量產(chǎn)的需求。ATLAN 是一項(xiàng)技術(shù)杰作，將NVIDIA 在AI、汽車(chē)、安全和BlueField 安全數(shù)據(jù)中心的各種技術(shù)融于一體。DRIVE ATLAN是業(yè)界首顆單芯片提供1000 TOPS的SOC。ATLAN能夠提供更高的網(wǎng)絡(luò)帶寬和安全服務(wù)，集成ASIL-D功能安全島，基于ATLAN客戶可以開(kāi)發(fā)自動(dòng)駕駛產(chǎn)品滿足高階自動(dòng)駕駛。

NVIDIA DRIVE 是我們?yōu)閮r(jià)值數(shù)10萬(wàn)億美元的交通運(yùn)輸行業(yè)推出的端到端自動(dòng)駕駛平臺(tái)，從DRIVE Orin/Atlan芯片 、DRIVE AGX硬件參考平臺(tái)，到DRIVE OS、Driveworks、DRIVE AV自動(dòng)駕駛軟件棧再到DRIVE Hyperion 數(shù)據(jù)采集和開(kāi)發(fā)驗(yàn)證套件 、DRIVE Constellation虛擬仿真平臺(tái)和DGX高性能訓(xùn)練服務(wù)器，我們已經(jīng)在各個(gè)層面與行業(yè)的客戶、合作伙伴展開(kāi)深度合作。NVIDIA將繼續(xù)為更安全、更高效的自動(dòng)駕駛提供集中式高性能AI計(jì)算平臺(tái)，從而使車(chē)輛能夠?qū)崟r(shí)運(yùn)行自動(dòng)駕駛所必需的各種冗余和多樣化的深度學(xué)習(xí)網(wǎng)絡(luò)模型和算法。

最后非常感謝全球各地的開(kāi)發(fā)者、合作伙伴。希望我們能夠跟全球的客戶和合作伙伴開(kāi)創(chuàng)更好的未來(lái)，謝謝大家。

返回第一電動(dòng)網(wǎng)首頁(yè) >