智能座艙

Cocos 受邀出席車載抬頭顯示 HUD 高峰論壇，助力座艙智能化升級

程雯 2022-07-19 16:10

隨著汽車智能化的到來，汽車座艙發(fā)展趨向以多個屏幕同時呈現(xiàn)信息，而 AR-HUD 作為 HMI 的窗口之一，以一種更加自然的圖像處理方式呈現(xiàn)在駕駛員的前方，提供更多有用的信息，成為新的趨勢。近期發(fā)布的理想 L9，通過超大尺寸的 HUD 抬頭顯示系統(tǒng)以及方向盤上方的安全駕駛交互屏來提供足夠的行車信息，被視為 AR HUD + 小型信息交互屏“代替”傳統(tǒng)液晶儀表的里程碑事件。在新的人車交互方式下，AR-HUD 的成熟以及相關(guān) HMI 設(shè)計的升級，有望重塑汽車車內(nèi)體驗。

近日， Cocos 產(chǎn)品總監(jiān)郭萌在 2022 年第四屆車載抬頭顯示 HUD 高峰論壇上，進行了以《實時3D渲染引擎助力座艙智能化交互升級》為主題的演講，分享了他對于 AR-HUD 的理解，以及 Cocos 引擎如何幫助主機廠為用戶帶來全新的座艙 HMI 交互體驗。

Cocos 產(chǎn)品總監(jiān)郭萌

以下內(nèi)容整理自演講實錄：

Cocos 引擎：不斷拓寬應(yīng)用場景，提升數(shù)字內(nèi)容行業(yè)生產(chǎn)效率

大家好，我是來自 Cocos 的郭萌，很開心有機會能和在座的從業(yè)者溝通交流。今天主要分享一下這些年 Cocos 在 3D 渲染引擎的積累，以及我們在車機行業(yè)的探索。

Cocos 成立于 2010 年，我們是一家數(shù)字內(nèi)容的生產(chǎn)平臺，旗下的核心產(chǎn)品叫 Cocos 引擎，目前服務(wù)了包括汽車、游戲、在線教育、XR 等行業(yè)的公司。Cocos 的注冊開發(fā)者已經(jīng)超過了 150 萬，分布在 203 個國家和地區(qū)。同時，Cocos 也是一家完全中國自主知識產(chǎn)權(quán)的 3D 圖形渲染引擎。

在我們接觸的主機廠中，很多主機廠都在強調(diào)要對座艙 HMI 進行升級。希望座艙的視覺表現(xiàn)更加酷炫，基于 PBR 實現(xiàn)更加次時代的效果。

目前越來越多的主機廠也在關(guān)注一些 AR-HUD 在智能座艙的運用，包括最近發(fā)布的理想 L9，已經(jīng)取消了儀表屏，取而代之的是用更大尺寸的 HUD 作為信息顯示。

我們認為 AR 在座艙內(nèi)成為了繼屏幕顯示、語音交互和視覺交互之后的又一大交互方式。通過這種交互方式，Cocos 希望能夠幫助主機廠去創(chuàng)造更多的內(nèi)容生態(tài)，提升 AR-HUD 的使用范疇，將座艙的體驗再升級。

除了車機，我們現(xiàn)在看到的 AR 產(chǎn)品幾乎都是使用很多優(yōu)秀的游戲引擎開發(fā)的，所以我認為后續(xù)的主機廠在做 AR 顯示內(nèi)容的時候，也會基于這些優(yōu)秀的游戲引擎作為工具進行開發(fā)。

Cocos HMI 智能座艙解決方案

Cocos HMI 智能座艙解決方案目前已經(jīng)涵蓋了車載人機交互界面，自動輔助駕駛可視化，車載虛擬形象，車載游戲，音樂播放器等能力。已經(jīng)覆蓋到座艙內(nèi)包括 HUD、儀表、IVI、娛樂副屏在內(nèi)的多種顯示設(shè)備。

在系統(tǒng)支持上，已經(jīng)做到適配 Android，Linux，QNX，HarmonyOS 等主流車機系統(tǒng)。Metal、Vulkan、WebGl 1.0、WebGl 2.0、GLES2、GLES3 等比較常見的渲染后端也已完整支撐。

3ds Max、Maya、Blender 等 3D DCC Tools 導(dǎo)出的傳統(tǒng)的 3D 格式文件、傳統(tǒng)的多媒體資源，都可直接導(dǎo)入到 Cocos 的開發(fā)工具里進行二次開發(fā)，再加上 Cocos Creator 自帶的 UI 編輯器、動畫編輯器以及編碼環(huán)境，常用的 PBR 材質(zhì)系統(tǒng)、粒子系統(tǒng)、實時光影等效果，都可以直接使用，便于使用者搭建座艙內(nèi)的 3D 場景。

此外 Cocos 還支持 Web 系統(tǒng)，也就是說開發(fā)階段只需維護一套代碼，就可以支持發(fā)布到各個平臺，極大的節(jié)省了主機廠的維護成本。

更好玩的 VPA

越來越多的主機廠開始使用 VPA 形象來替換老一代的語音助手形象?；趯崟r渲染的 3D 形象，在情感交互表現(xiàn)力上會更加的靈活，更強。 Cocos 目前可以提供包括形象設(shè)計、形象建模、針對語音場景的動作制作，包括聯(lián)動其他 App 的功能在內(nèi)的一整套框架。

主機廠在做新一代 VPA 的過程中，都希望引入游戲化的元素，做成一個可運營的功能。比如引入一些節(jié)日彩蛋，生日彩蛋。國慶中秋的時候，是不是能有一些新的東西能夠?qū)崟r地下發(fā)到用戶的車機端，讓用戶對 3D 形象時刻保持新鮮感。

Cocos 引擎作為游戲開發(fā)引擎，本身擁有熱更新框架，可以支持整個 VPA 形象從模型、到代碼、到場景、到腳本邏輯的實時更新。

后續(xù)由 Cocos 為主機廠搭建后臺服務(wù)：資源管理平臺，可獨立于 OTA 提供實時熱更新能力。有了實時熱更新，可以做到每周、每天給 VPA 下發(fā)新的服裝、新的動作，讓主機廠不受限于 OTA 的節(jié)奏來運營 VPA。

比如短視頻平臺上某一個舞蹈火了，由工程師把舞蹈動作的腳本文件打包上傳到更新后臺。第二天當用戶打開車機的時候，車主的虛擬個人助理形象就可以跳這段舞，這對用戶來說是更有趣的體驗。

讓 ADAS 不再那么“疲憊”

目前越來越多的車型都提供了自動輔助駕駛功能。但之前看到一個調(diào)研，許多車主在使用自動輔助駕駛的時候，反而會更累。主要原因是有時候自動輔助駕駛的可視化做得不夠好，車主不知道自己的車下一步是要干什么，這時候他會產(chǎn)生很大的恐慌以及緊張，長時間處在這樣情感下，就會感覺到疲憊。

所以自動駕駛可視化也是自動輔助駕駛功能的一個很重要的部分，Cocos 基于主機廠提供的原始地圖數(shù)據(jù)，根據(jù)相應(yīng)的 HMI 的視覺風(fēng)格進行 3D 可視化渲染。用一個符合主機廠要求的視覺方案來進行 3D 還原，從而改善車主使用 ADAS 功能的體驗。

多模態(tài)交互車載游戲

游戲是 Cocos 重要的應(yīng)用場景之一。在車載游戲領(lǐng)域，Cocos 做的更多的是幫助主機廠去建設(shè)座艙內(nèi)的多模態(tài)交互游戲。包括基于車內(nèi)攝像頭的一些體感游戲，結(jié)合麥克風(fēng)的語音類游戲，結(jié)合方向盤類的運動類的游戲。以及聯(lián)動前后屏、主副駕屏的多屏聯(lián)動類游戲。

更具氛圍感的音樂播放器

音樂是座艙內(nèi)最傳統(tǒng)，也是使用率排在前三的核心功能。目前許多主機廠都有升級音樂播放器來打造差異化的需求，而不是千篇一律地使用某某音樂播放器車機版?；?3D 渲染引擎能力，Cocos 能夠幫助主機廠重新包裝音樂播放器，通過歌詞、音樂可視化的效果，來提升座艙內(nèi)音樂的氛圍感。

Cocos Runtime：低延遲、“即點即用”

Cocos Runtime 是 Cocos 開發(fā)的一個支持互動內(nèi)容免安裝即可運行的商業(yè)化 SDK，可運行在多種操作系統(tǒng)平臺上，可以理解為一套小程序和小游戲的底層運行框架，支持主流 JavaScript 游戲引擎開發(fā)的內(nèi)容，可以高效地將數(shù)字內(nèi)容的運行效率做到最大化的提升。各種硬件設(shè)備、App 集成 Runtime 之后，用戶即可感受數(shù)字互動內(nèi)容“點開即玩”的暢爽體驗，而不是通過傳統(tǒng)的下載的模式。

在座艙內(nèi)，目前有些 HMI 產(chǎn)品的啟動和加載時間長達數(shù)十秒，無疑這會嚴重影響駕乘人員的體驗，再比如 AR-HUD，理想情況應(yīng)該做到毫秒級的延遲控制，才能將數(shù)字虛擬世界與真實世界精確融合，這直接決定了用戶的使用體驗效果。通過引入 Cocos Runtime ，可以提高啟動和加載速度，減少操作延遲。

完善 Cocos 生態(tài)鏈，探索技術(shù)的更多邊界

開發(fā)者生態(tài)方面，Cocos 目前累計擁有 150 萬全球注冊開發(fā)者。除了國內(nèi)的一線的互聯(lián)網(wǎng)公司，海外的 Facebook、Google、育碧都在和我們進行一些技術(shù)上的合作。

Cocos 最近還與任天堂進行了合作共同構(gòu)建開發(fā)者生態(tài)，Cocos Creator 即將實現(xiàn)對 Nintendo Switch 的支持，屆時開發(fā)者申請成為任天堂認證開發(fā)者后，再聯(lián)系 Cocos 獲得引擎，即可將游戲一鍵發(fā)布到 NS。