申請技術(shù)丨商湯絕影UniAD端到端自動駕駛解決方案 和 多模態(tài)場景大腦

申報領(lǐng)域丨大數(shù)據(jù)及人工智能

獨(dú)特優(yōu)勢：

UniAD的獨(dú)特優(yōu)勢： 2022年底，商湯及聯(lián)合實(shí)驗(yàn)室就提出了行業(yè)首個感知決策一體自動駕駛通用模型UniAD，首次將檢測、跟蹤、建圖、軌跡預(yù)測，占據(jù)柵格預(yù)測以及規(guī)劃等模塊整合到一個基于Transformer的端到端網(wǎng)絡(luò)框架之下。 2023年，得益于行業(yè)領(lǐng)先的性能表現(xiàn)，《Planning-oriented Autonomous Driving (UniAD)》(以路徑規(guī)劃為導(dǎo)向的自動駕駛)榮獲2023年國際計算機(jī)視覺與模式識別會議(CVPR) 最佳論文，掀起了端到端自動駕駛的研發(fā)熱潮。 2024年4月25日，商湯絕影面向量產(chǎn)的真·端到端自動駕駛解決方案UniAD在北京車展上完成上車演示首秀，率先實(shí)現(xiàn)中國端到端自動駕駛從技術(shù)創(chuàng)新到車端部署的關(guān)鍵突破。 多模態(tài)場景大腦的獨(dú)特優(yōu)勢： 算力是AGI時代最重要的基礎(chǔ)設(shè)施和競爭的關(guān)鍵，商湯前瞻布局打造商湯大裝置，目前總算力規(guī)模高達(dá)12000 petaFLOPS，可為絕影多模態(tài)場景大腦的高效迭代提供強(qiáng)大算力支撐。 在模型能力上，4月23日，商湯科技發(fā)布全新升級的“日日新SenseNova 5.0”大模型。6000億參數(shù)的“日日新5.0”采用混合專家架構(gòu)(MOE)，具備更強(qiáng)的知識、數(shù)學(xué)、推理及代碼能力，成為國內(nèi)首個全面對標(biāo)甚至超越GPT-4 Turbo的大模型，多模態(tài)能力領(lǐng)先GPT-4V，尤其是在OpenCompass（多模態(tài)綜合榜單）位列第一。在多模態(tài)大模型的基礎(chǔ)能力上，商湯絕影在智能汽車行業(yè)保持領(lǐng)先。 商湯具備強(qiáng)大的端側(cè)模型能力，基于端云結(jié)合的架構(gòu)，商湯端側(cè)大模型大幅超越同量級大模型，越級比肩7B、13B大模型，更適合車端部署。多模態(tài)大模型的車端布局和應(yīng)用，商湯絕影也領(lǐng)先業(yè)界。 此外，以多模態(tài)場景大腦為核心，商湯絕影還能提供更多基于汽車場景的AI大模型座艙產(chǎn)品。以商湯“大醫(yī)”醫(yī)療健康大模型為橋梁的“旅醫(yī)”，讓用戶在座艙內(nèi)就可以獲得專業(yè)及個性化的健康管理服務(wù)，讓出行更安心。基于AIGC大模型技術(shù)的“神筆”，可以把用戶簡單的繪畫線條轉(zhuǎn)變成具有美感的藝術(shù)作品，增添駕乘樂趣。

應(yīng)用場景：

UniAD的應(yīng)用場景：2024年，城區(qū)NOA落地成為中國自動駕駛行業(yè)的主戰(zhàn)場。然而隨著智駕的落地場景從高速進(jìn)入城區(qū)，道路環(huán)境的復(fù)雜度急劇提高，基于規(guī)則的傳統(tǒng)智駕方案只能通過增加一行又一行的代碼來解決不斷出現(xiàn)的長尾問題(corner case)。但有限的規(guī)則難以完全覆蓋無限的駕駛場景和道路狀況， 另一方面，為了在智駕領(lǐng)域不落后于同行，車企們都在不斷增加智駕方案的開城數(shù)量為就需要鋪設(shè)更多的人力、書寫更多行代碼，投入大量資源，成本高昂。 基于規(guī)則的傳統(tǒng)智駕方案的天花板已經(jīng)出現(xiàn)，想要以更低的成本落地更多更復(fù)雜的場景，進(jìn)而實(shí)現(xiàn)全國都能開，必須依靠新一代自動駕駛技術(shù)方案——以商湯絕影UniAD為代表的端到端自動駕駛。 目前，搭載UniAD智駕方案的實(shí)車無需高精地圖、依靠純視覺感知已經(jīng)能夠自如應(yīng)對復(fù)雜的城區(qū)道路，甚至可以流暢、安全地行駛在無標(biāo)線的鄉(xiāng)村道路上。 多模態(tài)場景大腦的應(yīng)用場景： 基于地理位置推薦符合用戶喜好的餐廳、介紹用戶感興趣的外部自然景物，并進(jìn)行優(yōu)質(zhì)景點(diǎn)推薦是絕影AI大模型座艙產(chǎn)品的基礎(chǔ)功能。憑借強(qiáng)大的多模態(tài)感知能力，搭載商湯絕影方案的車輛能準(zhǔn)確感知車外信息，包括周圍車輛的車型、標(biāo)志性建筑物等，以語音、圖片或視頻等方式為艙內(nèi)人員提供更為準(zhǔn)確和全面的內(nèi)容，幫助用戶了解和掌握外部環(huán)境信息。 大模型上車的能力不止于此。根據(jù)對于用戶行程安排和實(shí)時交通數(shù)據(jù)的精準(zhǔn)分析，結(jié)合用戶的表情和語氣，商湯絕影“場景大腦”能夠及時發(fā)現(xiàn)駕駛員可能面臨的遲到風(fēng)險，并提供兩條可選路線與預(yù)計抵達(dá)時間，用戶可通過手勢或語音命令進(jìn)行確認(rèn)。同時，在得到確認(rèn)后，系統(tǒng)還可以根據(jù)用戶的表達(dá)習(xí)慣向相關(guān)會議參與者發(fā)送通知，告知相關(guān)情況，為用戶提供專業(yè)高效、溫暖貼心的智能出行體驗(yàn)。 “旅醫(yī)”這個健康管理的大模型產(chǎn)品，它是以“大醫(yī)”醫(yī)療健康大模型為橋梁，聯(lián)結(jié)健康檢測及醫(yī)療生態(tài)服務(wù)，首次在座艙內(nèi)對用戶進(jìn)行專業(yè)及個性化健康管理服務(wù)，實(shí)現(xiàn)健康咨詢、在線掛號、檢測、報告解讀、用藥咨詢、健康科普等一系列服務(wù)。 這個功能對于懷孕的用戶來說特別友好，當(dāng)感知車內(nèi)有孕婦時，“旅醫(yī)”會主動感知和詢問孕婦健康狀態(tài)，當(dāng)判斷需要產(chǎn)檢或者其他醫(yī)療援助時，會主動推薦相應(yīng)的醫(yī)療機(jī)構(gòu)，征得用戶同意后，協(xié)助完成掛號等一系列操作。 近期小米SU7的上市與交付備受關(guān)注，商湯“日日新”大模型體系全面助力小愛語音助手車載場景應(yīng)用，為用戶提供智能座艙的升維體驗(yàn)。

未來前景：

UniAD的未來場景：隨著端到端方案的推廣，自動駕駛技術(shù)的開發(fā)和落地將從現(xiàn)階段鋪設(shè)大量人力、增加代碼行數(shù)的傳統(tǒng)方式轉(zhuǎn)變?yōu)橐揽砍掷m(xù)算力投入和高質(zhì)量數(shù)據(jù)輸入的全新模式。 擁有更高能力上限、更快迭代效率、更低系統(tǒng)成本的感知決策一體大模型UniAD作為真·端到端技術(shù)方案，引領(lǐng)智駕技術(shù)路線的演進(jìn)。 在UniAD的基礎(chǔ)上，商湯絕影正在研發(fā)面向下一代自動駕駛技術(shù)——DriveAGI，它是基于多模態(tài)大模型對端到端智駕方案進(jìn)行改進(jìn)研發(fā)。 DriveAGI是自動駕駛大模型從數(shù)據(jù)驅(qū)動向認(rèn)知驅(qū)動進(jìn)化，超越司機(jī)的概念，更像人一樣理解整個世界，具備更強(qiáng)的推理能力、決策能力以及交互能力，是目前看來自動駕駛中最貼近人類思維模式、最能理解人類意圖并有最強(qiáng)解決駕駛困難場景能力的技術(shù)方案。 即便在0樣本的情況下，DriveAGI也可以針對不同道路環(huán)境或交通狀況并做出精準(zhǔn)決策，假如在路上遇到救護(hù)車，它可以自動避讓。或者在綠燈情況下，同時有交警在路口指揮交通，DriveAGI能夠理解交警的手勢并且將這類信息的優(yōu)先級提高到紅綠燈等道路信息之上。 通過打造DriveAGI，商湯絕影將實(shí)現(xiàn)由認(rèn)知驅(qū)動的自動駕駛，智駕方案的適用場景更寬、性能更高、門檻更低，向著完全無人駕駛邁出重要一步。 此外，DriveAGI基于多模態(tài)大模型打造，具有強(qiáng)大的交互能力，在體驗(yàn)上進(jìn)一步做到可感知、可交互、可信賴。例如，在自動駕駛的狀態(tài)下，導(dǎo)航信息顯示車輛需要在下一個路口調(diào)頭才能到達(dá)目的地，但主駕位上的用戶知道可以提前在一個缺口直接拐彎，用戶可以語音命令它“直接左拐”，系統(tǒng)會根據(jù)實(shí)時路況對命令進(jìn)行反饋操作。 商湯絕影正在打破智能座艙和智能駕駛兩者的界限，推動艙駕一體的架構(gòu)變革，加速智能汽車駛?cè)階GI全新未來。 多模態(tài)場景大腦的未來前景： 絕影已經(jīng)和一家國內(nèi)領(lǐng)先的新勢力車企深度合作，多模態(tài)大模型部署上車，將讓智能汽車全方位感知并理解車外路況、天氣等環(huán)境數(shù)據(jù)和艙內(nèi)所有駕乘人員的對話、表情及用戶畫像等各類信息，針對性地提供更多主動關(guān)懷、深度個性化的產(chǎn)品和服務(wù)。 面向通用人工智能的未來，商湯絕影還在進(jìn)一步探索艙駕融合，以實(shí)現(xiàn)智能駕駛和智能座艙在硬件、軟件及應(yīng)用層面的全面融合，提升用戶體驗(yàn)、降低系統(tǒng)成本，進(jìn)一步打破艙內(nèi)外的界限和束縛，涌現(xiàn)更多創(chuàng)新功能，讓智能汽車向著超級智能體進(jìn)化。

金輯獎介紹：

“金輯獎”由蓋世汽車發(fā)起，旨在“發(fā)現(xiàn)好公司，推廣好技術(shù)，成就汽車人”， 并圍繞著“中國汽車新供應(yīng)鏈百強(qiáng)”這個主題進(jìn)行展開，本屆金輯獎重點(diǎn)聚焦智能駕駛、智能座艙、智能底盤、汽車軟件、車規(guī)級芯片、大數(shù)據(jù)及人工智能、動力總成及充換電、熱管理、車身及內(nèi)外飾、新材料十大細(xì)分板塊，進(jìn)行優(yōu)秀企業(yè)及先進(jìn)技術(shù)解決方案的評選，向行業(yè)內(nèi)外展示這些優(yōu)秀的企業(yè)和行業(yè)領(lǐng)軍人物，共同推動行業(yè)的發(fā)展和進(jìn)步。

返回第一電動網(wǎng)首頁 >