Who、How and Why？

這三點(diǎn)，往往是一本偵探推理小說最大的樂趣。小說末尾，作者會(huì)問兇手到底是誰(shuí)，預(yù)測(cè)兇手，把整部作品的精彩推向最高潮。

這和智駕大模型的邏輯，是一樣的。推理兇手，需要對(duì)整本書有完整的理解，兇手判斷難度越大，故事越精彩，正如預(yù)測(cè)下一個(gè)Token，內(nèi)容越豐富，信息越多，難度越大，需要上千億參數(shù)的大規(guī)模模型去完成。

上周，《汽車公社》/《C次元》采訪了商湯科技聯(lián)合創(chuàng)始人、首席科學(xué)家、絕影智能汽車事業(yè)群總裁王曉剛先生，他以偵探小說作比喻，引出了商湯絕影目前正在攻克的智駕端到端大模型難題。

剛結(jié)束的WAIC 2024世界人工智能大會(huì)，商湯絕影攜多款最新智能駕駛和智能座艙產(chǎn)品亮相，這些產(chǎn)品均基于全新發(fā)布的商湯“日日新5.5”原生多模態(tài)大模型打造，同時(shí)，商湯絕影在業(yè)內(nèi)率先實(shí)現(xiàn)原生多模態(tài)大模型的車端部署。

王曉剛認(rèn)為，端到端大模型是智能駕駛領(lǐng)域的“ChatGPT時(shí)刻”，通用能力和涌現(xiàn)能力極強(qiáng)。真正的“端到端”大模型，實(shí)現(xiàn)難度很大，商湯絕影正走在難而正確的路上。

真正的“端到端”，究竟難在哪？

一是，演進(jìn)階段不同。

從感知端到端、兩段式端到端、模塊化端到端到單一神經(jīng)網(wǎng)絡(luò)模型的One Model端到端，難度遞增，不同的企業(yè)，選擇從不同的階段切入，雖然都號(hào)稱“端到端”，但做到單一端到端的玩家卻極少。

二是，算力部署不同。

車企陣營(yíng)，特斯拉DOJO智算中心可謂一騎絕塵，預(yù)計(jì)到2024年10 月，部署的總算力將達(dá)到10萬(wàn)PFLOPS，智駕供應(yīng)商陣營(yíng)，商湯算力優(yōu)勢(shì)明顯，預(yù)計(jì)年底能達(dá)到2萬(wàn)PFLOPS。

三是，工程化能力不同。

對(duì)于車載大模型，只有好的技術(shù)和理念，沒有扎實(shí)的工程化落地是不行的。和主機(jī)廠合作，驗(yàn)證工程化能力，也是大模型端到端綜合實(shí)力的核心要素。

能都做到真正的One Model？算力是否足夠？工程化能力和落地能力如何？這是“端到端”的三個(gè)難點(diǎn)，也是智駕供應(yīng)商們待破的“三重門”。如何推開每一扇門，不僅考驗(yàn)團(tuán)隊(duì)管理層的格局，也考驗(yàn)團(tuán)隊(duì)研發(fā)的前瞻性思考。

01難而正確的那條路

現(xiàn)階段，特斯拉在內(nèi)的汽車制造商都在探索端到端技術(shù)，以此作為智駕技術(shù)的制高點(diǎn)，但根據(jù)輸入到輸出的實(shí)現(xiàn)形式，方案和路徑選擇卻各有不同——

在不同的演進(jìn)階段，端到端從廣義到狹義，可以大致分為感知端到端、決策規(guī)劃模型化、模塊化端到端以及單一模型（One Model) 端到端，越往后，難度越大，能留在牌桌上的玩家也更少。

大部分企業(yè)目前在做的，是把自動(dòng)駕駛各模塊用神經(jīng)網(wǎng)絡(luò)替代，然后再把神經(jīng)網(wǎng)絡(luò)串聯(lián)起來，進(jìn)行聯(lián)合優(yōu)化。如兩段式端到端，感知用一個(gè)模型，控制決策規(guī)劃用一個(gè)模型，和整個(gè)能囊括輸入到輸出的單一大模型還有不少差距。

分段式端到端，有天然的短板。

一個(gè)，是信息損失。

王曉剛告訴《汽車公社》/《C次元》，分段式端到端的每一個(gè)模塊，都會(huì)出現(xiàn)大量的信息損失和過濾。“從感知傳到?jīng)Q策規(guī)劃，信息量已經(jīng)是變得非常少了，那么用于做決策規(guī)劃模型的體積，就比感知模型要小幾倍，甚至一個(gè)數(shù)量級(jí)?！?/span>

信息傳遞有過濾和丟失，明面上雖然降低了難度，但也拉低了能力的上限。真正的One Model端到端，難度是非常高的，當(dāng)然天花板也很高。

二是，訓(xùn)練方式差異。

嚴(yán)格意義上講，分段式并非真正的大模型，且訓(xùn)練方式也傳統(tǒng)，就算使用了龐大參數(shù)，也難以發(fā)揮其效用，和ChatGPT的訓(xùn)練方式有本質(zhì)區(qū)別。

“大模型的能力，不僅在于其規(guī)模，更在于訓(xùn)練方式和任務(wù)?！睂?shí)現(xiàn)這一點(diǎn)需要強(qiáng)大的基礎(chǔ)設(shè)施能力，如特斯拉擁有10萬(wàn)塊GPU，大部分主機(jī)廠GPU數(shù)量遠(yuǎn)不及此，存在2~3個(gè)數(shù)量級(jí)的差距?！?/span>

“這是被驗(yàn)證成功的唯一路徑?！?/span>

在王曉剛看來，真正的端到端大模型，是通向自動(dòng)駕駛ChatGPT的一個(gè)路徑，且是被驗(yàn)證成功的唯一路徑。

雖是唯一路徑，并不是每一家主機(jī)廠都能把路走通。一方面，訓(xùn)練大模型需長(zhǎng)時(shí)間積累，耗資巨大，如一次實(shí)驗(yàn)可能需幾千張GPU卡，投入上億，主機(jī)廠缺乏此方面的積累。

另一方面，即使主機(jī)廠未來嘗試訓(xùn)練大模型，也可能不劃算。商湯這樣的智駕供應(yīng)商，可以通過各行業(yè)分?jǐn)偞竽Ｐ统杀?，但主機(jī)廠訓(xùn)練的大模型只能自用。除非像特斯拉涉足多行業(yè)，否則，少有汽車主機(jī)廠能承擔(dān)如此高昂的費(fèi)用。

02算力，競(jìng)速大模型的關(guān)鍵

主流的分段式端到端，如果后續(xù)想轉(zhuǎn)成單網(wǎng)式，是有一定難度的。王曉剛認(rèn)為，僅從訓(xùn)練方式看，二者所需要的基礎(chǔ)設(shè)施完全不同。

“ChatGPT級(jí)任務(wù)，需大量數(shù)據(jù)準(zhǔn)備與清洗，主機(jī)廠和部分智駕供應(yīng)商，其現(xiàn)有的GPU總量遠(yuǎn)遠(yuǎn)不夠。”未來，考慮到持續(xù)的大規(guī)模投入，通用大模型的競(jìng)爭(zhēng)者將越來越少。

王曉剛透露，商湯2019年的算力規(guī)模為700 PFLOPS，今年年底原計(jì)劃18000 PFLOPS，但從現(xiàn)階段的實(shí)際部署看，最終可以達(dá)到20000 PFLOPS。

五年間，算力變化非?？臁?/span>

王曉剛告訴《汽車公社》/《C次元》，算力是被行業(yè)需求推動(dòng)的，2022年ChatGPT橫空出世，整個(gè)行業(yè)對(duì)尺度定律的認(rèn)知、對(duì)算力的需求都出現(xiàn)爆發(fā)性的增長(zhǎng)，且至今還沒看到增長(zhǎng)的盡頭。

“大腦約有860億個(gè)神經(jīng)元，每個(gè)神經(jīng)元有1000個(gè)突觸，累計(jì)相當(dāng)于百萬(wàn)億到千萬(wàn)億的參數(shù)量級(jí)。今天智駕大模型的參數(shù)，距離大腦鏈接還是差遠(yuǎn)了，尺度定律目前也還沒有飽和，我們還沒看到天花板，讓算力的快速增長(zhǎng)提供了可能?！?/span>

沒有算力儲(chǔ)備，談大模型就像空中樓閣，現(xiàn)階段，商湯人工智能超算中心目前有45000塊GPU，峰值算力12000 PFLOPS。

這樣的算力儲(chǔ)備，已遠(yuǎn)超國(guó)內(nèi)智駕供應(yīng)商，對(duì)于商湯來說，面對(duì)這樣的算力部署，還需考慮如何充分利用GPU效率——

并不是所有的GPU都必須滿負(fù)荷運(yùn)轉(zhuǎn)，商湯需要設(shè)計(jì)合適的調(diào)度方案，讓任務(wù)空閑中的GPU也能利用起來?！耙?yàn)槲覀兊幕鶖?shù)體量大，具備規(guī)?；瘍?yōu)勢(shì)，幾萬(wàn)塊GPU，哪怕是10%-20%的空閑利用率，算下來也是非?？捎^的。”

基于龐大的算力部署，商湯絕影能夠以云側(cè)、端云結(jié)合、端側(cè)等全棧方式靈活部署多模態(tài)大模型，讓商湯原生多模態(tài)能力快速落地智能汽車。

03算力中心=高投入

無論是智算中心，還是大模型，都是高投入的燒錢巨坑，且需長(zhǎng)期的積累。商湯從2018年啟動(dòng)大模型研發(fā)，從剛開始，就意識(shí)到軟硬件基礎(chǔ)設(shè)施建設(shè)的重要性，后面累計(jì)用了6年的時(shí)間，做到現(xiàn)在的算力規(guī)模，投入非常龐大。

這引申出另一個(gè)話題：大模型時(shí)代的供應(yīng)鏈范式。

何小鵬曾提過一個(gè)判斷，大模型時(shí)代難有Tier1，王曉剛也認(rèn)可這樣的觀點(diǎn)。他分析說，傳統(tǒng)的Tier1集成不同功能模塊，提供給主機(jī)廠，但大模型時(shí)代，自動(dòng)駕駛前端和座艙已沒有多模塊訴求了，都在講一體化，合作的模式，也將演變?yōu)橹鳈C(jī)廠、芯片廠商和AI廠商三者聯(lián)動(dòng)。

“特斯拉已經(jīng)擁有10萬(wàn)塊GPU，但目前很多車廠只有幾百塊、一千塊的規(guī)模，小規(guī)模集群不夠用，倒逼著不斷新集群，更加集中化，去提升效率?！?/span>

考慮到大模型本身是長(zhǎng)期投入的過程，車廠獨(dú)立構(gòu)建自己的智算中心，去做大模型基礎(chǔ)研發(fā)，是難以持續(xù)的。在王曉剛看來，更好的模式是尋找AI公司合作，避免重復(fù)性投入，大家做各自擅長(zhǎng)的事。

04工程化能力護(hù)城河

智能汽車向大模型的方向發(fā)展，是很有價(jià)值的事情，但也是一個(gè)長(zhǎng)跑的過程。這意味著，能不能伴隨主機(jī)廠共同成長(zhǎng)，持續(xù)在一條路上長(zhǎng)久投入和突破，更是關(guān)鍵。

在商湯絕影的價(jià)值觀里，扎實(shí)的工程化落地能力，并不亞于大模型研發(fā)的重要性。做智駕和座艙大模型，光有好的技術(shù)和好的理念，沒有扎實(shí)的工程化落地是不行的。

商湯絕影脫胎于AI文化，過去幾年深耕汽車行業(yè)，通過與主機(jī)廠的合作，工程化能力進(jìn)步很快，這也構(gòu)成了獨(dú)一無二的護(hù)城河。

一方面，是人才。

王曉剛表示，通過與汽車制造商合作，商湯絕影補(bǔ)入一批汽車行業(yè)的專業(yè)人才，與原有的AI人才融合，補(bǔ)齊工程化能力。

另一方面，是趨勢(shì)。

在商湯絕影看來，未來的車載大模型，車端的工程化會(huì)逐漸減弱，而后臺(tái)的基礎(chǔ)設(shè)施則會(huì)變得更重要。

“工程化能力，涵蓋了數(shù)據(jù)的選擇、清洗以及系統(tǒng)的穩(wěn)定性等多個(gè)方面，這恰恰是不少車廠和供應(yīng)商目前的短板所在。在大模型時(shí)代，我們面臨各方面的新挑戰(zhàn)，任何宣稱自己具備工程化能力的企業(yè)，都需要踏實(shí)下來，明確具體是哪一方面的工程化能力?！?/span>

可以肯定的是，人才越來越重要。

王曉剛告訴我們，現(xiàn)階段，推動(dòng)大模型“上車”的參與方，主要是車廠、高校和科技公司，企業(yè)承擔(dān)了大部分大模型科技成果轉(zhuǎn)化工作。商湯絕影和商湯研究院聯(lián)動(dòng)，背后也關(guān)系到基礎(chǔ)設(shè)施建設(shè)，但訓(xùn)練大模型的專業(yè)化人才，其實(shí)幾十個(gè)人就夠。

人才也需要自我迭代。

前段時(shí)間，蔚來智駕研發(fā)部完成架構(gòu)調(diào)整，此前分為感知、規(guī)控和集成等部分，調(diào)整后，感知和規(guī)控團(tuán)隊(duì)合并為大模型團(tuán)隊(duì)，集成團(tuán)隊(duì)重組為交付團(tuán)隊(duì)。

這意味著，越來越多的車企，將放棄業(yè)界沿用多年的“感知-決策-規(guī)控”技術(shù)路線，更明確地探索端到端大模型實(shí)現(xiàn)高階智能駕駛。

“新時(shí)代到來，大家都要做好準(zhǔn)。”

王曉剛坦言，他自己是人工智能1.0時(shí)代的人，最初的業(yè)務(wù)模式，有智慧城市，也有手機(jī)等終端。

“當(dāng)公司面臨大模型轉(zhuǎn)型，做研發(fā)、基礎(chǔ)設(shè)施和數(shù)據(jù)準(zhǔn)備，1.0時(shí)代的部門迅速收縮。即使到了2.0時(shí)代，市場(chǎng)上有很多精通大模型訓(xùn)練的人才，但本質(zhì)上，這些精英都是靠不斷擁抱變化、不斷自我學(xué)習(xí)進(jìn)步的，并不是天生就懂大模型?！?/span>

現(xiàn)階段，商湯絕影大部分人力都鋪在大模型業(yè)務(wù)，但規(guī)則算法作為智駕的保底，也是需要的，團(tuán)隊(duì)不能完全拋棄現(xiàn)有團(tuán)隊(duì)。一支強(qiáng)大的混合型團(tuán)隊(duì)，才是考驗(yàn)端到端上車的關(guān)鍵。

而沖破三重障礙的商湯絕影，已經(jīng)為下一輪的角逐做好準(zhǔn)備。

返回第一電動(dòng)網(wǎng)首頁(yè) >