2020年12月3日，由中國(guó)汽車工程研究院主辦的第五屆i-VISTA智能網(wǎng)聯(lián)汽車國(guó)際研討會(huì)隆重召開， 在中國(guó)智能網(wǎng)聯(lián)汽車產(chǎn)業(yè)創(chuàng)新聯(lián)盟CAICV-SOTIF工作組會(huì)議環(huán)節(jié)，清華大學(xué)車輛與運(yùn)載學(xué)院副研究員、智能出行所副所長(zhǎng)王紅發(fā)表了“預(yù)期功能安全量化評(píng)價(jià)指標(biāo)初探”的主旨演講。

清華大學(xué)車輛與運(yùn)載學(xué)院副研究員、智能出行所副所長(zhǎng)王紅

以下為演講實(shí)錄：　

非常感謝陳老師前面對(duì)預(yù)期功能安全量化評(píng)價(jià)指標(biāo)的這樣一個(gè)詳細(xì)的報(bào)告，研究得非常的深入，然后我的報(bào)告從更宏觀的層面來給大家介紹一下我對(duì)預(yù)期功能安全量化評(píng)價(jià)指標(biāo)的一個(gè)初步的想法，大家充分領(lǐng)域，然后后面我們看看具體是不是具有可實(shí)際的操作性。那么這個(gè)目錄看上去很多內(nèi)容，但實(shí)際上的話內(nèi)容不是特別的多，總共是23頁，第一個(gè)是預(yù)期功能安全問題及其關(guān)鍵的難點(diǎn)，那么這里就是預(yù)期功能安全定義的一個(gè)回?cái)?shù)，預(yù)期功能安全主要關(guān)注的是功能不足，性能局限或者可合理預(yù)見的人員互用所引起的危害。

為什么加入這些內(nèi)容？因?yàn)槲野l(fā)現(xiàn)今天在座的各位并不是所有的專家都對(duì)預(yù)期中完全有比較詳細(xì)的了解，所以特意把這部分內(nèi)容拿出來跟大家回顧一下。

那么這里道路環(huán)境包括隨機(jī)的場(chǎng)景變換，非常規(guī)的交通參與度和交通的環(huán)境干擾。

另外自動(dòng)駕駛系統(tǒng)的局限性，包括系統(tǒng)的功能局限，AR算法的局限的，另外駕駛員乘客的可合理運(yùn)行的雇傭，包括事件的偏移，駕駛的疲勞以及人員的雇傭。那么這里是剛才陳老師也提到了一個(gè)典型的案例，大家都喜歡把它拿出來說事，開發(fā)這個(gè)車，把玉溪木板前面的白色卡車車廂識(shí)別為是一種白云，導(dǎo)致了這樣一個(gè)一起事故，這就是預(yù)期功能安全一個(gè)典型的案例。

那么根據(jù)阿薩爾21448里面，我們可以看到預(yù)期功能安全最難攻克的部分其實(shí)就是阿諾阿c的位置的安全區(qū)域，這個(gè)產(chǎn)品部分。

另外我們?cè)谘芯康倪^程當(dāng)中，把預(yù)期功能安全分為了感知層、決策層和控制層三個(gè)層面，對(duì)預(yù)期工作安全進(jìn)行研究、感知、決策控制它的劃分，也對(duì)于后面我們提出預(yù)期功能安全的評(píng)價(jià)體系作為一個(gè)引述。那么當(dāng)前預(yù)期工作安全的難題包括感知的不充分，這里主要是從感知層面，包括漏檢和錯(cuò)檢，另外就是度量的不準(zhǔn)確性，這里主要是由場(chǎng)景的隨機(jī)變換和人人工智能算法的這種不確定性，造成我們預(yù)期功能安全度量的不準(zhǔn)確。

那么第三個(gè)就是驗(yàn)證不全面，測(cè)試?yán)锍涕L(zhǎng)驗(yàn)證不全面的。那么下面就是我來跟大家探討的重點(diǎn)是預(yù)期功能安全量化評(píng)價(jià)體系的一個(gè)整體的思路。下面跟大家說一下我們這樣總結(jié)出來思路的一個(gè)心路歷程。因?yàn)楣舶踩l(fā)展到后來發(fā)現(xiàn)很多問題，隨著預(yù)期功能，隨著通過智能算法的應(yīng)用，它是覆蓋不了所有關(guān)于預(yù)自動(dòng)駕駛方面的所有的安全問題，所以才有了預(yù)期功能安全問題，也就是阿q21448的產(chǎn)生。

但是在現(xiàn)有的資料里面，就像我在前面介紹的過程當(dāng)中，說的預(yù)期工作安全的評(píng)價(jià)體系，目前來看都是來自于硬件系統(tǒng)的功能安全評(píng)價(jià)體系，比如horror stpasmea目前上午公認(rèn)的預(yù)期功能安全分析與評(píng)價(jià)方法。

在我做預(yù)期功能安全研究之初，也就是去年的7月份，在我剛研究的時(shí)候，我也跟張玉清老師交流過，我當(dāng)時(shí)特別抵觸功能安全的SS的評(píng)價(jià)方法，因?yàn)槲艺J(rèn)為那是對(duì)于功能安全功能失效造成的這樣一個(gè)分析方法，而且它里面涉及的EMC都是零散的，我覺得并不適應(yīng)我們預(yù)期功能安全的評(píng)價(jià)，但是在我后來了解的深入之后，我發(fā)現(xiàn)我們不能完全摒棄功能安全的評(píng)價(jià)的思路，只不過我們要在這個(gè)基礎(chǔ)上進(jìn)行放話，更適用于預(yù)期功能安全的一個(gè)評(píng)價(jià)思路。

那么在預(yù)期功能安全量化評(píng)價(jià)體系在了解的過程當(dāng)中，我們會(huì)發(fā)現(xiàn)，因?yàn)樗前殡S著人工智能的算法不確定性，我們這里面又調(diào)研了關(guān)于人工智能算法借鑒計(jì)算機(jī)系他們對(duì)于人工智能算法的不確定性的評(píng)價(jià)，因?yàn)椴淮_定性目前來造成的就是我們預(yù)期功能安全的問題。

那么這里我們必須得跨學(xué)科跨領(lǐng)域交流，才能攻克我們預(yù)期功能安全。所以在感知方面和決策方面甚至預(yù)測(cè)方面，我們對(duì)預(yù)期功能安全的不確定性的評(píng)價(jià)方法進(jìn)行了一個(gè)比較深入的調(diào)研。

例如在環(huán)境轉(zhuǎn)移算法和不確定性評(píng)價(jià)這里，我們主要是發(fā)現(xiàn)了牛津大學(xué)一個(gè)叫延安蓋奧的非常年輕的教授，他們提出用近似于b Bs推動(dòng)的一個(gè)語義分割方法，利用它里面的MC job out，就是利用這種方法或者是公司training這兩種比較典型的方法，提出了預(yù)測(cè)商和互信息，這個(gè)思路就比較貼合我們前期的就是商的概念，所以我沒有追蹤的他們就是1011這個(gè)團(tuán)隊(duì)的所有的研究，他們最初是研究人工智能算法的不確定性的，那么后來才有機(jī)會(huì)把這些不確定性方法做到我們的車輛領(lǐng)域。

這也就回答了剛才重慶大學(xué)王科老師的一個(gè)問題，就是預(yù)期工作安全它涉及的算法不確定性該如何進(jìn)行評(píng)價(jià)，我認(rèn)為這是一個(gè)非常值得有借鑒意義和學(xué)習(xí)的參考的資料。

另外在決策算法不確定性分析上，我們發(fā)現(xiàn)MIT和cmd他們都做了大量的工作，就是決策上所決策算法的前端就是預(yù)測(cè)算法，那么我們對(duì)預(yù)測(cè)算法對(duì)周圍環(huán)境，由人和車輛他們的軌跡進(jìn)行預(yù)測(cè)，如果他的預(yù)測(cè)不夠準(zhǔn)確的話，那么直接會(huì)影響到我們決策的安全。

那么這里主要是前期的研究，主要是針對(duì)于預(yù)測(cè)算法，對(duì)周圍環(huán)境周圍車輛和周圍閑人他們預(yù)測(cè)的不確定性，如何引入到我們的決策模塊里面，使得我們的決策具有預(yù)測(cè)的，這種不確定性敏感度的這樣一個(gè)決策方法，那么這里面他們提出來，如果我對(duì)于周圍的環(huán)境預(yù)測(cè)的不確定性高的情況下，應(yīng)該采取一些降級(jí)或者是應(yīng)急的處置方法，那么這里我認(rèn)為也是對(duì)于預(yù)期功能安全的研究也是具有借鑒意義，所以綜合前面大概是根據(jù)借鑒功能什么內(nèi)容和計(jì)計(jì)算機(jī)領(lǐng)域?qū)︻A(yù)期工作安全所有可能借鑒意義，對(duì)得出來了這樣一個(gè)預(yù)期功能安全量化評(píng)價(jià)體系的一個(gè)整體的思路。

那么整體的思路可以就是說拿出來跟大家討論一下，其實(shí)現(xiàn)在也是我的團(tuán)隊(duì)正在做的事情。

我們認(rèn)為預(yù)期功能安全評(píng)價(jià)體系包括三個(gè)層面，第一個(gè)層面是系統(tǒng)層面，我們不管內(nèi)部是什么樣的構(gòu)成，它的算法是具有不確定性還是怎么樣，但是我們把它作為一個(gè)黑盒，我們來看它的表現(xiàn)在我們現(xiàn)有的場(chǎng)景這種測(cè)試場(chǎng)景的輸入，包括功能場(chǎng)景邏輯場(chǎng)景和具體場(chǎng)景，另外就是建設(shè)我們預(yù)期功能安全的產(chǎn)品庫，輸入在這些場(chǎng)景的基礎(chǔ)上，我們進(jìn)行整體性能的一個(gè)評(píng)價(jià)，也就是結(jié)合系統(tǒng)級(jí)的評(píng)價(jià)，系統(tǒng)級(jí)的評(píng)價(jià)，我們現(xiàn)在就認(rèn)為它必須得包括三個(gè)層面，也就是暴露度，還有嚴(yán)重度還有可控性，那么 exposure高度是必須要結(jié)合產(chǎn)品的分類評(píng)估的，估計(jì)賊的前他肯定不是離散的，不是說1234這么簡(jiǎn)單，而是通過我們可以實(shí)時(shí)的做出這樣一個(gè)風(fēng)險(xiǎn)評(píng)估。

這里我們起了一個(gè)名字叫potential security combat index，也就是我們潛在的碰撞風(fēng)險(xiǎn)系數(shù)，potential security， price，index，我們可以實(shí)時(shí)的判斷它的風(fēng)險(xiǎn)，那么很特別的可控性，我們是依據(jù)碰撞的一個(gè)評(píng)估，根據(jù)它的可能發(fā)生沖突的概率來定義我們可控性，所以在系統(tǒng)級(jí)的評(píng)價(jià)這一層，我們可以發(fā)現(xiàn)現(xiàn)在的存儲(chǔ)是結(jié)合esc但是s和c都是跟傳統(tǒng)的的功能安全是不一樣的，進(jìn)行了一個(gè)泛化。

然后這是第一層是系統(tǒng)層，那么第二層是構(gòu)建層，這個(gè)部件就是把內(nèi)部的系統(tǒng)打開成是一個(gè)百合，包括感知模塊、預(yù)測(cè)模塊、決策模塊和執(zhí)行模塊。

那么這里面感知模塊它的一個(gè)輸出，也就是在我們來講就是結(jié)構(gòu)導(dǎo)向它的輸出，包括風(fēng)險(xiǎn)率特點(diǎn)率，還有定位的誤差等等，當(dāng)然我們把定位涵蓋在這模塊里面，那么這里面就可以說它的根據(jù)它的結(jié)構(gòu)性的導(dǎo)向，包括你對(duì)弱弱堿域抽檢率和定位的精度等等，來評(píng)估你這一個(gè)模塊它的表現(xiàn)怎么樣。

另外同樣的是決策預(yù)測(cè)模塊、決策模塊、執(zhí)行模塊等等，都是根據(jù)他們預(yù)測(cè)的結(jié)果來進(jìn)行的一個(gè)評(píng)估，就是結(jié)果導(dǎo)向。

那么第三層要深入到算法本身，研究它的不確定性，這個(gè)也就是更適合我們公司的產(chǎn)品開發(fā)以及高效的這樣理論的研究。比如說感知模塊，它里面數(shù)據(jù)的確定性，算法的不確定性，這里面包括我們對(duì)于它是較為認(rèn)知和偶然不確定性，那么這里面就通過這些不確定性，我們可以得出部件級(jí)感知的一個(gè)評(píng)價(jià)指標(biāo)。

那么這也是一個(gè)例子，這個(gè)是三我們認(rèn)為是第三層的一個(gè)評(píng)價(jià)，就是決策層和預(yù)測(cè)層其實(shí)也是這樣，預(yù)測(cè)層是我們可以研究預(yù)測(cè)模型的不確定性，預(yù)測(cè)模型預(yù)測(cè)你是有精度的，它形成的軌跡預(yù)測(cè)出來的，它是有一個(gè)不確定性的。

另外還有決策模塊，決策模塊目前我們團(tuán)隊(duì)在研究的是決策模型的科技屬性的研究，我們希望通過可解釋性的研究來提出決策模塊的一個(gè)評(píng)價(jià)指標(biāo)，同樣還有執(zhí)行模塊，所以這一幅圖闡述了我們對(duì)預(yù)期功能安全量化評(píng)價(jià)體系的一個(gè)整體的思路，包括系統(tǒng)級(jí)的評(píng)價(jià)，esc部件級(jí)的評(píng)價(jià)，部件級(jí)的評(píng)價(jià)，包括結(jié)構(gòu)導(dǎo)向的，也就是根據(jù)它輸出的結(jié)果來判斷，另外一部分是深入到算法本身，去研究它內(nèi)部的不確定性，來進(jìn)行一個(gè)評(píng)價(jià)指標(biāo)的提出，整個(gè)這是三個(gè)層面。

那么這里面剛才我所說的系統(tǒng)級(jí)的評(píng)價(jià)指標(biāo)，就是這里的一根據(jù)我們的場(chǎng)景出現(xiàn)的頻度統(tǒng)計(jì)，既那么斯維爾寫這里面提出的是潛在碰撞風(fēng)險(xiǎn)系數(shù)和潛在的一個(gè)financial field市場(chǎng)，另外可說value就是介紹我們可控性碰撞概率的預(yù)算，那么這里面通過通過我們整個(gè)EMC的計(jì)算來得出系統(tǒng)級(jí)的預(yù)期功能安全評(píng)價(jià)評(píng)價(jià)體系。

那么三第三塊是感知層的預(yù)期功能安全評(píng)價(jià)體系，那么這里面是感知也是分了兩塊，一個(gè)是結(jié)果導(dǎo)向的，就是根據(jù)我數(shù)字的結(jié)果，包括我們的感知精度、漏檢率、錯(cuò)檢率等等這些來評(píng)價(jià)我們感知的結(jié)果是什么樣的一個(gè)評(píng)價(jià)指標(biāo)，而這里也得到了一個(gè)佐證，就是前兩天跟特訓(xùn)李繼明女博士溝通的時(shí)候，某激光雷達(dá)廠家對(duì)他們算法性能的衰退也是同樣用到這樣的一個(gè)方法，對(duì)于不同的檢測(cè)距離，他們對(duì)未知因素的一個(gè)判斷。

也就是說我們對(duì)于某某個(gè)模塊的評(píng)價(jià)，不一定就是說非常復(fù)雜的算法，而是說用比較實(shí)用的，用比較大家容易理解容易接受的方法來對(duì)它進(jìn)行評(píng)價(jià)。

另外就是內(nèi)因?qū)虻脑u(píng)價(jià)方法，內(nèi)因就是評(píng)價(jià)我們算法的不確定性，而這里是我們對(duì)采用我們的卡羅州號(hào)的一個(gè)不確定性如何進(jìn)行一個(gè)評(píng)價(jià)。

那么預(yù)測(cè)層的預(yù)期功能安全評(píng)價(jià)體系其實(shí)是根據(jù)預(yù)測(cè)的不確定性，把它其實(shí)也是用了MC周刊，我們基于貝葉斯推斷的一個(gè)模型的不確定性分析的評(píng)估方法，然后來得出我們預(yù)測(cè)模塊整個(gè)不確定性分析的一個(gè)評(píng)價(jià)指標(biāo)，當(dāng)然評(píng)價(jià)的指標(biāo)可能會(huì)比較適用于高校做理論研究，那么也不排除應(yīng)用在我們行業(yè)做預(yù)期的安全這樣一個(gè)評(píng)價(jià)體系，對(duì)于預(yù)測(cè)層這塊。

那么決策層這塊其實(shí)主要是研究決策的可解釋性和不確定性的一些評(píng)價(jià)指標(biāo)，這里我們希望能夠得到?jīng)Q策層的可解釋性，還有它的不確定性的一些評(píng)價(jià)指標(biāo)，這部分研究?jī)?nèi)容還是在進(jìn)程當(dāng)中才，所以具體的結(jié)果可能得到明年才能跟大家進(jìn)行一個(gè)探討，所以這里就是我介紹了一個(gè)評(píng)價(jià)體系的初步的思路，供大家參考，也歡迎大家就提出更多的寶貴意見。

注：本文根據(jù)現(xiàn)場(chǎng)速記整理，未經(jīng)演講嘉賓審閱，僅作為參考資料，請(qǐng)勿轉(zhuǎn)載！

返回第一電動(dòng)網(wǎng)首頁 >