2023 年，城市 NOA 迎來爆發(fā)元年。圍繞城市 NOA 的討論，成為了今年自動駕駛領域最受關注的話題之一。

當眾多車企全力推進城市 NOA 的量產(chǎn)落地，重感知、去高精度地圖已成為業(yè)內公認的趨勢。但在實際的車輛運行中，面向復雜多變的路交通環(huán)境，在車端部署城市 NOA 需要精準高效的感知融合算法，以滿足車規(guī)級計算平臺的適配，有效解決復雜路況中的各種長尾問題。

(資料圖片僅供參考)

這意味著，自動駕駛的感知模塊將要迎接更高的挑戰(zhàn)，而其中的一個難點在于如何評估「感知結果」與「自動駕駛系統(tǒng)決策規(guī)劃結果」之間的關系。

眾所周知，自動駕駛感知模塊的高效評測是自動駕駛技術研發(fā)過程中一個非常重要的部分，它直接影響整個智能系統(tǒng)的安全性和可靠性。此前業(yè)界的大多數(shù)方法僅針對感知模塊進行評測，但忽略了感知模塊對自動駕駛決策規(guī)劃行為的整體影響，目前僅有 Waymo、NVIDIA 和多倫多大學對該問題進行了有效探索。

輕舟智航是一家行業(yè)領先的自動駕駛通用解決方案公司，2019 年 3 月于硅谷成立，并于同年 11 月落地中國創(chuàng)立總部，迄今已積累了全棧自研的核心技術體系。輕舟智航在去年完成轉型，聚焦以中高階輔助駕駛解決方案服務車企。

在最近的一篇 ICML 2023 論文中，輕舟智航創(chuàng)新地提出了一套考慮全局影響的感知模塊高效評測和理論分析框架，極大地推動了自動駕駛領域這一基礎性問題的突破。這種從規(guī)劃器視角出發(fā)的框架提供了一種新的方法來評估感知模塊對整個自動駕駛系統(tǒng)的影響，從而改進設計和優(yōu)化感知模塊，幫助提高自動駕駛系統(tǒng)的性能和安全性。

論文鏈接：/pdf/

ICML（International Conference on Machine Learning，國際機器學習大會），與 NeurIPS 和 ICLR 一起，被公認為機器學習和人工智能研究中具有高度影響力的三大主要會議之一。目前，ICML 為 CCF（中國計算機學會）推薦的 A 類會議，同時也是 Core Conference Ranking 的 A* 類會議，被視為推動機器學習發(fā)展的重要會議。

研究背景

自動駕駛領域在工業(yè)界和學術界在近期均得到了迅速發(fā)展。車載感知模塊是自動駕駛汽車獲取動態(tài)環(huán)境信息的重要來源。傳統(tǒng)的計算機視覺感知任務（如檢測、分割、跟蹤等）雖然可以直接套用來評價感知模塊的性能，但是這些評價方法忽略了感知模塊在自動駕駛系統(tǒng)中對系統(tǒng)整體的影響。

事實上，感知模塊結果中相似的錯誤對決策規(guī)劃控制的影響可能大相徑庭：例如同樣是靜態(tài)障礙物的漏檢，這種錯誤發(fā)生在正在向前行駛的自動駕駛車輛前方時相對于發(fā)生在后方要嚴重得多。因此整個領域都非常需要一個高效和有效的工具來評價感知模塊性能對整個自動駕駛任務的影響。

之前試圖解決這個問題的工作大多從自動駕駛的軌跡輸出來試圖衡量感知誤差對自動駕駛系統(tǒng)的影響。一個常見的方法就是通過計算自動駕駛車輛的決策規(guī)劃在真值和實際感知輸入作用下得到的結果的區(qū)別來判斷影響大小。但是自動駕駛車輛最終行為的改變與最終結果之間的相關性在不少情況下都比較弱，在某些場景下甚至呈負相關，如下圖所示：

圖中紅色箭頭表示自動駕駛車輛決策規(guī)劃在感知真值輸入下得到的最優(yōu)動作軌跡，灰色箭頭表示在錯誤感知下的最優(yōu)動作軌跡。彩色和灰度的路障分別表示障礙物的真實位置和錯誤感知位置。在（a）情況下，自動駕駛汽車必須繞行較大的彎路，以繞過錯誤感知的路障。而對于（b）， 自動駕駛車輛雖然需要稍微向右做微小繞道，然而它最終在實際世界里撞上了路障。在這種情況下，盡管行為的改變遠遠小于（a），但結果卻明顯更糟（“撞到一個物體” vs “繞了遠路”）。

在（c）中，不論是向左還是向右繞道，任何一種方式的結果對 “向前移動” 這一目的來說都沒有太大區(qū)別；但就時空軌跡而言，行為的變化非常大。在（d）場景里，道路兩側各有一個被誤檢的路障，但并不會與前進通過的車輛發(fā)生碰撞（雖然車輛經(jīng)過時路障距離車輛很近）；在這個有誤檢的情況下自動駕駛車輛仍然決定保持與真實情況相同的運動繼續(xù)勻速前進：在感知誤差存在的情況下，自動駕駛汽車的最終行為沒有改變，但經(jīng)過兩個近距離物體的成本實際上已經(jīng)改變了決策規(guī)劃過程，而這些額外的隱藏成本將無法通過僅關注自動駕駛車輛結果行為變化的感知評價指標體現(xiàn)。因此，由于感知錯誤導致的車輛行為變化并不總是與錯誤導致的實際后果相關。

之前有限的幾個從自動駕駛系統(tǒng)角度評價感知模塊性能的工作大多采用類似這樣的啟發(fā)式方法。這些方法會將一些人工總結的先驗知識整合到評價系統(tǒng)中，如（Philion et al.，2020）假設感知誤差的造成的后果與其導致的規(guī)劃器輸出的時空軌跡變化直接相關，并提出用 KL 散度作為評價指標來衡量后果；但由于沒有考慮實際的環(huán)境背景，因此并不能準確反映真實交通環(huán)境里輸入噪聲導致的實際代價。

本文希望強調的是通過規(guī)劃過程來理解感知誤差對自動駕駛系統(tǒng)影響的必要性：只有從決策規(guī)劃的角度，通過理解感知輸入噪聲對自動駕駛系統(tǒng)造成的實際后果才能有效評估感知誤差帶來的影響。這種完全通過實際觀察者（規(guī)劃器）的視角來評估待考察事物（感知誤差）屬性的方法，與經(jīng)典哲學理論里的先驗唯心主義論(Kant, 1781)一致，因此該方法被命名為規(guī)劃器先驗唯心論（Transcendental Idealism of Planner / TIP）。

目前對自動駕駛決策規(guī)劃過程的研究工作大致可以分為兩類，其一是基于效用的方法，其二是非基于效用的方法。前者通過對自動駕駛要實現(xiàn)的具體目標（向目的地接近，遵守交通規(guī)則，平滑的車輛運動等）編碼來構建一個描述行為與收益的目標函數(shù)，并通過求最優(yōu)化解作為最終的決策規(guī)劃結果；后者則利用海量數(shù)據(jù)和深度學習的擬合能力，直接將原始或者被預處理過的傳感器數(shù)據(jù)直接映射為自動駕駛車輛的控制信號。本文重點在探索感知噪聲對決策規(guī)劃的影響，因此主要關注基于效用的規(guī)劃研究。

理論分析

基本概念

這篇工作首先給出了經(jīng)典的期望效用最大化（Expected Utility Maximization / EUM）框架（Osborne and Rubinstein, 1994）在 Hilbert 空間里的解釋。EUM表示在任意時刻 t，智能體通過最大化效用函數(shù)的期望獲得最佳動作 。

其中 表示 t 時刻智能體所有待考察的可行動作選項集合。 表示 t 時刻環(huán)境狀態(tài)隨機變量（ 為環(huán)境狀態(tài)的集合），效用函數(shù) 負責編碼自動駕駛汽車應該實現(xiàn)的目標或獎勵（例如及時到達目的地，盡量減少與其他物體碰撞的可能性，避免運動的急劇變化等等）。期望效用表達為：

是隨機變量 的分布函數(shù)，用于描述環(huán)境的不確定性（可視為感知模塊對規(guī)劃器的輸入）。

給定了 與 的雙射關系，我們就可以在 Hilbert 空間里利用許多代數(shù)工具（如內積、正交、投影、子空間、零空間等）來分析感知結果噪聲對自動駕駛規(guī)劃的影響。

感知錯誤分析

假設 中每一個候選行為都有一個不同的效用函數(shù)，即對任意不同的 ，有

令 為 EUM 里在正確感知輸入下的最優(yōu)行為，則對任意 ，定義了行為方向，規(guī)劃半空間為：

在這個定義下，當且僅當 ，即 時，真正的最優(yōu)行為 會被認為優(yōu)于 ，其中：

其中

是投影到與 同方向的單位向量 （稱為行為方向）上之后的分量； 是 投影到 的正交補空間上的分量?？梢钥吹狡梅謹?shù)改變

完全由 決定，因此研究者定義 為規(guī)劃關鍵誤差（planning-critical Error / PCE）， 為規(guī)劃不變誤差（planning-invariant Error / PIE）。以上討論的示意圖如下所示：

如左圖所示， 定義了行為方向， 和 表示環(huán)境真值與噪聲感知的嵌入； 表示感知誤差，可以將其分解為規(guī)劃關鍵誤差（PCE） 和規(guī)劃不變誤差（PIE） ；陰影區(qū)域對應 。

通過以上推導，可以得到如下結論：

并非環(huán)境狀態(tài)估計或感知中的所有錯誤對自動駕駛車輛規(guī)劃都有同等的影響。實際上，只有 PCE 會對 EUM 結果有影響，PIE 完全不會造成任何影響；

這兩個結論都是通過本文提出的理論框架下的分析得到的自然推論結果。

以上分析只是考慮了一個候選選項 ，當需要考慮整個候選選項集合 時，直接取所有偏好分數(shù)改變的最小值（即最大的負面影響）作為感知輸入的噪聲對決策規(guī)劃影響的影響

實際計算時，一個偏好分數(shù)改變

可以分解為四個期望效用來計算。每一個期望效用可以利用隨機采集的獨立同分布樣本通過無偏估計器

進行數(shù)值估計?？梢宰C明，這樣的估計方法可以由一致收斂界限（uniform convergence bound）保證指數(shù)級別的數(shù)值收斂速度。這是一個值得注意的結果，因為指數(shù)收斂速度只要求效用函數(shù)是有界的，至于效用函數(shù)的具體形式（保證了可使用任意函數(shù)形式的靈活性）和其中變量的維度完全沒有任何限制（因此維度爆炸不會出現(xiàn)）。整個過程的偽代碼如下：

實驗驗證

實驗中使用的所有自動駕駛汽車都是基于同一類型的普通乘用車。這些車載自動駕駛系統(tǒng)中的基于效用的模塊化規(guī)劃器已在多個百萬人口級別的城市進行了嚴格的道路測試和廣泛的驗證。實驗中研究者選取了三個基準方法作為參照對象：

（1）在傳統(tǒng)端，nuScenes 數(shù)據(jù)集評分（NDS）（Caesar et al., 2020）將 3D 物體檢測的幾個傳統(tǒng)評分結果結合到一個單一的性能分數(shù)中；

（2）SDE 距離加權平均精度（SDE-APD）（Deng et al., 2021）以自動駕駛車輛為空間中心視角的方式更多地關注自動駕駛車輛附近的感知誤差（支撐距離誤差）；

（3）PKL（Philion et al., 2020）則作為自動駕駛車輛基于行為變化指標的代表。

人工合成數(shù)據(jù)測試

第一組實驗的目標是獲得各種評測方法對常見感知噪聲類型在噪聲可控條件下的反應的一些理解。數(shù)據(jù)集是從真實世界中收集和精心選擇的復雜道路測試場景生成。共有 1000 個 5s 長的交通場景，每個場景交通參與者數(shù)量在 30-500 之間，含有由專業(yè)人員標注的感知真值。

實驗中考慮了如下常見類型噪聲：

誤檢（假陽性）錯誤是在以自動駕駛車輛為中心的一個 70x30 米的矩形范圍里隨機加入 “幽靈” 車輛，而這些車輛的其他運動信息從自動駕駛汽車的運動信息通過隨機擾動添加。

漏檢（假陰性）錯誤是通過以一定的概率（即漏檢率）隨機從真值結果中移除物體來實現(xiàn)。

其他類型的感知噪聲（速度，位置，朝向，大小等誤差）則通過直接向原始真值里添加高斯隨機噪聲實現(xiàn)。

在上述的不同強度噪聲下各個評估指標的結果如下圖所示：

橫軸為噪聲強度，左縱軸為 NDS 和 SDE-APD，右縱軸為 PKL 和 TIP。在一些情況下，一旦噪聲達到一定水平， NDS 就會飽和（比如在速度噪聲上）。同理，包含大量人工設計的 SDE-APD 也在不同的噪聲強度下表現(xiàn)出了大量的非線性（比如速度噪聲上）。而 TIP 和 PKL 沒有依賴人工設計，表現(xiàn)出的靈敏度在各種噪聲強度區(qū)間里相對都比較一致。

研究者也單獨考察了一個如下圖所示的一個具體場景。

在這個場景里，x 軸上有三個物體：1）一個漏檢的靜態(tài)物體（坐標為 x）；2）一個靜態(tài)物體在 x=50m；3）自動駕駛車在 x=0 以大概 14m/s 的速度向 x 軸正前方前進。有兩個不同的規(guī)劃器參與評測：1）AV-1（加速劇烈變動厭惡型）針對駕駛舒適性做了優(yōu)化（最大剎車加速度為 -4m/s2）；2）AV-2（碰撞厭惡型）針對安全性做了優(yōu)化（最大剎車加速度為 -6m/s2）。

二者最小剎車距離分別為 30m 和 20m。在這個情況里，對 AV-1 規(guī)劃器，TIP 認為最關鍵的誤檢發(fā)生在 30m，因為障礙物低于這個距離時即使能成功檢測到碰撞也無法避免，因此恰好在最小剎車距離的物體誤檢是最嚴重的（剛好能避免的碰撞發(fā)生的地方）。其他判據(jù)都沒有類似的特點和分辨能力，NDS 和 SDE-APD 都表現(xiàn)出各項同性（都認為發(fā)生在正后方和正前方同樣距離的誤檢影響都一樣），而 PKL 則認為正前方的漏檢越近影響越大。

真實數(shù)據(jù)測試

第二組實驗中，本文研究了部署在自動駕駛車輛上的真實感知模塊的結果。以一個 3D 物體檢測模型為例，該模型可以從激光雷達點云中預測物體的類別、位置、方向、速度和大小。TIP 獨立于特定的檢測器，可以應用于評估各種感知模型。

如下圖所示為該車載模型在若干場景上用 PKL 和 TIP 評估的結果。

左圖為這些場景的同場景 PKL 和 TIP 分數(shù)分布圖，可以看到有大量的點匯集在橫軸上，對應那些行為變化不大，但是卻可能導致嚴重后果的感知錯誤。其中被紅圈標記的場景如右側兩幅圖所示。右側第一幅圖顯示在感知真值輸入時，自動駕駛汽車可以通過緩慢制動向前行駛，以保持與前面另一輛車的距離；然而當實際的感知輸入包括噪聲時（右側第二幅圖），自動駕駛汽車必須緊急制動，以避免與前方近距離的誤檢車輛（紅色箭頭所示）發(fā)生碰撞。

在這兩種情況下，由于自動駕駛車輛速度緩慢并且正在制動（無論是緩慢制動還是緊急制動），行為的差異比較?。≒KL=-），但這個誤檢物體卻導致了嚴重的后果：誤檢物體導致了緊急制動和虛擬碰撞（在真值感知輸入下的行為和誤檢物體之間），這種差異被 TIP（TIP=-）精確捕獲。

真實場景的自動駕駛車輛的運動學數(shù)據(jù)為（a=-/s2, j=-/s3），噪聲場景下為（a=-/s2, j=-/s3）。而正常情況下的加加速度（jerk）一般不會超過 1m/s3。從系統(tǒng)的角度來看，這是一個嚴重的感知錯誤。由此可見，TIP 能夠捕捉到被其他指標所忽略的對自動駕駛車輛規(guī)劃過程有重要影響的感知噪聲。

為了進一步證明所提出的方法在場景層面的合理性，本文還實施了一套類似于（Philion et al, 2020）中的主觀評估。為此，研究者收集了 258 對具有上述感知模型實際感知噪聲的場景，并檢查 TIP、PKL、SDE-APD 和 NDS 在相對嚴重程度上是否存在分歧（即一個評估方法認為場景 A 的感知誤差比場景 B 的感知誤差更大，而另一個評估方法認為相反）。

這些場景對由 10 個隨機選擇的人類駕駛員進行比較和評分，以決定從人類的角度來看一個場景對里哪個場景更糟糕。結果表明，相比其他三個基準評估方法人類駕駛員更傾向于和 TIP 保持一致的結果，如下表所示。

應用到神經(jīng)規(guī)劃器

除了具有明確定義效用函數(shù)的決策規(guī)劃過程，研究者提出的方法也可以應用到一些端到端訓練的神經(jīng)規(guī)劃器上，比如說類似（Bansal et al., 2019; Zeng et al., 2019; Philion et al., 2020）這樣的帶有車輛行為損失或者分布函數(shù)的規(guī)劃器。作為示范，研究者采用了（Philion et al., 2020）里帶有規(guī)劃行為概率輸出的神經(jīng)規(guī)劃器，并把輸出行為的概率分布函數(shù)作為效用函數(shù)帶入 TIP 中。

研究者使用 CBGS 檢測器（Zhu et al., 2019）在 nuScenes 數(shù)據(jù)集的 3D 檢測任務上驗證集上獲得了如下的結果。

左圖是每個測試場景里 PKL-TIP 結果的分布圖?？梢钥吹讲簧贁?shù)量的點都在豎軸附近。其中一個點對應的場景顯示在右側的四幅圖里：檢測真值，CBGS 檢測器結果，檢測結果與真值之差，神經(jīng)規(guī)劃器輸出（每種顏色代表某個時間點上規(guī)劃的車輛位置概率，其中每個時間點上概率最大的若干位置被置為 100% 飽和度方便可視化）。

在該場景里，兩種輸入下（考慮車輛運動學和動力學的約束后）最優(yōu)的選擇都是傾向于停留在原地。因此 PKL 直接計算原始結果里所有位置的分布偏差會認為行為差異很大，而 TIP 只考慮車輛實際會執(zhí)行的行為，因此認為這個具體情況下感知噪聲的影響不大。

TIP 還能用來直接評估每個場景里具體物體漏檢和位置上出現(xiàn)誤檢的影響，如下兩圖所示。

本圖展示了車輛漏檢嚴重程度的可視化結果。每個環(huán)境車輛都被單獨從真值結果里移除然后計算場景的 TIP 并把結果分數(shù)作為不透明度繪制到該車輛上（所有環(huán)境車輛都為紅色）?？梢钥闯龃蟛糠直?TIP 認為發(fā)生漏檢后果嚴重的環(huán)境車輛都是那些在自動駕駛車輛（AV）行進路徑上可能與之發(fā)生交互的車輛（而不是簡單的距離最近的車輛）。

本圖展示了車輛誤檢嚴重程度的可視化結果。任給自動駕駛車輛（AV）附近的一個位置，一輛被誤檢的車被添加到真值結果里然后計算場景的 TIP，并把結果分數(shù)作為不透明度繪制到該位置上（用紅色標記）?？梢钥闯龃蟛糠直?TIP 認為發(fā)生誤檢后果嚴重的位置都是那些在自動駕駛車輛行進路徑上可能與之發(fā)生交互的地方。

總結

本文提出了一個系統(tǒng)性框架，從自動駕駛決策規(guī)劃的視角來評估感知結果里的噪聲對自動駕駛影響的嚴重程度。該方法通過利用基于效用的規(guī)劃器的特性，有效地識別了在期望效用最大化的背景下可能導致決策規(guī)劃過程發(fā)生重大改變的感知噪聲。在人工合成數(shù)據(jù)和真實數(shù)據(jù)上進行的大量實驗表明，該方法能夠有效發(fā)現(xiàn)傳統(tǒng)的感知評估指標以及只關注自動駕駛最終行為的方法無法區(qū)分的感知錯誤。

依托上述這種前沿、高效的感知評測方法，充分考慮微小感知噪聲對規(guī)劃結果的影響，并采用系統(tǒng)化的方法對感知能力進行評估和優(yōu)化，輕舟智航提供的自動駕駛通用方案感知能力正在得到飛速提升。

關于輕舟智航

基于高效的數(shù)據(jù)利用、超融合感知和獨創(chuàng)時空聯(lián)合規(guī)劃等核心技術，輕舟智航在 2022 年 11 月發(fā)布了「輕舟乘風」高階輔助駕駛解決方案，目前已構建起「高速 + 城區(qū)」NOA 的完整產(chǎn)品矩陣，并順利完成 2000 萬級人口城市復雜路況挑戰(zhàn)。

今年 3 月，輕舟智航首發(fā)基于單征程 5 芯片的城市 NOA 版方案，通過對超融合感知大模型和多任務模型在架構和性能方面的極致優(yōu)化，輕舟智航實現(xiàn)了更高的算力使用率，以更少的模型數(shù)量完成更多任務，最大限度地降低了算力需求，從而用單顆征程 5 芯片也能良好完成復雜場景下的感知和決策規(guī)劃，突破城市 NOA 性價比的天花板。

而在 4 月的上海國際汽車工業(yè)展覽會上，輕舟智航還發(fā)布了基于環(huán)視相機的 6V1R 視覺方案的高速 NOA 方案，并實現(xiàn)落地體驗。該方案可實現(xiàn)行泊一體，通過復用傳統(tǒng)的泊車傳感器，提高硬件使用效率，進一步降低了高速 NOA 的硬件成本。

這證明了輕舟智航行業(yè)領先的工程化能力，而這也得益于其背后的經(jīng)驗豐富的技術團隊以及體系化的工程治理團隊；車規(guī)量產(chǎn)級、靈活配置的硬件方案；完善的自動駕駛系統(tǒng)功能安全開發(fā)流程，不斷有效加速輕舟產(chǎn)品在多車型、多場景中的落地。

行業(yè)的發(fā)展往往與技術的進步息息相關，當城市 NOA 處在量產(chǎn)落地的「前夜」，類似「感知模塊測評」這樣的前沿議題將成為決定自動駕駛方案性能和安全性的關鍵因素，也更加值得進一步的探索。

參考文獻

Kant, I. Critik der reinen Vernunft. Johann Friedrich Hartknoch, 1781.

Osborne, M. and Rubinstein, A. A Course in Game Theory. MIT Press, 1994.

Philion, J., Kar, A., and Fidler, S. Learning to evaluate perception models using planner-centric metrics. In CVPR, 2020.

Deng, B., Qi, C. R., Najibi, M., Funkhouser, T., Zhou, Y., and Anguelov, D. Revisiting 3D object detection from an egocentric perspective. In NeurIPS, 2021.

Caesar, H., Bankiti, V., Lang, A., Vora, S., Liong, V. E., Xu, Q., Krishnan, A., Pan, Y., Baldan, G., and Beijbom, O. nuScenes: A multimodal dataset for autonomous driving. In CVPR, 2020.

Zhu, B., Jiang, Z., Zhou, X., Li, Z., and Yu, G. Class-balanced grouping and sampling for point cloud 3d object detection. arXiv preprint arXiv:, 2019.

Bansal, M., Krizhevsky, A., and Ogale, A. ChauffeurNet: Learning to drive by imitating the best and synthesizing the worst. In Robotics: Science and Systems (RSS), 2019.

Zeng, W., Luo, W., Suo, S., Sadat, A., Yang, B., Casas, S., and Urtasun, R. End-to-end interpretable neural motion planner. In CVPR, 2019.

?THE END

轉載請聯(lián)系本公眾號獲得授權

投稿或尋求報道：content@

關鍵詞：