百度研究人員攻陷激光雷達!

自動駕駛汽車不僅會被「假路標」誤導(dǎo)，開上反向車道，還會無視道路中間的障礙物，直到躲閃不及才能發(fā)現(xiàn)。最近密歇根大學(xué)、UIUC聯(lián)合百度提交的一項研究讓自動駕駛技術(shù)又一次成為了人們關(guān)注的焦點。這一次，連性能最好的傳感器激光雷達（LiDAR）都被黑掉了，自動駕駛汽車真的安全嗎？

用激光雷達進行目標檢測是目前自動駕駛汽車用到的主流方法，這種傳感器精度高、成本高昂、技術(shù)門檻高。如果昂貴的價格能買來安全，那么也能顯示其價值。但最近，來自百度研究院、密歇根大學(xué)以及伊利諾伊大學(xué)香檳分校的研究者提出了一種可以「欺騙」激光雷達點云的對抗方法，對激光雷達的安全性提出了質(zhì)疑。

在深度學(xué)習(xí)中，為了檢測神經(jīng)網(wǎng)絡(luò)的魯棒性，研究者通常會用特定方法生成一些不容易識別或判斷的目標對神經(jīng)網(wǎng)絡(luò)進行攻擊，這些目標被稱為「對抗樣本」。對抗樣本通常是精心設(shè)計的輸入，伴有小幅度的擾動，目的是誘導(dǎo)神經(jīng)網(wǎng)絡(luò)做出錯誤預(yù)測。

上述幾位研究者也制作了對抗樣本，不過這次是針對激光雷達的。他們提出的對抗方法名為 LiDAR-Adv，如果把用該方法生成的對抗樣本打印出來，會得到下圖這些奇形怪狀的物體。

為了進行物理對照實驗，他們還找來了普通箱子作為對照組。

對照組用到的箱子（確定不是 SF 的廣告？）

接下來，他們把這些對抗樣本和普通箱子分別放置在自動駕駛車行進路徑的中央和右側(cè)，觀察激光雷達的反應(yīng)。

將對抗樣本和箱子放在路徑中央

結(jié)果顯示，放在路徑中央時，配置激光雷達的汽車一直到逼近對抗樣本時才檢測出該目標，相比之下，該汽車在距離較遠時就檢測到了作為對照的普通箱子。

將對抗樣本和對照箱放在路徑右側(cè)。

將物體放在路徑右側(cè)時情況更為糟糕，激光雷達直接「無視」了對抗樣本。這讓我們對自動駕駛汽車的安全性提出了很大的質(zhì)疑。

容易受攻擊的不止是神經(jīng)網(wǎng)絡(luò)

用對抗樣本「欺騙」自動駕駛汽車的確不是什么新鮮事，如機器之心之前報道過的用「物理攻擊」方式欺騙特斯拉的自動駕駛系統(tǒng)。在那項研究中，來自騰訊科恩實驗室的研究人員在道路特定位置貼了幾個貼紙，就讓處在自動駕駛模式的特斯拉汽車并入反向車道。該研究中的對抗樣本欺騙的是特斯拉 Model S 中的車道檢測系統(tǒng)，即其中的深度神經(jīng)網(wǎng)絡(luò)分類器。

深度神經(jīng)網(wǎng)絡(luò)（DNN）容易受到對抗樣本的攻擊，這一點已經(jīng)被許多研究所證明。為了證明這種攻擊在現(xiàn)實世界構(gòu)成威脅，一些研究提議生成能夠迷惑分類器識別停車標志的實體貼紙或可打印貼圖，如上述的特斯拉對抗攻擊實驗。但是，自動駕駛系統(tǒng)并不僅僅是圖像分類器。為了獲得更清晰的感知影像，大多數(shù)自動駕駛檢測系統(tǒng)配備有激光雷達或普通雷達（無線電探測與測距）設(shè)備，這些設(shè)備能夠借助于激光束直接探查周圍 3D 環(huán)境。這就提出了一個疑問：貼圖干擾是否會影響激光雷達掃描的點云？

為了回答這一問題，研究者提出了一種基于優(yōu)化的方法——LiDAR-Adv，以生成可以在各種場景下規(guī)避激光雷達檢測系統(tǒng)的對抗樣本，從而揭露激光雷達自動駕駛檢測系統(tǒng)的潛在漏洞。

研究者首先使用一種基于黑盒進化的算法展示了相關(guān)漏洞，接著使用基于梯度的方法 LiDAR-Adv 探索強大的對抗樣本造成的影響有多大。

為了評估 LiDAR-Adv 在現(xiàn)實世界中的影響，研究者對生成的對抗樣本進行 3D 打印，并在百度阿波羅自動駕駛平臺上測試它們。結(jié)果顯示，借助于 3D 感知和產(chǎn)品級多階段檢測器，他們能夠誤導(dǎo)自動駕駛系統(tǒng)，實現(xiàn)不同的對抗目標。

激光雷達工作原理

在分析研究者提出的對抗方法之前，我們先來了解一下激光雷達的工作原理。

如下圖 2 所示，激光雷達傳感器首先對 3D 環(huán)境進行掃描，獲得場景的原始點云。接著，點云通過預(yù)處理饋入到檢測模型。最后，對檢測輸出進行后處理，以預(yù)測檢測結(jié)果。

圖 2：激光雷達在 AV 上的檢測流程圖

構(gòu)建激光雷達對抗樣本的難點

基于激光雷達的檢測系統(tǒng)由多個不可微分步驟組成，而不是單個的端到端網(wǎng)絡(luò)，這種端到端網(wǎng)絡(luò)會極大地限制基于梯度的端到端攻擊的使用。

這些關(guān)鍵性障礙不僅令之前的圖像方法無效，而且在構(gòu)建對抗樣本時帶來如下一些新的挑戰(zhàn)：

1）基于激光雷達的檢測系統(tǒng)利用實體激光雷達設(shè)備將 3D 形狀映射到點云上，隨后點云饋入到機器學(xué)習(xí)檢測系統(tǒng)。所以，形狀擾動（shape perturbation）如何影響掃描到的點云尚不清楚；2）激光雷達點云的預(yù)處理過程是不可微的，從而避免了對基于梯度的優(yōu)化器的不成熟使用；3）擾動空間受到多方面的限制。

首先，研究者需要確?？梢栽诂F(xiàn)實世界重建擾動目標。其次，一個目標的有效激光雷達掃描為點云的約束子集，使得擾動空間比無任何約束的點云擾動空間小得多。

LiDAR-Adv 對抗樣本構(gòu)建方法

如下圖 1 所示，研究者提出了 LiDAR-Adv 方法，生成針對現(xiàn)實世界激光雷達檢測系統(tǒng)的對抗樣本。

圖 1：LiDAR-Adv 概覽圖。圖上行顯示，基于激光雷達的檢測系統(tǒng)可以檢測到普通的箱子；圖下行顯示，LiDAR-Adv 生成的類似大小的對抗樣本無法被檢測到。

首先，研究者模擬了一個可微分的激光雷達渲染器，將 3D 目標的擾動與激光雷達掃描（或點云）連接起來。然后，他們利用可微分的 proxy 函數(shù)制作 3D 特征聚合。最后，他們設(shè)計不同的損失，確保生成的 3D 對抗樣本平滑。

此外，為了更好地展示 LiDAR-Adv 攻擊方法的靈活性，研究者在兩種不同的攻擊場景下對其進行了評估：

1）隱藏目標：合成一個不會被檢測器檢測到的「對抗樣本」；

2）改變標簽：合成一個被檢測器識別為特定對抗目標的「對抗樣本」。

研究者還對激光雷達與黑盒設(shè)置下的進化算法做了對比。

方法概覽

在場景中給定一個 3D 樣本 S，如 background 中所述，并在激光雷達傳感器掃描該場景之后根據(jù) S 生成點云 X，所以 X = render（s, background）。在預(yù)處理過程中，點云 X 被切割并聚合生成 x，即 H × W × 8 特征向量。研究者將這一聚合過程稱為Φ: x = Φ(X)。然后，機器學(xué)習(xí)模型 M 將 2D 特征 x∈^RH×W×8 映射到 O = M(x)，其中 O ∈^RH×W×7。接著，研究者利用聚類過程Ψ對 O 進行后處理，以生成檢測到障礙的置信度 y_conf 和標簽 y_label，所以 (y_conf , y_label) = Ψ(O)。一個對抗攻擊者意圖操控樣本 S，以實現(xiàn)對抗目標。

研究者將對抗目標分為兩類：

隱藏目標：通過操控現(xiàn)有樣本 S 來隱藏 S；

改變標簽：將檢測到的目標 S 的標簽 y 改變?yōu)樘囟繕?y'。

在激光雷達檢測中實現(xiàn)上述對抗目標并非易事，面臨以下三方面問題：

多階預(yù)處理/后處理；

操作約束；

操作空間有限。

針對上述問題，研究者設(shè)計了端到端攻擊管道。為了方便基于梯度的算法，研究者執(zhí)行了一個近似可微且模擬激光雷達功能性的渲染器 R，從而使一組預(yù)定義射線與包含頂點 V 和傾斜點 W 的 3D 目標平面 (S) 產(chǎn)生交互。

預(yù)處理完成后，點云饋入到預(yù)處理函數(shù)Φ，以生成特征圖 x = Φ(X)。接著，特征圖 x 作為機器學(xué)習(xí)模型 M 的輸入，以獲得輸出度量 O = M(x)。整個過程可以表征為 F(S) = M(Φ(R(S)))。

注意，通過微分渲染器 R，整個過程 F(S) = M(Φ(R(S))) 又可微分為 w.r.t. S。通過這種方式，研究者可以操控 S，從而利用最終輸出 F(S) 運行的目標函數(shù)生成對抗 S_adv。

實驗

在實驗過程中，研究者實現(xiàn)了「隱藏樣本」的目標，并通過基于進化的黑盒算法揭露了激光雷達檢測系統(tǒng)存在的漏洞。然后，他們展示了白盒設(shè)置下 LiDAR-Adv 方法的定性和定量結(jié)果。此外，實驗結(jié)果表明，LiDAR-Adv 方法還可以實現(xiàn)「改變標簽」等其他一些對抗目標。

由于點云在現(xiàn)實場景下是連續(xù)捕獲的，所以單個靜態(tài)幀中的攻擊可能在現(xiàn)實場景中的影響不大。所以在實驗中，針對包含不同方向和位置的 victim 數(shù)據(jù)集，研究者生成了一個魯棒的通用對抗樣本。他們對這種通用對抗樣本進行 3D 打印，并進行真實駕駛實驗，從而證明這些樣本的確對公路上行駛的自動駕駛車輛構(gòu)成威脅。

圖 3：研究人員生成的不同尺寸對抗樣本，在多個激光雷達照射的情況下仍然可以保持不被檢測到。

表 1：不同設(shè)置下 LiDAR-Adv 方法和基于進化方法的攻擊成功率對比。

為了確保 LiDAR-Adv 方法在各種物理條件下保持對抗效果，研究者通過一組物理變換（位置和方向）來進行采樣和優(yōu)化。實驗證明了生成的對抗樣本具有魯棒性，可以實現(xiàn)高成功率的隱蔽和攻擊。

表 2：在受控和不可見情形下，LiDAR-Adv 方法對于不同位置和方向上攻擊的成功率。

除此之外，研究者評估了 3D 打印生成的樣本在物理世界的效果。如下圖 5（a）所示，自動駕駛系統(tǒng)在 36 個不同幀中并未檢測到對抗物體。如下圖 5（b）所示，系統(tǒng)在 18 個幀中的 12 個檢測到了正方體盒子。由于車速不同，總幀數(shù)也有不同。

圖 5：物理攻擊結(jié)果。LiDAR-Adv 方法的 3D 打印硬質(zhì)對抗物體未被基于激光雷達的汽車檢測系統(tǒng)檢測到。圖第 1 行顯示由激光雷達傳感器收集的點云數(shù)據(jù)，第 2 行顯示由儀表板處相機捕獲的相應(yīng)圖像。