自動駕駛技術(shù)中FPGA面臨的挑戰(zhàn)與實踐

人工智能技術(shù)是自動駕駛的基礎(chǔ)，算法、算力和數(shù)據(jù)是其三大要素。本文探討的就是其中的“算力”。算力的高低，不僅直接影響了行駛速度的高低，還決定了有多大的信息冗余用來保障駕駛的安全。算力最直觀地體現(xiàn)在硬件上，而汽車對自動駕駛的控制器有特殊的要求。

除了對一般硬件的成本、體積重量、功耗的要求外，還要求：提供足夠的算力，保證行駛速度和信息冗余。滿足嚴苛的車規(guī)標準，比如超寬的溫度范圍，-40℃ – 85℃。綜合來看 FPGA 是適合自動駕駛高速計算的技術(shù)。

實踐中遇到的挑戰(zhàn)是，多種多樣的加速需求和有限的硬件資源的矛盾。需求的來源既包括深度學(xué)習(xí)前向推測、也包括基于規(guī)則的算法。硬件資源受限包括了：FPGA 資源受限和內(nèi)存帶寬受限。

FPGA 資源的有限性體現(xiàn)：峰值算力受限：有限的 FPGA 資源限制了計算并行度的提高，這約束了峰值算力。支持的算子種類受限：有限的 FPGA 資源只能容納有限個算子。內(nèi)存帶寬受限體現(xiàn)在：內(nèi)存數(shù)據(jù)傳輸在計算總時間中占據(jù)了不可忽略的時間。極端情況下，對某些算子提高并行度后，計算時間不減。為應(yīng)對這些挑戰(zhàn)，我們在實踐中提取了一些有益的經(jīng)驗，總結(jié)出來與大家共享。

算法工程師采用浮點數(shù) float32 對模型進行訓(xùn)練，產(chǎn)出的模型參數(shù)也是浮點型的。然而在我們使用的 FPGA 中，沒有專用的浮點計算單元，要實現(xiàn)浮點數(shù)計算，代價很大，不可行。使用 int8 計算來逼近浮點數(shù)計算，也即實現(xiàn)量化計算，這是需要解決的第一個問題。

<>符號表示四舍五入，兩個<>把矩陣A和B的元素線性映射到區(qū)間[-127, 127]，在此區(qū)間完成乘法和加法。最后一個乘法把整型結(jié)果還原成 float32。在量化前，需要完成1000000次 float32 的乘法。量化成 int8 后，需要完成1000000次 int8 的乘法，和30000次量化、反量化乘法。

由于量化和反量化占的比重很低，量化的收益就等于 int8 取代 float32 乘法的收益，這是非常顯著的。

這種方法的好處是，每次計算既能充分利用 int8 數(shù)據(jù)的表征能力（127總能被使用到），不存在數(shù)據(jù)飽和的情況（所有元素都被線性映射），保證單次計算的精度最高。可以直接接受浮點訓(xùn)練的模型，維持準召率。Resnet50 測50000張圖片，Top1 和 Top5 準確率下降1%。在 Valet Parking 產(chǎn)品用到的多個網(wǎng)絡(luò)中，沒有觀察到準召率下降。缺點是，F(xiàn)PGA 計算有截斷誤差，經(jīng)過多次累計，數(shù)值計算誤差最大平均可以達到10%。對于一些訓(xùn)練不完全成功的模型（只在有限評測集上效果比較好），準召率下降明顯，結(jié)果不可控。

已知量化尺度：靜態(tài)量化，如果上面的式子變成經(jīng)過線下統(tǒng)計，量化尺度被固化為 scaleA 和 scaleB，表示四舍五入，并且限制在[-127, 127]之內(nèi)。這種方法的好處是節(jié)約了 FPGA 資源。可以很方便地采用跟量化推測一致的訓(xùn)練方法，推測和訓(xùn)練計算數(shù)值誤差很小，準召率可控。缺點是，要求模型訓(xùn)練采用一致的量化方法。否則，計算誤差很大，不可接受。