如何評價智能車載異構(gòu)計算芯片性能？

在智能座艙里，大家都知道高通的芯片是目前的主流，比如高通8155，高通8295，車企不斷的宣傳讓我們知道了芯片的重要性。那么在智能駕駛領(lǐng)域里，到底什么是重要的呢，評估面向自動駕駛的計算芯片性能時，有沒有什么科學(xué)的依據(jù)呢？我們今天來解讀一下“車載異構(gòu)計算測評規(guī)范”的標(biāo)準(zhǔn)，這個標(biāo)準(zhǔn)非常詳細(xì)地規(guī)定了測試的各個方面。

2022年7月，中國電子技術(shù)標(biāo)準(zhǔn)化研究院牽頭制定了《面向自動駕駛應(yīng)用的計算芯片》系列團(tuán)體標(biāo)準(zhǔn)，并在中國電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會正式立項， 在2023年4月發(fā)布了該系列團(tuán)體標(biāo)準(zhǔn)的征求意見稿，并擬于2023年發(fā)布該系列標(biāo) 準(zhǔn)。該系列標(biāo)準(zhǔn)包含技術(shù)要求、車載異構(gòu)計算測評規(guī)范、人工智能應(yīng)用工具鏈、傳感器接口要求等四個部分。我們今天把“車載異構(gòu)計算測評規(guī)范”這部分單獨摘錄出來進(jìn)行探討。

在這里主要提出了三個方面算力性能、智能駕駛場景AI性能和兼顧AI性能和整體端到端數(shù)據(jù)流處理能力。

Part 1

算力性能評估

在這里，普通消費者最為熟悉的TOPS，是算力的數(shù)據(jù)類型和算力單位。采用的是Tera Operations Per Second（TOPS）作為單位，表示每秒進(jìn)行的計算次數(shù)。不同的數(shù)據(jù)類型包括INT4、INT8、INT16、FP16等，而在智能駕駛領(lǐng)域，以INT8數(shù)據(jù)類型的稠密算力為代表。

這里首先是稠密算力 vs. 稀疏算力的問題， 稀疏算力和稠密算力是計算機(jī)科學(xué)中描述計算資源利用程度的兩個關(guān)鍵概念。

●?稀疏算力表示在任務(wù)執(zhí)行中，計算資源利用率較低，主要出現(xiàn)在處理低密度數(shù)據(jù)或低復(fù)雜度任務(wù)時。

●?稠密算力表示計算資源利用率較高，通常出現(xiàn)在處理高密度數(shù)據(jù)或高復(fù)雜度任務(wù)時。

在實際場景中，稀疏算力和稠密算力存在互補關(guān)系。合理的任務(wù)分配可以根據(jù)特定任務(wù)的特點和需求，使稀疏算力和稠密算力得到有效利用。例如，低優(yōu)先級、低復(fù)雜度的任務(wù)可分配給稀疏算力服務(wù)器，而高優(yōu)先級、高復(fù)雜度的任務(wù)則交給稠密算力服務(wù)器。這種合理分配有助于提高整體計算效率。

稀疏算力和稠密算力之間存在轉(zhuǎn)換關(guān)系。通過調(diào)整任務(wù)優(yōu)先級、復(fù)雜度或采用動態(tài)調(diào)度算法等手段，可以實現(xiàn)它們之間的轉(zhuǎn)換。在云計算平臺中，根據(jù)用戶需求變化，系統(tǒng)可動態(tài)調(diào)整服務(wù)器算力分配，實現(xiàn)稀疏算力和稠密算力的靈活轉(zhuǎn)換。

在標(biāo)準(zhǔn)中采用稠密算力方式進(jìn)行評估的必要性。相對于稀疏算力，稠密算力更具有普適性，避免了準(zhǔn)確度下降的問題，同時可以更好地滿足計算準(zhǔn)確度的要求。

注意，實際芯片對于不同數(shù)據(jù)類型的性能差異。雖然INT4、FP32等數(shù)據(jù)類型各有優(yōu)勢，但I(xiàn)NT8數(shù)據(jù)類型更被廣泛采用，因為它在效率和泛用性方面取得了平衡。為了規(guī)范業(yè)內(nèi)智駕芯片的算力對比，采用INT8稠密算力為代表，并通過明確的標(biāo)準(zhǔn)來兼顧其他量化精度類型，避免了算力虛標(biāo)和對比條件不統(tǒng)一造成的問題。

Part 2

智能駕駛場景AI性能評價

智能駕駛芯片性能不僅取決于硬件算力數(shù)值，還與軟硬件協(xié)同后的實際能力相關(guān)。在特定智能駕駛場景下，車輛是否能夠達(dá)到較高的芯片使用效率至關(guān)重要。

我們需要注意推理吞吐率（FPS）的重要性，AI推理性能需要了解評估這一性能的指標(biāo)，時延（Latency）和吞吐量（Throughput）是常用于衡量AI推理程序性能的兩個重要指標(biāo)。

●?時延： 衡量處理單個單位數(shù)據(jù)的速度，即單一事件的處理速度。

●?吞吐量： 衡量在單位時間內(nèi)處理的數(shù)據(jù)量，即整個系統(tǒng)處理事件的效率。

時延評估的是單一事件的處理速度，吞吐量評估的是整個系統(tǒng)處理事件的效率。時延高低與吞吐量大小有關(guān)系，但二者不是直接的線性關(guān)系，評價性能時，需要同時關(guān)注時延和吞吐量這兩個指標(biāo)。采用推理吞吐率（FPS）作為主要評價方法，因為它更能反映車載智能芯片的真實計算性能。為了真實反映整體處理性能，可以選擇智能駕駛場景中最典型的模型進(jìn)行性能測試。

Part 3

兼顧AI性能和

整體端到端數(shù)據(jù)流處理能力

AI計算單元雖然是智能駕駛系統(tǒng)中的主要處理單元，但整個芯片平臺的性能發(fā)揮需要各部分協(xié)同工作。車企在選擇智能駕駛芯片時需要綜合考慮多個因素，包括算力和算效、適配性、軟件開發(fā)難度、車規(guī)級安全認(rèn)證等級、靈活性和能效比等指標(biāo)。實際上我們需要關(guān)注維度及安全性和效率：

●?整體端到端數(shù)據(jù)流處理能力和智駕體驗：強調(diào)了這是最靠近整車廠最終需求的智能駕駛計算芯片評價指標(biāo)。兼顧AI性能和整體端到端數(shù)據(jù)流整體處理能力，同時關(guān)注整體智駕體驗，才能更好地滿足實際采購和使用中的需求。

●?功能安全的考慮：在信息安全和車輛安全的基礎(chǔ)上，標(biāo)準(zhǔn)明確指出關(guān)注功能安全。這包括支持國密認(rèn)證、安全啟動、硬件加解壓等功能，以滿足智能駕駛計算芯片對相關(guān)能力的要求。

總體而言，這個標(biāo)準(zhǔn)為評估智能駕駛計算芯片提供了詳盡的規(guī)范，強調(diào)了多個維度的性能評價，確保業(yè)內(nèi)各種智駕芯片能夠在統(tǒng)一的標(biāo)準(zhǔn)下進(jìn)行對比，最終提高整個智能駕駛產(chǎn)業(yè)的發(fā)展水平。

審核編輯：黃飛

?