GPU適合訓(xùn)練但不適用于推理的理由

在科技行業(yè)，如果沒有人提及推理、人工智能 （AI） 和機(jī)器學(xué)習(xí) （ML），您幾乎無法進(jìn)行對話。然而，重要的是要注意，雖然所有這些術(shù)語都是相互關(guān)聯(lián)的，但它們也有很大的不同。

在本文中，我們將解釋基本差異并強(qiáng)調(diào)使用基于張量處理的邊緣 AI 技術(shù)的重要性，特別是在邊緣和嵌入式系統(tǒng)中。與基于圖形處理單元 （GPU） 的解決方案相比，張量處理技術(shù) （TPU） 可提供更高效、更具成本效益的性能。我們還將提供一些示例用例，說明您將來可以在哪些地方找到邊緣 AI 解決方案。

ML 和推理的基礎(chǔ)知識

ML 是指使用代表性數(shù)據(jù)來訓(xùn)練模型以使機(jī)器能夠?qū)W習(xí)如何執(zhí)行任務(wù)的方法。這個過程可能是高度計(jì)算密集型的，每條新的訓(xùn)練數(shù)據(jù)都會產(chǎn)生數(shù)萬億次操作。訓(xùn)練過程的迭代特性與實(shí)現(xiàn)高精度所需的非常大的訓(xùn)練數(shù)據(jù)集相結(jié)合，推動了對極高性能浮點(diǎn)處理的需求。ML 培訓(xùn)最好作為數(shù)據(jù)中心基礎(chǔ)設(shè)施實(shí)施，可以在許多不同的客戶之間攤銷，以證明高昂的資本和運(yùn)營費(fèi)用是合理的。

推理是使用經(jīng)過訓(xùn)練的模型為新數(shù)據(jù)生成可能匹配的過程，該數(shù)據(jù)與模型訓(xùn)練所基于的所有代表性數(shù)據(jù)相關(guān)。推理旨在提供可以在幾毫秒內(nèi)得出的快速答案。推理的示例包括語音識別、實(shí)時語言翻譯、機(jī)器視覺和廣告插入優(yōu)化決策。雖然推理需要一小部分的訓(xùn)練處理能力，但它仍然遠(yuǎn)遠(yuǎn)超出了傳統(tǒng)的基于中央處理器 （CPU） 的系統(tǒng)所提供的處理能力，尤其是對于計(jì)算機(jī)視覺應(yīng)用而言。這就是為什么如此多的公司正在轉(zhuǎn)向基于張量的加速解決方案，無論是在 SoC 上作為 IP 還是作為系統(tǒng)內(nèi)加速器，以實(shí)現(xiàn)邊緣所需的亞秒級響應(yīng)時間。現(xiàn)實(shí)情況是，在視覺系統(tǒng)中花費(fèi)一分鐘甚至幾秒鐘來處理圖像并不是很有用。工業(yè)視覺系統(tǒng)正在尋求毫秒級的處理速度。

將訓(xùn)練與推理分開

為推理工作負(fù)載部署訓(xùn)練中使用的相同硬件可能意味著過度配置具有加速器和 CPU 硬件的推理機(jī)。過去十年為 ML 開發(fā)的 GPU 解決方案不一定是大規(guī)模部署 ML 推理技術(shù)的最佳解決方案。下圖是 TPU 加速器與 GPU 加速器的完美示例。很明顯，與基于 GPU 的 AGX 解決方案相比，TPU 加速器能夠提供更低的功耗、更低的成本和更高的效率，同時仍然為推理應(yīng)用程序提供令人信服的性能水平。

接近 ML 訓(xùn)練和推理解決方案時的另一個重要考慮因素是軟件環(huán)境。如今，有許多流行的庫正在使用，例如用于 NVIDIA GPU 的 CUDA、TensorFlow 和 PyTorch 等 ML 框架、Keras 等優(yōu)化的跨平臺模型庫等等。這些工具集對于 ML 模型的開發(fā)和訓(xùn)練至關(guān)重要，但在推理應(yīng)用程序方面，需要一組不同且更小的軟件工具。

推理工具集專注于在目標(biāo)平臺上運(yùn)行模型。推理工具支持將經(jīng)過訓(xùn)練的模型移植到平臺。這可能包括一些算子轉(zhuǎn)換、量化和主機(jī)集成服務(wù)，但這是模型開發(fā)和訓(xùn)練所需的一組相當(dāng)簡單的功能。

推理工具受益于從模型的標(biāo)準(zhǔn)表示開始。開放式神經(jīng)網(wǎng)絡(luò)交換 （ONNX） 是表示 ML 模型的標(biāo)準(zhǔn)格式。顧名思義，它是一個開放標(biāo)準(zhǔn)，并作為 Linux 基金會項(xiàng)目進(jìn)行管理。ONNX 等技術(shù)允許訓(xùn)練和推理系統(tǒng)解耦，并為開發(fā)人員提供了為訓(xùn)練和推理系統(tǒng)選擇不同優(yōu)化平臺的自由。

示例視覺應(yīng)用

隨著 ML 和推理處理器技術(shù)的不斷進(jìn)步和發(fā)展，應(yīng)用層出不窮。以下只是您將來可能會看到這項(xiàng)技術(shù)的幾個地方。

工廠、醫(yī)院、零售店、金融機(jī)構(gòu)等企業(yè)的邊緣服務(wù)器。例如，在工業(yè)領(lǐng)域，人工智能可用于幫助管理庫存、檢測缺陷，甚至在缺陷發(fā)生之前進(jìn)行預(yù)測。在零售領(lǐng)域，它可以啟用姿勢估計(jì)等功能，使用計(jì)算機(jī)視覺技術(shù)檢測和分析人體姿勢。從該分析中獲得的數(shù)據(jù)可以使實(shí)體零售商更好地了解其商店中的人類行為和人流量，從而使他們能夠以最大限度地提高零售額和客戶滿意度的方式開設(shè)商店。

適用于機(jī)器人、工業(yè)自動化/檢測、醫(yī)學(xué)成像、科學(xué)成像、監(jiān)控和物體識別相機(jī)、光子學(xué)等應(yīng)用的高精度/高質(zhì)量成像。 例如，機(jī)器學(xué)習(xí)方法已被證明可以通過處理數(shù)字 X 射線來檢測癌癥。這樣做的過程是開發(fā)一個 ML 模型，該模型旨在處理 X 射線圖像，通常使用經(jīng)過訓(xùn)練的語義分割算法來檢測癌癥。在訓(xùn)練階段，放射科專家識別出的癌癥圖像用于訓(xùn)練網(wǎng)絡(luò)以了解什么不是癌癥、什么是癌癥以及不同類型的癌癥是什么樣子。訓(xùn)練的 ML 模型越多，它們在最大化正確診斷和最小化錯誤診斷方面就越好。這意味著機(jī)器學(xué)習(xí)既依賴于智能模型設(shè)計(jì)，但同樣重要的是依賴于大量（如數(shù)十萬到數(shù)百萬）精心策劃的數(shù)據(jù)示例，其中癌癥已被專家識別。

智能購物車——幾家公司正在開發(fā)和部署能夠識別產(chǎn)品的智能購物系統(tǒng)，而不是通過其 UPC 條形碼，而是通過包裝本身的視覺外觀。此功能允許購物者只需將產(chǎn)品放入卡中或?qū)⑵浞旁诮Y(jié)帳系統(tǒng)上，而無需查找 UPC 代碼并使用 UPC 激光掃描儀進(jìn)行掃描。這項(xiàng)技術(shù)使購物過程更準(zhǔn)確、更快捷、更方便。

做出正確的決定

公司需要評估當(dāng)今所有可用的解決方案，并根據(jù)其特定用例做出最佳選擇。他們也不能僅僅假設(shè)所有 AI 解決方案都最好在 GPU 設(shè)備上實(shí)現(xiàn)，因?yàn)榛?TPU 的解決方案提供了更高的處理效率和更低的硅利用率，從而降低了功耗和成本。

審核編輯：郭婷