通用Tensilica軟件堆棧提供最佳邊緣AI性能

開發(fā)敏捷的軟件堆棧對 AI 在邊緣側(cè)的成功部署非常重要?；诙喾N AI 框架創(chuàng)建的新機(jī)器學(xué)習(xí)模型已經(jīng)不再罕見，這些框架采用了最新的算子和最先進(jìn)的機(jī)器學(xué)習(xí)模型拓?fù)?。就?a href="http://ttokpm.com/tags/寒武紀(jì)/" target="_blank">寒武紀(jì)生命大爆發(fā)一樣，其快速發(fā)展源于富有創(chuàng)造性的開源社區(qū)對 AI 技術(shù)的廣泛采納，并在邊緣側(cè)不斷推動機(jī)器學(xué)習(xí)模型的應(yīng)用。

這些模型由學(xué)術(shù)界和工業(yè)界共同創(chuàng)建，使用了最尖端工具和概念；因此，在高性能、最新的 AI 軟件堆棧上高效運(yùn)行這些模型對任何組織而言都很復(fù)雜。

得益于多年的專業(yè)領(lǐng)域積累，Cadence 擁有業(yè)界領(lǐng)先的基礎(chǔ)設(shè)計 IP，為全球的計算平臺提供支持。Cadence 在 IP 市場的領(lǐng)先地位推動了現(xiàn)有客戶和合作伙伴對人工智能計算需求的不斷增長。過去二十年來，Tensilica 成功提供了可擴(kuò)展、可配置的處理器 IP，被大量客戶用于邊緣側(cè)的 SoC 設(shè)計。Tensilica IP 被廣泛應(yīng)用于音頻、視覺、雷達(dá)、汽車和基于微控制器的子系統(tǒng)。

考慮到 Cadence 處理器 IP 被廣泛使用，以及 AI 推理在各個細(xì)分市場的應(yīng)用，我們致力于推出通用的“一站式”解決方案，為客戶提供統(tǒng)一的、可擴(kuò)展、可配置的 ML 軟件堆棧。一站式工具理念是我們整體 AI 軟件產(chǎn)品的核心。

一款通用的軟件接口和工具將大幅縮短客戶產(chǎn)品的上市時間，助其更好地為不斷發(fā)展的 AI 市場做好準(zhǔn)備。

從超低功耗、永遠(yuǎn)在線的使用場景到 ADAS 和自動駕駛等高端車載應(yīng)用，在邊緣側(cè)可以看到各類用例。這些用例對 AI 的計算需求從每秒幾千兆次運(yùn)算（GOPS）到每秒數(shù)萬億次運(yùn)算（TOPS）不等。

? ? ? ? ?

圖1：適用于所有垂直市場的通用 AI 軟件工具

我們的目標(biāo)是在高性能機(jī)器學(xué)習(xí)編譯器堆棧的各個方面改進(jìn)我們的產(chǎn)品，包括統(tǒng)一的前端設(shè)計、通用的中間表示法、對混合精度量化格式的支持、無損壓縮技術(shù)、圖和張量優(yōu)化等。

這些技術(shù)將在各類 AI 部署的場景中幫助客戶，例如使用基于委派模式的框架進(jìn)行提前編譯、即時編譯和/或運(yùn)行時解釋器框架。

? ? ? ? ?

圖2：AI 軟件堆棧支柱

客戶可以在流片前進(jìn)行 ML 工作負(fù)載的軟件仿真并提取關(guān)鍵 KPI。在軟硬件協(xié)同設(shè)計階段，擁有這些準(zhǔn)確的指標(biāo)是非常有價值的。迭代各類 ML 模型，微調(diào)可配置參數(shù)以從硬件 IP 中獲得最大性能是每個 SoC 架構(gòu)師的基本目標(biāo)。

? ? ? ? ?

圖3：實(shí)現(xiàn)軟硬件協(xié)同設(shè)計

利用開源工具實(shí)現(xiàn) Cadence AI 軟件堆棧的同時，我們也積極參與開放論壇，為開源社區(qū)做出貢獻(xiàn)。作為嵌入式 IP 領(lǐng)域的市場領(lǐng)先者，Cadence 與全球各地的合作伙伴協(xié)作，致力于為細(xì)分市場提供領(lǐng)先的 AI 解決方案。

審核編輯：劉清