Vitis AI：從邊緣到云的最佳人工智能推斷

Vitis AI：從邊緣到云的最佳人工智能推斷

Vitis AI 開發(fā)環(huán)境是 Xilinx 的開發(fā)平臺，適用于在 Xilinx 硬件平臺（包括邊緣器件和 Alveo 卡）上進行人工智能推斷。它由優(yōu)化的 IP、工具、庫、模型和示例設(shè)計組成。Vitis AI 以高效易用為設(shè)計理念，可在 Xilinx FPGA 和 ACAP 上充分發(fā)揮人工智能加速的潛力。

全新 1.2 版本新增了以下功能：

Vitis AI 量化器和 DNNDK 運行時開源

AI Model Zoo 中添加了 14 個新參考模型（Pytorch, Caffe, Tensorflow）

Vitis AI 量化器支持優(yōu)化的模型（剪枝）

更新了 DPU 命名規(guī)則，以在所有配置中保持一致

推出面向邊緣和云的 Vitis AI Profiler

ONNXRuntime 和 TVM 支持 Vitis AI

新增了對 Alveo U50/U50LV 和 U280 的支持

Alveo U50/U50LV DPU DPUCAHX8H 微架構(gòu)改進

升級 DPU TRD，以支持 Vitis 2020.1 和 Vivado 2020.1

Vitis AI 支持 Pytorch CNN 通用訪問（測試版）

Vitis AI 平臺的介紹

◆◆AI 優(yōu)化器◆◆

有了世界領(lǐng)先的模型壓縮技術(shù)，我們可以在對精度影響極小的情況下，將模型的復(fù)雜性降低 5 至 50 倍。深度壓縮可將您的 AI 推斷性能提升到一個新的層次。

◆◆AI 量化器◆◆

通過將 32 位浮點權(quán)值和激活量轉(zhuǎn)換為 INT8 這樣的定點，AI 量化器可在不影響預(yù)測精度的情況下，降低計算復(fù)雜度。定點網(wǎng)絡(luò)模型需要的內(nèi)存帶寬更少，因此比浮點網(wǎng)絡(luò)模型速度更快，電源效率更高。

◆◆AI 編譯器◆◆

將 AI 模型映射至高效指令集及數(shù)據(jù)流。還可執(zhí)行高級優(yōu)化任務(wù)，如層融合和指令排程等，并可盡量重復(fù)使用片上內(nèi)存。

◆◆AI 配置器◆◆

性能分析器有助于程序員深入分析 AI 推斷實現(xiàn)方案的效率和利用率。

◆◆AI 庫◆◆

該運行時提供一系列輕量級 C++ 及 Python API，其可實現(xiàn)便捷的應(yīng)用開發(fā)。此外，它還提供高效的任務(wù)調(diào)度、內(nèi)存管理和中斷處理。