觸覺智能EVB3588實測運行大模型，效果nice！

開源鴻蒙硬件方案領(lǐng)跑者觸覺智能

本文基于觸覺智能IDO-EVB3588開發(fā)板，運行大模型。效果搶先看！

視頻使用的主板采用瑞芯微RK3588處理器，是全新一代AloT高端應(yīng)用芯片，采用8nm LP制程，搭載八核64位CPU，四核Cortex-A76和四核Cortex-A55架構(gòu)，主頻高達2.4GHz。

6TOPS AI算力，三核架構(gòu)，支持int4/int8/int16/FP16/BF16/TF32；

支持H.265/H.264/AV1/VP9/AVS2視頻解碼， 最高8K60FPS；

支持 H.264/H.265視頻編碼， 最高8K30FPS；

支持HDMI2.1輸出，最高8K@60Hz；

支持HDMI2.0 輸入， 最高4K60FPS；

支持多攝像頭輸入；

雙通道LVDS，支持到1080P@60Hz 大屏幕 ；

多屏異顯；

兩路獨立的千兆以太網(wǎng)口，支持WAN口+LAN口 雙IP ；

5G/4G/WIFI/藍(lán)牙無線通信；

板載4路USB3.0，2路全功能Type-C；

豐富的系統(tǒng)支持， Android 12，Ubuntu，鴻蒙OpenHarmony全面支持。

1、運行在開發(fā)板上可以通過CPU直接部署運行模型，可以在終端中直接對話：

視頻效果如下所示：

CPU調(diào)用情況:

同時，通過調(diào)整模型，可以在NPU上部署運行大模型，3588開發(fā)板的NPU擁有6T的算力，可以加速模型運行。運行qwen1.8b模型占用情況如下

2、網(wǎng)頁調(diào)用模型API

模型部署后可以暴露API供其他應(yīng)用使用，例如Web網(wǎng)頁調(diào)用API接口實現(xiàn)對話功能。