Banana Pi BPI-M7 RK3588開發(fā)板在 Linux 上檢查 Rockchip NPU 使用情況

如下介紹如何監(jiān)控 Rockchip 設(shè)備的 NPU 使用情況。

如今，新型設(shè)備開始配備內(nèi)置 AI 芯片?！癆I 芯片”的正確技術(shù)術(shù)語(yǔ)是 NPU，即神經(jīng)處理單元。

如果您有板載 NPU，您可能想知道您的系統(tǒng)是否正在使用它。

在本教程中，我將分享如何監(jiān)控 Rockchip 處理器上的 NPU 使用情況。

這里討論的方法僅適用于 Rockchip 處理器中集成的 NPU。我使用帶有 RK3588 處理器的ArmSoM Sige7設(shè)備對(duì)其進(jìn)行了測(cè)試。

你可以用以下命令檢查你的系統(tǒng)是否有 npu：

dmesg | grep -i npu

分析輸出以確定是否存在 NPU。

檢查 Rockchip NPU 利用率

值得慶幸的是，Rockchip 使用了debugfs功能。Debugfs 是一種特殊類型的虛擬文件系統(tǒng)，可以實(shí)時(shí)提供調(diào)試信息，類似于 proc 提供的信息。

可隨時(shí)提供 NPU 使用情況的文件是：

/sys/kernel/debug/rknpu/load

這是我在ArmSoM設(shè)備上運(yùn)行它時(shí)顯示的內(nèi)容。它顯示了 NPU 所有三個(gè)核心的使用情況：

abhishek@armsom:~$ sudo cat /sys/kernel/debug/rknpu/load
NPU load:  Core0:  0%, Core1:  0%, Core2:  0%,
abhishek@armsom:~$ 

如您所見，它僅提供當(dāng)前的 NPU 使用情況并結(jié)束它。如果您想監(jiān)控 NPU 使用情況，這不是很有用。

另一種方法是將其與 watch 命令結(jié)合起來(lái)，該命令將每?jī)擅脒\(yùn)行一次（默認(rèn)）：

watch sudo cat /sys/kernel/debug/rknpu/load

這是我在本地運(yùn)行利用 NPU 的 LLM 的屏幕截圖：

要停止正在運(yùn)行的監(jiān)視命令，請(qǐng)按 Ctrl+C。

要實(shí)際查看 NPU 使用情況，您應(yīng)該運(yùn)行一個(gè)應(yīng)該使用 NPU 的程序。否則，所有核心的使用率將始終為 0。

還有另一種監(jiān)控NPU使用情況的方法。我在用ezrknpu項(xiàng)目試驗(yàn)使用Rockchip NPU運(yùn)行LLM時(shí)發(fā)現(xiàn)了它。

該項(xiàng)目有一個(gè)ntop.sh 腳本，它以類似 top 命令的方式顯示 NPU 使用情況。這并不完全正確，因?yàn)?top 命令不會(huì)污染屏幕。另一方面，ntop.sh 腳本會(huì)用所有這些行充斥屏幕，并且在您按下 Ctrl+C 后它們不會(huì)消失。

腳本內(nèi)容如下：

#!/bin/bash
# Title: ntop.sh
# Author: Pelochus
# Brief: A very basic 'top' style program that shows the status of the NPU in Rockchip's SoCs 

# Variables
CLEAR=""

# Parameters check
if [[ $1 = '-h' ]]
then
    echo
    echo "ntop Help"
    echo
    echo "-c: Clears output every refresh"
    echo "-h: Shows this help screen"
    echo 
    echo "For more information visit https://github.com/Pelochus/ezrknpu"
    echo
    exit 
elif [[ $1 = '-c' ]]
then
    CLEAR="clear"
fi

while true; do
    eval $CLEAR # If empty, will not clear
    cat /sys/kernel/debug/rknpu/load
    sleep 0.5
done

重點(diǎn)是最后的while循環(huán)，下面是使用該腳本檢查NPU使用情況的示例。

結(jié)論

如您所見，沒(méi)有標(biāo)準(zhǔn)的 top 類命令來(lái)顯示各個(gè)制造商的 NPU 使用情況。目前，我只有 Rockchip，所以我的探索有限，因此本教程僅限于 Rockchip NPU。如果我有機(jī)會(huì)接觸到更多這樣的硬件，我也會(huì)寫關(guān)于它們的文章。

審核編輯 黃宇