RISC-V vector intrinsic編程入門指南

本文是為了幫助開發(fā)者快速入門 risc-v 架構(gòu)下vector 的 intrinsic 編程，首先介紹了risc-v vector extension 的特性和 intrinsic 編程常見(jiàn)的數(shù)據(jù)類型與指令接口命名，然后給出一個(gè)數(shù)組/向量相加的完整例程，介紹C語(yǔ)言的普通實(shí)現(xiàn)與intrinsic向量化實(shí)現(xiàn)，最后展示了如何獲取平頭哥相關(guān)工具鏈編譯程序并通過(guò)qemu模擬器運(yùn)行。需要說(shuō)明的是，本文介紹的特性與案例均以玄鐵 c906 處理器為基礎(chǔ)。

01vector extension

與ARM CPU支持的 SVE(Scalable Vector Extension) 類似，risc-v vector extension 可以通過(guò)向量化來(lái)提升程序運(yùn)行速度。平頭哥玄鐵 c906 CPU支持 risc-v vector extension 0.7.1，新增了32個(gè)向量寄存器 v0-v31，下面對(duì) vector extension中重要概念作介紹：

(1) 向量寄存器位寬 vlen：對(duì)于玄鐵 c906，vlen = 128，即可以并行計(jì)算16個(gè)8位整數(shù)或4個(gè)32位浮點(diǎn)數(shù)等。

(2) 標(biāo)準(zhǔn)元素寬度 sew：sew = 8/16/32/64b，對(duì)于float計(jì)算，sew=32b；對(duì)于int8計(jì)算，sew=8b。

(3) 向量寄存器組 lmul：lmul = 1/2/4/8，多個(gè)向量寄存器可以組合在一起形成一個(gè)向量寄存器組，一條向量指令就可以對(duì)多個(gè)向量寄存器進(jìn)行操作，還能提供更好的執(zhí)行效率（具體的執(zhí)行效率取決于執(zhí)行部件的帶寬）。

(4) 向量長(zhǎng)度寄存器 vl：vl 寄存器保存一個(gè)無(wú)符號(hào)整數(shù)，指定由向量指令更新的元素個(gè)數(shù)。在向量指令執(zhí)行期間，任何具有索引 ≥ vl 的目標(biāo)向量寄存器組中的元素都被清零。如當(dāng) vl = 3 時(shí)，對(duì)于 float32 的運(yùn)算，由于vlen=128，只會(huì)取向量寄存器中的低96位的3個(gè)float32數(shù)據(jù)進(jìn)行計(jì)算，最高32位將清零，如下圖所示。

?

圖1. c906 vl=3向量浮點(diǎn)相加示意圖

02intrinsic

intrinsic 本質(zhì)上是底層匯編指令的封裝，與手工編寫匯編程序相比，intrinsic 編程不需要考慮底層寄存器的分配，對(duì)于C語(yǔ)言用戶而言更加容易上手，可維護(hù)性強(qiáng)，可讀性更強(qiáng)，在跨平臺(tái)的可移植性上也更加友好，配上相關(guān)編譯器工具鏈后在性能上幾乎可以媲美手工匯編。

2.1 數(shù)據(jù)類型

根據(jù)不同的 sew 和 lmul 組合，risc-v vector extension intrinsic 基本數(shù)據(jù)類型格式如下：

v<基本類型>m<向量寄存器組lmul>_t 其中：

基本類型：int8，int16，int32，int64，uint8，uint16，uint32，uint64，float16，float32

向量寄存器組 lmul：1，2，4，8

例如：

vint32m1_t：1個(gè)向量寄存器中存放 vl 個(gè)int32 數(shù)據(jù), 0 < vl <= 4 (vlen/sew*lmul=128/32*1=4 )

vfloat32m1_t：1個(gè)向量寄存器中存放 vl 個(gè)float32數(shù)據(jù), 0 < vl <=4

vint8m2_t：2個(gè)向量寄存器中存放 vl 個(gè)int8數(shù)據(jù), 0 < vl <= 32

vfloat16m2_t：2個(gè)向量寄存器中存放 vl 個(gè)float16數(shù)據(jù), 0 < vl <= 16

2.2 intrinsic命名

幾乎每一條 risc-v vector 指令都有其對(duì)應(yīng)的 intrinsic 函數(shù)接口，函數(shù)名格式如下：

<指令名>_<數(shù)據(jù)基本類型簡(jiǎn)寫>m<向量寄存器組lmul> 其中：

指令名：vmul.vv （vmul_vv）， vadd.vv （vadd_vv） 等

數(shù)據(jù)基本類型簡(jiǎn)寫：i8，i16，i32，i64，u8，u16，u32，u64，f16，f32

向量寄存器組 lmul：1，2，4，8

例如：

// 2個(gè)向量寄存器中各自 vl 個(gè)float32數(shù)據(jù)逐個(gè)相乘得到 vl 個(gè)float32結(jié)果存入1個(gè)向量寄存器中，其中 0 < vl <= 4

vfloat32m1_t vfmul_vv_f32m1(vfloat32m1_t op1, vfloat32m1_t op2, size_t vl)

// 4個(gè)向量寄存器兩兩分組，每組寄存器中各自 vl 個(gè)int32數(shù)據(jù)逐個(gè)相加得到 vl 個(gè)int32結(jié)果存入2個(gè)向量寄存器中，其中? 0 < vl <= 8

vint32m2_t vadd_vv_i32m2(vint32m2_t op1, vint32m2_t op2, size_t vl)

關(guān)于RVV intrinsic更多數(shù)據(jù)類型和指令接口可以參考附錄中intrinsic手冊(cè)。

03示例程序

本節(jié)通過(guò)數(shù)組相加的例子對(duì) vector 擴(kuò)展 intrinsic 使用作簡(jiǎn)單介紹；假設(shè)有長(zhǎng)度為 ARRAY_LEN 的 float 類型數(shù)組 A，B，C，為了實(shí)現(xiàn) C = A + B，有：

3.1 普通標(biāo)量實(shí)現(xiàn)?

在循環(huán)中對(duì)數(shù)組 A，B 中的浮點(diǎn)數(shù)逐個(gè)相加，循環(huán)的次數(shù)為 ARRAY_LEN 次。

?

void add(const float *a, const float *b, float *c, size_t length)
{
    for (int i = 0; i < length; i++) {
        c[i] = a[i] + b[i];
    }
}

?

3.2 intrinsic 向量化實(shí)現(xiàn)?

在循環(huán)中一次對(duì)數(shù)組 A，B 中的多個(gè)浮點(diǎn)數(shù)相加：

?

void add_vec(const float *a, const float *b, float *c, size_t length)
{
    while (length > 0) {
        size_t vl = vsetvl_e32m1(length);       // 設(shè)置向量寄存器每次操作的元素個(gè)數(shù)
        vfloat32m1_t va = vle32_v_f32m1(a, vl); // 從數(shù)組a中加載vl個(gè)元素到向量寄存器va中
        vfloat32m1_t vb = vle32_v_f32m1(b, vl); // 從數(shù)組b中加載vl個(gè)元素到向量寄存器vb中
        vfloat32m1_t vc = vfadd_vv_f32m1(va, vb, vl);   // 向量寄存器va和向量寄存器vb中vl個(gè)元素對(duì)應(yīng)相加，結(jié)果為vc
        vse32_v_f32m1(c, vc, vl);   // 將向量寄存器中的vl個(gè)元素存到數(shù)組c中
 
        a += vl;
        b += vl;
        c += vl;
        length -= vl;
    }
}

?

設(shè)置 lmul = 1，由于 vlen = 128，向量加法每次最多能操作4個(gè) float 數(shù)據(jù)，即循環(huán)的次數(shù)為 ceil(ARRAY_LEN / 4) 次，本例中定義ARRAY_LEN = 11，需循環(huán)計(jì)算3次，且第3次時(shí)剩余元素3個(gè)，即 vl=3，計(jì)算過(guò)程如圖1所示。

從上述代碼看，在使用 vector intrinsic 實(shí)現(xiàn)向量化時(shí)，需要手動(dòng)從指定地址 load 數(shù)據(jù)到向量寄存器變量中，計(jì)算后，同樣需要手動(dòng)將向量寄存器變量中數(shù)據(jù) store 回指定地址。相比于普通串行實(shí)現(xiàn)，利用 vector intrinsic 實(shí)現(xiàn)理論上有接近4倍的加速比，當(dāng)設(shè)置 lmul = 2/4/8 或數(shù)據(jù)類型是short或者char時(shí)，可以取得更高的加速比。

04編譯運(yùn)行

4.1 獲取安裝工具鏈

從平頭哥開放社區(qū)occ下載對(duì)應(yīng)版本的risc-v工具鏈（https://occ.t-head.cn/community/download?spm=a2cl5.25411629.0.0.51b975321lplnb&id=4090445921563774976）：

?

wget https://occ-oss-prod.oss-cn-hangzhou.aliyuncs.com/resource//1663142514282/Xuantie-900-gcc-linux-5.10.4-glibc-x86_64-V2.6.1-20220906.tar.gz 
tar -zxvf Xuantie-900-gcc-linux-5.10.4-glibc-x86_64-V2.1.9-20210918.tar.gz -C {yourToolchainDir}  # 解壓至自己的目錄 
cd {yourToolchainDir}/bin
riscv64-unknown-linux-gnu-gcc -v       #查看工具鏈版本

?

確保gcc工具鏈版本為 V2.6.1

gcc version 10.2.0 (Xuantie-900 linux-5.10.4 glibc gcc Toolchain V2.6.1 B-20220906)

4.2 編譯

?

{yourToolchainDir}/bin/riscv64-unknown-linux-gnu-gcc -march=rv64gcv0p7xthead -static add.c -o add.elf

?

注：c906 只支持risc-v vector 0.7.1 擴(kuò)展，需要在編譯選項(xiàng)中加上 -march=rv64gcv0p7xthead 選項(xiàng)

4.3 qemu運(yùn)行

從平頭哥開放社區(qū)occ下載最新qemu模擬器（https://occ.t-head.cn/community/download?spm=a2cl5.25411629.0.0.51b975321lplnb&id=4168444414324183040）

?

wget https://occ-oss-prod.oss-cn-hangzhou.aliyuncs.com/resource//1681722863240/xuantie-qemu-x86_64-Ubuntu-18.04-20230413-0706.tar.gz 
tar -zxvf csky-qemu-x86_64-Ubuntu-16.04-20210202-1445.tar.gz -C {yourQemuDir}         # 解壓至自己的目錄 
{yourQemuDir}/bin/qemu-riscv64 -cpu c906fdv add.elf

?

05附

（1）完整示例代碼 add.c ：

?

#include 
#include 
#include 


#define ARRAY_SIZE  11


float a_array[ARRAY_SIZE] = {
1.18869953,  1.55298864, -0.17365574, -1.86193886,
-1.52391526, -0.36566814,  0.70753702,  0.73992422,
-0.13493693,  1.09563677,1.03797902
};


float b_array[ARRAY_SIZE] = {
1.19655525,  0.23393777, -0.11629651, -0.54508896,
-1.2424749, -1.54835913,  0.86935212,  0.12946646,
0.81831905, -0.42723697, -0.89793257
};


// float c_array[ARRAY_SIZE] = {
// 2.38525478,  1.78692641, -0.28995225, -2.40702783,
// -2.76639016 -1.91402727,1.57688914,  0.86939068,
// 0.68338213,  0.66839979,  0.14004644
// };


float c_array_ref[ARRAY_SIZE];
float c_array_vec[ARRAY_SIZE];


void add(const float *a, const float *b, float *c, size_t length)
{
    for (int i = 0; i < length; i++) {
        c[i] = a[i] + b[i];
    }
}


void add_vec(const float *a, const float *b, float *c, size_t length)
{
    while (length > 0) {
        size_t vl = vsetvl_e32m1(length);       // 設(shè)置向量寄存器每次操作的元素個(gè)數(shù)
        vfloat32m1_t va = vle32_v_f32m1(a, vl); // 從數(shù)組a中加載vl個(gè)元素到向量寄存器va中
        vfloat32m1_t vb = vle32_v_f32m1(b, vl); // 從數(shù)組b中加載vl個(gè)元素到向量寄存器vb中
        vfloat32m1_t vc = vfadd_vv_f32m1(va, vb, vl);   // 向量寄存器va和向量寄存器vb中vl個(gè)元素對(duì)應(yīng)相加，結(jié)果為vc
        vse32_v_f32m1(c, vc, vl);   // 將向量寄存器中的vl個(gè)元素存到數(shù)組c中


        a += vl;
        b += vl;
        c += vl;
        length -= vl;
    }
}


int main()
{
    printf("Test add function by rvv0.7.1 intrinsic 
");
    add(a_array, b_array, c_array_ref, ARRAY_SIZE);
    add_vec(a_array, b_array, c_array_vec, ARRAY_SIZE);


    // 逐個(gè)比較普通實(shí)現(xiàn)與intrinsic實(shí)現(xiàn)的結(jié)果
    for (int i = 0; i < ARRAY_SIZE; i++) {
        if (fabsf(c_array_ref[i] - c_array_vec[i]) > 1e-6) {
            printf("index[%d] failed, %f=!%f
", i, c_array_ref[i], c_array_vec[i]);
        } else {
           printf("index[%d] successed, %f=%f
", i, c_array_ref[i], c_array_vec[i]);
        }
    }
    return 0;
}

?

（2）運(yùn)行結(jié)果：

在 main 函數(shù)中，對(duì)普通實(shí)現(xiàn)與 intrinsic 實(shí)現(xiàn)的結(jié)果逐個(gè)進(jìn)行比對(duì)，若兩者絕對(duì)誤差大于 1e-6，認(rèn)為向量化計(jì)算結(jié)果錯(cuò)誤，從下圖運(yùn)行結(jié)果看，兩者輸出結(jié)果完全一致，符合預(yù)期。

Test add function by rvv0.7.1 intrinsic?

index[0] successed, 2.385255=2.385255

index[1] successed, 1.786926=1.786926

index[2] successed, -0.289952=-0.289952

index[3] successed, -2.407028=-2.407028

index[4] successed, -2.766390=-2.766390

index[5] successed, -1.914027=-1.914027

index[6] successed, 1.576889=1.576889

index[7] successed, 0.869391=0.869391

index[8] successed, 0.683382=0.683382

index[9] successed, 0.668400=0.668400

index[10] successed, 0.140046=0.140046

（3）riscv 編譯工具鏈下載：https://occ-oss-prod.oss-cn-hangzhou.aliyuncs.com/resource//1663142514282/Xuantie-900-gcc-linux-5.10.4-glibc-x86_64-V2.6.1-20220906.tar.gz

（4）qemu模擬器下載：https://occ-oss-prod.oss-cn-hangzhou.aliyuncs.com/resource//1681722863240/xuantie-qemu-x86_64-Ubuntu-18.04-20230413-0706.tar.gz

（5）Xuantie 900 Series RVV-0.7.1 Intrinsic Manual.pdf 手冊(cè)下載：https://occ-oss-prod.oss-cn-hangzhou.aliyuncs.com/resource//1663142187133/Xuantie+900+Series+RVV-0.7.1+Intrinsic+Manual.pdf

　　審核編輯：湯梓紅