RISC-V 跑大模型（二）：LLaMA零基礎(chǔ)移植教程

這是RISC-V跑大模型系列的第二篇文章，主要教大家如何將LLaMA移植到RISC-V環(huán)境里。

1. 環(huán)境準(zhǔn)備

1）最新版Python

2）確保機(jī)器有足夠的內(nèi)存加載完整模型（7B模型需要13~15G）

3）下載原版LLaMA模型和擴(kuò)展了的中文模型

LLaMA原版模型：

https://ipfs.io/ipfs/Qmb9y5GCkTG7ZzbBWMu2BXwMkzyCKcUjtEKPpgdZ7GEFKm/

2. 模型下載

從LLaMA原版模型地址上下載下述文件（我們使用的是7B）：

最后文件下載完成后的結(jié)果如下：

3. 加載并啟動(dòng)

1）這一步需要下載llama.cpp，請輸入以下命令進(jìn)行下載和編譯：

git clone https://github.com/ggerganov/llama.cpp && cd llama.cpp && make

2）將第二步下載的文件移到llama.cpp/models/下，使用命令：

python3 convert-pth-to-ggml.py models/7B/ 0

3）將.pth模型權(quán)重轉(zhuǎn)換為ggml的FP32格式，生成文件路徑為models/7B/ggml-model-f32.bin。

4）運(yùn)行./main二進(jìn)制文件，-m命令指定Q4量化模型（也可加載ggml-FP16的模型）。以下是解碼參數(shù)：

./main models/7B/ggml-model-f32.bin --color -f prompts/alpaca.txt -ins -c 256 --temp 0.2 -n 128 --repeat_penalty 1.3

參數(shù)解釋：

4.結(jié)束

本篇教程到這里就結(jié)束了。是不是覺得LLaMA的速度比較慢而且不支持中文，沒關(guān)系，在下一期中，我們會(huì)為LLaMA擴(kuò)充中文，并優(yōu)化加速LLaMA，記得繼續(xù)關(guān)注我們哦。

另外，RISC -V跑大模型系列文章計(jì)劃分為四期：

1.RISC -V跑大模型（一）
2. RISC-V 跑大模型（二）：LLaMA零基礎(chǔ)移植教程（本篇）
3.LLaMA擴(kuò)充中文+優(yōu)化加速（計(jì)劃）
4. 更多性能優(yōu)化策略。（計(jì)劃）

審核編輯 黃宇