使用OpenVINO C++在哪吒開發(fā)板上推理Transformer模型

作者：

王國(guó)強(qiáng)蘇州嘉樹醫(yī)療科技有限公司 算法工程師

指導(dǎo)：

顏國(guó)進(jìn) 英特爾邊緣計(jì)算創(chuàng)新大使

1.1OpenVINO 介紹

OpenVINO 是一個(gè)開源工具套件，用于對(duì)深度學(xué)習(xí)模型進(jìn)行優(yōu)化并在云端、邊緣進(jìn)行部署。它能在諸如生成式人工智能、視頻、音頻以及語(yǔ)言等各類應(yīng)用場(chǎng)景中加快深度學(xué)習(xí)推理的速度，且支持來自 PyTorch、TensorFlow、ONNX 等熱門框架的模型。實(shí)現(xiàn)模型的轉(zhuǎn)換與優(yōu)化，并在包括 Intel硬件及各種環(huán)境（本地、設(shè)備端、瀏覽器或者云端）中進(jìn)行部署。

圖1-2 以深度學(xué)習(xí)為基礎(chǔ)的AI技術(shù)在各行各業(yè)應(yīng)用廣泛

1.2Ubuntu22.04 上的

OpenVINO 環(huán)境配置

OpenVINO 官方文檔 https://docs.openvino.ai 有最新版本的安裝教程，這里使用壓縮包的方式安裝，選擇對(duì)應(yīng)的 Ubuntu22 的版本：

下載到哪吒開發(fā)板上后將壓縮包解壓：

tar -zxvf l_openvino_toolkit_ubuntu22_2024.3.0.16041.1e3b88e4e3f_x86_64.tgz

進(jìn)入解壓目錄，安裝依賴：

cd l_openvino_toolkit_ubuntu22_2024.3.0.16041.1e3b88e4e3f_x86_64/
sudo -E ./install_dependencies/install_openvino_dependencies.sh

然后配置環(huán)境變量：

source ./setupvars.sh

這樣 OpenVINO 的環(huán)境就配置好了，可以直接在 Intel CPU 上推理模型，如果需要在 Intel iGPU 上推理，還需要另外安裝 OpenCL runtime packages，參考官方文檔：

https://docs.openvino.ai/2024/get-started/configurations/configurations-intel-gpu.html

這里使用 deb 包的方式安裝，按照 Github

https://github.com/intel/compute-runtime

的說明下載7個(gè) deb 包，然后 dpkg 安裝

sudo dpkg -i *.deb

如果 dpkg 安裝出現(xiàn)依賴報(bào)錯(cuò)，就需要先 apt 安裝依賴，然后再 dpkg 安裝7個(gè) deb 包

sudo apt install ocl-icd-libopencl1

這樣在哪吒開發(fā)板 Ubuntu22.04 上使用 Intel iGPU 進(jìn)行 OpenVINO 推理的環(huán)境就配置完成了。

1.3Transformer模型推理

模型是一個(gè)基于 Transformer 結(jié)構(gòu)的模型，訓(xùn)練后生成 ONNX 中間表示，OpenVINO 可以直接使用 ONNX 模型進(jìn)行推理，也可以轉(zhuǎn)為 OpenVINO IR格式，轉(zhuǎn)換命令如下：

ovc model.onnx

默認(rèn)會(huì)生成 FP16 的模型，如果精度有較大損失，可指定 compress_to_fp16 為 False 就不會(huì)進(jìn)行 FP16 量化了：

ovc model.onnx --compress_to_fp16=False

轉(zhuǎn)換后將生成.xml和.bin兩個(gè)文件，.xml文件描述了模型的結(jié)構(gòu)，.bin文件包含了模型各層的參數(shù)。

推理代碼如下：

#include 
#include 
#include 
#include 
#include 
#include 
#include 
const int length = 300;
void read_csv(const char* filepath, float* input)
{
  std::ifstream file(filepath);
  std::string line;
  if (file.is_open())
  {
    std::getline(file, line);
    for (int i = 0; i < 300; i++)
 ? ? ? ?{
 ? ? ? ? ? ?std::getline(file, line);
 ? ? ? ? ? ?std::stringstream ss(line);
 ? ? ? ? ? ?std::string field;
 ? ? ? ? ? ?if (std::getline(ss, field, ','))
 ? ? ? ? ? ?{
 ? ? ? ? ? ? ? ?if (std::getline(ss, field, ','))
 ? ? ? ? ? ? ? ?{
 ? ? ? ? ? ? ? ? ? ?input[i] = std::stof(field);
 ? ? ? ? ? ? ? ?}
 ? ? ? ? ? ?}
 ? ? ? ?}
 ? ? ? ?file.close();
 ? ?}
 ? ?float maxVal = *std::max_element(input, input + 300);
 ? ?for (int i = 0; i < 300; i++)
 ? ?{
 ? ? ? ?input[i] /= maxVal;
 ? ?}
}
std::vector softmax(std::vector input)
{
  std::vector output(input.size());
  float sum = 0;
  for (int i = 0; i < input.size(); i++)
 ? ?{
 ? ? ? ?output[i] = exp(input[i]);
 ? ? ? ?sum += output[i];
 ? ?}
 ? ?for (int i = 0; i < input.size(); i++)
 ? ?{
 ? ? ? ?output[i] /= sum;
 ? ?}
 ? ?return output;
}
void warmup(ov::InferRequest request)
{
 ? ?std::vector inputData(length);
  memcpy(request.get_input_tensor().data(), inputData.data(), length * sizeof(float));
  request.infer();
}
int main()
{
  const char* modelFile = "/home/up/openvino/AutoInjector_Transformer/AutoInjector_Transformer/2024-07-17-17-28-00_best_model.xml";
  const char* dirpath = "/home/up/openvino/AutoInjector_Transformer/AutoInjector_Transformer/data";
  const char* device = "GPU";
  std::vector inputs(length);
  std::vector outputs(length * 4);
  ov::Core core;
  // Load Model
  std::cout << "Loading Model" << std::endl;
 ? ?auto start_load_model = std::now();
 ? ?auto model = core.read_model(modelFile);
 ? ?auto compiled_model = core.compile_model(model, device);
 ? ?ov::InferRequest request = compiled_model.create_infer_request();
 ? ?std::cout << "Model Loaded, " << "time: " << std::duration_cast(std::now() - start_load_model).count() << "ms" << std::endl;
 ? ?request.get_input_tensor().set_shape(std::vector{1, length});
  // Warmup
  warmup(request);
  for (auto& filename : std::directory_iterator(dirpath))
  {
    std::string pathObj = filename.path().string();
    const char* filepath = pathObj.c_str();
    std::cout << "Current File: " << filepath << std::endl;
 ? ? ? ?// Read CSV
 ? ? ? ?auto start = std::now();
 ? ? ? ?read_csv(filepath, inputs.data());
 ? ? ? ?memcpy(request.get_input_tensor().data(), inputs.data(), length * sizeof(float));
    // Infer
    request.infer();
    // Get Output Data
    memcpy(outputs.data(), request.get_output_tensor().data(), length * sizeof(float) * 4);
    // Softmax
    std::vector softmax_results(length);
    std::vector temp(4);
    std::vector softmax_tmp(4);
    for (int i = 0; i < length; i++)
 ? ? ? ?{
 ? ? ? ? ? ?for (int j = 0; j < 4; j++)
 ? ? ? ? ? ?{
 ? ? ? ? ? ? ? ?temp[j] = outputs[j * length + i];
 ? ? ? ? ? ?}
 ? ? ? ? ? ?softmax_tmp = softmax(temp);
 ? ? ? ? ? ?auto maxVal = std::max_element(softmax_tmp.begin(), softmax_tmp.end());
 ? ? ? ? ? ?auto maxIndex = std::distance(softmax_tmp.begin(), maxVal);
 ? ? ? ? ? ?softmax_results[i] = maxIndex;
 ? ? ? ?}
 ? ? ? ?std::cout << "Infer time: " << std::duration_cast(std::now() - start).count() << "ms" << std::endl;
 ? ? ? ?
 ? ? ? ?// Print outputs
 ? ? ? ?for (int i = 0; i < length; i++)
 ? ? ? ?{
 ? ? ? ? ? ?std::cout << softmax_results[i] << " ";
 ? ? ? ?}
 ? ?}
 ? ?return 0;
}

使用 cmake 進(jìn)行構(gòu)建，在 CMakeLists.txt 中指定變量 ${OpenVino_ROOT} 為前面解壓的 OpenVINO 壓縮包路徑：

cmake_minimum_required(VERSION 3.10.0)


project(AutoInjector_Transformer)


set(CMAKE_CXX_STANDARD 20)
set(CMAKE_CXX_STANDARD_REQUIRED ON)
set(OpenVino_ROOT /home/up/openvino/l_openvino_toolkit_ubuntu22_2024.3.0.16041.1e3b88e4e3f_x86_64/runtime)
set(OpenVINO_DIR ${OpenVino_ROOT}/cmake)


find_package(OpenVINO REQUIRED)


include_directories(
  ${OpenVino_ROOT}/include
  ${OpenVino_ROOT}/include/openvino
  )


link_directories(
  ${OpenVino_ROOT}/lib
  ${OpenVino_ROOT}/lib/intel64
)


add_executable(AutoInjector_Transformer AutoInjector_Transformer.cpp)
target_link_libraries(AutoInjector_Transformer openvino)

然后 cmake 構(gòu)建項(xiàng)目：

mkdir build && cd build
cmake ..
make

然后運(yùn)行生成的可執(zhí)行文件：

可以看到，在 Intel iGPU 上的推理速度還是很快的，前幾次推理稍慢，8ms，后續(xù)基本穩(wěn)定在 4ms，這跟我之前在 RTX4060 GPU 上用 TensorRT 推理并沒有慢多少。然后我這里修改了代碼改為 CPU 運(yùn)行，重新編譯、運(yùn)行，結(jié)果在 Intel CPU 上的速度還要更快一點(diǎn)。