基于英特爾哪吒開發(fā)者套件平臺(tái)來快速部署OpenVINO Java實(shí)戰(zhàn)

前言

OpenVINO 工具套件基于OneAPI開發(fā)，可以加快高性能計(jì)算機(jī)視覺和深度學(xué)習(xí)應(yīng)用開發(fā)速度的工具套件，適用于從邊緣到云的各種英特爾計(jì)算平臺(tái)上，幫助用戶更快地將更準(zhǔn)確的真實(shí)世界數(shù)據(jù)的AI推理結(jié)果部署到生產(chǎn)系統(tǒng)中。通過簡化的開發(fā)工作流程，OpenVINO可賦能開發(fā)者在現(xiàn)實(shí)世界中部署高性能應(yīng)用程序和算法。

今天我們將基于哪吒開發(fā)者套件平臺(tái)來快速部署OpenVINO Java。

1

英特爾開發(fā)者套件-哪吒

1.1

產(chǎn)品介紹

哪吒（Nezha）開發(fā)套件以信用卡大?。?5 x 56mm）的開發(fā)板-哪吒（Nezha）為核心，哪吒采用Intel N97處理器（Alder Lake-N），最大睿頻3.6GHz，Intel UHD Graphics內(nèi)核GPU，可實(shí)現(xiàn)高分辨率顯示；板載LPDDR5內(nèi)存、eMMC存儲(chǔ)及TPM 2.0，配備GPIO接口(與樹莓派兼容)，支持Windows和Linux操作系統(tǒng)，這些功能和無風(fēng)扇散熱方式相結(jié)合，為各種應(yīng)用程序構(gòu)建高效的解決方案，適用于如自動(dòng)化、物聯(lián)網(wǎng)網(wǎng)關(guān)、數(shù)字標(biāo)牌和機(jī)器人等應(yīng)用。

1.2

系統(tǒng)安裝

由于默認(rèn)的開發(fā)版使用的Ubuntu 18的系統(tǒng)，但是系統(tǒng)存在一個(gè)顯示器只有800*600的Bug，為此我們需要燒錄一個(gè)新系統(tǒng)進(jìn)去。我們進(jìn)入U(xiǎn)buntu intel-iot系統(tǒng)的下載網(wǎng)址（https://ubuntu.com/download/iot/intel-iot）然后下載Intel Atom X7000E Series Processors (former codename Alder Lake N) 即可，因?yàn)槟倪钙脚_(tái)是Alder Lake N 架構(gòu)，所以下載對應(yīng)平臺(tái)的鏡像即可（實(shí)際上下載正常的桌面版本即可）。將下載后的鏡像文件刻錄到U盤，按照正常的Ubuntu 系統(tǒng)安裝即可。

1.3

GPU驅(qū)動(dòng)安裝

由于默認(rèn)的Ubuntu 安裝之后不會(huì)帶有Intel GPU驅(qū)動(dòng)，為了讓推理的速度能過更加快一點(diǎn)，所以我們這里需要額外安裝一下，首先進(jìn)入

https://docs.openvino.ai/archive/2023.1/openvino_docs_install_guides_configurations_for_intel_gpu.html

這里官網(wǎng)給出了兩種安裝方式：

A:通過deb安裝

B:通過apt存儲(chǔ)庫。然后安裝ocl-icd-libopencl1、intel-opencl-icd、intel-level-zero-gpu和level-zero apt軟件包：

由于apt包需要配置倉庫，所以我們直接通過deb方式安裝。

1.3.1 創(chuàng)建一個(gè)臨時(shí)文件夾

mkdir neo

1.3.2 下載所有的deb包

cd neo
wget https://github.com/intel/intel-graphics-compiler/releases/download/igc-1.0.15985.7/intel-igc-core_1.0.15985.7_amd64.deb
wget https://github.com/intel/intel-graphics-compiler/releases/download/igc-1.0.15985.7/intel-igc-opencl_1.0.15985.7_amd64.deb
wget https://github.com/intel/compute-runtime/releases/download/24.05.28454.6/intel-level-zero-gpu-dbgsym_1.3.28454.6_amd64.ddeb
wget https://github.com/intel/compute-runtime/releases/download/24.05.28454.6/intel-level-zero-gpu_1.3.28454.6_amd64.deb
wget https://github.com/intel/compute-runtime/releases/download/24.05.28454.6/intel-opencl-icd-dbgsym_24.05.28454.6_amd64.ddeb
wget https://github.com/intel/compute-runtime/releases/download/24.05.28454.6/intel-opencl-icd_24.05.28454.6_amd64.deb
wget https://github.com/intel/compute-runtime/releases/download/24.05.28454.6/libigdgmm12_22.3.11_amd64.deb

1.3.3 通過root安裝所有的包

sudo dpkg -i *.deb

這個(gè)時(shí)候我們就可以使用GPU來推理了。

2

準(zhǔn)備工作

2.1

配置Java環(huán)境

2.1.1 下載并配置JDK

JDK（Java Development Kit）稱為Java開發(fā)包或Java開發(fā)工具，是一個(gè)編寫Java的Applet小程序和應(yīng)用程序的程序開發(fā)環(huán)境。JDK是整個(gè)Java的核心，包括了Java運(yùn)行環(huán)境（Java Runtime Environment），一些Java工具和Java的核心類庫（Java API）。不論什么Java應(yīng)用服務(wù)器實(shí)質(zhì)都是內(nèi)置了某個(gè)版本的JDK。主流的JDK是Sun公司發(fā)布的JDK，除了Sun之外，還有很多公司和組織都開發(fā)了自己的JDK.

2.1.2 添加api到本地maven

添加OpenVINO Java API 至Maven(目前沒有在meven中央倉庫發(fā)布，所以需要手動(dòng)安裝)

2.1.3 clone OpenVINO Java API 項(xiàng)目到本地

git clone https://github.com/Hmm466/OpenVINO-Java-API

2.1.4 通過IDEA 或 Eclipse 打開

通過maven install 到本地maven 庫中

[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 14.647 s
[INFO] Finished at: 2023-11-02T21:34:49+08:00
[INFO] ------------------------------------------------------------------------

jar包會(huì)放置在

/{userHome}/.m2/repository/org/openvino/java-api/1.0-SNAPSHOT/java-api-1.0-SNAPSHOT.pom

2.2

安裝 OpenVINO Runtime

OpenVINO 有兩種安裝方式: OpenVINO Runtime 和OpenVINO Development Tools。OpenVINO Runtime 包含用于在處理器設(shè)備上運(yùn)行模型部署推理的核心庫。OpenVINO Development Tools 是一組用于處理 OpenVINO 和 OpenVINO 模型的工具，包括模型優(yōu)化器、OpenVINO Runtime、模型下載器等。在此處我們只需要安裝 OpenVINO Runtime 即可。

2.2.1 下載 OpenVINO Runtime

訪問 Download the Intel Distribution of OpenVINO Toolkit[5] 頁面，按照下面流程選擇相應(yīng)的安裝選項(xiàng)，在下載頁面，由于哪吒使用的是 Ubuntu22.04，因此下載時(shí)按照指定的編譯版本下載即可。

2.2.2 解壓縮安裝包

我們所下載的 OpenVINO Runtime 本質(zhì)是一個(gè) C++ 依賴包，因此我們把它放到我們的系統(tǒng)目錄下，這樣在編譯時(shí)會(huì)根據(jù)設(shè)置的系統(tǒng)變量獲取依賴項(xiàng)。

cd ~/Downloads/
tar -xvzf l_openvino_toolkit_ubuntu22_2023.3.0.13775.ceeafaf64f3_x86_64.tgz
sudo mv l_openvino_toolkit_ubuntu22_2023.3.0.13775.ceeafaf64f3_x86_64/runtime/lib/intel64/* /usr/lib/

3

在哪吒平臺(tái)上進(jìn)行測試

3.1

源代碼直接測試

git clone https://github.com/Hmm466/OpenVINO-Java-API

使用IDEA打開OpenVINO-Java-API項(xiàng)目

創(chuàng)建src/test/java/org.openvino.java.test.OpenVINOTest

編寫測試代碼：

OpenVINO vino = OpenVINO.load();
OvVersion version = vino.getVersion();
Console.println("---- OpenVINO INFO----");
Console.println("Description : %s", version.description);
Console.println("Build number: %s", version.buildNumber);

結(jié)果將輸出

---- OpenVINO INFO----
Description : OpenVINO Runtime
Build number: 2023.3.0-13775-ceeafaf64f3-releases/2023/3

3.2

運(yùn)行YoloV8模型演示效果

4

總結(jié)

在該項(xiàng)目中，我們基于英特爾開發(fā)套件哪吒為硬件基礎(chǔ)實(shí)現(xiàn)了Java在 Ubuntu 22.04 系統(tǒng)上成功使用OpenVINO Java API，并且成功允許了Yolov8模型，驗(yàn)證了Java可以在各種硬件平臺(tái)上快速部署和運(yùn)行，同時(shí)簡化了Java開發(fā)者對于AI類項(xiàng)目的上手難度。后續(xù)我還會(huì)將繼續(xù)使用 OpenVINO Java API 在 英特爾開發(fā)套件上部署更多的深度學(xué)習(xí)模型。

審核編輯：劉清