J-Eye：用于自主注射的肌內(nèi)部位檢測(cè)

描述

介紹

COVID-19 大流行仍在全球范圍內(nèi)蔓延。它在許多方面影響了人類(lèi)生活，并對(duì)公共衛(wèi)生、全球交通系統(tǒng)和許多領(lǐng)域提出了前所未有的挑戰(zhàn)。大多數(shù)政府已實(shí)施封鎖政策并限制國(guó)際旅行，以減輕病毒的傳播。雖然事實(shí)是目前還沒(méi)有靈丹妙藥能夠?qū)共《?，但接種疫苗仍然是目前減輕病毒死亡率和發(fā)病率的最有效手段之一。

然而，全球疫苗接種率仍然很低，尤其是在低收入國(guó)家，因?yàn)樗麄儷@得醫(yī)療資源和資金的機(jī)會(huì)有限。據(jù)世衛(wèi)組織稱(chēng)，低收入國(guó)家只有 14.5% 的人口至少接受過(guò)一劑疫苗。許多非洲國(guó)家的疫苗接種率甚至更低，包括乍得、馬達(dá)加斯加和坦桑尼亞，其免疫接種率僅為 1.5% 至 4% [1]。提供低成本的疫苗接種解決方案既緊迫又具有挑戰(zhàn)性。開(kāi)發(fā)疫苗本身成本高昂，而另一個(gè)成本高昂的組成部分是疫苗接種本身，這需要額外的資源，例如額外的醫(yī)務(wù)人員和額外的醫(yī)療費(fèi)用。此外，傳統(tǒng)的疫苗接種無(wú)疑會(huì)增加病毒傳播的風(fēng)險(xiǎn)和醫(yī)護(hù)人員的工作量。

總而言之，當(dāng)前的臨床需求清楚地表明，在持續(xù)的大流行仍然威脅著全球社會(huì)并采取了看不見(jiàn)的措施（包括社會(huì)疏遠(yuǎn)和封鎖）的時(shí)候，迫切需要安全和足夠的疫苗覆蓋率。

自主注射機(jī)器人

自主機(jī)器人注射作為一種安全有效的解決方案，可以在無(wú)人的環(huán)境中提供疫苗，人們只需走進(jìn)去并將手臂伸入一個(gè)封閉的空間。最近，開(kāi)發(fā)了幾個(gè)這樣的原型，它們?cè)谙旅婧?jiǎn)要列出。

Cobi：滑鐵盧開(kāi)發(fā)了 Cobi，這是世界上第一個(gè)自主機(jī)器人無(wú)針注射。借助激光雷達(dá)傳感器和人工智能位置跟蹤，Cobi 能夠識(shí)別人體。然后，如下圖所示，360度深度感知將無(wú)用機(jī)械臂引導(dǎo)至患者手臂上的注射部位進(jìn)行藥物輸送。[2]

后羿：如下圖所示，上海同濟(jì)大學(xué)研發(fā)的自動(dòng)疫苗注射機(jī)器人，也可以通過(guò)3D人體建模，自動(dòng)識(shí)別人體上的指定注射位置。識(shí)別算法將攝像頭拾取的3D點(diǎn)與3D模型上的對(duì)應(yīng)部位進(jìn)行擬合，然后給出注射點(diǎn)。[3, 4]

值得一提的是，兩種解決方案均采用無(wú)針疫苗接種，確保安全無(wú)痛注射。這些機(jī)器人的另一個(gè)關(guān)鍵要素是能夠以智能方式檢測(cè)正確的注射部位。在這兩種情況下，都使用配備多維傳感器的復(fù)雜 3D 模型識(shí)別算法來(lái)完成檢測(cè)任務(wù)。雖然這些算法可以提供準(zhǔn)確的站點(diǎn)檢測(cè)，但它們也涉及大量的開(kāi)發(fā)工作、昂貴的傳感技術(shù)和昂貴的相機(jī)。這些都增加了這些機(jī)器人的總成本。在這個(gè)項(xiàng)目中，我們聲稱(chēng)為自主注射部位提出一種低成本但有效的解決方案很重要，并且可以有所作為用于將機(jī)器人部署到世界不同地區(qū)。我們先來(lái)了解一下注射部位通常在手臂上的什么位置。

肌肉注射部位

目前的 COVID-19 疫苗主要是肌肉注射，因?yàn)榧∪饩哂辛己玫难芊植?，可以使注射迅速參與全身循環(huán)。綜合考慮，三角?。ㄈ缦聢D）是最適合接種疫苗的部位，因?yàn)樗难汗?yīng)充足，面積大[5]。根據(jù)該圖，我們咨詢(xún)了醫(yī)學(xué)專(zhuān)家，得出的結(jié)論是，肌肉注射部位是一個(gè)較大的身體區(qū)域，個(gè)體對(duì)該區(qū)域的暴露差異較小。這激發(fā)了我們尋找替代解決方案以使用視覺(jué) AI 輔助技術(shù)檢測(cè)站點(diǎn)的想法。

Vision-AI 輔助注射部位檢測(cè)

上述注射部位檢測(cè)的現(xiàn)有研究主要利用 3D 傳感技術(shù)，這意味著需要支持 3D 人體視覺(jué)的先進(jìn) AI 模型和相應(yīng)定制的相機(jī)。還涉及昂貴的硬件來(lái)促進(jìn)這些模型。

在這個(gè)項(xiàng)目中，我們提出了 J-Eye，這是一種基于Xilinx KV260 板的低成本 2D 視覺(jué) AI 輔助肌肉注射部位檢測(cè)解決方案。最終目標(biāo)是為促進(jìn)自主注射提供替代解決方案。

在這里，我們的目標(biāo)是在 KV260 上構(gòu)建一個(gè)低成本的注入點(diǎn)檢測(cè)應(yīng)用程序，并利用 Xilinx 提供的強(qiáng)大工具套件。我們還旨在使用輕量級(jí) AI 模型探索 2D 物體檢測(cè)/定位技術(shù)的能力，該模型可以在 FPGA 板上實(shí)現(xiàn)，易于設(shè)置。

目前只有少數(shù)工作專(zhuān)注于 2D 視覺(jué) AI 輔助人體手臂檢測(cè)，并且沒(méi)有可用的大型公共數(shù)據(jù)集。考慮到 Vitis-AI 模型動(dòng)物園對(duì) KV260 的適用性及其用戶(hù)友好的訓(xùn)練、量化、編譯過(guò)程，我們專(zhuān)注于全面部署 Vitis-AI 的模型及其功能。此外，基于人臉比手臂更容易區(qū)分的事實(shí)以及當(dāng)今人臉檢測(cè)研究的蓬勃發(fā)展，我們決定利用人臉檢測(cè)的價(jià)值，僅通過(guò)二維圖像處理來(lái)定位“無(wú)特征”的三角肌和注射部位。這是通過(guò)利用 Vitis-AI 模型動(dòng)物園中可用的面部檢測(cè)模型來(lái)實(shí)現(xiàn)的，然后將其結(jié)果轉(zhuǎn)換為針對(duì)注射部位。

項(xiàng)目概況

我們的項(xiàng)目是按照如下所示的邏輯流程開(kāi)發(fā)的。

目的是讓連接 KV260 的監(jiān)護(hù)儀指示患者手臂上的注射部位。由于硬件資源的限制和目前現(xiàn)有的手臂檢測(cè)工作數(shù)量較少，我們決定將問(wèn)題簡(jiǎn)化為人臉檢測(cè)輔助后處理來(lái)指示結(jié)果。對(duì)于我們項(xiàng)目的主要部分，我們研究了基于 Vitis-AI 的模型選擇和訓(xùn)練策略。而對(duì)于后處理，主要是使用 VVAS 的 OpenCV 編碼。然后在測(cè)試階段，我們使用收集到的與我們的應(yīng)用場(chǎng)景相匹配的圖像來(lái)查看不同訓(xùn)練時(shí)期或訓(xùn)練策略下的準(zhǔn)確性，然后相應(yīng)地重新訓(xùn)練模型。最后，演示部分以圖片輸入為基礎(chǔ)，結(jié)果呈現(xiàn)更加清晰穩(wěn)定。

環(huán)境設(shè)置

KV260

以下步驟將讓您了解如何開(kāi)始使用 KV260 ，以及如何在您的計(jì)算機(jī)和 KV260 之間啟用便捷的文件傳輸。

注意：以下設(shè)置和構(gòu)建過(guò)程是在Windows上實(shí)現(xiàn)的。

先決條件：Mobaxterm、balenaEtcher

首先，獲取官方發(fā)布的SD 卡鏡像，并使用 balenaEtcher 將其刷入您的 SD 卡。

然后讓您的 KV260 和計(jì)算機(jī)連接起來(lái)，如下所示。

打開(kāi) Mobaxterm, 創(chuàng)建一個(gè)新的Session并選擇 “Serial”,

然后選擇一個(gè)帶有前綴“COM”的串行端口，描述為 USB 類(lèi)型。通常你會(huì)看到兩個(gè)具有匹配特性的串口，但索引較小的那個(gè)是正確連接的。

接下來(lái)，將Speed更改為 115200。在Advanced Serial Settings部分中，修改如下設(shè)置。

單擊確定以連接到板。請(qǐng)注意，如果您看不到板上的任何消息并且沒(méi)有報(bào)告錯(cuò)誤消息，請(qǐng)按鍵盤(pán)上的 Enter。

為了方便我們的計(jì)算機(jī)和 KV260 之間的文件傳輸，首先我們應(yīng)該為我們的板子啟用 ssh。

在您剛剛在 Mobaxterm for KV260 中打開(kāi)的終端中，輸入

ifconfig

獲取板子的IP地址。

然后仍然在 Mobaxterm 中，創(chuàng)建一個(gè)新會(huì)話。選擇“SSH”并填寫(xiě)您剛剛擁有的IP地址并將用戶(hù)名指定為“petalinux”。

并在高級(jí) SSH 設(shè)置部分，將 ssh-browser 類(lèi)型修改為“ SCP（增強(qiáng)速度）”。然后單擊確定，您將看到終端如下所示。

現(xiàn)在，對(duì)于文件傳輸，在 Mobaxterm 中轉(zhuǎn)到您要上傳/下載文件的目錄。然后只需將要傳輸?shù)奈募先?從目錄中傳輸，如下圖所示。

如果文件傳輸過(guò)程中出現(xiàn)權(quán)限錯(cuò)誤提示，可以嘗試修改目標(biāo)目錄的權(quán)限

sudo chmod 777 ${TARGET_DIRECTORY}

Vitis-AI

以下步驟將告訴您如何在您自己的計(jì)算機(jī)上設(shè)置 Vitis-AI。

注意：以下設(shè)置和構(gòu)建過(guò)程在Ubuntu 20.04上實(shí)現(xiàn)。

先決條件：碼頭工人

首先，通過(guò)此命令克隆 Vitis-AI 存儲(chǔ)庫(kù)。

git clone --recurse-submodules https://github.com/Xilinx/Vitis-AI

轉(zhuǎn)到克隆的目錄。

cd Vitis-AI

建議通過(guò)以下命令從 docker hub 拉取 docker 鏡像，因?yàn)檫@樣更快。

docker pull xilinx/vitis-ai:latest

請(qǐng)注意，上面的命令只為您構(gòu)建 CPU 版本的 Vitis-AI，對(duì)于 GPU 版本，您可以使用位于下的 shell 文檔Vitis-AI/setup/docker/

./docker_build_gpu.sh

拉取過(guò)程完成后，您可以通過(guò)以下方式啟動(dòng) Vitis-AI

./docker_run.sh xilinx/vitis-ai

。

如果您想為您的自定義應(yīng)用程序修改/編寫(xiě) VVAS 相關(guān)代碼，以下步驟將讓您了解如何設(shè)置 VVAS 交叉編譯環(huán)境。

注意：以下設(shè)置和構(gòu)建過(guò)程在Ubuntu 20.04上實(shí)現(xiàn)。

我們將首先設(shè)置 Xilinx 提供的 VVAS 的交叉編譯環(huán)境。轉(zhuǎn)到克隆的 Vitis-AI 存儲(chǔ)庫(kù)的目錄（如果沒(méi)有，請(qǐng)轉(zhuǎn)到上面的 Vitis-AI 設(shè)置部分）。然后導(dǎo)航到setup/mpsoc/VART并在命令行中鍵入以下內(nèi)容。

./host_cross_compiler_setup.sh

運(yùn)行命令完成后，它將告訴您如何啟動(dòng) setup 交叉編譯環(huán)境，如下所示。

source ${PATH_TO}/environment-setup-cortexa72-cortexa53-xilinx-linux

請(qǐng)注意，每次啟動(dòng)新終端時(shí)，請(qǐng)重新運(yùn)行此命令以啟動(dòng)環(huán)境。

接下來(lái)，ls在當(dāng)前目錄下，你會(huì)看到一個(gè) sdk shell 文件。然后運(yùn)行以下命令。

./${SDK_NAME}.sh -d `pwd` -y

完成此操作后，您已經(jīng)設(shè)置了 VVAS SDK，命令行會(huì)告訴您激活它，例如，

. ${PATH_TO}/environment-setup-cortexa72-cortexa53-xilinx-linux

請(qǐng)注意，每次啟動(dòng)新終端時(shí)，請(qǐng)重新運(yùn)行此命令以啟動(dòng) SDK。

現(xiàn)在您已準(zhǔn)備好為您的應(yīng)用程序編譯 VVAS 相關(guān)代碼的一切。詳細(xì)的編譯過(guò)程將在后處理單元構(gòu)建部分給出。

在接下來(lái)的 3 部分中，我們將為您提供詳細(xì)的構(gòu)建流程說(shuō)明，包括我們的應(yīng)用模型的 Vitis-AI 模型訓(xùn)練，我們定制的后處理單元的 VVAS 使用，最后，如何將它們與原始 kv260-smartcam 集成構(gòu)建我們的應(yīng)用程序 J-Eye。它們的結(jié)構(gòu)簡(jiǎn)介如下所示。

Vitis-AI 模型準(zhǔn)備

可與 VVAS 一起使用的受支持 Vitis-AI 模型是有限的。對(duì)于我們需要的模型類(lèi) FACEDETECT，VVAS 中只有 densebox 可用，并且精度很高。考慮到我們的應(yīng)用場(chǎng)景是疫苗接種。為了降低病毒傳播的風(fēng)險(xiǎn)，人們?cè)诖蜥槙r(shí)大多戴口罩。Vitis-AI 中預(yù)訓(xùn)練的密集框使用數(shù)據(jù)庫(kù)WIDER FACE進(jìn)行一般人臉檢測(cè)訓(xùn)練，其中不強(qiáng)調(diào)醫(yī)學(xué)蒙面的人臉。為了確?？梢院芎玫貦z測(cè)蒙面人臉，尤其是當(dāng)人們?cè)谧⑸溥^(guò)程中將側(cè)臉轉(zhuǎn)向相機(jī)時(shí)，我們使用MAFA（最流行的蒙面人臉數(shù)據(jù)集之一）基于預(yù)訓(xùn)練的密集框增量訓(xùn)練。

準(zhǔn)備 AI 模型的詳細(xì)構(gòu)建過(guò)程如下所示。

模型訓(xùn)練

我們的模型是使用 caffe 訓(xùn)練的，它在 Vitis-AI 中的環(huán)境可以被激活為

conda activate vitis-ai-caffe

訓(xùn)練過(guò)程基于Vitis-AI 提供的預(yù)訓(xùn)練模型。通過(guò)上面的鏈接進(jìn)入你下載的官方模型的目錄。然后導(dǎo)航到code/train/并運(yùn)行以下命令。

vai_q_caffe finetune -solver solver.prototxt -weights quantize_train_test.caffemodel -model train.prototxt

請(qǐng)注意，此處所需的所有文件均由 Vitis-AI 密集盒模型提供，但我們對(duì)訓(xùn)練過(guò)程進(jìn)行了一些重大修改。您可以通過(guò)https://github.com/iCAS-SJTU/J-eye/tree/main/models/train訪問(wèn)我們修改后的文件。但是當(dāng)你在做這一步時(shí)，請(qǐng)修改訓(xùn)練數(shù)據(jù)集的路徑train.prototxt。并且根據(jù)您的計(jì)算機(jī)配置，您可以分別更改批量大小和最大迭代train.prototxt次數(shù)solver.prototxt。至于數(shù)據(jù)集，您可以通過(guò)此鏈接下載它https://drive.google.com/drive/folders/1nbtM1n0--iZ3VVbNGhocxbnBGhMau_OG

完成此步驟后，您將派生一個(gè)帶后綴的浮點(diǎn)模型。caffemodel在目錄${DOWNLOADED_MODEL_FILE_PATH}/code/train/snapshot中，將在下一步中量化

模型量化

這里我們使用 Vitis-AI 提供的量化命令生成編譯所需的量化模型。

vai_q_caffe quantize -model quantize.prototxt -weights armdetect_float.caffemodel -keep_fixed_neuron

你可以quantize.prototxt從下載的densebox模型和https://github.com/iCAS-SJTU/J-eye/tree/main/models/floatarmdetect_float.caffemodel中找到。您應(yīng)該在準(zhǔn)備好所有需要的文件的目錄中運(yùn)行此命令，或者您需要更改命令中的相對(duì)路徑。

模型編譯

我們使用 Vitis-AI 提供的編譯命令進(jìn)行編譯，您將導(dǎo)出一個(gè).xmodel可以放在 KV260 上的文件。

vai_c_caffe -p quantized/deploy.prototxt -c quantized/deploy.caffemodel -a arch.json -o compiled/ -n arm_detect

您可以在https://github.com/iCAS-SJTU/J-eye/tree/main/models/quantized中找到deploy.prototxt、deploy.caffemodel和。您應(yīng)該在準(zhǔn)備好所有需要的文件的目錄中運(yùn)行此命令，或者您需要更改命令中的相對(duì)路徑。arch.json

后處理單元大樓

利用 VVAS 將幫助我們將檢測(cè)結(jié)果轉(zhuǎn)換到監(jiān)控屏幕上。在這里，我們將向您展示如何將修改后的源代碼編譯為可供后處理配置文件使用的庫(kù)文件。

首先，我們必須從 github 克隆 VVAS 存儲(chǔ)庫(kù)，以便為我們的后處理代碼編譯獲取所需的實(shí)用程序和庫(kù)。

git clone https://github.com/Xilinx/VVAS.git

要獲得我們需要的所有實(shí)用程序和庫(kù)，我們必須按以下順序進(jìn)行編譯

• vvas-utils
• vvas-gst-插件
• vvas-accel-sw-libs

vvas-utils

首先我們應(yīng)該meson.cross根據(jù)提供的VVAS/vvas-utils/meson.cross.template. 只有兩件事你需要做修改，${SYSROOT}和${NATIVESYSROOT}，其中${SYSROOT}指代${PATH_TO}/petalinux_sdk_2021.1/sysroots/cortexa72-cortexa53-xilinx-linux和${NATIVESYSROOT}指代${PATH_TO}/petalinux_sdk_2021.1/sysroots/x86_64-petalinux-linux。

如果您是第一次為 VVAS 進(jìn)行交叉編譯，請(qǐng)執(zhí)行以下命令。

cp meson.cross ${NATIVESYSROOT}/usr/share/meson/aarch64-xilinx-linux-meson.cross

然后我們準(zhǔn)備編譯:)

使用設(shè)置交叉編譯環(huán)境和 SDK 時(shí)提供的命令獲取編譯環(huán)境。

. ${PATH_TO}/environment-setup-cortexa72-cortexa53-xilinx-linux
source ${PATH_TO}/petalinux_sdk_2021.1/environment-setup-cortexa72-cortexa53-xilinx-linux

假設(shè)你在目錄下VVAS/vvas-utils/，

mkdir build
meson build
cd build
ninja

這部分編譯成功后（假設(shè)你還在目錄中build），我們必須鍵入以下命令，以使我們后面的編譯步驟更容易。

cp pkgconfig/ivas-utils.pc ${SYSROOT}/usr/lib/pkgconfig
cp utils/libivasutil.so utils/libxrtutil.so ${SYSROOT}/usr/lib

另外，將目錄下的所有頭文件復(fù)制vvas-utils/到 ${SYSROOT}/usr/include

vvas-gst-插件

假設(shè)你在目錄下VVAS/vvas-gst-plugins/，

mkdir build
meson build
cd build
ninja

這部分編譯成功后（假設(shè)你還在目錄中build），做下面的復(fù)制工作，讓我們后面的編譯步驟更簡(jiǎn)單。

cp pkgconfig/ivas-utils.pc ${SYSROOT}/usr/lib/pkgconfig
cp ${SO_FILE_NAME}.so ${SYSROOT}/usr/lib

另外，將目錄下的所有頭文件復(fù)制vvas-gst-utils/到 ${SYSROOT}/usr/include

vvas-accel-sw-libs

假設(shè)你在目錄下VVAS/vvas-accel-sw-libs/，去vvas_xboundingbox/src替換為vvas_xboundingbox.cpp我們的后處理代碼（我們的源代碼ivas_airender.cpp由Xilinx提供修改）。然后

cd ../..
mkdir build
meson build
cd build
ninja

現(xiàn)在，vvas_xboundingbox/您將在下面找到vvas_xboungdingbox.so將用作在 KV260 上進(jìn)行后期處理的重要文件。

在 KV260 上組裝

在 KV260 上，下載應(yīng)用程序 smartcam 的軟件包。

sudo dnf install packagegroup-kv260-smartcam.noarch

在KV260 上的目錄下，/opt/xilinx/share/ivas/smartcam/

mkdir armdetect
cd armdetect

然后將https://github.com/iCAS-SJTU/J-eye/tree/main/models/config中的所有配置文件復(fù)制到這個(gè)目錄下（配置文件是官方發(fā)布的修改）。

接下來(lái)，進(jìn)入目錄/opt/xilinx/share/vitis_ai_library/models/kv260-smartcam/，

mkdir armdetect
cd armdetect

然后將https://github.com/iCAS-SJTU/J-eye/tree/main/models/編譯好的所有模型相關(guān)文件復(fù)制到這個(gè)目錄下。

對(duì)于后處理部分，從https://github.com/iCAS-SJTU/J-eye/tree/main/post-processing復(fù)制庫(kù)文件并將其放在/opt/xilinx/lib.

完成所有這些后，您就可以開(kāi)始我們的應(yīng)用程序了

sudo xmutil unloadapp
sudo xmutil loadapp kv260-smartcam
sudo smartcam -u ${USB_PORT_NUMBER} -W 1920 -H 1080 --target dp -a armdetect

請(qǐng)注意，${USB_PORT_NUMBER}可以通過(guò)以下方式找到可用的ls /dev | grep media

結(jié)果

為了驗(yàn)證我們訓(xùn)練的模型和后處理單元的檢測(cè)能力，我們從Google.com中選擇了一組圖片顯示剛接種疫苗的人。我們的測(cè)試集涵蓋了不同的性別、種族和年齡。驗(yàn)證輸出標(biāo)記在圖片上。請(qǐng)注意，這里我們僅將部分結(jié)果作為示例顯示。紅色矩形表示面部，白色實(shí)心圓圈表示注射部位。根據(jù)結(jié)果??，它表明在口罩可用或不可用的情況下，以及在提供側(cè)視圖或前視圖的情況下，人臉都能被正確識(shí)別。我們的解決方案能夠正確定位該點(diǎn)，這通過(guò)將白點(diǎn)與圖片上的原始繃帶重疊來(lái)反映。已經(jīng)測(cè)試了 100 多張圖片，并且顯示了類(lèi)似的結(jié)果。這大大增強(qiáng)了我們的信心。

。

?

下面是我們?cè)?KV260 上啟動(dòng) J-Eye 后如何進(jìn)行演示。KV260 連接 USB 攝像頭和監(jiān)視器，如下圖所示。監(jiān)視器也是機(jī)器人系統(tǒng)的一部分。屏幕將顯示檢測(cè)結(jié)果。接受注射的人員應(yīng)按地面標(biāo)明的位置站立。

確保您在相機(jī)前筆直站立，并且您的左側(cè)臉大約在屏幕中心。

如果您不在機(jī)器人可達(dá)范圍內(nèi)怎么辦？

如果接受注射的人站在可檢測(cè)范圍的角落，我們的應(yīng)用程序支持在屏幕上顯示提醒消息。

檢測(cè)結(jié)果如何顯示在屏幕上？

如果您站在可檢測(cè)范圍內(nèi)，應(yīng)用程序?qū)⒃谄聊簧隙ㄎ荒拿娌亢妥⑸洳课?，如下圖所示。

概括

上述結(jié)果和演示表明，當(dāng)患者處于可檢測(cè)范圍內(nèi)并處于如上圖所示的準(zhǔn)備注射姿勢(shì)時(shí)，我們提出的解決方案效果很好。與 3D 解決方案相比，它在更復(fù)雜的條件下的檢測(cè)性能肯定會(huì)受到限制，但這確實(shí)是我們的第一次嘗試。我們正在進(jìn)行的努力包括整合更復(fù)雜的模型，并與機(jī)械工程系的研究人員合作對(duì)整個(gè)系統(tǒng)進(jìn)行原型設(shè)計(jì)。概念圖如下所示。

這里我們簡(jiǎn)要討論整個(gè)系統(tǒng)的工作流程。嵌入在機(jī)械臂上的攝像頭將與 KV260 板連接。檢測(cè)結(jié)果將顯示在監(jiān)視器屏幕上。機(jī)械臂將接收到來(lái)自電路板的準(zhǔn)確檢測(cè)信息（例如坐標(biāo)）并做出相應(yīng)的移動(dòng)。在患者超出攝像頭范圍的情況下，警告信息將顯示在監(jiān)視器上，直到恢復(fù)正常狀態(tài)。一旦人靜止不動(dòng)并且面部在相機(jī)視圖中，檢測(cè)將開(kāi)始。

最后，我們?cè)谙旅婵偨Y(jié)了我們對(duì)這個(gè)項(xiàng)目的主要貢獻(xiàn)。

• 低成本、高適應(yīng)性的2D注射部位檢測(cè)：我們的項(xiàng)目開(kāi)發(fā)周期較短，成本肯定低于基于3D傳感的注射部位檢測(cè)項(xiàng)目。同時(shí)，J-eye 有很大的潛力用于其他模型。至于功能，根據(jù)我們展示的結(jié)果和演示，我們證明了最初的嘗試是有效的。我們正在努力通過(guò)查看更復(fù)雜的模型以及從多個(gè)攝像頭對(duì)人體圖片進(jìn)行采樣的潛在用途來(lái)提高檢測(cè)精度。
• 使用 Vitis-AI 模型支持無(wú)特征的身體區(qū)域檢測(cè)：在我們的應(yīng)用場(chǎng)景中，手臂檢測(cè)是必不可少的，但人的手臂特征太少，無(wú)法在 2D 圖像中足夠區(qū)分。許多其他人體部位也是如此，它們雖然是純皮膚，但對(duì)于醫(yī)療仍然很重要。我們觀察到，人臉檢測(cè)是當(dāng)今成熟的視覺(jué) AI 模型之一，其準(zhǔn)確性已被證明因其在市場(chǎng)上的廣泛使用而令人滿(mǎn)意。我們的項(xiàng)目通過(guò)適當(dāng)?shù)暮筇幚韯?dòng)作轉(zhuǎn)移了其在檢測(cè)其他無(wú)特征的人體部位方面的價(jià)值。
• 增強(qiáng)賽靈思流程：我們的項(xiàng)目充分受益于賽靈思的硬件和軟件支持。但是在 VVAS 設(shè)置和編譯部分，一些描述已經(jīng)過(guò)時(shí)或?qū)Τ鯇W(xué)者來(lái)說(shuō)很難。在開(kāi)發(fā)過(guò)程中，我們還記錄了整個(gè)構(gòu)建過(guò)程的詳細(xì)說(shuō)明。它是完全開(kāi)源的，可供社區(qū)使用。

致謝

我們要感謝 Xilinx 團(tuán)隊(duì)的慷慨幫助和耐心回答整個(gè)項(xiàng)目期間的所有問(wèn)題，尤其是在公司并購(gòu)期間。我們感謝當(dāng)?shù)匦l(wèi)生專(zhuān)家和醫(yī)務(wù)人員提供專(zhuān)業(yè)建議。

參考

[1] https://www.cnbc.com/2022/02/02/these-countries-have-the-lowest-covid-vaccination-rates-in-the-world.html

[2] https://www.inceptivemind.com/cobi-robot-autonomously-performs-intramuscular-injection-without-needles/21919/

[3] https://www.globaltimes.cn/page/202201/1246148.shtml

[4] https://inf.news/en/tech/1fe00617cfdae9eda4464a2b42006525.html

[5] https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7886662/

[6] https://www.eet-china.com/mp/a86386.html

[7] https://www.xilinx.com/support/documentation/sw_manuals/vitis_??ai/1_3/ug1414 -vitis-ai.pdf

[8] https://xilinx.github.io/kria-apps-docs/main/build/html/docs/smartcamera/docs/app_deployment.html

[9] https://github.com/Xilinx/VVAS