使用Vitis AI和Openpose處理數(shù)據(jù)以檢測(cè)跌倒檢測(cè)

描述

項(xiàng)目概念

該項(xiàng)目的目標(biāo)是監(jiān)控獨(dú)居的老年人，有攝像頭（未來(lái)計(jì)劃放置在許多房間）將視頻輸入 Xilinx ZCU104 以使用 Vitis-AI 和 Openpose 處理數(shù)據(jù)以檢測(cè)跌倒檢測(cè)。

我使用以下標(biāo)準(zhǔn)開(kāi)發(fā)了簡(jiǎn)單的算法來(lái)檢測(cè)跌倒。

• 頭身角度變化超過(guò)45度
• 變化角度超過(guò)特定值的速度（此時(shí)需要反復(fù)試驗(yàn)）

有兩種方法可以通知跌倒檢測(cè)。

1) 通過(guò) IFTTT 向預(yù)定義的號(hào)碼發(fā)送短信。

2) 打開(kāi)警報(bào)器。這個(gè)警報(bào)器是一個(gè)簡(jiǎn)單的網(wǎng)絡(luò)警報(bào)器，它使用 NodeMCU 并通過(guò)發(fā)送 http://<警報(bào)器的 IP>/SirenOn 激活這將允許我們將警報(bào)器放在任何有 Wifi 信號(hào)的地方。我不會(huì)詳細(xì)介紹這個(gè)項(xiàng)目。

在 ZCU104 板上，我們運(yùn)行了一個(gè)簡(jiǎn)單的 Web 服務(wù)器，它將保存圖片并從秋季開(kāi)始錄制視頻。

項(xiàng)目實(shí)施

項(xiàng)目組件

?

我花費(fèi)了 90% 的項(xiàng)目時(shí)間來(lái)創(chuàng)建具有以下組件的 SD 圖像。

• 視頻控制單元
• DPU
• 帶有 Openpose 模型的 Vitis-AI
• 用于向 IFTTT 和 Network Siren 發(fā)送請(qǐng)求的 Curl 命令。

但是我未能創(chuàng)建完整的圖像，在開(kāi)發(fā)的每個(gè)階段都有很多錯(cuò)誤。我們可以測(cè)試 Vitis-AI 的最佳映像來(lái)自 Vitis-AI 的現(xiàn)成構(gòu)建映像沒(méi)有 VCU 但都預(yù)裝了 Vitis-AI 和模型。有關(guān)更多詳細(xì)信息，請(qǐng)?jiān)L問(wèn) https://github.com/Xilinx/Vitis-AI如何創(chuàng)建映像并安裝它。

請(qǐng)注意，此圖像僅支持 Display Port Adapter !!。我花了將近兩周的時(shí)間來(lái)弄清楚如何在帶有 HDMI 端口的普通屏幕上顯示。（圖中我借了朋友的有Display Port的顯示器試了半天）

- Ubuntu 或 Linux 機(jī)器運(yùn)行帶有 -Y 選項(xiàng)的命令 ssh 到 ZCU104 板。-Y 表示啟用信任者 X11 轉(zhuǎn)發(fā)。如果不指定 -Y 選項(xiàng)。您可能會(huì)收到錯(cuò)誤“權(quán)限被拒絕。無(wú)法打開(kāi)顯示”例如

$ssh -Y root@

登錄后，使用命令 echo $DISPLAY 獲取顯示環(huán)境。您可以將此值用于串行終端控制臺(tái)以在您的 Linux 機(jī)器上顯示 Windows（DISPLAY 環(huán)境將類(lèi)似于 localhost:10.0）

- Windows 機(jī)器。您需要安裝 X 服務(wù)器程序。我使用 VcXsrv 程序。當(dāng)使用 Xlaunch 啟動(dòng) VcXsrv 時(shí)，不要忘記禁用訪(fǎng)問(wèn)控制（在最后一個(gè)屏幕上）以接受來(lái)自所有客戶(hù)端的連接。在ZCU104板子上，設(shè)置環(huán)境DISPLAY=:0.0

使用來(lái)自 USB 攝像頭啟動(dòng)程序的輸入

$./FallGuard openpose_pruned_0_3 0 -t 8

使用來(lái)自視頻文件的輸入（目前僅支持.webm 格式）

$./FallGuard openpose_pruned_0_3 -t 8

要在主機(jī)上編譯程序，我們需要為 Arm 64 位設(shè)置環(huán)境。通過(guò)使用命令 $source /environment-setup-aarch64-xilinx-linux 例如我的 SDK 在 /opt/petalinux/2020.1/

build.sh是編譯程序的腳本，編譯后使用 scp 將文件復(fù)制到目標(biāo) ZCU104 板。前任。scp FallGuard root@:~/ ~ 表示復(fù)制到主目錄。

有兩種方法可以通知跌倒檢測(cè)。

1) 使用 IFTTT webhook 通過(guò) webhook 使用 curl 命令通過(guò) post FallDetect 事件發(fā)送 SMS。有關(guān)詳細(xì)信息，請(qǐng)參閱 process_result.hpp 中的第 67 行。

2) 將 SirenOn 值發(fā)布到網(wǎng)絡(luò)警報(bào)地址。（第 69 行）為了便于實(shí)施，此時(shí)警報(bào)地址是固定的（第 17 行）。這個(gè)值是通過(guò)設(shè)置路由器來(lái)固定網(wǎng)絡(luò)警報(bào)器的mac地址的ip地址來(lái)固定的。

使用 Arduino 編譯，不要忘記在程序內(nèi)部定義 SSID 和 Password。我們僅使用 5 V 供電，即使警報(bào)器可支持高達(dá) 12 V。

實(shí)現(xiàn)的最后一部分是 Web 服務(wù)器。我們使用來(lái)自busybox的簡(jiǎn)單Web服務(wù)器（httpd）來(lái)實(shí)現(xiàn)簡(jiǎn)單的Web服務(wù)器，當(dāng)?shù)箼z測(cè)發(fā)生時(shí)顯示圖片和視頻。這將通過(guò)在項(xiàng)目目錄中調(diào)用腳本startweb.sh開(kāi)始，或者您可以將此腳本放在 .bashrc 中以自動(dòng)啟動(dòng)。

圖片為jpg格式，視頻為avi格式。這些操作由 OpenCV 庫(kù)完成。請(qǐng)注意，編碼器（本項(xiàng)目中的 MJPG）和容器（.avi）以及圖像的大?。?304、1536）必須匹配。否則，視頻將無(wú)法閱讀。我仍然對(duì)這些組合感到困惑。所以我無(wú)法解釋更多。我嘗試了其他組合 Ex。encode = Mpeg 和 container = mp4 但它不支持。（這個(gè)還有待開(kāi)發(fā)的領(lǐng)域）

項(xiàng)目成果

我們已經(jīng)在視頻文件和 USB 攝像頭上測(cè)試了跌倒檢測(cè)。當(dāng)人直接面對(duì)相機(jī)時(shí)，兩者都可以正常工作。但如果人站在旁邊或某個(gè)角度，Openpose 無(wú)法正確確定手勢(shì)。這需要通過(guò)安裝不同角度的攝像頭或使用其他算法來(lái)幫助對(duì)側(cè)面手勢(shì)進(jìn)行分類(lèi)來(lái)改善。通知有時(shí)也需要，這是由于網(wǎng)絡(luò)配置和網(wǎng)絡(luò)速度造成的。（有時(shí)快有時(shí)慢）

下落速度需要根據(jù)不同場(chǎng)景進(jìn)行調(diào)整和廣泛測(cè)試。例如，如果您打算睡覺(jué)（緩慢移動(dòng)），系統(tǒng)不應(yīng)故障警報(bào)并認(rèn)為它正在下降。不同的跌倒檢測(cè)算法將有助于檢測(cè)的準(zhǔn)確性。

從視頻中，您會(huì)看到屏幕上的動(dòng)態(tài)和圖片之間存在一些滯后，并且警報(bào)激活。這應(yīng)該通過(guò) VCU 加以改進(jìn)。

包起來(lái)

這個(gè)項(xiàng)目還有更大的發(fā)展空間。應(yīng)該測(cè)試不同的場(chǎng)景并提高Camera處理的速度。（如果我們可以使用 VCU，這些問(wèn)題就會(huì)得到解決） 系統(tǒng)魯棒性將非常重要。當(dāng)有人摔倒并且系統(tǒng)停止工作時(shí)，我們不希望系統(tǒng)掛起。這將使生命處于危險(xiǎn)之中。