ActionAI：自定義跟蹤和多人活動(dòng)識(shí)別

去年夏天，谷歌研究人員描述了一些創(chuàng)新，這些創(chuàng)新導(dǎo)致了圍繞使用動(dòng)力學(xué)數(shù)據(jù)集執(zhí)行人類(lèi)活動(dòng)識(shí)別(HAR)的最新技術(shù)水平。

由于我們想讓開(kāi)發(fā)新的AI 社交應(yīng)用程序變得更容易，因此我們強(qiáng)調(diào)將我們的方法專(zhuān)門(mén)用于您的自定義HAR 任務(wù)的簡(jiǎn)單性。

我們還發(fā)現(xiàn)這種方法在為客戶(hù)構(gòu)建資源利用率和活動(dòng)監(jiān)控演示“黃色沙發(fā)”方面非常有效，因?yàn)槲覀兲剿髁思?jí)聯(lián)推理以提取有關(guān)人員的其他屬性。

姿態(tài)估計(jì)有助于表征活動(dòng)并定位到感興趣區(qū)域以進(jìn)行二次推理

。OpenCV就足夠了。對(duì)于姿勢(shì)估計(jì)，我們使用通過(guò)流行的深度學(xué)習(xí)框架（如Tensorflow和Pytorch）實(shí)現(xiàn)的Openpose 。

準(zhǔn)確識(shí)別某些活動(dòng)需要更高的時(shí)間分辨率和更高的幀速率，因此我們使用TensorRT轉(zhuǎn)換器在 Jetson Nano等 edgeAI 原型設(shè)備上優(yōu)化推理。

ActionAI 的主要編程抽象是一個(gè)可追蹤的人類(lèi)，類(lèi)似于這個(gè)pyimagesearch可追蹤對(duì)象。該對(duì)象有一種方法可以將 N（14 或 18）個(gè)新關(guān)鍵點(diǎn)的配置作為長(zhǎng)度為 2N 的 numpy 數(shù)組放入循環(huán)緩沖區(qū)中。為了計(jì)算效率，我們更喜歡較小的緩沖區(qū)，但我們平衡了這一愿望，以提供足夠的信息作為二級(jí)模型的輸入。該對(duì)象還封裝了 id、邊界框或運(yùn)行附加推理的結(jié)果。

二次推理引擎對(duì)通過(guò)姿勢(shì)估計(jì)發(fā)現(xiàn)的每個(gè)人進(jìn)行深蹲與旋轉(zhuǎn)分類(lèi)

為了跟蹤人物實(shí)例，我們使用了 scikit-learn實(shí)現(xiàn)Kuhn–Munkres 算法，該算法基于連續(xù)時(shí)間步之間邊界框并集的交集。這個(gè)博客很好地闡述了應(yīng)用這個(gè)算法來(lái)執(zhí)行匹配。

與其他 IVA 框架一樣，我們合并了視覺(jué)疊加層以支持 ML 可觀察性和內(nèi)省以及視覺(jué)敘事。

或者，我們可以將 ActionAI 與消息代理集成，以將推理結(jié)果流式傳輸?shù)皆贫艘赃M(jìn)行日志記錄或其他處理，類(lèi)似于 Deepstream SDK 的參考應(yīng)用程序。

在另一個(gè)方向上，通過(guò)輪詢(xún)通過(guò) USB 連接到 Jetson Nano 的 PS3 控制器的按鈕按下情況，我們可以輕松地以交互方式為每個(gè)時(shí)間步的人物實(shí)例注釋活動(dòng)，就像我們對(duì)MuttMentor 所做的那樣。

這為使用 ActionAI、Jetson Nano、USB 攝像頭和 PS3 控制器豐富的輸入接口的人類(lèi)活動(dòng)識(shí)別、人類(lèi)對(duì)象交互和場(chǎng)景理解任務(wù)提供了一個(gè)理想的原型設(shè)計(jì)和數(shù)據(jù)收集平臺(tái)。

在YogAI中，我們發(fā)現(xiàn)姿勢(shì)估計(jì)序列是從相對(duì)較少的樣本中識(shí)別運(yùn)動(dòng)的強(qiáng)大特征。

在這里，我們對(duì)面部關(guān)鍵點(diǎn)進(jìn)行了實(shí)驗(yàn)，發(fā)現(xiàn)了作為 Kaggle 的 DeepFake Challenge的一部分，用 Deep Fakes 生成的眉毛中的時(shí)間不一致。

真正的眉毛不會(huì)那樣做！

除了額外的關(guān)鍵點(diǎn)模型，我們還可以為每個(gè)可跟蹤的人物對(duì)象引入圖像紋理和顏色的上下文以及描述符。

雙路徑有助于以較低的頻率有效地處理顏色和紋理特征，同時(shí)以更高的頻率分析基于運(yùn)動(dòng)的信息。

我們可以通過(guò)向配置為以不同頻率運(yùn)行的跟蹤器添加新方法來(lái)引入類(lèi)似的慢-快建模范例。然后 ActionAI 可以結(jié)合額外的緩慢變化的顏色和紋理上下文來(lái)執(zhí)行動(dòng)作識(shí)別。

ActionAI 在運(yùn)行基于 LSTM 的輔助分類(lèi)器以及時(shí)識(shí)別關(guān)鍵點(diǎn)特征序列的活動(dòng)方面表現(xiàn)良好。然而，我們可以在運(yùn)行基于 CNN 的動(dòng)作識(shí)別模型之前引入方法來(lái)渲染頻譜圖以對(duì)該序列進(jìn)行傅立葉平滑。

最后，通過(guò)開(kāi)發(fā) gstreamer 插件，我們可以實(shí)現(xiàn)更高的性能并進(jìn)一步推廣這項(xiàng)工作，同時(shí)將這種方法更無(wú)縫地集成到使用 Deepstream SDK 開(kāi)發(fā)的應(yīng)用程序中。