使用Openvino從視頻中實時檢測逃票

。

2018 年因逃票損失的收入估計為 2.15 億美元

• 2018 年因逃票損失的收入估計為 2.15 億美元
• 地鐵 9600 萬美元，公共汽車 1.19 億美元
• 預(yù)計未收回的收入比 2015 年增加了 1.1 億美元

逃票的最終成本

?

多倫多交通委員會的類似報告發(fā)現(xiàn)，僅在 2018 年，他們就因逃票損失了約 6100 萬加元。[這里]

主要挑戰(zhàn)：

數(shù)據(jù)采集

• 數(shù)據(jù)采集
• 執(zhí)法
• 種族社會經(jīng)濟偏見

數(shù)據(jù)采集

當(dāng)前用于估計逃票的數(shù)據(jù)收集過程遠(yuǎn)非完美，并且依賴于人工生成的數(shù)據(jù)和采樣技術(shù)。

MTA 逃票數(shù)據(jù)收集

?

MTA 逃票數(shù)據(jù)收集（來源）。該系統(tǒng)應(yīng)：

檢測每一幀中的人

• 檢測每一幀中的人
• 跨框架跟蹤人員
• 對每一幀中人的動作進(jìn)行分類
• 跨幀執(zhí)行動作識別

如果一個人走到旋轉(zhuǎn)柵門并跳過它，我們將其歸類為逃票。但是我無法訪問數(shù)據(jù)，所以我將管道分解為單獨的任務(wù)并獨立解決每個任務(wù)。

人員檢測：

這通常使用對象檢測來完成，幸運的是，openvino 為對象檢測提供了廣泛的預(yù)訓(xùn)練和優(yōu)化模型，這些模型可以立即使用，具有良好的準(zhǔn)確性和較短的推理時間。我使用了來自 openvino 模型動物園的預(yù)訓(xùn)練mobilenet ssd檢測器。

人物姿勢估計：

姿勢估計返回一組定義人的姿勢的關(guān)鍵點。我們使用姿勢估計作為特征來將人的姿勢分類為打磨或行走。我再次在 openvino 模型動物園中找到了一個現(xiàn)成的用于姿勢估計的預(yù)訓(xùn)練模型。

姿勢分類：

我們根據(jù)前一階段的姿勢特征將每個人分類為跳躍或行走。在姿勢關(guān)鍵點空間中，這兩個姿勢狀態(tài)很容易分離。在訓(xùn)練了一個使用谷歌圖像構(gòu)建的非常小的數(shù)據(jù)集的隨機森林模型之后，我能夠在驗證集上獲得近乎完美的準(zhǔn)確度。Sklearn 用于此。示例訓(xùn)練圖像如下所示

將關(guān)鍵點作為分類器的特征而不是原始圖像有一個額外的好處，即分類器無法訪問原始圖像并且將無法學(xué)習(xí)與種族和性別等的虛假相關(guān)性。我使用了一個人跟蹤器，它根據(jù)貪婪分配和 IOU 成本對應(yīng)幀之間的檢測。類似于iou_tracker。這會為每個人分配一個 ID，該 ID 會跨幀保留。

狀態(tài)機：

這是我們編寫逃票檢測邏輯的地方。逃票按順序定義：步行 -> 跳躍 -> 步行。此外，該狀態(tài)機還用于通過施加轉(zhuǎn)換閾值對狀態(tài)進(jìn)行時間平滑；分類器應(yīng)該為成功轉(zhuǎn)換預(yù)測 n 幀的相同狀態(tài)。這通過消除隨機錯誤來減少誤報。

粗略的成本效益估計

該系統(tǒng)目前在 NCS2（神經(jīng)計算棒 2）上以 2 fps（每秒幀數(shù)）運行。考慮到在短時間內(nèi)可能的有限移動，我相信以大約 4 fps 的速度運行系統(tǒng)應(yīng)該足以準(zhǔn)確地跟蹤對象和捕獲逃票。在 NC2 上以高達(dá) 5 fps 的速度運行系統(tǒng)似乎是一個簡單的工程問題，可以通過以下實驗來實現(xiàn)：

• 設(shè)計較小的網(wǎng)絡(luò)（較小的骨干網(wǎng)，如squeezenet等）
• 使用單一模型進(jìn)行檢測和姿態(tài)估計（自下而上的方法）
• 模型的進(jìn)一步量化

安裝此解決方案的粗略估計如下所示。請注意，這些估算忽略了與產(chǎn)品（邊緣軟件、服務(wù)器端和前端）相關(guān)的軟件成本，因為它取決于許多設(shè)計因素。這些粗略的估計只是為了強調(diào)投資規(guī)模與可能的收益。

假設(shè)紐約 472 個地鐵站中的每一個都部署了 5 個系統(tǒng)。

粗略成本估算

?

假設(shè)在該系統(tǒng)之上設(shè)計的干預(yù)政策能夠?qū)⒌罔F逃票行為減少 10%。每年因逃票損失 9600 萬美元，該解決方案將在一個月內(nèi)節(jié)省 0.1 x 96 /12 = 80 萬美元。從而在第一個月內(nèi)獲得全部投資回報，每年節(jié)省 960 萬美元。

可能的改進(jìn)

• 使用自下而上的方法進(jìn)行聯(lián)合人員定位和姿勢檢測以減少計算。
• 通過在標(biāo)記的 MTA 監(jiān)視數(shù)據(jù)上重新訓(xùn)練/微調(diào)整個模型管道，可以提高性能。這是因為每個系統(tǒng)都會生成具有某些特征屬性的數(shù)據(jù)分布。例如，遮擋模式、捕獲角度和照明條件對于 MTA 監(jiān)控數(shù)據(jù)將是獨一無二的。在訓(xùn)練中使用類似的數(shù)據(jù)應(yīng)該能夠提高性能。

結(jié)論

我相信使用像這里提出的自動逃票檢測管道可以提高地鐵站的安全性，鼓勵公民的守法行為，并為市政當(dāng)局節(jié)省數(shù)百萬美元。

?