SBCFormer首次在樹(shù)莓派4B上以1fps處理取得80.0%精度

計(jì)算機(jī)視覺(jué)在不同領(lǐng)域解決已成為解決實(shí)際問(wèn)題的常用方法，如智慧農(nóng)牧管理。這類場(chǎng)景并不需要每秒處理許多幀，此時(shí)樹(shù)莓派這類單板主機(jī)就派上了用場(chǎng)。

盡管已有諸多針對(duì)"Mobile/Edge"等設(shè)備的輕量化網(wǎng)絡(luò)，但這些設(shè)備往往面向智能手機(jī)切具有高性能處理，而樹(shù)莓派這類主機(jī)的CPU非常低端。

有鑒于此，本文提出了一種CNN-ViT混合網(wǎng)絡(luò)SBCFormer在低端CPU上取得了最優(yōu)精度-速度均衡。 SBCFormer首次在樹(shù)莓派4B上以1fps處理取得80.0%精度 。

在網(wǎng)絡(luò)結(jié)構(gòu)方面，不同于已有4階段設(shè)計(jì)方法，考慮到樹(shù)莓派的低端CPU特性，在stem部分直接將分辨率降低到1/8。

在Module設(shè)計(jì)方面，它設(shè)計(jì)了一種兼顧全局與局部信息建模的SBCFormer Block，其Attention部分與PVT有些類似，看下圖還是挺容易看懂的。

作者構(gòu)建了四個(gè)不同大小的SBCFormer，分別為XS、S、B以及L，相關(guān)超參配置見(jiàn)下表。

作者所設(shè)計(jì)SBCFormer與其他輕量型網(wǎng)絡(luò)在GPU、CPU以及ARM-CPU上的性能精度對(duì)比見(jiàn)下表，可以看到 ：SBCFormer首次以1fps在ARM-CPU上取得了80.0%精度 ！同等速度下精度大幅優(yōu)于其他方案！