掌握基于Transformer的目標(biāo)檢測算法的3個(gè)難點(diǎn)

說到純視覺的自動(dòng)駕駛方案，大家第一個(gè)想到的就是Tesla吧。的確，早在2021年，Tesla就已經(jīng)實(shí)現(xiàn)了純視覺的BEV檢測方案，而且效果非常好。

細(xì)心的同學(xué)可能發(fā)現(xiàn)了，這套BEV方案中將相機(jī)空間的圖像轉(zhuǎn)換到BEV空間的核心組件就是Transformer。

Transformer來源于自然語言處理領(lǐng)域，首先被應(yīng)用于機(jī)器翻譯。后來，大家發(fā)現(xiàn)它在計(jì)算機(jī)視覺領(lǐng)域效果也很不錯(cuò)，而且在各大排行榜上碾壓CNN網(wǎng)絡(luò)。

目標(biāo)檢測領(lǐng)域中，視覺Transformer不僅可以實(shí)現(xiàn)2D檢測、3D檢測，還可以實(shí)現(xiàn)多模態(tài)檢測，BEV視角下的檢測，性能也非常出色。

因此，掌握Transformer相關(guān)知識(shí)和工程基礎(chǔ)成為了企業(yè)招聘算法工程師的一個(gè)技能要求點(diǎn)，也是簡歷上的一個(gè)很大的加分項(xiàng)。

然而，想要掌握基于Transformer的目標(biāo)檢測算法，有以下3個(gè)難點(diǎn)：

理解Transformer背后的理論基礎(chǔ)，比如自注意力機(jī)制（self-attention）, 位置編碼（positional embedding），目標(biāo)查詢（object query）等等，網(wǎng)上的資料比較雜亂，不夠系統(tǒng)，難以通過自學(xué)做到深入理解并融會(huì)貫通。

掌握基于Transformer的目標(biāo)檢測算法的思路和創(chuàng)新點(diǎn)，一些Transformer論文涉及的新概念比較多，話術(shù)沒有那么通俗易懂，讀完論文仍然不理解算法的細(xì)節(jié)部分。

2

Transformer代碼不易看懂，因?yàn)樽饔脵C(jī)制與CNN有不少差別，所以完全理解代碼并實(shí)踐應(yīng)用需要花費(fèi)很大功夫。

3

那么如何學(xué)習(xí)基于Tansformer的目標(biāo)檢測算法呢？

3D視覺工坊聯(lián)合講師「語嫣」，為大家精心準(zhǔn)備了課程「目標(biāo)檢測中的視覺Transformer」，主要幫助各位同學(xué)解決以上這些難點(diǎn)。

不僅為大家詳細(xì)講解視覺Transformer的基礎(chǔ)知識(shí)，各種經(jīng)典的基于Transformer的目標(biāo)檢測算法，還配有代碼解讀和實(shí)踐課程，讓大家真正活學(xué)活用，理解和掌握這些知識(shí)理論。

實(shí)踐部分