如何看待SLAM技術(shù)不用神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提??？

SLAM目前在各領(lǐng)域都已經(jīng)有很多的應(yīng)用，但為什么大部分已經(jīng)落地的都用的還是最傳統(tǒng)的方法，比如目前最主流的ORB-SLAM，即使到ORB3也依舊用的是傳統(tǒng)的FAST和BRIEF方法來(lái)檢測(cè)和提取特征點(diǎn)，而不用CV領(lǐng)域里早已經(jīng)普遍的神經(jīng)網(wǎng)絡(luò)如VGG等來(lái)提取特征點(diǎn)。當(dāng)然最新的很多語(yǔ)義SLAM論文里都已經(jīng)用到了如GCN等神經(jīng)網(wǎng)絡(luò)提取特征，但為什么目前落地和應(yīng)用的大部分還用的是傳統(tǒng)的方法？提取速度和所需算力應(yīng)該不會(huì)有太大差異才是？*

作者：心態(tài)炸裂男孩

談一下個(gè)人看法，可能不對(duì)。

首先slam是一個(gè)偏工程化的應(yīng)用技術(shù)。因此算力成本是一個(gè)非常重要的因素。傳統(tǒng)的特征提取速度快，算力成本低，可以在cpu運(yùn)行。如果利用深度學(xué)習(xí)特征提取，算力包括gpu，深度學(xué)習(xí)特征帶來(lái)的額外CPU和內(nèi)存成本。問(wèn)題是傳統(tǒng)方法特征提取已經(jīng)能滿足大部分場(chǎng)景了。

深度學(xué)習(xí)提取的特征就一定好？顯然不是的。因?yàn)閿?shù)據(jù)集的原因，利用深度學(xué)習(xí)訓(xùn)練出的特征子適用性并不一定好。貌似網(wǎng)上有一篇論文，利用orbslam框架，對(duì)比了orb和superpoint的效果。發(fā)現(xiàn)有幾組superpoint效果確實(shí)好，但是有幾個(gè)序列視頻利用superpoint的slam直接track lost.這就表現(xiàn)的不好了。

因此在大多數(shù)場(chǎng)景下，傳統(tǒng)特征可以解決。利用深度學(xué)習(xí)特征就顯得畫(huà)蛇添足了，沒(méi)有必要。當(dāng)然在某些場(chǎng)景利用傳統(tǒng)特征就不可行。如光照變化劇烈，相機(jī)運(yùn)動(dòng)劇烈等場(chǎng)景。在long term slam這個(gè)話題下，深度學(xué)習(xí)特征效果明顯。

slam方法不僅僅是為了定位，個(gè)人覺(jué)得slam終極目的是復(fù)用地圖。顯然長(zhǎng)時(shí)間定位這塊大部分人的目光都是投入到深度學(xué)習(xí)特征上，去superpoints.r2d2特征。畢竟長(zhǎng)時(shí)間定位會(huì)有時(shí)間，天氣，光照，動(dòng)態(tài)物體變化，傳統(tǒng)方法根本就不能解決。而深度學(xué)習(xí)特征卻可以保證長(zhǎng)時(shí)間定位的準(zhǔn)確度。

所以個(gè)人看法，雖然深度學(xué)習(xí)特征雖然用的不多。但未來(lái)基于深度學(xué)習(xí)特征slam會(huì)越來(lái)越多。

作者：余世杰

其他答主都說(shuō)了好多了，算力問(wèn)題以及提升率啥的。

我個(gè)人是覺(jué)得還有個(gè)原因是，特征匹配在視覺(jué)SLAM中的重要性沒(méi)有到夸張的地步，在傳統(tǒng)算法情況下，有一定的錯(cuò)誤匹配也能得到較好的結(jié)果，前端重要的同時(shí)，后端更加重要。

那么多SLAM算法，前端都大同小異，而且?guī)g的位姿變換好多都是先用勻速模型做初始值，去適配優(yōu)化，實(shí)在不行再進(jìn)行特征點(diǎn)的匹配求位姿。真正區(qū)別還是關(guān)鍵幀的處理，強(qiáng)調(diào)運(yùn)動(dòng)的整體性，而不是兩張圖之間單純的匹配精度。

這是我個(gè)人的觀點(diǎn)，有不對(duì)的還請(qǐng)大佬指正。

--以上來(lái)自2020年9月，回過(guò)頭2023年5月自己使用測(cè)試過(guò)之后發(fā)現(xiàn)，目前的特征提取依賴性并不強(qiáng)，傳統(tǒng)的也能做得比較好，反而神經(jīng)網(wǎng)絡(luò)的提取穩(wěn)定性和重復(fù)性可能不夠強(qiáng)。

但是對(duì)描述子的計(jì)算和匹配上，還是有一定參考性，更實(shí)用，感興趣的朋友可以自己也測(cè)試看看

作者：劉國(guó)慶

談?wù)勎业目捶ò?，不一定正確，僅供參考：

1、算力和功耗問(wèn)題，背后也是成本問(wèn)題，也是最致命的問(wèn)題。即使是TX2這類面向嵌入式的GPU，耗電和成本也非常可觀……FPGA硬件實(shí)現(xiàn)網(wǎng)絡(luò)，或者做訂制ASIC可以同時(shí)解決算力和功耗問(wèn)題，不過(guò)貌似學(xué)術(shù)界貌似認(rèn)為這些不是它們應(yīng)該解決的問(wèn)題，而且結(jié)果復(fù)現(xiàn)嚴(yán)重依賴硬件，不太爽。算力相對(duì)受限這一點(diǎn)也是我個(gè)人做東西沒(méi)有用基于學(xué)習(xí)的特征的原因。

另對(duì)于題主所言“提取速度和所需算力不會(huì)有太大差異”，請(qǐng)問(wèn)是使用哪一種特征提取網(wǎng)絡(luò)，又是和哪一種傳統(tǒng)特征提取算法，在何種計(jì)算平臺(tái)進(jìn)行的對(duì)比測(cè)試所得到的結(jié)論呢？我沒(méi)做過(guò)詳細(xì)的耗時(shí)和算力需求對(duì)比，但是我還是對(duì)該結(jié)論有點(diǎn)懷疑。

2、夠用就好，盲目追求高精度在落地應(yīng)用方面是不可取的。好比Nvidia RTX 20系顯卡，2080Ti價(jià)格比2080S提高了接近一倍，性能提升只有20%~30%，對(duì)于成本敏感的落地應(yīng)用而言，你會(huì)做這個(gè)交易嗎？何況2080s算力本身也不算差。

3、應(yīng)該有正在推進(jìn)中的落地應(yīng)用，只是涉及到商業(yè)機(jī)密，你我不知道罷了。

編輯：黃飛