為什么目前落地的主流SLAM技術(shù)很少用神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取？

SLAM目前在各領(lǐng)域都已經(jīng)有很多的應(yīng)用，但為什么大部分已經(jīng)落地的都用的還是最傳統(tǒng)的方法，比如目前最主流的ORB-SLAM，即使到ORB3也依舊用的是傳統(tǒng)的FAST和BRIEF方法來檢測和提取特征點，而不用CV領(lǐng)域里早已經(jīng)普遍的神經(jīng)網(wǎng)絡(luò)如VGG等來提取特征點。當(dāng)然最新的很多語義SLAM論文里都已經(jīng)用到了如GCN等神經(jīng)網(wǎng)絡(luò)提取特征，但為什么目前落地和應(yīng)用的大部分還用的是傳統(tǒng)的方法？提取速度和所需算力應(yīng)該不會有太大差異才是？*

作者：心態(tài)炸裂男孩

談一下個人看法，可能不對。

首先slam是一個偏工程化的應(yīng)用技術(shù)。因此算力成本是一個非常重要的因素。傳統(tǒng)的特征提取速度快，算力成本低，可以在cpu運行。如果利用深度學(xué)習(xí)特征提取，算力包括gpu，深度學(xué)習(xí)特征帶來的額外CPU和內(nèi)存成本。問題是傳統(tǒng)方法特征提取已經(jīng)能滿足大部分場景了。

深度學(xué)習(xí)提取的特征就一定好？顯然不是的。因為數(shù)據(jù)集的原因，利用深度學(xué)習(xí)訓(xùn)練出的特征子適用性并不一定好。貌似網(wǎng)上有一篇論文，利用orbslam框架，對比了orb和superpoint的效果。發(fā)現(xiàn)有幾組superpoint效果確實好，但是有幾個序列視頻利用superpoint的slam直接track lost.這就表現(xiàn)的不好了。

因此在大多數(shù)場景下，傳統(tǒng)特征可以解決。利用深度學(xué)習(xí)特征就顯得畫蛇添足了，沒有必要。當(dāng)然在某些場景利用傳統(tǒng)特征就不可行。如光照變化劇烈，相機運動劇烈等場景。在long term slam這個話題下，深度學(xué)習(xí)特征效果明顯。

slam方法不僅僅是為了定位，個人覺得slam終極目的是復(fù)用地圖。顯然長時間定位這塊大部分人的目光都是投入到深度學(xué)習(xí)特征上，去superpoints.r2d2特征。畢竟長時間定位會有時間，天氣，光照，動態(tài)物體變化，傳統(tǒng)方法根本就不能解決。而深度學(xué)習(xí)特征卻可以保證長時間定位的準(zhǔn)確度。

所以個人看法，雖然深度學(xué)習(xí)特征雖然用的不多。但未來基于深度學(xué)習(xí)特征slam會越來越多。

作者：余世杰

其他答主都說了好多了，算力問題以及提升率啥的。

我個人是覺得還有個原因是，特征匹配在視覺SLAM中的重要性沒有到夸張的地步，在傳統(tǒng)算法情況下，有一定的錯誤匹配也能得到較好的結(jié)果，前端重要的同時，后端更加重要。

那么多SLAM算法，前端都大同小異，而且?guī)g的位姿變換好多都是先用勻速模型做初始值，去適配優(yōu)化，實在不行再進(jìn)行特征點的匹配求位姿。真正區(qū)別還是關(guān)鍵幀的處理，強調(diào)運動的整體性，而不是兩張圖之間單純的匹配精度。

這是我個人的觀點，有不對的還請大佬指正。

--以上來自2020年9月，回過頭2023年5月自己使用測試過之后發(fā)現(xiàn)，目前的特征提取依賴性并不強，傳統(tǒng)的也能做得比較好，反而神經(jīng)網(wǎng)絡(luò)的提取穩(wěn)定性和重復(fù)性可能不夠強。

但是對描述子的計算和匹配上，還是有一定參考性，更實用，感興趣的朋友可以自己也測試看看

作者：劉國慶

談?wù)勎业目捶ò?，不一定正確，僅供參考：

1、算力和功耗問題，背后也是成本問題，也是最致命的問題。即使是TX2這類面向嵌入式的GPU，耗電和成本也非常可觀……FPGA硬件實現(xiàn)網(wǎng)絡(luò)，或者做訂制ASIC可以同時解決算力和功耗問題，不過貌似學(xué)術(shù)界貌似認(rèn)為這些不是它們應(yīng)該解決的問題，而且結(jié)果復(fù)現(xiàn)嚴(yán)重依賴硬件，不太爽。算力相對受限這一點也是我個人做東西沒有用基于學(xué)習(xí)的特征的原因。

另對于題主所言“提取速度和所需算力不會有太大差異”，請問是使用哪一種特征提取網(wǎng)絡(luò)，又是和哪一種傳統(tǒng)特征提取算法，在何種計算平臺進(jìn)行的對比測試所得到的結(jié)論呢？我沒做過詳細(xì)的耗時和算力需求對比，但是我還是對該結(jié)論有點懷疑。

2、夠用就好，盲目追求高精度在落地應(yīng)用方面是不可取的。好比Nvidia RTX 20系顯卡，2080Ti價格比2080S提高了接近一倍，性能提升只有20%~30%，對于成本敏感的落地應(yīng)用而言，你會做這個交易嗎？何況2080s算力本身也不算差。

3、應(yīng)該有正在推進(jìn)中的落地應(yīng)用，只是涉及到商業(yè)機密，你我不知道罷了。

原文鏈接：https://www.zhihu.com/question/419264201/answer/1467534631