目標檢測的后處理：NMS vs WBF

作者：Ching (Chingis)編譯：ronghuaiyang來源：AI公園

導讀

對目標檢測后處理中的NMS和WBF的解釋和對比。目前，計算機視覺在許多地方都有重要的應用，例如自動駕駛汽車、監(jiān)控系統(tǒng)和圖像識別。計算機視覺的主要挑戰(zhàn)之一是目標檢測，它涉及識別和定位圖像和視頻中的目標。為了提高目標檢測系統(tǒng)的性能，研究人員和從業(yè)者開發(fā)了各種技術，例如模型集成和測試時增強（TTA）。

模型集成是組合多個模型的預測以提高系統(tǒng)整體性能的過程。這可以通過對多個模型的預測求平均值，或使用更復雜的方法（如加權框融合 （WBF））來組合預測來完成。集成方法可以通過減少過擬合的影響并提高系統(tǒng)的魯棒性來顯著提高目標檢測系統(tǒng)的性能。

測試時增強 （TTA） 是另一種用于提高目標檢測系統(tǒng)性能的技術。它在測試期間將各種數(shù)據(jù)增強技術（例如旋轉、縮放和翻轉）應用于輸入圖像。這可以通過使系統(tǒng)對輸入數(shù)據(jù)的微小變化更加不變來幫助提高系統(tǒng)的魯棒性。TTA還可以通過提供額外的數(shù)據(jù)供檢測器學習來幫助提高系統(tǒng)的性能。

在本文中，我們將探索和比較非最大抑制 （NMS） 和加權框融合 （WBF） 以提高目標檢測系統(tǒng)的性能。

非最大值抑制

非極大值抑制 (NMS) 是一種后處理技術，用于去除目標檢測器生成的重疊框。它常用于計算機視覺中的目標檢測任務，例如人臉檢測、目標跟蹤以及圖像和視頻中的目標檢測。

NMS 背后的基本思想是選擇置信度得分最高的框，然后刪除與其顯著重疊的其他框。重復此過程，直到考慮了所有框。這有助于減少目標檢測中的誤報數(shù)量，因為目標檢測器通常會生成對同一目標的多次檢測。

計算兩個邊界框之間重疊的最常見方法是使用交并比 (IoU) 指標。

IoU(A,B) = (A ∩ B) / (A ∪ B)

其中 A 和 B 是邊界框的面積，A ∩ B 是它們相交的面積。通常，為 IoU 度量設置一個閾值，任何 IoU 大于該閾值的邊界框都被認為是重復檢測并被刪除。

加權框融合

加權框融合（WBF）是一種提高目標檢測系統(tǒng)性能的強大技術。它是一種將多個邊界框或感興趣區(qū)域 (ROI) 的結果組合成一個更準確、更穩(wěn)定的結果的方法。當使用多個模型或算法來檢測圖像或視頻中的目標并且需要組合結果以提高整體性能時，該技術特別有用。

從本質上講，WBF 是一種通過根據(jù)各種標準為每個邊界框分配權重來組合多個目標檢測器結果的方法。然后使用這些權重將邊界框組合成一個更穩(wěn)健的結果。

WBF算法的工作步驟如下：

1. 每個模型的每個預測框（或通過 TTA 獲得的預測）都會添加到單個列表 B 中，然后按置信度分數(shù) C 的降序排序。
2. 分別為框組和融合框實例化新的空列表 L 和 F。因此，列表L中的每個元素都是由于重疊而形成的一組框，而F中的每個位置僅包含一個框，即融合框。
3. 在一個循環(huán)中迭代 B 中的預測框，并檢查列表 F 中的匹配框（IoU > THR）。
4. 如果未找到匹配項，則將 B 中的框添加到列表 L 和 F 的末尾作為新條目；繼續(xù)進行 B 中的下一個框。
5. 如果找到匹配，則將此框添加到列表L中與F中的匹配框對應的位置處。
6. 使用框組 L[pos]中的所有內容重新計算 F[pos]中的框坐標和置信度得分。將置信度得分設置為 L[pos]中所有框的平均置信度。融合框的坐標是形成它的框的坐標的加權和，其中權重是對應框的置信度分數(shù)。最終 ROI = Σ (權重 i * ROIi) / Σ 權重 i。其中 ROIi 是第 i 個邊界框，weighti 是分配給該邊界框的權重，并且對正在考慮進行融合的所有邊界框進行求和。最終的 ROI 是計算得出的組合邊界框。
7. 最后，重新調整 F 列表中的置信度分數(shù)：將其乘以組中的框數(shù)（定義為下面的 T），然后除以模型數(shù) N。如果組中的框數(shù)量較少，則可能意味著只有少數(shù)模型可以預測它。因此，我們需要降低此類情況的置信度分數(shù)。

WBF 可以成為提高目標檢測系統(tǒng)性能的強大工具，并且越來越多地被廣泛應用于自動駕駛汽車、監(jiān)控系統(tǒng)和計算機視覺的許多其他領域。通過集成WBF技術，目標檢測系統(tǒng)可以變得更加魯棒和準確，并且即使在存在噪聲和遮擋的情況下也可以表現(xiàn)得更好。

NMS vs WBF加權框融合（WBF）和非極大值抑制（NMS）都是用于提高目標檢測系統(tǒng)性能的技術。然而，它們的使用方式不同，并且具有不同的權衡。NMS 是一種后處理技術，用于刪除目標檢測器生成的重疊邊界框。它的工作原理是選擇置信度得分最高的邊界框，然后刪除與其顯著重疊的任何其他邊界框。重復此過程，直到考慮了所有邊界框。NMS 是一種簡單、快速且有效的方法，可減少目標檢測中的誤報數(shù)量。

另一方面，WBF 是一種用于組合多個邊界框（或感興趣區(qū)域）的技術，以產生更準確和穩(wěn)定的結果。它通常用于使用多個模型或算法來檢測圖像或視頻中的對象，并且需要組合結果以提高整體性能的情況。WBF 的工作原理是根據(jù)檢測置信度、與其他邊界框的重疊或其他標準等因素為每個邊界框分配權重。然后使用這些權重將邊界框組合成一個更穩(wěn)健的結果。

實驗評估2個不同模型的集成表 1 顯示了兩個模型的 MS COCO 驗證集的結果。使用四種不同的技術組合預測：NMS、Soft NMS、NMW 和 WBF。我們看到，在不同的設置下，WBF 方法明顯優(yōu)于其他方法，帶來了更大的改進。測試時增強集成

在上表中我們看到作者還提供了通過 TTA 組合預測的實驗。他們使用在 COCO 數(shù)據(jù)集上訓練的 EfficientNetB7 模型。對于 TTA，他們只采用水平翻轉。同樣，我們看到 WBF 的性能明顯優(yōu)于 NMS、Soft-NMS 和 NMW 等其他方法。

最后使用加權框融合 (WBF) 的動機是通過將多個邊界框或感興趣區(qū)域 (ROI) 的結果組合成一個更準確和穩(wěn)定的結果來提高目標檢測系統(tǒng)的性能。這在使用多個模型或算法來檢測圖像或視頻中的目標并且需要組合結果以提高整體性能的情況下特別有用。使用 WBF 有益的原因有以下幾個：

• 魯棒性：物體檢測器可能會受到雜波、遮擋和背景噪聲等因素的影響。WBF可以通過結合多個檢測器的結果來幫助提高物體檢測系統(tǒng)的魯棒性，從而可以減少這些因素的影響。
• 準確性：WBF 可以通過組合同一物體的多次檢測來幫助提高物體檢測系統(tǒng)的準確性。這在圖像或視頻中目標部分被遮擋或僅部分可見的情況下特別有用。
• 穩(wěn)定性：WBF 可以通過減少誤報和漏報的影響來幫助提高目標檢測系統(tǒng)的穩(wěn)定性。這在感興趣的物體很小或難以檢測的情況下特別有用。

靈活性：WBF可以與非極大值抑制（NMS）等其他技術結合使用，以進一步提高目標檢測系統(tǒng)的性能。