通過特征選擇和聚合實現實用的視頻目標檢測

論文 Practical Video Object Detection via Feature Selection and Aggregation 探討了視頻目標檢測（VOD）的挑戰(zhàn)，尤其是如何有效地跨幀聚合特征以提高檢測的準確性和效率。

在3090 GPU設備上準確性（AP50）和推理速度（FPS）的性能比較。

研究背景

視頻目標檢測的復雜性：視頻中的對象可能在不同幀之間有顯著的外觀變化，并且某些幀可能會出現模糊、非剛性運動或其他退化現象。這些因素使得視頻目標檢測比靜態(tài)圖像檢測更加復雜。

現有方法的局限性：大多數現有的特征聚合方法主要針對兩階段檢測器，這些方法雖然在精度上表現良好，但由于其雙階段特性，計算成本較高。單階段檢測器在處理靜態(tài)圖像方面取得了進展，但在視頻目標檢測中的應用尚未得到充分探索。

基礎檢測器YOLOX（第一行）與我們的方法（第二行）之間的比較。這些幀受到多種干擾的影響，如非剛性運動、運動模糊和復雜姿勢，使得基礎檢測器未能完成任務。而我們的方法能夠精確預測這些物體。

方法概述

我們框架的示意圖。

特征選擇和聚合策略：論文提出了一種簡單但有效的策略，通過特征選擇和聚合來提高檢測精度，同時保持計算效率。

特征選擇模塊（FSM）：該模塊用于從密集預測圖中提取候選特征，拒絕低質量的候選項，從而減少計算開銷。具體來說，使用TopK+NMS策略來確保稀疏的前景預測。

特征聚合模塊（FAM）：通過特征相似性測量形成親和矩陣，以指導特征的聚合。為了改善常用余弦相似度的不足，采用了平均池化操作。這些操作在計算資源上成本有限，但在準確性上有顯著提升。

用于分類和回歸特征的特征聚合過程。Sr 和 Sc 分別表示 IoU 和分類的評分矩陣。

實驗與結果

實驗設置：論文在ImageNet VID數據集上進行了廣泛的實驗，驗證了所提方法的有效性。

性能提升：實驗結果顯示，該方法在單個3090 GPU上以超過30 FPS的速度達到了92.9%的AP50，顯著優(yōu)于其他現有方法。

魯棒性測試：在處理運動模糊、罕見姿勢和遮擋等挑戰(zhàn)性場景中，所提方法表現出色，顯示出其魯棒性。通過視覺化對比，展示了在這些場景下模型的優(yōu)越性能。

YOLOV-SwinBase（第一行）、YOLOV++-SwinBase（第三行）和具有相同SwinBase主干的TransVOD-Lite（第二行）之間的視覺對比。三個例子分別遭遇了不同類型的退化：(a) 運動模糊，(b) 罕見姿勢，(c) 遮擋。我們的方法在這些具有挑戰(zhàn)性的情況下展示了其魯棒性。

貢獻與創(chuàng)新

效率與精度的平衡：通過引入特征選擇和聚合模塊，論文在保持高效推理速度的同時，顯著提高了檢測精度。

通用性：所提方法的核心思想簡單且通用，適用于不同的基礎檢測器，如YOLOX、FCOS和PPYOLOE。

對比分析：論文還與其他現有VOD方法進行了對比，指出大多數方法依賴于重型基礎檢測器，而本文的方法在效率和效果上均有優(yōu)勢。

相關信息

代碼：https://github.com/yuhengsss/yolov

論文：https://arxiv.org/abs/2407.19650v1