圖像匹配挑戰賽#
Image Matching Challenge 2024 - Hexathlon
該項比賽旨在利用計算機視覺技術，匹配不同視角下的同一場景，從而恢復每張圖像拍攝時的相機內外參矩陣。今年的比賽中主要對象有室外場景和透明弱紋理物體，這裡主要關注室外場景的匹配策略，來總結一下前幾名的思路。
第一名：High Image Resolution ALIKED/LightGlue + Transparent Trick#
總的來說，先通過一次稀疏的匹配，將部分旋轉過的圖像擺正，再將圖像使用 ALIKED 和 LightGlue 進行匹配，並使用 DBSCAN 獲取密集的匹配區域，並再一次進行密集匹配，將匹配點輸入 COLMAP 進行位姿計算。第一名完全沒有使用 Dense-base 的方法，他們認為這種方法獲得的匹配點通常只在兩張圖之間，不具備傳遞性，會導致模型計算錯誤。
亮點：#
- 根據圖像稀疏匹配確定待匹配對
- 微調過的 ALIKED 和 LightGlue
- 一些運行效率上的優化，如緩存、分佈式訓練
- 多尺度下的特徵點匹配，在 1280 分辨率下匹配一次後，通過 DBSCAN 聚類獲取匹配密集區域，剪裁圖像後，在 2048 分辨率下再進行一次匹配，以獲取更精細的匹配
第二名：MST-Aided SfM & Transparent Scene Solution#
- 對圖像進行了旋轉檢測和透明度檢測，為了後面分別處理透明圖像和非透明圖像（大部分方法都將這兩種圖像分開處理）；
- 對所有圖像進行了全局特徵提取，以生成更可靠的圖像匹配對；
- 根據圖像匹配對，使用了 **(Dedodev2+Dual SoftMax)、(DISK+LightGlue)、 (SIFT+NN)** 三種方法獲取匹配點；
- 使用了一種基於最小生成樹的策略獲取各圖像全局最優的相鄰圖，用於第一個粗略的 SFM；
- 同時使用全局最優的相鄰圖和全連接圖進行 SFM，獲得兩個 SFM 結果，用粗略的 SFM 結果來過濾精細 SFM 結果中錯誤的部分，再使用 PixSFM 和 HLoc 中重定位模塊來處理缺失的相機。
- 透明圖像處理不做贅述。
亮點：#
- 主要在使用 MST 獲取全局最優圖以及使用粗略的 SFM 結果來過濾精細 SFM 結果中錯誤的部分