画像マッチングチャレンジ#
Image Matching Challenge 2024 - Hexathlon
このコンペティションは、コンピュータビジョン技術を利用して、異なる視点から同じシーンをマッチングし、各画像が撮影されたときのカメラの内部および外部パラメータ行列を復元することを目的としています。今年のコンペティションの主な対象は屋外シーンと透明な弱テクスチャの物体であり、ここでは屋外シーンのマッチング戦略に主に焦点を当て、上位入賞者の考え方をまとめます。
第 1 位：High Image Resolution ALIKED/LightGlue + Transparent Trick#
全体的に、まず一次的な疎マッチングを通じて、一部の回転した画像を整正し、その後 ALIKED と LightGlue を使用して画像をマッチングし、DBSCAN を使用して密なマッチング領域を取得し、再度密なマッチングを行い、マッチングポイントを COLMAP に入力してポーズ計算を行います。第 1 位は Dense-base の方法を全く使用せず、この方法で得られるマッチングポイントは通常 2 つの画像間にのみ存在し、伝播性を持たず、モデル計算の誤りを引き起こすと考えています。
ハイライト：#
- 画像の疎マッチングに基づいてマッチングペアを特定
- 微調整された ALIKED と LightGlue
- キャッシュや分散トレーニングなどのいくつかの実行効率の最適化
- 多スケールでの特徴点マッチング、1280 解像度で一度マッチングした後、DBSCAN クラスタリングを通じてマッチング密集領域を取得し、画像をトリミングした後、2048 解像度で再度マッチングを行い、より精密なマッチングを取得
第 2 位：MST-Aided SfM & Transparent Scene Solution#
- 画像に対して回転検出と透明度検出を行い、後で透明画像と非透明画像をそれぞれ処理するため（ほとんどの方法はこの 2 種類の画像を分けて処理します）；
- すべての画像に対してグローバル特徴抽出を行い、より信頼性の高い画像マッチングペアを生成；
- 画像マッチングペアに基づいて、**(Dedodev2+Dual SoftMax)、(DISK+LightGlue)、(SIFT+NN)** の 3 つの方法を使用してマッチングポイントを取得；
- 最小生成木に基づく戦略を使用して、各画像のグローバル最適な隣接グラフを取得し、最初の粗い SFM に使用；
- グローバル最適な隣接グラフと全結合グラフを同時に使用して SFM を行い、2 つの SFM 結果を得て、粗い SFM 結果を使用して精密 SFM 結果の誤った部分をフィルタリングし、PixSFM と HLoc の再定位モジュールを使用して欠損したカメラを処理；
- 透明画像の処理については詳細を省略。
ハイライト：#
- 主に MST を使用してグローバル最適グラフを取得し、粗い SFM 結果を使用して精密 SFM 結果の誤った部分をフィルタリング