単一バックボーンで物体検出・セグメンテーションを統合する軽量モデルが登場

Hugging Faceのブログを通じて、自然言語プロンプトによるオープン語彙(open-vocabulary)物体検出・セグメンテーションモデル「Falcon Perception」が公開された。6億(0.6B)パラメータという超軽量モデルながら、SA-CoベンチマークでMacro-F1スコア68.0を記録し、既存のSAM 3の62.3を5.7ポイント上回った。同時に0.3Bパラメータの光学文字認識(OCR)モデル「Falcon OCR」も発表され、オープンソースOCRモデル中で最高のスループットを達成したとチームは述べている。

パイプラインアーキテクチャの限界を単一バックボーンで突破

ほとんどのオープン語彙パーセプションシステムはモジュラーパイプラインとして構築されている。ビジョンバックボーン(vision backbone)が特徴を抽出し、別の融合・デコーダステージが言語と組み合わせ、追加コンポーネントがマッチングと後処理を担う構造だ。この方式は安定しているが、スケールが難しく、どのコンポーネントの改善が効果をもたらしたかの特定が困難という限界がある。

Falcon Perceptionはより単純な問いから出発した。「適切なアテンションパターン(attention pattern)、出力インターフェース、学習シグナルを選択すれば、単一のアーリーフュージョン(early-fusion)トランスフォーマーバックボーン一つでパーセプションと言語モデリングを同時に処理できるか?」実験結果は概ね肯定的だった。

アーキテクチャ: ハイブリッドアテンションとパーセプションチェーン

Falcon Perceptionの核心は、単一の自己回帰(autoregressive)トランスフォーマーが画像パッチ、テキスト、タスクトークンを一つの統合シーケンスとして処理する点だ。モデルは物体の属性を<coord> → <size> → <seg>の順に予測する「パーセプションチェーン(Chain-of-Perception)」方式を採用している。バウンディングボックスの座標はヘッドでデコードされた後フーリエ特徴(Fourier features)として再注入され、高解像度セグメンテーションマスクは<seg>トークンとアップサンプリングされた画像特徴の内積によって生成される。

画像トークンとテキストトークの構造的違いに対応するため、ハイブリッドアテンションマスク(hybrid attention mask)を導入した。

• 画像トークン: 全画像トークンに対して双方向アテンション(bidirectional attention)を適用 → グローバルな視覚文脈を構築
• テキスト・タスクトークン: 全視覚プレフィックスと先行テキストに対して因果的(causal)アテンションを適用

この設計により、同一のバックボーンが画像トークンでは双方向ビジョンエンコーダのように機能しつつ、タスクトークンでの自己回帰予測もサポートする。

SAM 3との性能比較

全体的な検出精度ではSAM 3を上回ったが、物体の存在判定を評価する存在キャリブレーション(presence calibration)指標MCCでは0.64対0.82とSAM 3に劣る。チームはこれを主要な改善課題として明示した。

Falcon OCR: オープンソース最高スループットを達成

同時公開のFalcon OCRは0.3BパラメータのOCRモデルで、olmOCRベンチマークで80.3点、OmniDocBenchで88.6点を記録。現存するオープンソースOCRモデルの中で最高のスループットを達成したとチームは述べている。

診断ベンチマーク「PBench」も公開

今回の発表と合わせて、チームはPBenchという診断ベンチマークも公開した。PBenchは性能を単一の数値ではなく、能力別に細分化して評価する。

• 属性(attributes): 色・サイズなどの視覚的属性の認識
• OCRによる曖昧性解消(OCR-guided disambiguation): テキスト情報を活用した物体の区別
• 空間制約(spatial constraints): 相対的な位置関係の理解
• 関係(relations): 物体間の相互関係の把握
• 密集シーン(dense long-context crowded scenes): 複雑で混雑した場面での性能評価

[専門家分析] 単一バックボーンアプローチ、エッジビジョンAIの新基準となるか

Falcon Perceptionの最大の意義は、アーキテクチャの簡素化が性能を損なうことなく実現できることを、6億パラメータという小型モデルで証明した点にある。SAM 2、Grounding DINO、OWL-ViTなどの既存の強者がモジュラーパイプラインを維持する中、単一バックボーン方式が競争力のある性能を発揮できるという示唆は小さくない。

ただし現実的な課題も残る。MCC 0.64という存在キャリブレーション性能は、本番環境での誤検知(false positive)問題を引き起こす可能性が高い。特に人員カウントや医療画像分析など精度が重要な応用分野では追加改善が必要とみられる。

オープンソースエコシステムの観点では、Falcon PerceptionとFalcon OCRがHugging Faceプラットフォームで公開されることで、エッジデバイス(edge device)やリソース制約環境でのビジョン・言語統合ソリューション需要を取り込む可能性が高い。6億パラメータという軽量性はモバイル・組み込み環境へのデプロイにも適しており、今後ロボティクス・自律走行・産業用ビジョン分野への展開が期待される。