局所精細化
要約済み 1
-
hf-papers 1日前 4局所領域特化の画像精細化、GPT-4oを全指標で凌駕RefineAnything: Multimodal Region-Specific Refinement for Perfect Local Details
研究チームがユーザー指定領域のみを高精細化し背景を完全保持する新手法「RefineAnything」を発表。 クロップ＆リサイズで解像度を対象領域に集中させる「Focus-and-Refine」戦略を採用し、背景変化をほぼゼロに抑制。 GPT-4o・Gemini・Kontextなど主要SOTAを全指標で上回り、画像編集・生成AIの実用精度向上に貢献。
解説 RefineAnythingは「領域特化画像精細化」という新しい問題設定を定義した論文。テキスト・ロゴ・細線など微細構造が生成AIで崩れる「ローカル詳細崩壊」を解決することを目的とする。 【提案手法の仕組み】ベースモデルにQwen-Image-Edit（Qwen2.5-VL＋MMDiT）を採用し、スクリブルマスクまたはバウンディングボックスで指定した領域のみを精細化する。核心技術はFocus-and-Refine：対象領域をクロップして元解像度にリサイズすることで、VAE（変分オートエンコーダ）の固定解像度予算を対象領域に集中させる。クロップ後の精細化結果はブレンドマスクで元画像に合成（ペーストバック）され、背景は構造的に保証される。さらに境界領域の損失を強調するBoundary Consistency Lossで継ぎ目アーティファクトを低減する。 【データセット・ベンチマーク】Gemini3＋SAM3で構築した3万件のRefine-30K（参照画像あり2万件・なし1万件）と、67ケース・402入力からなるRefineEvalを新規構築。 【実験結果・比較】参照ベース精細化でMSEが最良オープンソース手法Kontextの0.040→0.020（50%削減）、LPIPSは0.264→0.155（41%削減）、背景MSEはほぼ0（Kontext: 0.011、GPT-4o: 0.815と比べ圧倒的）。参照なし設定でもVQや詳細忠実度など全5指標でQwen-Editを0.4〜0.8ポイント上回る。 【実用的意義】ECサイト商品画像・広告・UIデザインなど「一文字でも崩れたら価値がなくなる」用途への直接応用が可能で、既存の汎用編集モデルが苦手とする精密局所修復を実現した実用性の高い手法。