音声言語モデル
要約済み 1
-
hf-papers 1日前 4NVIDIAら、音声言語モデルでGemini超えを達成Audio Flamingo Next: Next-Generation Open Audio-Language Models for Speech, Sound, and Music
NVIDIAらが音声・環境音・音楽を統合理解する大規模モデル「Audio Flamingo Next」を公開した。 最大30分の長尺音声に対応し、20以上のベンチマークでGemini 2.5 ProやGPT-4oに匹敵・凌駕する性能を実現。 完全オープンな初のフルオープン音声言語モデルとして、音声AI研究の民主化に貢献する。
解説 Audio Flamingo Next（AF-Next）はNVIDIAとメリーランド大学が共同開発した次世代の大規模音声言語モデル（LALM）。音声・環境音・音楽を統一的に処理し、最大30分の長尺音声を扱える点が大きな特徴。アーキテクチャはWhisperベースの音声エンコーダ「AF-Whisper」、MLP音声アダプタ、Qwen-2.5-7BをバックボーンとするLLMで構成。長文脈対応にはRoPEの代わりに絶対タイムスタンプを利用した「RoTE（Rotary Time Embeddings）」を採用し、時間的位置表現を強化。学習は事前学習・中間学習・事後学習・CoT学習の4段階カリキュラムで行われ、GRPOベースの強化学習も活用。新手法「Temporal Audio Chain-of-Thought」では推論ステップを音声のタイムスタンプに紐づけることで長尺音声の時間的推論精度を向上させた。訓練データは約1億800万サンプル・約100万時間に及ぶ。LongAudioBenchではGemini 2.5 Pro（60.4）を大幅に上回る73.9を達成。LibriSpeechのWER（単語誤り率）も1.54%と最高水準。Instruct・Think・Captionerの3バリアントをフルオープンで公開しており、実用性と再現性が高い。