軽量LLM
要約済み 1
-
hf-blog 28日前 3NVIDIAが4B小型ハイブリッドモデルを公開、エッジAIに最適化Nemotron 3 Nano 4B: A Compact Hybrid Model for Efficient Local AI25 days ago•62
NVIDIAがMamba+Transformerのハイブリッド構造を採用した4BパラメータモデルNemotron 3 Nano 4Bを公開。 9Bモデルからの蒸留により4Bクラス最高水準の指示追従・エージェント性能を実現、FP8で1.8倍高速化。 Jetson/RTXなどエッジデバイスでのローカルAI活用を大幅に拡大する可能性がある。
解説 NVIDIAがMamba-Transformerハイブリッド構造の4Bモデルを公開。9Bモデルからの構造化プルーニング＋2段階蒸留＋多段階RLという体系的な圧縮パイプラインが特徴的。Jetson Orin Nanoで18tok/sを実現し、ロボティクスやゲームAIなどエッジ推論の実用域に到達。GPT-4o miniやGemma等のクラウド前提モデルとは異なり、ローカル完結型AIの選択肢を広げる。開発者にとってはGGUF対応でllama.cppから即利用可能な点が実用的。