モデル圧縮
要約済み 3
-
arxiv-cs-ai 1日前 3100KBマイコンで継続的物体検出、新手法AHCが登場AHC: Meta-Learned Adaptive Compression for Continual Object Detection on Memory-Constrained Microcontrollers
研究者らがメモリ100KB以下の超小型マイコン向け継続学習型物体検出手法「AHC」を発表。 MAMLベースのメタ学習で5ステップ適応・破滅的忘却を抑制し、階層的圧縮で軽量推論を実現。 極限のリソース制約下でのエッジAI展開に道を開く成果として注目される。
解説 本論文はマイクロコントローラ（MCU）上での継続的物体検出という極めて制約の厳しい問題に取り組む。提案手法AHC（Adaptive Hierarchical Compression）は3つの柱で構成される。①MAML（Model-Agnostic Meta-Learning）ベースの真の適応的圧縮：従来のFiLMコンディショニング（固定変換でタスク適応）と異なり、各新タスクに対して勾配降下法を5ステップ実行し圧縮パラメータを動的調整する。②階層的マルチスケール圧縮：FPN（Feature Pyramid Network）の各スケール層の冗長性に合わせたスケール固有の圧縮比（P3層=8:1、P4層=6.4:1、P5層=4:1）を採用し、情報損失を最小化しつつメモリを節約する。③双対メモリアーキテクチャ：短期・長期メモリバンクを組み合わせ、重要度ベースの記憶統合を100KB以内で実施、破滅的忘却を理論的保証付きで抑制する。GPT-4oやGemini等の大規模モデルとは異なるエッジ推論の文脈だが、IoTデバイスや組込みシステムへの展開に直結する実用的意義が高い。メモリ制約下での継続学習の理論的境界を提示した点も学術的貢献として注目される。 -
hf-blog 28日前 3NVIDIAが4B小型ハイブリッドモデルを公開、エッジAIに最適化Nemotron 3 Nano 4B: A Compact Hybrid Model for Efficient Local AI25 days ago•62
NVIDIAがMamba+Transformerのハイブリッド構造を採用した4BパラメータモデルNemotron 3 Nano 4Bを公開。 9Bモデルからの蒸留により4Bクラス最高水準の指示追従・エージェント性能を実現、FP8で1.8倍高速化。 Jetson/RTXなどエッジデバイスでのローカルAI活用を大幅に拡大する可能性がある。
解説 NVIDIAがMamba-Transformerハイブリッド構造の4Bモデルを公開。9Bモデルからの構造化プルーニング＋2段階蒸留＋多段階RLという体系的な圧縮パイプラインが特徴的。Jetson Orin Nanoで18tok/sを実現し、ロボティクスやゲームAIなどエッジ推論の実用域に到達。GPT-4o miniやGemma等のクラウド前提モデルとは異なり、ローカル完結型AIの選択肢を広げる。開発者にとってはGGUF対応でllama.cppから即利用可能な点が実用的。 -
hf-blog 1年前 2エッジAI時代の本命SLM、主要モデルを徹底解剖Small Language Models (SLM): A Comprehensive OverviewFeb 22, 2025•147
1M〜10Bパラメータの小規模言語モデル（SLM）を網羅的に解説した技術記事が公開された。 Llama3.2・Phi-3.5・Gemma3など主要SLMを比較し、蒸留・量子化等の圧縮技術を体系整理。 エッジ・モバイル展開を目指す開発者にとって実践的な参照資料となる内容。
解説 SLMはGPT-4oやClaude等の大規模モデルを補完する位置づけで、エッジデバイスやプライバシー重視の用途で需要が拡大している。本記事は包括的なサーベイとして有用だが、新手法の提案ではなく既存知見の整理である。開発者にとってはLoRAやOllamaを用いた実装例が実践的で、SLM導入の入門資料として価値がある。研究者には参照論文リストが出発点となる。