要約
TinyAya-Earth(3.35B)が70言語超のオンデバイスツール呼び出しに対応 4bit量子化でfp16より5〜9pt高精度を実現し、2.14GBの軽量性を確保 Android端末での3秒以内の推論と低リソース言語での60〜70%成功率で実用化が進む
軽量LLMが70言語のツール呼び出しをスマホで実現
Multilingual Tool Calling in 70+ Languages, On Device
原文を読む →
https://huggingface.co/blog/Bronsn/tiny-facade
TinyFacadeは、Cohere LabsのTinyAya-Earth（3.35Bパラメータ）を活用し、70言語以上のツール呼び出し（外部関数を呼び出すLLM機能）をAndroid端末上でオフライン実行するシステムである。4bit量子化（モデルサイズ2.14GB）を採用し、fp16より5〜9ポイント高い精度を達成した点が特徴的だ。53言語・1,696設定で評価した結果、ツール呼び出し専用訓練済みのAya Expanse（8B）を上回り、英語88.7%・スワヒリ語79.5%・ルガンダ語85.9%を記録した。比較対象のCommand R（35B）は英語97.2%と高精度だが、サーバーとインターネット接続が必須でオンデバイス展開には不向き。温度パラメータは0.0（決定論的生成）が必須で、0.3上がるごとに5〜10ポイント低下することも判明した。地理的条件より文字体系（Latin・CJK・Devanagari等）が性能予測因子として有効であることも示され、実装面ではOllamaのプロンプトテンプレート誤適用が30%以上の性能低下を招くという実用的知見も報告されている。音声エージェントや視覚障害者支援への応用を目指している。