小型言語モデル
要約済み 1
-
hf-blog 7ヶ月前 4PII保護SLMシリーズ公開、GPT-4.1に迫る性能Anonymizer SLM series: Privacy-first PII replacement models (0.6B/1.7B/4B)
外部LLM送信前にPIIをローカル検出・置換する小型言語モデル（0.6B〜4B）シリーズがリリースされた。 GRPO強化学習により1.7B/4Bモデルがスコア9.2〜9.55/10を達成し、GPT-4.1（9.77）に肉薄する性能を実現。 プライバシー規制対応が求められる企業や医療・法務分野での実用導入を大きく後押しする。
解説 本研究はQwen3ベースの小型言語モデル（0.6B・1.7B・4B）を用いて、個人識別情報（PII：氏名・会社名・住所・金額など）をローカルデバイス上で検出・置換してからClaude・GPT-4・Geminiなどの外部LLM APIへ送信する「プライバシーファースト」なアーキテクチャを提案する。従来手法のPAPILLONはプロンプト全体を書き換えるため応答品質が85%に低下し7.5%の情報漏洩が発生したが、本手法は「外科的エンティティ置換」で文脈を維持しつつ漏洩を防ぐ。訓練は約3万サンプルによるSFT（教師あり微調整）、続くDPO（直接選好最適化）で+1.5〜2点向上、最終段階のGRPO（グループ相対方策最適化）でLLMジャッジスコアが4Bで6.38→9.55、1.7Bで5.67→9.20へ大幅に改善。GPT-4.1の9.77と比べGPT比較で約1000分の1のパラメータ数で同等性能を実現した点が特筆される。応答時間は1.7Bで1秒以下、4Bで2秒以下とリアルタイム利用に耐えうる。実用アプリ「Silo」としてApp Storeで公開済み。企業機密や内部告発など機密性の高いタスクでも強力なLLMを安全に活用できる実用的意義は大きい。