プロンプト圧縮
要約済み 1
-
arxiv-cs-ai 2日前 3研究者、LLMプロンプトを最大80%圧縮する新手法を発表Lossless Prompt Compression via Dictionary-Encoding and In-Context Learning: Enabling Cost-Effective LLM Analysis of Repetitive Data
辞書符号化を用いてLLMのプロンプトをロスレス圧縮する新技術が発表された。 頻出部分列をメタトークンに置換し、ファインチューニング不要で最大80%の圧縮を実現。 繰り返しデータを扱うLLM分析のAPIコストを大幅に削減できる可能性がある。
解説 本論文は、大規模言語モデル（LLM）のIn-context Learning（ICL）能力を利用して、プロンプトを無損失圧縮する手法を提案する。核心的な発見は「LLMはシステムプロンプト内に提供された符号化辞書を参照しながら、圧縮済みの入力を正確に解釈・処理できる」という事実であり、これにより出力品質を劣化させることなくトークン数を削減できる。具体的には、入力テキスト中に頻繁に出現する部分文字列（サブシーケンス）を短いメタトークンに置き換え、その対応表（圧縮辞書）をシステムプロンプトに付加する。LLMは推論時に辞書を参照してメタトークンを元の文字列として解釈するため、圧縮前と同一の出力が得られる。提案アルゴリズムは複数の長さスケールで繰り返しパターンを検出し、辞書のオーバーヘッドが節約量を上回らないよう「トークン節約最適化基準」を組み込んでいる。データセットの特性（繰り返し度）に応じて最大80%の圧縮率を達成しており、ログ解析・センサーデータ解析・定型フォーマットのドキュメント処理など反復データを扱うユースケースでAPIコストを劇的に削減できる実用的意義がある。既存のプロンプト圧縮手法（意味的圧縮など）が非可逆であるのに対し、本手法は完全に無損失である点が差別化要素となる。