モデル崩壊
要約済み 1
-
arxiv-cs-ai 2日前 4研究者ら警告——LLM生成テキストが次世代モデルを劣化させるDrift and selection in LLM text ecosystems
生成AIの出力が公開テキストに混入し次世代モデルの学習データとなる再帰的サイクルを数学的に解明した研究が発表された。 フィルタなし再利用（ドリフト）は希少表現を消滅させ、コーパスを浅い定常分布へ収束させることが示された。 品質・正確性・新規性を基準とした選択的フィルタリングが、言語の多様性と深さを維持するために不可欠と結論づけた。
解説 本論文は、LLMが生成したテキストが公開コーパスに混入し、次世代モデルの学習データとして再利用される「再帰的学習サイクル」を、可変次数n-gramエージェントを用いて厳密に解析可能な数学的枠組みで定式化した研究です。 提案手法の核心は「ドリフト」と「選択」の2力に分離した解析です。ドリフトとは、フィルタなしでAI生成テキストが再利用され続けると、統計的に希少な表現形式（語彙・構文）が世代を重ねるごとに消失し、コーパスが多様性を失った浅い定常分布に収束する現象を指します（いわゆるモデル崩壊）。一方、選択とは出版・ランキング・検証などのフィルタリングがコーパスへの流入を制御する作用であり、「現状の統計的分布を反映するだけの選択」では浅い収束を回避できないが、「品質・正確性・新規性を基準とする規範的選択」があれば深い言語構造が維持されることを理論的に証明しています。 実験では無限コーパス極限での安定分布を解析的に導出しており、GPT-4oやClaudeといった具体モデルとの直接比較ではなく、n-gramモデルをエージェントとして抽象化した理論研究です。実用上の意義は大きく、Webクロールデータや合成データを学習に用いる際の品質フィルタ設計、および長期的なAIエコシステムの健全性維持に向けた指針を提供します。