LLM学習
要約済み 1
-
hf-papers 2日前 4LLMファインチューニングを自動化するマルチエージェント「TREX」登場TREX: Automating LLM Fine-tuning via Agent-Driven Tree-based Exploration
研究者らがLLMの学習ライフサイクル全体を自動化するマルチエージェントシステム「TREX」を発表。 ResearcherとExecutorの2モジュールが協調し、要件分析から学習・評価まで実行。探索木で実験を管理し過去結果を再利用することで効率的に最適化。 ファインチューニングの専門知識不要でLLM開発を大幅に効率化でき、AIエンジニアの工数削減に貢献する可能性。
解説 TREXは、LLMのファインチューニング（特定タスク向けの追加学習）に必要な複雑なワークフロー全体を自動化するマルチエージェントフレームワークである。中核となる2つのモジュール、Researcher（文献・データ調査と学習戦略の立案を担当）とExecutor（データレシピ作成・モデル学習・評価を担当）が協調動作する。最大の特徴は実験プロセスを「探索木（Search Tree）」として表現する点で、これにより過去の実験結果の再利用、有望な探索パスの優先的選択、反復試行からの高レベルな洞察抽出が可能となる。従来の手動チューニングや単純なグリッドサーチと比較して、試行錯誤の効率が大幅に向上する。評価には、実世界シナリオから導出した10タスクで構成するベンチマーク「FT-Bench」を新たに構築。基礎的なモデル能力の最適化からドメイン特化タスクの性能向上まで幅広いシナリオをカバーし、TREXがターゲットタスクの性能を一貫して改善することを実証した。AI研究・開発の自動化（AutoML的アプローチをLLM学習に適用）という観点で実用的意義が高く、人手によるハイパーパラメータ探索や学習設計の工数を大幅削減できる可能性がある。