探索木
要約済み 1
-
hf-papers 3日前 3LLMファインチューニングをAIが全自動化するTREX登場TREX: Automating LLM Fine-tuning via Agent-Driven Tree-based Exploration
マルチエージェントシステム「TREX」がLLM学習の文献調査からモデル評価まで全工程を自動化。 ResearcherとExecutorの2エージェントが連携し、探索木で実験を管理する独自アーキテクチャを採用。 FT-Bench 10タスクで性能改善を実証し、AIエンジニアの開発コスト削減に貢献する可能性。
解説 TREXはLLMのファインチューニング全工程（要件分析・文献調査・学習戦略立案・データ準備・モデル訓練・評価）を自動化するマルチエージェントフレームワークである。中核となるResearcherモジュールがオープンドメインでの文献・データ調査と戦略立案を担い、Executorモジュールがデータレシピ（データ前処理手順の設定）の準備からモデル訓練・評価まで実行する。両モジュールの協調により、人間のMLエンジニアが行う反復的な実験サイクルを自動化できる。実験プロセスを探索木として定式化することで、過去の実験結果の再利用・効率的な探索経路計画・試行錯誤から得られた高次洞察の抽出が可能となる点が特徴的である。評価には実世界シナリオ由来の10タスクで構成するFT-Benchを新たに構築し、基礎モデル能力の最適化からドメイン特化タスクまで幅広く検証した。GPT-4o等最新LLMを活用してエージェント自体を構築するメタ的なアプローチであり、LLM開発コストの削減と実験効率化に実用的な意義を持つ。