ポストトレーニング
要約済み 1
-
hf-blog 3日前 3Hugging Face、TRL v1.0を正式リリース——API全面刷新TRL v1.0: Post-Training Library Built to Move with the Field
Hugging FaceのポストトレーニングライブラリTRLがv1.0に達し、APIを全面的に再設計した。 SFT・DPO・GRPO・PPOなど主要アルゴリズムを統一インターフェースで提供し、拡張性を強化。 LLMのファインチューニングを行う開発者の標準ツールとしての地位を確立する節目となる。
解説 TRL（Transformer Reinforcement Learning）はHugging Faceが開発するLLMのポストトレーニング専用ライブラリで、今回のv1.0はメジャーバージョンとして設計を大幅に整理した節目のリリースである。ポストトレーニングとは、事前学習済みモデルをSFT（教師あり微調整）・RLHF（人間フィードバックによる強化学習）・DPO（Direct Preference Optimization）・GRPO（Group Relative Policy Optimization）などの手法でさらに調整する工程を指す。v1.0では各Trainerクラス（SFTTrainer、DPOTrainer、GRPOTrainer、PPOTrainer等）のAPIが統一化され、引数の命名規則や設定オブジェクトが整合性を持つようになった。またPEFT（パラメータ効率的ファインチューニング）やvLLM等との連携が強化され、LoRAやQLoRAを組み合わせた効率的なトレーニングが容易になった。GRPOはDeepSeekが提唱した手法で、グループ内の相対的な報酬を用いることで参照モデルなしに方策を最適化できる点が注目されている。既存のOpenAI・Anthropicモデルへの依存なしに自前でRLHFパイプラインを構築できるため、研究者・開発者双方にとって実用的価値が高い。急速に進化するポストトレーニング研究をライブラリレベルで追随できる拡張性を備えた点が本リリースの核心である。