金融AI
要約済み 1
-
hf-papers 10時間前 3QuantCode-Benchが公開、LLMのアルゴ取引戦略生成能力を評価QuantCode-Bench: A Benchmark for Evaluating the Ability of Large Language Models to Generate Executable Algorithmic Trading Strategies
QuantCode-Benchが公開され、LLMが生成したアルゴリズム取引戦略コードを包括的に評価する。 400タスク、4段階評価（構文・バックテスト・取引発生・意味整合）で、Reddit・GitHubなど多様なソース利用。 LLM開発者に対して、取引ロジック実装とAPI使用の精度向上が重要課題となる。
解説 QuantCode-Benchは、大規模言語モデル（LLM）がアルゴリズム取引戦略を実行可能なコードとして生成できるかを体系的に評価するベンチマークである。既存のHumanEvalやMBPPといった汎用コードベンチマークとは異なり、金融ドメイン固有の論理知識・Backtrader（Pythonベースのバックテストフレームワーク）のAPI習熟・実際に取引が発生するコード生成という3要素を同時に要求する点が特徴的。データセットはReddit・TradingView・StackExchange・GitHubおよび合成生成の5ソースから難易度別に400タスクを収集しており、評価パイプラインは①構文正確性、②バックテスト正常実行、③取引発生確認、④LLMジャッジによる意味的整合性の4段階で構成される。実験ではGPT-4o・Claude・Geminiなど最新モデルを、初回一発生成の「シングルターン」と反復フィードバックで修正する「エージェント型マルチターン」の2設定で比較。結果として、モデルの主な失敗要因は構文エラーではなく取引ロジックの誤った実装とAPIの不適切な使用であることが判明した。エージェント型設定では改善が見られるものの、意味的整合性の達成が依然として困難であり、現状のLLMは金融プログラミングにおいて実用水準に達していないことが示された。金融エンジニアリングへのLLM活用を目指す開発者・研究者にとって重要な評価基盤となる。