スケジューリング
要約済み 1
-
arxiv-cs-ai 2日前 2研究者、AI推論の熱問題を模倣学習で解決Active Imitation Learning for Thermal- and Kernel-Aware LFM Inference on 3D S-NUCA Many-Cores
3D積層CPU上のLFM推論で生じる熱集中とキャッシュ遅延を解決する新スケジューリング手法が発表された 能動的模倣学習によりOracleデモから効率的に方策を習得し、スレッド移行とV/f制御を最適化 エッジ・オンプレ環境でのAI推論における熱安全性と性能の両立に道を開く研究として注目される
解説 AILFMは、GPUの代替として注目される3D積層CPU（3D S-NUCA）上での大規模基盤モデル（LFM）推論における熱管理問題を解決するフレームワークです。3D S-NUCAはメモリ帯域幅と局所性に優れますが、3D NoC（チップ内ネットワーク）の構造上、コア間で熱集中や不均一なキャッシュアクセス遅延が生じます。LFMは注意機構・FFN・正規化など多様なカーネルを持つため、スレッドの配置や電圧・周波数（V/f）制御の最適化は非常に難しい問題です。既存の熱管理手法は単純な解析モデルに依存し、実行時の多様な状況への適応が不十分でした。AILFMはDAgger系の能動的模倣学習（AIL）を採用し、最適スケジューラ（Oracle）のデモンストレーションからポリシーネットワークを学習させます。コアレベルの性能とメモリアクセス特性の両方を考慮したスケジューリングを実現し、実行時オーバーヘッドを最小限に抑えます。GPUが高価・入手困難な状況でのLFM推論基盤として実用的意義があり、CPUクラスタ活用の道を広げる研究です。