分子シミュレーション
要約済み 1
-
hf-papers 1日前 5EquiformerV3、材料科学AIで全SOTA更新EquiformerV3: Scaling Efficient, Expressive, and General SE(3)-Equivariant Graph Attention Transformers
SE(3)等変グラフTransformerの第3世代「EquiformerV3」が公開、OC20・OMat24等の全主要ベンチマークで最高性能を達成。 実装最適化で1.75倍高速化、SwiGLU-S²活性化による多体相互作用導入で、UMA-Lの23分の1のパラメータ数で同等精度を実現。 計算コストと精度を同時に改善し、計算化学・材料探索AIの実用展開を大幅に加速する成果。
解説 EquiformerV3はSE(3)等変グラフアテンションTransformerの第3世代モデルで、3次元原子系モデリングの効率・表現力・汎用性を同時に向上させた研究。主な貢献は3点ある。①ソフトウェア最適化：eSCN畳み込みの冗長な置換行列を融合しtorch.compile()を有効化することで、実装レベルで1.75倍の高速化を実現。②アーキテクチャ改善：次数ごとの正規化を統合する「等変マージ層正規化」、大型FFN、スムーズ半径カットオフ注意機構を導入し、ポテンシャルエネルギー面の連続性と高次微分の精度を確保。③SwiGLU-S²活性化：S²球面射影とSwiGLUゲートを組み合わせ、多体相互作用を厳密な等変性を保ちながら捉える新活性化関数。実験では、OC20 S2EF-2MでベースラインEquiformerV2と比較して最大5.9倍の学習高速化、Matbench DiscoveryではUMA-M-1.1比22.6倍速の学習でCPS 0.902（最高値）を達成。OMat24ではパラメータ数がUMA-Lの23分の1（49M vs 1.1B）で同等の力MAEを実現した。既存の大型モデルに対してモデルサイズ・学習コスト・精度の全てで優位性を示した点が特に意義深い。