学術AI
要約済み 1
-
arxiv-cs-ai 2日前 3LLMで論文フィードバックを自動生成、ICLR1.9万件で学習GoodPoint: Learning Constructive Scientific Paper Feedback from Author Responses
研究チームがLLMを用いて科学論文への建設的フィードバックを自動生成する手法「GoodPoint」を発表。 ICLR論文約1.9万件の著者応答データを活用し、有効性と著者行動の2軸でフィードバックを評価・最適化。 査読の質向上や研究者の負担軽減につながる可能性があり、AI支援レビューの実用化に前進。
解説 本研究は、LLMによる科学論文フィードバック自動生成を「建設的なフィードバック生成」タスクとして定式化した。従来の研究がフィードバックの品質評価を人手や汎用メトリクスに頼っていたのに対し、本手法は実際の著者応答（author responses）を正解シグナルとして活用する点が新しい。 評価軸は2つ：(1) 有効性（validity）＝フィードバックが論文の実際の問題点を指摘しているか、(2) 著者行動（author action）＝著者がそのフィードバックに応答・対応したか。これらの軸でICLR投稿論文1.9万件のレビューをアノテーションしたGoodPoint-ICLRデータセットを構築。 GoodPointの学習レシピは2段階：まず有効かつ実行可能なフィードバックでファインチューニングし、次にリアル・合成の選好ペアを用いた選好最適化（DPO相当）を適用する。ベンチマーク（ICLR論文1,200件）での評価では、ベースのLLMやGPT-4oなどの既存モデルと比較して、著者行動を誘発するフィードバックの生成率が向上。研究者の作業を代替するのではなく支援するという倫理的姿勢も明示されており、ピアレビュー支援AIの実用化に向けた現実的なアプローチを示す。