半教師あり学習
要約済み 2
-
hf-papers 1日前 4医療AIに新手法、希少疾患の診断推論が大幅向上Eliciting Medical Reasoning with Knowledge-enhanced Data Synthesis: A Semi-Supervised Reinforcement Learning Approach
知識強化型データ合成と半教師あり強化学習を組み合わせた医療推論フレームワーク「MedSSR」が発表された。 PubMedや希少疾患DBを活用した合成データで学習し、Qwen3-8Bベースで希少疾患+5.93%、一般医療+3.91%を達成。 データ不足が課題だった医療AI分野で、希少疾患への対応力を高める実用的な突破口となる可能性がある。
解説 MedSSRは、医療分野でのLLM（大規模言語モデル）の推論能力向上を目指した研究。最大の課題は「高品質な医療推論データの不足」、特に希少疾患に関するデータが極めて少ない点にある。 提案手法は2本柱で構成される。①知識強化型データ合成：PubMed・Wikipedia・医学教科書・Orphanetなど希少疾患DB（12,445疾患）から関連文書を検索し、合成質問を生成。希少疾患の含有率を閾値αで制御可能な設計になっている。②半教師あり強化学習（RL）：合成データに対してモデル自身がG回の回答を生成し多数決で疑似ラベルを作成（オフライン投票）した後、自己教師ありRLと教師ありRLの2段階学習を実施。オンライン投票と異なりリワードハッキングや学習崩壊を防ぎ、1000ステップ以上安定した学習が可能。 実験ではQwen3-8BとLlama-3.1-8Bで検証。MedQA（+6.16%）・Medbullets（+8.36%）など主要ベンチマークで既存医療LLM（HuatuoGPT-o1-8B・MedReason-8B等）を全項目上回った。医師200名による合成データ評価でも誤り率0.5%・妥当性4.80/5.0と高品質。CoT（思考連鎖）の蒸留不要で、低コストに医療推論能力を引き出せる点が実用上の大きな意義となる。 -
arxiv-cs-ai 2日前 3GNNを審判役にLLMのグラフ学習を強化する新手法GNN-as-Judge: Unleashing the Power of LLMs for Graph Learning with GNN Feedback
研究チームがGNNをラベル品質の審判役として活用し、LLMのグラフ学習を強化する「GNN-as-Judge」を発表。 GNNの構造的バイアスで疑似ラベルのノイズを抑制し、少数ショット半教師あり学習を実現する。 ラベル不足環境でのLLMファインチューニングの課題を解決し、実用的なグラフAI応用に貢献。
解説 本論文はテキスト属性グラフ（TAG: Text-Attributed Graph）上での少数ショット半教師あり学習という実用的な課題に取り組む。TAGとはノードにテキスト特徴量を持つグラフ構造データで、論文引用ネットワークや商品レコメンドグラフなどが該当する。LLMはノードのテキストを意味的に理解する能力が高い一方、ラベル付きデータが少ない低リソース環境ではファインチューニングが困難であり、特にグラフの複雑な構造パターンを持つ場合は性能が制限される。提案するGNN-as-Judgeフレームワークは、GNNをラベルの質を評価する「審判」として活用し、LLMが生成した疑似ラベルの信頼性を構造的観点からフィルタリングする。GNNはノード間の隣接関係から伝播するメッセージパッシングにより、孤立した局所情報では捉えられないグラフ全体の構造的文脈を把握できる点が強みである。これにより信頼度の高い疑似ラベルのみを選んでLLMを追加学習させ、ラベルノイズによる性能劣化を防ぐ。既存のGPT-4oやGNNベースライン手法と比較した実験では、特にラベルが極端に少ない設定で優位性を示している。実用上の意義として、大量のアノテーションなしでグラフ分類・ノード分類タスクを高精度に解ける可能性があり、医療知識グラフや金融リスク分析など専門ラベルの取得コストが高い分野への応用が期待できる。