感情分析
要約済み 1
-
arxiv-cs-ai 2日前 2LLMとBERTでアラビア語感情分類を比較、解釈の多様性が明らかにSentiment Classification of Gaza War Headlines: A Comparative Analysis of Large Language Models and Arabic Fine-Tuned BERT Models
ガザ戦争関連アラビア語見出し約1.1万件でLLM3種とBERTモデル6種の感情分類能力を比較研究。 MARBERTは強い偏向を示す一方、LLMは分布が広く多様な解釈をする傾向が判明。 感情分類をモデルアーキテクチャによる解釈行為と捉える新たな分析視点を提示した。
解説 本研究は、2023年ガザ戦争に関するアラビア語ニュース見出し約1.1万件を対象に、大規模言語モデル（LLM）3種と事前学習済みBERTモデルを特定ドメイン向けに追加学習したファインチューンBERT6種の感情分類性能を比較したもの。特徴的なのは、単一の人手アノテーションを正解とせず、各モデルの出力を「解釈行為」として扱う認識論的アプローチを採用している点。評価指標には情報理論由来のシャノンエントロピー（分布の不確実性）、ジェンセン・シャノン距離（分布間の類似度）、全モデル平均からの逸脱を測るバリアンススコアを用いた。結果として、ファインチューンBERT特にMARBERT（アラビア語特化モデル）は感情ラベルに強い偏りを示し、LLM群（GPT-4o等相当モデルを含む）は相対的に広い分布を持つことが判明。これは紛争報道のような政治的センシティブなテキストでは、モデル選択がそのまま感情解釈のバイアスになりうることを示唆する。アラビア語NLPや紛争関連メディア分析に携わる研究者にとって示唆深いが、対象がニッチな領域に限定される。