Webオートメーション
要約済み 1
-
arxiv-cs-ai 1日前 3GUI画像でUX自動評価するエージェントOpenFlo登場OpeFlo: Automated UX Evaluation via Simulated Human Web Interaction with GUI Grounding
研究チームがWebのUX評価を自動化するエージェント「OpenFlo」を発表した。 DOMではなくGUI画像を解析してブラウザを操作し、実ユーザーの行動を模倣する点が特徴。 SUS・SEQ・Think Aloudなど標準手法に基づくレポートを自動生成し、UX評価コストを大幅に削減できる。
解説 OpenFloは、従来のユーザースタディや専門家レビューに頼っていたWebのUX（ユーザー体験）評価を自動化するAIエージェントです。最大の特徴はDOM（HTMLの構造情報）ではなく、実際の画面（GUI）のビジュアル情報を認識してブラウザを操作する「GUIグラウンディング」技術を採用している点です。これにより、フレームワークに依存しない汎用的なWeb操作が可能となり、実ユーザーの操作に近い形でWebサイトを評価できます。システムはAvenir-Webという基盤の上に構築され、多様なユーザー行動プロファイル（初心者・上級者など）をシミュレートします。評価プロトコルとして、System Usability Scale（SUS：ユーザビリティを数値化する標準的な10問アンケート）、Single Ease Questions（SEQ：各ステップ後の難易度評価）、Think Aloud（操作中の思考を言語化する手法）を統合し、包括的なUXレポートを自動生成します。GPT-4oなど大規模マルチモーダルモデルを活用していると推測されますが、論文では特定モデルとの比較より評価フレームワーク自体の設計に重点を置いています。小規模チームやアジャイル開発でUX評価の反復速度を上げたい実務者にとって実用的な価値が高いシステムです。