マルチモーダルLLMの画像入力タスクにおける信頼性評価指標設計手法の提案
ソフトウェア品質管理研究会 研究コース5(2025年)
近年,大規模言語モデル(LLM)の実利用が進む一方で,その出力の信頼性を利用者視点で評価する指標は十分に確立されていない.特にマルチモーダルLLMを利用した画像入力を伴うタスクでは,利用者が回答の正誤や妥当性を出力文のみから判断することが難しく,また人手評価は高コストかつ主観的ばらつきを伴うという課題がある.本研究では画像入力タスクにおけるLLMの出力品質を対象に,LLM-as-a-Judgeを活用した回答の信頼性評価指標を算出する枠組み(JRVF)を提案する.本提案に自信度・正確性・再現性・説明性の4観点を統合した評価指標(CARE スコア)を導入し,人手評価との比較実験を実施した.
その結果,CAREスコアと人手評価との間に相関を確認し,本提案の有効性を示した.
その結果,CAREスコアと人手評価との間に相関を確認し,本提案の有効性を示した.
