生成AIを活用したテスト網羅度分析手法の検証
ソフトウェア品質シンポジウム2025(2025年)
ソフトウェア開発におけるテスト技法は、構造ベースと仕様ベースに大別される。構造ベースでは命令網羅や分岐網羅などが網羅性指標として広く用いられる一方、仕様ベース、特に設計仕様に対するテスト網羅性を定量的かつ効率的に評価する手法は少ない。
その背景として設計仕様に対するテスト項目の網羅性を示す評価には二つの課題が存在する。
・人手で網羅性を直接確認することは、膨大な時間と労力を要すること
・従来のアプローチでは、主にテスト項目密度などの間接的な指標を用いて網羅性を評価してきたが、この方法では網羅性に説得力が不足すること
本研究はこの課題に着目し、生成AIを活用したテスト観点網羅度分析手法の有効性を検証した。
具体的には、生成AIを用いて開発成果物(開発計画書、設計仕様書、テスト仕様書)からテスト観点を抽出し、各テスト項目の網羅性を自動分析・可視化する仕組みを構築した。異なるソフトウェア製品開発プロジェクト6件のプロジェクトの成果物に対して検証を行い、分析結果の妥当性、テスト項目の「網羅性スコア」の有用性を確認した。一方で、実運用上の課題も明らかとなった。
本発表では、生成AIを用いたテスト観点網羅度分析手法の概要、検証結果、課題と今後の展望を紹介する。
その背景として設計仕様に対するテスト項目の網羅性を示す評価には二つの課題が存在する。
・人手で網羅性を直接確認することは、膨大な時間と労力を要すること
・従来のアプローチでは、主にテスト項目密度などの間接的な指標を用いて網羅性を評価してきたが、この方法では網羅性に説得力が不足すること
本研究はこの課題に着目し、生成AIを活用したテスト観点網羅度分析手法の有効性を検証した。
具体的には、生成AIを用いて開発成果物(開発計画書、設計仕様書、テスト仕様書)からテスト観点を抽出し、各テスト項目の網羅性を自動分析・可視化する仕組みを構築した。異なるソフトウェア製品開発プロジェクト6件のプロジェクトの成果物に対して検証を行い、分析結果の妥当性、テスト項目の「網羅性スコア」の有用性を確認した。一方で、実運用上の課題も明らかとなった。
本発表では、生成AIを用いたテスト観点網羅度分析手法の概要、検証結果、課題と今後の展望を紹介する。
