矢野経済研究所 ＩＣＴ・金融ユニット

ブレインパッドは2025年10月16日、第三者検証を手掛けるベリサーブと共同で、生成AIプロダクトの品質を定量的に評価するテストフレームワークについて発表を行った。
この取り組みは、ブレインパッドが提供するAI検索サービス「Rtoaster Gen AI」の品質保証プロセスで実践されたものである。生成AIは、その確率的で予測困難な性質から、従来のソフトウェアテスト手法では品質の網羅的な担保が困難という課題があった。今回ベリサーブの協力を得て行ったテストでは、まず生成AIを用いて多様な入力データを自動生成し、テストケースを大幅に拡充する。次に、出力内容の正確性や関連性、有害性、法令遵守といった複数の観点から自動でスコアリングを行い、客観的な評価を行う。これにより、テストの網羅性を30倍以上に高めつつ、人による確認作業を効率化し、AIの品質を社内外に説明しやすくなった。
生成AIの社会実装が加速する中、その品質と安全性をいかに担保し、企業としての説明責任を果たしていくかは喫緊の課題である。この定量的な評価手法はAIプロダクト開発におけるリスクを管理し、過度なリスク懸念から活用に踏み出せない企業の背中を押す可能性を秘めている。