RAGの精度が低い原因は？検索・回答を切り分ける改善と評価方法

2026-10-22

RAGの回答が間違っているからといって、最初から大きなモデルへ変更するのは早計です。正しい資料が検索結果に入っていなければ、回答を生成するモデルだけを変えても原因は残ります。資料、検索、回答生成の順に観察し、一度に一つの条件を変更します。

誤回答を四つの場所へ分類する

権限違反は、通常の正答率に混ぜて平均化しません。一件でも見つかったら、原因を解消するまで対象データや利用範囲を制限します。

担当者が日常的に受ける質問から、通常・例外・曖昧・回答不能の四種類を集めます。各問に正解の要点と根拠の文書IDを付けます。改善に使う質問と、最後の確認に使う質問を分けておくと、手元の例にだけ合わせた調整を見抜きやすくなります。

評価表CSVには、質問ID、質問、期待する要点、根拠ID、検索合否、回答合否、問題分類を記録できます。付属の行は架空例です。

説明用に、質問20件のうち正しい根拠が検索候補へ入ったものが16件、そのうち回答も正しかったものが12件とします。根拠の取得率は16÷20＝80%、全体の正答率は12÷20＝60%です。取得できた質問に限ると12÷16＝75%になります。

この架空例では、検索を直す余地と、取得後の回答を直す余地の両方があります。20件という小さな標本だけで実運用全体の品質を保証できるわけではありません。重要な例外を含め、運用中に評価対象を更新します。

資料に問題がある場合は、旧版の除外、見出しと表の結合、画像PDFの読み取り確認を優先します。検索漏れがある場合は、製品コードなどの完全一致と意味の近さのどちらが必要かを考えます。検索方式や候補数を変える際は、関係のない文章が増えないかも確認します。

根拠があるのに誤回答する場合は、適用条件と例外の引用を必須にし、不足があれば質問を返す設計にします。根拠を大量に追加するだけでは、矛盾した資料が混ざる場合があります。

文書版、モデル、検索設定、質問セット、回答時刻を記録します。合格率に加えて、遅延、利用料、人の修正時間も比較します。正答率が上がっても回答に長く待つ必要があれば、その業務では使いにくい可能性があります。

自動採点は仕分けの補助に使い、誤りが重大な質問や判定が割れた回答は担当者が確認します。「AIが正しいと言ったから正しい」という循環を避けます。

必ずしも上がりません。条件や表が分断される場合があります。実際に取得した文章が質問に答える情報を含むかを見ます。

資料、モデル、設定が変わると結果も変わります。変更時の再評価と、運用中の誤回答の記録を続けます。

回答で参照すべき資料と、正誤を判定できる質問例を用意してください。ZETTAiのAIエージェント開発・導入支援について、引用の確認や回答評価の進め方を相談できます。個別の支援範囲はご相談時に確認します。

参考資料の確認日：2026年10月22日。評価指標の例を示す資料であり、本文の採点例はZETTAiの実測値ではありません。