生成AI研修の効果測定はどうする？評価シートと実務課題の作り方
生成AI研修の効果は、受講者の満足度だけでは判断できません。実務に近い課題を使い、入力の判断、依頼の作成、出力の確認を含めて評価します。研修前と後で同程度の難しさの課題を用意し、実務で使えたかを後から確認します。
評価を三つの時点に分ける
| 時点 | 確認したいこと | 方法 |
|---|---|---|
| 研修前 | 現在の作業と課題 | 通常手段で同程度の課題を実施 |
| 研修直後 | 学んだ手順を再現できるか | 別の架空データで実技を評価 |
| 実務での試行後 | 継続して利用できるか | 対象業務の実施記録を確認 |
同じ問題をそのまま使うと、内容を覚えた効果が混ざります。入力の量や難しさをそろえた別問題で比較します。
商談メモ整理を使った評価例
架空の商談メモから、顧客の要望、決定事項、担当、期限をまとめる課題を用意します。わざと期限が未記入の項目を入れ、AIの出力に推測が混ざった場合に気づけるかを確認します。
| 観点 | 0点 | 1点 | 2点 |
|---|---|---|---|
| 入力判断 | 未確認の資料を使う | 指摘されれば確認する | 自分で利用可否を確認する |
| 依頼内容 | 目的が不明 | 目的はあるが条件が不足 | 目的・条件・出力形式が明確 |
| 正確さ | 重要な誤りが残る | 修正して完成できる | 根拠と照合し正しく完成する |
| 確認行動 | そのまま採用する | 一部を確認する | 不明点と根拠を確認する |
| 再利用 | 手順が残らない | 指示だけを保存する | 指示と確認手順を残す |
これは研修設計用の採点例です。合計点が高くても、秘密情報の入力や重大な誤記があれば別途対応します。合計点だけで実務利用の可否を決めません。
時間は完成まで測る
入力の準備、AIへの依頼、待ち時間、人による照合・修正を含めます。生成にかかった時間だけで従来作業と比べないでください。途中で講師が助けた場合は支援の内容も記録します。
評価シートCSVを使い、観点別の点数、所要時間、支援の有無を残せます。記入例の点数は架空であり、研修の実績ではありません。
受講後に確認する項目
対象業務を試す機会があったか、実際に使ったか、確認を含む負担が変わったかを確認します。使えなかった理由が資料の利用制限なら、追加研修より情報管理の整理が先かもしれません。
前後比較には、業務量、担当者の経験、同時に行った改善の影響も含まれます。変化のすべてを研修の効果と断定せず、条件を記録します。
よくある質問
アンケートは不要ですか？
理解しにくかった部分や困りごとを知るために役立ちます。満足度と実技評価を別の指標として使います。
全員に同じ課題を出すべきですか？
基礎的な入力判断は共通化できますが、業務への適用は職種に合わせます。評価基準はそろえ、課題の内容を調整します。
ZETTAiに相談する前に
研修前の業務課題と、研修後に確認したい成果物を決めておくと評価軸が明確になります。ZETTAiの法人向けAI研修について、実務に結び付く評価方法を相談できます。個別の支援範囲はご相談時に確認します。