AI学習支援は利用中の正答率だけで評価してはいけない
生成AIを使った学習者の正答率が上がれば、そのAIは教育効果を生んだと言えるでしょうか。
この記事の結論は、学習支援AIでは、利用中のタスク性能と、AIを外した後に残る技能を分けて評価する必要があるというものです。
2025年にPNASへ掲載された高校数学のランダム化比較試験では、GPT-4利用中の練習得点が向上した一方、一般的なチャット型AIを使った生徒はAIなし試験で対照群より17％低い得点になりました。
ここでは、研究の仕組みをもとに、学習支援AIの設計選択、評価軸、トレードオフを整理します。日本の教育全体や長期的な知能への影響は扱いません。
中心となる問い
学習支援AIには、異なる二つの目的が混ざりやすくなります。
- いま目の前にある課題を完了させる
- 学習者が次回から自力で課題を完了できるようにする
前者なら、AIが完成解答を返すほど効率的です。後者では、完成解答が学習に必要な試行を奪う可能性があります。
PNAS研究の実験設計
Bastaniほかの研究は、トルコの大規模高校1校で行われました。
| 項目 | 条件 |
|---|---|
| 対象 | 9〜11年生、約1,000人、約50クラス |
| 期間 | 2023〜2024年度秋学期、4回の90分セッション |
| 教科 | 既習の高校数学 |
| モデル | GPT-4 |
| 主評価 | 練習後のAI・教材なし試験 |
比較された選択肢は3つです。
AIなし
教科書と授業ノートで練習します。これが対照群です。
GPT Base
一般的なChatGPTに近いチャットUIです。現在の問題を含むプロンプトを使い、GPT-4が解答を提示できます。
GPT Tutor
同じGPT-4を使いますが、答えを直接渡さずヒントを返す制約があります。さらに、教師が用意した正しい解法、典型的な誤り、フィードバック方法を問題ごとに参照します。
モデルは同じでも、学習者へ返す情報と教師知識の組み込み方が違います。
利用中の性能と学習結果
結果は次のようになりました。
| 評価 | GPT Base | GPT Tutor |
|---|---|---|
| 練習中の得点 | 対照群より48％高い | 対照群より127％高い |
| AIなし試験 | 対照群より17％低い | 悪影響はほぼ解消。正の効果は未確認 |
GPT Baseを利用中の画面だけ見れば、導入は成功です。しかし、AIを外した評価を追加すると結論が変わります。
この関係は、次のように整理できます。
なぜ完成解答が学習を妨げるのか
研究チームが対話ログを分析すると、GPT Baseでは解答を要求し、コピーする使い方が多く見られました。
数学の問題を解く工程を分けると、次の状態になります。
- 不明点を特定する
- 関連知識を想起する
- 解法を選択する
- 計算・推論する
- 誤りを検出して修正する
- 解法を説明する
完成解答は2〜5を短縮できます。これは課題完了の観点では価値がありますが、技能獲得の観点では練習回数を減らします。
GPT Tutorはヒントを返し、工程を学習者側へ残しました。つまり、ガードレールは安全性だけでなく、どの認知作業を人間に残すかを決める学習設計でもあります。
選択肢とトレードオフ
完成解答型
- 長所: 課題を速く完了できる
- 長所: 解法例をすぐ確認できる
- 短所: コピーで進められる
- 短所: 学習者の試行を測りにくい
- 向く条件: 学習済み技能を使った生産作業、模範解答の事後確認
ヒント型
- 長所: 学習者の試行を残せる
- 長所: 今回の研究では悪影響をほぼ解消した
- 短所: すぐ答えを得たい利用者には遅く感じられる
- 短所: 問題固有の教師情報を準備するコストがある
- 向く条件: 新しい技能の練習、理解度を重視する教育
人間の指導者を支援する型
AIが生徒へ直接答えるのではなく、教師やチューターへ質問例・フィードバック案を提示します。
- 長所: 人間が学習者の状態を見ながら使える
- 長所: AIの提案をそのまま採用せず調整できる
- 短所: 指導者の時間が必要
- 短所: 指導者がAIを検証できる設計が必要
- 向く条件: 誤解の診断、個別フィードバック、重要度の高い学習
第三の選択肢は今回のPNAS実験で比較された条件ではありません。設計上の代替案として区別して扱う必要があります。
評価設計は二系統に分ける
学習支援AIの評価では、次の二系統を同じ指標へ混ぜません。
支援中のタスク性能
- AI利用中の正答率
- 課題完了率
- 回答時間
- ヒント後の再試行成功率
AIを外した技能獲得
- AIなしの遅延テスト
- 白紙からの再現
- 類題への転移
- 解法理由の説明
- AIの誤答を検出する能力
短期的なプロダクト指標は前者に偏りやすくなります。教育効果を主張するなら、後者を事前に主要評価として設計する必要があります。
どの条件で何を選ぶか
次の質問で「はい」が多いほど、完成解答ではなくヒント型を優先します。
- 目的は課題完了ではなく、新しい技能の習得か
- 後日、AIなしで同じ技能を使う必要があるか
- 学習者の途中の考え方を評価したいか
- AIの誤答を学習者自身が検出する必要があるか
- 教師が正解、典型誤り、ヒントを準備できるか
- AIなしの確認テストを実施できるか
反対に、既に習得済みの技能を使う生産作業で、結果を別の方法で検証できるなら、完成解答型の価値は高くなります。
適用範囲と未解決点
この研究結果を一般化するには制約があります。
- トルコの一つの高校に限定される
- 教科は数学である
- 4回の授業における短期的な技能習得を測っている
- 一般公開版ChatGPTではなく、GPT-4を使った研究用UIである
- GPT Tutorは負の効果を抑えたが、正の学習効果は示さなかった
- 教師情報を問題ごとに作る運用コストがある
したがって、日本の全教科で学力が低下している、AIを長期間使うと知能が下がる、といった結論は導けません。
また、記事化のきっかけとなった動画では研究名が明示されていません。松尾豊教授がこのPNAS論文だけを念頭に置いていたかは確認できません。
まとめ
学習支援AIを「利用中の正答率」だけで評価すると、課題完了と技能獲得を取り違えます。
PNASの研究では、GPT Baseが練習得点を48％高める一方、AIなし試験では17％低下しました。同じGPT-4でも、答えを渡さずヒントを返す設計では悪影響がほぼ消えました。
判断基準は、AIがどれだけ正確に解けるかだけではありません。
AIを外した後、学習者に何が残る設計なのか。
教育効果を考えるなら、この問いを評価の中心に置く必要があります。
Discussion