こんにちは、MOOBON Axiom 開発&学習デザインチームです。
最近、お子さんの勉強にChatGPTなどのAIを活用されているご家庭が増えてきました。英作文の添削や数学の解説など、24時間いつでも答えてくれるAIは一見すると「最強の家庭教師」のように思えます。
ですが、私たち開発チームが実際の試験対策(IELTSやIGCSEなど)でAIの採点精度を検証したところ、「AIのハルシネーションや採点の揺らぎ」が浮かび上がってきました。
今回は、私たちが実際に体験したAIのハルシネーションの実例と、それを防ぐために行っている取り組みをお伝えします。
私たちは自社システムや素のAI(LLM)に対して、プロの英語講師とともに「あえてミスを混ぜた答案」などを投入して、採点精度のストレステストを行いました。そこで発覚したのが次の3点です。
全く同じ英作文を2回続けてAIに採点させたところ、1回目は「85.0点(最高レベル)」と評価されたのに、2回目は「20.0点」と、真逆の評価が出力される現象が起きました。 AIの内部パラメータ(ランダム性)の影響で、出すたびに評価が変わってしまうと、お子さんは何を信じていいか分からなくなってしまいます。
AIに「there/theirの表記ミス」「三単現のsの抜け」「ピリオドのない繋がった文(ランオン文)」を大量に混ぜたエッセイを読ませたところ、AIはそのうちのごく一部しか指摘せず、高いスコアを与えてしまいました。 普通のAIは「ユーザーを励まして気持ちよくさせよう」とする性質(Sympathetic Hallucination)があるため、間違いを厳しく指摘できず、お子さんに「自分はできている」という偽りの自信を持たせてしまうのです。
自然で適切な表現(positive emotional state)を、AIが勝手に「もっと高度な語彙にしましょう」と無理な難解語(complex and subjective emotion)へ書き換えてしまう例が見られました。
これでは文脈や意味が変わってしまい、実際の試験では逆に減点対象になってしまいます。
AI(大規模言語モデル)は、膨大な文章データから「次に続く確率が高い言葉」を予測して文章を作っています。
そのため、手元に明確な「答えの基準」がない状態だと、「一見それっぽいが、実は間違っている解説や採点基準」を堂々とでっち上げてしまう(=ハルシネーション)のです。
厳格な国際試験(IELTS、A-Levelなど)の対策において、AIの「甘い採点」をそのまま信じて勉強を進めるのはタイムロスに繋がります。
「それでは、勉強にAIは使えないの?」と思われるかもしれませんが、そうではありません。要は「AIを野放しにせず、プログラム(コード)で厳重に監視・制御すればいい」のです。
私たちは、AIに嘘をつかせないために以下のような技術的ガードレールを構築しています。
最後に、ご家庭で市販のAIツール等を学習に使う際のポイントを2つご紹介します。
AIは非常に強力なツールですが、そのまま使うと「採点がブレる」という大きな穴があります。だからこそ、私たちは裏側の技術で徹底的にハルシネーションを抑え込み、お子さんが安心して「本物の思考力」を磨ける環境を作っています。
「AIに使われる」のではなく、「AIの特性を理解して正しく使い倒す」。そんな学びの姿勢を、これからもサポートしていきたいと思います!