生成AIの答えが間違っているのはなぜ？

どんな間違い方をするのか

ChatGPTのような生成AIに質問すると、ていねいで筋の通った文章が返ってきます。その中に、実在しない制度の名前、違う年の日付、存在しないURLが混ざっていることがあります。文章の調子からは、正しい部分と間違った部分の区別がつきません。

総務省の情報通信白書（令和6年版）は、生成AIが事実に基づかない誤った情報をもっともらしく生成することをハルシネーション（幻覚）と呼ぶと説明しています。技術的な対策は検討されているものの完全には抑えられないため、検索を併用するなどして、出力が正しいかを利用者が確かめることが望ましいとしています。

間違いを含む答えも、自信のない言い方になるとは限りません。「AIが言い切っているから正しい」とは判断できないことを、最初に知っておくと使い方を決めやすくなります。

間違える理由は、文章の作り方にある

個人情報保護委員会の注意喚起（令和5年6月）は、生成AIの応答は自然な文章であっても、確率的な相関関係にもとづいて生成されるため、不正確な内容が含まれるリスクがあるとしています。Anthropic社の用語集も、生成AIの土台になる言語モデルは、大量の文章を使い、それまでの文脈から次の言葉を予測するように学習させると説明しています。調べた事実を書き写すしくみとは違い、続く言葉としてありそうなものを選んで文章を組み立てています。

そのため、答えを知らない質問にも、それらしい文章を作ってしまいます。デジタル庁の「テキスト生成AI利活用におけるリスクへの対策ガイドブック（アルファ版）」は、学習データに無い情報を聞くと、根拠のない事実と異なる答えを返すことがあると説明し、デジタル庁AI班の職員数を聞く例を挙げています。学習データに情報があっても、確実に知識として身につくとは限らないとも書いています。

同じガイドブックは、同じ質問をしても毎回同じ答えになるとは限らないことにも触れています。一度うまく答えたからといって、次も同じ答えが返るとは考えないほうが安全です。

間違いが起きやすい質問

次は、上の説明から当社が整理した、とくに確かめが必要な質問の例です。

聞き方を変えると、間違いを減らせる

生成AI「Claude」を提供するAnthropic社は、開発者向けの公式資料で、ハルシネーションを減らす方法として次のようなものを挙げています。仕事で生成AIに頼むときにも、そのまま使える考え方です。

仕事で使う前に、どこを確かめるか

Anthropic社の同じ資料も、これらの方法で誤りは減らせてもなくせないため、重要な情報、とくに大きな判断に使う情報は必ず確かめるよう書いています。確かめる箇所を決めておくと、全文を調べ直さずに済みます。

当社がおすすめするのは、数字・日付・人名や社名・URL・制度や法令の説明の5つに印を付け、元の資料や公式の情報と照らし合わせる方法です。URLは実際に開き、法令や制度は役所のページで確かめます。

文章の言い回しや構成の提案なら、おかしな点があっても読んだ人が気づきやすいものです。一方、お客さんへの案内に書く金額や期限は、間違いがそのまま相手に伝わります。どこまで確かめるかは、外に出る文章かどうかで分けると決めやすくなります。社内で誰が確かめるかの決め方は社員が生成AIを使い始めたら、何を決めておく？で紹介しています。

間違い方を知るための、最初の試し方

自分がよく知っている分野の質問を、生成AIに3つほどしてみます。自社の商品の特徴、地元の行事の日程、仕事で使う制度などです。答えのどこが合っていて、どこが違うかを見ると、どんな部分で間違えやすいかが手元の例で分かります。

次に、同じ質問に自社の資料を付けて、「この資料だけを使って答えてください」と聞き直します。答えがどう変わるかを比べると、資料を渡す使い方が自社の作業に合うかを判断できます。資料に個人情報や取引先の情報が含まれる場合は、入力してよい情報かを先に確かめてください。

社内の資料を毎回渡す手間を省き、質問に合う資料を自動で探して答えるしくみは、社内の資料をもとに答えるAIとは？で説明しています。生成AIと、数字を予測する機械学習との違いは機械学習と生成AIは何が違う？で紹介しています。