AIの予測は、なぜその数字になったか分かる？

予測の理由を示す方法は、いくつもある

「AIは中身が見えないから、なぜその数字になったのか分からない」と言われることがあります。たしかに、たくさんの計算を重ねるAIの中身を、人がそのまま読むことはできません。それでも、出てきた数字に理由を付けて見せる方法はいくつも研究され、使われています。

総務省・経済産業省のAI事業者ガイドライン（第1.2版）は、別添のAI開発者向けの部分で、説明しやすくする方法を挙げています。できるだけ単純な仕組み（ロジスティック回帰や決定木など）を選ぶこと、特定の予測を説明する方法（LIMEなど）、各材料が予測にどれだけ寄与しているかを評価するSHAP値、AIが重視している材料を可視化するグラフ、入力を少しずつ変えたときの出力の変化を見ることなどです。

ここで言う材料は、AIに渡すデータの項目のことです。来客数の予測なら、曜日、祝日かどうか、天気予報、予約の数、近くの催しなどが当たります。

同じガイドラインは、説明しやすさを高める方法を検討するときは、開発とのトレードオフが生じる懸念にも注意するよう書いています。説明を重視して仕組みを単純にするか、手間をかけて説明の機能を足すか、どちらにしても何かと引き換えになります。

説明の見せ方は、4つに分けると選びやすい

説明といっても、見せ方によって分かることが違います。仕事で使う場面に合わせて、次の4つから選びます。

内訳があると、どの分を直せばいいか分かる

次は説明のための想定例です。定食屋で、ある土曜の昼に出る食数の予測が140食と出たとします。内訳は、平均的な日の昼が120食、土曜で25食増、雨の予報で15食減、近くの催しで10食増でした。

内訳を見た店長は、近くの催しが中止になったと知っています。その場合、直すのは催しの分の10食だけで、予測は130食前後と考えられます。内訳がなければ、140食という数字全体を勘で減らすことになります。

予約の数や催しの予定のように、店の人が先に知っている情報は、AIに渡す材料に入っていないこともあります。内訳を見れば、AIが何を材料にしていて、何を知らないのかも分かります。

生成AIが書く「理由」は、計算の中身の説明とは別もの

ChatGPTのような生成AIに数字を出させ、「理由も書いて」と頼むと、それらしい理由が文章で返ってきます。AI事業者ガイドラインの別添は、生成AIで結果とその根拠を出力させることはできるが、AI内部の決定の仕組みを説明しているわけではなく、結果と根拠のもっともらしい組み合わせを出している点で、従来型のAIの説明とは別に検討すべきだと注意しています。

文章で書かれた理由は、話の筋が通って見えても、その数字を実際に計算した過程とは限りません。数を予測する仕事では、自社の売上や来客の記録から計算する仕組みのほうが、根拠をたどりやすくなります。二つのAIの違いは機械学習と生成AIは何が違う？、生成AIが間違える理由は生成AIの答えが間違っているのはなぜ？で説明しています。

内訳は、AIの計算の説明

先の想定例の「雨の予報で−15食」は、このAIが計算の中でそう扱ったという意味です。雨の日に実際に15人減ると確かめたわけではありません。内訳はAIが数字を出したときに各材料をどう使ったかを示すもので、来客が減った本当の原因を証明するものとは限りません。

それでも、内訳は確かめる材料になります。店の実感と大きく違う内訳が出たら、記録の入力ミスや、予測する時点では手に入らない情報が混ざっていないかを確かめます。後者の注意点はAIの「精度95%」は何を表している？で取り上げています。

ガイドラインはAI提供者向けの部分で、AIの出力に対して人が最終判断をする場合には、AIから得られる説明を前提として、人が判断すべき項目を事前に明確にしておくことを挙げています。予測は外れるものとして、範囲で持つ考え方は発注は多めにするか少なめにするかで紹介しています。

導入前に、作る側へ伝えておくこと

AI事業者ガイドラインの本編は、AIを使う側がAIを作る側・提供する側に、どのような説明が必要になるかを共有することを挙げています。説明の機能は後から足すより、最初に決めておくほうが選べる方法が多くなります。専門の言葉を知らなくても、次の4つを伝えれば十分です。

まずは、外れた日の記録から

予測の理由を見たくなるのは、多くの場合、数字が外れた日です。外れた日に何が起きていたかを残しておくと、AIの内訳と照らし合わせて、材料が足りていたかを確かめられます。記録の残し方は仕込み量が外れた日に何を記録するかで紹介しています。