生成AIで生じる計算ミスとその防止

電卓での計算が不得意なため、検算を生成AIにお願いすることがあります。
画像データを貼り付けて「この数字を足し算して」とすれば、正確に計算してくれます。
何しろ、コンピュータですから。

と、思っていたところ、生成AIの計算ミスを発見。

どうやら生成AIだけでは計算ができないようです。

計算ミスの再現

今回計算に使ったのは、こちらのスクリーンショットです。

これをGeminiに貼り付けて「足し算して」と指示を出しました。

数秒して返ってきた答えがこちら。

個々の値は正しいのですが、合計金額が違っています。
正しい答えは21,650,396円です。
1円の差があります。

誤差が生じる理由

この誤差が生じた理由をGeminiに尋ねたところ、2つの理由が考えられるとのこと。

1つ目は、OCRの読み取りミス。
これは当然予測されるところですが、スクリーンショットとGeminiの読み取りを見比べても間違いはありません。
今回の原因はこれではありません。

2つ目としてあげたのは、「言葉の予測」によるものとのこと。
回答は、このようになっています。

生成AIでハルシネーションが起こることは知られています。
しかし、数字でも同様とは思いもつきませんでした。
「もっともらしい数字」では危なくて計算など任せられません。

対応策

計算上生じる誤差について、Geminiに対応を確認したところ、Pythonで計算するよう指示するのが効果的とのこと。

Claudeにも聞いたところ、「AIに計算させる」のではなく「AIにコードを書かせてコンピュータに計算させる」 のが正しいアプローチです。ClaudeもPythonを実行できるので、重要な計算はこの方法を使うと安全です。」と回答がありました。

今後はPythonで計算するよう指示を出すことにします。

本日のまとめ

「生成AI = コンピュータ = 計算が得意」と単純に考えていましたが、生成AIは文字を書くのが中心で、計算そのものには対応していないとのこと。

Claudeのいうように、AIにコードを書かせて計算させるのが確実なようです。