生成AIに質問すると、存在しない法律の条文を挙げたり、架空の会社の事例を紹介したりすることがあります。しかも、間違っているときも、正しいときと同じように自信のある書き方をします。この性質は「ハルシネーション」と呼ばれています。

この性質を知らずに使うと、業務で大きな失敗につながります。逆に、性質を知っていれば、上手に付き合えます。

生成AIは、たくさんの文章から学んだ言葉のつながりをもとに、続きとして自然な文章を作っています。事実を調べて答えているのではなく、もっともらしい文章を組み立てているのです。

そのため、学んだ情報が少ない分野や、新しい出来事、細かい数字については、もっともらしいけれど事実と違う答えを作ってしまうことがあります。

もう一つ知っておきたいのは、AIは「分からない」と言うのが苦手だということです。質問されると、何かしら答えを作ろうとします。

特に参考文献やURLは、それらしい形をしているのに、実際には存在しないことがあります。AIの挙げた資料を使うときは、実際に開いて確かめるようにします。

計算も注意が必要です。簡単な足し算でも、文章の中で計算させると間違えることがあります。

一方で、次のような使い方は、生成AIが得意とするところです。

共通しているのは、答えの材料を人が渡している点です。AIに知識を求めるのではなく、渡した材料の加工を頼む使い方であれば、もっともらしい間違いは起きにくくなります。

生成AIが間違えやすいこと、得意なこと

	例
間違えやすい	細かい数字や日付、法律や制度、人や会社の名前、参考文献やURL、最近の出来事、計算
得意	渡した文章の要約や手直し、決まった形への書き換え、決まった項目の取り出し、たたき台づくり

AIの答えに出てきた数字や条文は、元の資料で確かめてから使います。AIは調べ物の入口としては便利ですが、最後の確認は人が行います。

AIに一から答えを作らせるのではなく、確かな資料を渡して、それをもとに答えさせると、間違いは減ります。「この契約書の中で、支払いの条件が書かれている部分を抜き出して」のような頼み方です。

AIに指示するときに、「資料に書かれていないことは『書かれていない』と答えること」と添えておくと、推測で答えを作ることが減ります。

AIを業務の仕組みに組み込むときは、AIの出した結果をプログラムで確かめる仕組みを入れます。数字が数字になっているか、ありえない値ではないか。間違いをゼロにするのではなく、間違いに気づける仕組みを作ることが大切です。

AIは、よく働くけれど、ときどき自信満々に間違える新人のようなものです。仕事を任せることはできますが、大事なところは必ず確かめる。この距離感で付き合うのが、今のところ一番うまくいく使い方です。

AIはなぜ、もっともらしい間違いをするのか。業務での付き合い方

その手作業、来月には消せる。