AIに文書を読ませて、項目を取り出す仕組みを入れたとします。最初の数件を見て「ちゃんと読めている」と安心してしまいがちですが、本当にどれくらい正しいのかは、きちんと測らないと分かりません。
数件の確認では、たまたま読みやすい文書だっただけかもしれません。精度を測る方法を整理します。
正解の見本を用意する
精度を測るには、正解が分かっている見本が必要です。実際に届いた文書を数十件ほど選び、人が読んで、正しい項目の値を書き出しておきます。
見本を選ぶときは、読みやすいものばかりにしないことが大切です。書き方が変わっている取引先のもの、項目が抜けているもの、長いもの、表が崩れているもの。難しいものも混ぜておくと、実際の精度に近い数字になります。
項目ごとに比べる
AIの結果と正解を、項目ごとに比べます。全体で何%正しかったか、ではなく、項目ごとに見るのがポイントです。
金額はほぼ正しいのに、開始日の間違いが多い。こうした傾向は、項目ごとに見ないと気づけません。間違いの多い項目が分かれば、そこだけ決まりを足したり、人の確認に回したりする対策が取れます。
間違い方を見る
間違いの数だけでなく、どう間違えたかも見ておきます。
- 読み取れず空欄になった
- 違う値を入れた
- 書かれていない値を、推測で入れた
この中で一番困るのは3つ目です。空欄なら人が気づけますが、もっともらしい値が入っていると、誰も気づかずにそのまま使われてしまいます。推測で値を入れるくらいなら空欄にする、という決まりにしておくほうが安全です。
| 間違い方 | 気づきやすさ |
|---|---|
| 読み取れず空欄になった | 空欄なので人が気づける |
| 違う値を入れた | 正解の見本と比べれば分かる |
| 書かれていない値を推測で入れた | もっともらしいので気づきにくい。一番困る |
精度の目標をどう決めるか
100%正しく読める仕組みは、現実的ではありません。大切なのは、間違えたときにどれくらい困るかで目標を決めることです。
請求の金額のように、間違えると大きな問題になる項目は、AIの結果を必ず人が確かめるようにします。参考程度に使う項目なら、多少の間違いを許して、手間を減らすことを優先できます。
精度が落ちたことに気づく仕組み
最初に測った精度が、ずっと続くとは限りません。取引先がメールの書式を変えた、新しい取引先が増えた、AIのサービス側でモデルが更新された。こうした変化で、精度が落ちることがあります。
精度が落ちたことに気づくために、次のようなことをしておきます。
- 人の確認に回った件数が、急に増えていないかを見る
- 空欄になった項目の割合を、月ごとに比べる
- 月に一度、何件かを抜き出して、人が正解と比べる
当社でも、AIに読ませる仕組みを直したときは、過去に届いた文書をまとめて読ませ直し、結果が変わっていないかを確かめてから公開しています。直したつもりが、別の書き方で読めなくなっていた、ということがあるからです。
AIのモデルを変えるとき
AIのサービスには、性能や料金の違う複数のモデルがあります。安いモデルに変えれば費用は下がりますが、精度が落ちることもあります。
モデルを変えるときは、同じ見本で精度を測り直してから決めます。費用と精度を、数字で比べて判断するのが確実です。