← AIの基礎知識

AIの精度をどう確かめるか——「なんとなく良い」を判断材料にしない

公開: 2026年9月8日 3分で読めます（約1,865文字） 執筆: 北村 惇士（プロフィール）

試してみたら思ったより使えた。現場の評判も悪くない。だから本格導入しよう——ここで一度止まって確かめておくと、後の議論が楽になります。

感触は当てになりません。うまくいった数件が記憶に残り、外した数件は忘れられるためです。

正解を先に用意する

やることは、そう複雑ではありません。先に正解を作っておいて、AIの出力と突き合わせる。それだけです。

順番が大事で、AIに出させてから「これは合っている」と判定すると、出力に引きずられます。先に人が答えを用意しておくと、この引きずりが起きません。

• 実際の業務から、事例を数十件選ぶ
• その一件ずつに、担当者が「こうあってほしい」という答えを書く
• 同じ入力をAIに渡して、出力を並べる
• 一致・惜しい・外れの三つに分ける

三つに分けるのは、外れの中身を見るためです。件数だけ数えると、直す方向が見えません。

習い事の現場でいうと

「うまくなった気がする」は、当てになりません。

横で見ていると、そう思えます。前より手が止まらない、姿勢が良くなった。ところが進級テストでは、去年と同じところで落ちる。見ている側の目は、慣れとともに甘くなります。

スイミングに級があるのは、そのためだと思っています。同じ距離を、同じ形で、決まった基準で見る。親の感触ではなく、外の物差しで測るから、伸びたかどうかが分かる。

AIの精度も同じです。使っている人の「悪くない」は、三か月経つと基準がずれています。導入して半年後に「そういえば最近おかしい」と気づくのは、目が先に慣れたからです。

だから、動かない基準を先に置く。測るのは、疑っているからではなく、慣れるからです。

何を「正解」とするか

ここが、いちばん考えどころです。仕事の種類で、見るところが変わります。

要約と文案は、唯一の正解が決まりません。この場合は、担当者の手直しがどれだけ要るかを物差しにします。そのまま出せた／少し直した／書き直した、の三段階で数えると、比較できる形になります。

情報の抽出では、抜けよりもハルシネーションのほうを重く見ます。空欄は気づけますが、それらしい値が入っていると見逃されるためです。

外れの中身を分ける

外れた件を、原因で分けます。打ち手がまったく違うためです。

渡した情報が足りなかった——判断基準が書かれていない、参照すべき資料が渡っていない。これは、渡す情報を整えれば直ります（コンテキストエンジニアリング）。いちばん多く、いちばん直しやすい原因です。

指示が曖昧だった——出力の形式や優先順位が伝わっていない。指示の書き方で直ります。

そもそも判断が難しい——人が見ても意見が割れる事例。これはAIの課題ではありません。この種類が多いなら、その業務は自動化ではなく、人の判断を助ける形に置き直します。

材料に答えがない——文書化されていない知識が要る。書き出す作業が先に要ります。

この四つに仕分けられれば、次にやることが決まります。仕分けずに「精度が低い」で止めると、モデルを変える話に流れがちですが、そこが原因であることは多くありません。

運用が始まってからも測る

導入時に確かめて終わり、にしないでください。ずれは、あとから静かに入ってきます。

社内の様式が変わった。扱う商材が増えた。参照している資料が更新された。モデルが新しくなった。どれも、出力の傾向を変えます。しかも、エラーは出ません。

現実的に続くのは、この程度の仕組みです。

• 検証に使った事例を、そのまま残しておく
• 月に一度、同じ事例を流して結果を見る
• 前回と違う結果になったものだけを読む

全件を毎回読む必要はありません。前と変わったものだけを見れば、ずれは捕まえられます。

そして、この記録は投資判断の材料にもなります。効果が出ているのかを社内で説明するとき、感触ではなく同じ物差しで測った推移があると、話が早く進みます。