← AIの基礎知識

評価データセットとは——AIを測る物差しを、社内で作る

公開: 2026年9月8日 3分で読めます（約1,559文字） 執筆: 北村 惇士（プロフィール）

AIを導入するかどうかを社内で議論すると、「精度はどのくらいですか」と必ず聞かれます。

答えるには、測る物差しが要ります。その物差しにあたるのが、評価データセットです。

事例と、こうあってほしい答え

やることは単純です。実際の業務から事例を集め、それぞれに「こうあってほしい答え」を人が書いておく。それだけです。

順番が要点で、AIに出させてから採点すると、出力に引きずられます。人が先に答えを書いておくと、この引きずりが起きません。

過去に実際に処理した案件を持ってくるのが、いちばん早い作り方です。当時の担当者が出した答えが残っているので、それを正解として使えます。ゼロから架空の事例を考えるより、現場の実態に合ったものが集まります。

部活の現場でいうと

うまくなったかどうかは、タイムで分かります。

ただし、条件を揃えたときだけです。同じ距離、同じ形、同じ計り方。 追い越しのある練習中に測ったタイムと、スタート台から飛んだタイムを並べても、速くなったのか条件が違うのか判別できません。だから、月に一度は同じ条件で計時会をやります。

評価データセットは、この計時会にあたります。同じ事例を、同じ答えと突き合わせる。感触ではなく、動かない基準で測る。

そして、途中で基準を替えないこと。事例を残す場所を決めて、モデルが変わっても様式が変わっても同じものを流す。そこで結果が変われば、変わったのは向こうだと分かります。

何件、誰が

件数。数十件から始めるのが現実的です。件数を増やすより、外れた事例を一件ずつ読んで原因を分けるほうが、次の打ち手につながります。全件を機械的に採点するのは、直す方向が決まってからで間に合います。

選ぶときは、簡単なものばかりにしないでください。楽な事例だけで測ると、良い数字が出て、運用で外します。集めるのは三種類です。

• よくある事例（件数として多いもの）
• 判断に迷う事例（担当者が一度止まるもの）
• めったに来ないが外せない事例（例外処理、特殊な取引先）

誰が書くか。その業務を実際にやっている担当者です。情報システム部門でも、外部の業者でもありません。何が正解かを知っているのは現場だけで、ここを外注すると物差し自体がずれます。

正解が一つに決まらないとき

要約や文案づくりでは、唯一の正解がありません。この場合は、正解の代わりに外してはいけない条件を書きます。

• 決定事項と担当者が入っていること
• 金額に触れていないこと
• 社外の固有名詞を出していないこと
• 三百字以内に収まっていること

条件の形なら、人が違っても判定が揃います。「良い文章かどうか」を採点しようとすると人によってばらつきますが、条件を満たすかどうかなら揃います。

そのうえで、手直しの量を三段階で記録します。そのまま出せた／少し直した／書き直した。この三段階なら、比較できる形になります。

作った後が本番

一度作って終わりにすると、半年で使われなくなります。続く形にするには、二つだけ決めておきます。

残す場所。事例と正解を、業務の資料と同じ場所に置きます。個人のファイルに置くと、担当者が変わった時点で消えます。

流す頻度。月に一度、同じ事例を流して、前回と違う結果になったものだけを読みます。全件を毎回読む必要はありません。モデルの更新、社内様式の変更、参照資料の差し替え——どれも静かに出力を変えるので、変化点だけを捕まえる形にしておきます。

この記録は、社内説明の材料にもなります。効果が出ているかを問われたとき、感触ではなく同じ物差しで測った推移を出せると、話が早く進みます。使い方の全体はAIの精度検証にまとめています。