← AIの基礎知識

トークンとは——AIが文章を数える単位と、それが料金と精度に効く理由

公開: 2026年9月8日 3分で読めます（約1,881文字） 執筆: 北村 惇士（プロフィール）

見積書やAPIの管理画面で「トークン」という単位を見て、意味が分からないまま眺めた経験があるかもしれません。文字数のことだろうと当たりをつけると、数が合わなくて戸惑います。

この単位は、料金の計算だけでなく、AIがどこまで賢く振る舞えるかにも効いてきます。

文字でも単語でもない区切り

AIは文章をそのまま読んでいるわけではなく、いったん細かく区切ってから扱います。この区切りの一つひとつがトークンです。

区切り方は、文字単位でも単語単位でもありません。よく出てくる語のかたまりは一つにまとまり、珍しい語は分割されます。英語なら、一般的な単語がそのまま一つ、専門用語は複数に割れる、といった具合です。

日本語は事情が違います。単語の間に空白がなく、漢字・ひらがな・カタカナが混ざるため、区切りが細かくなりがちです。結果として、同じ内容でも英語より多くのトークンを使う傾向があります。実際の数は、各社が公開しているトークン計測ツールで確かめられます。

大まかな見当としては、日本語の文章は文字数に近いか、それよりやや少ない程度と考えておけば、実務では足ります。

子育ての現場でいうと

同じことを伝えるのに、相手によって必要な言葉の量が変わります。

大人になら「今日は在宅」で通じる話が、小さい子には「今日はおうちでお仕事するから、静かにしててほしい時間があるよ」になる。中身は同じなのに、言葉の数がまるで違います。

トークンは、この「言葉の数」を機械の側で数えたものです。文字数でも単語数でもなく、機械にとっての区切り。

日本語が不利になる理由も、この感覚で腑に落ちます。単語の切れ目に空白がなく、漢字とかなとカタカナが混ざる。区切りが細かくなり、同じ内容でも数が増えます。

どのくらいの数になるかは、提供各社が公開している計測ツールで実際に数えられます。見積の話をする前に、自社の典型的な資料を一度通してみると、桁の感覚が掴めます。

二か所に効いてくる

この単位が実務に顔を出すのは、二つの場面です。

料金。API利用や従量課金のプランでは、入力と出力のトークン数で費用が決まります。長い資料を毎回丸ごと貼りつける運用にすると、同じ資料の分を毎回支払うことになります。定額のプランを使っている場合でも、利用量の上限がこの単位で測られていることがあります。

一度に扱える量。AIが一度に見られる情報には上限があり、その上限もトークンで表されます（コンテキストウィンドウ）。長い会議録を渡したのに途中の話が反映されていない、というときは、上限に当たっているか、後述する「薄まり」が起きています。

詰め込むほど賢くなるわけではない

上限が大きいモデルが増え、分厚い資料をまるごと渡せるようになりました。ただ、渡した量と回答の質は比例しません。

指示の中心が大量の資料に埋もれると、AIは何を優先すべきか分からなくなります。人に頼むときも、要点を三つ伝えるのと、関連しそうな書類を段ボールで渡すのとでは、返ってくるものが違うはずです。

現場で効く整理は、だいたいこの順です。

1. 同じものを毎回渡さない。判断基準や社内用語は、毎回貼るのではなく置いておく形にする
2. 古い履歴を引きずらない。話題が変わったら会話を分ける。前の話題の断片が残っていると、そちらに引かれる
3. 原本ではなく要点を渡す。議事録全文より、決まったことと宿題だけのほうが精度が上がる場面は多い

3番目は、人が毎回まとめ直すという意味ではありません。まとめる作業自体を仕組みに寄せる話で、そこがコンテキストエンジニアリングの領分になります。

見積書で見るときの注意

外部にAI活用を委託する場合、トークン単価だけを見比べても実際の費用は読めません。効いてくるのは、単価より使用量の設計だからです。

• 一回の処理で、どれだけの資料を毎回読ませる設計になっているか
• 同じ内容を繰り返し送らずに済む作りになっているか
• 想定件数を超えたときに、どう変動するか

このあたりを聞いて答えが返ってくるかどうかが、見積の妥当性を測る手がかりになります。単価の安さを前面に出しながら、毎回の入力量を絞る設計になっていない提案は、運用が始まってから膨らみます。

上限そのものについては、コンテキストウィンドウで続けます。