まず一言でいうと
トークンとは、AIがテキストを処理するときの「最小の単位」です。日本語では「単語の一部」や「文字のかたまり」と考えるとイメージしやすいでしょう。ChatGPTなどの生成AIは、文章をこのトークンに分割して理解し、新しいトークンを生成することで応答を作り出します。
読み方・英語表記・略称
- 読み方：トークン（カタカナ）
- 英語表記：Token
- 略称：特にありませんが、文脈によって「トークン数」「トークン制限」などと使われます。
意味
トークンは、自然言語処理（NLP）において、テキストを解析・生成するための基本単位です。1トークンは1文字や1単語と一致するとは限りません。分割結果は、言語、記号、空白、使用するモデルのトークナイザーによって変わります。
トークンは以下の2つの役割を持ちます。
- 入力の分割：ユーザーが入力した文章をAIが理解できる形に分解する。
- 出力の生成：AIが新しい文章を1トークンずつ作り出す。
また、API利用時の課金単位としても使われます。多くのAIサービスは「入力トークン数＋出力トークン数」に応じて料金が決まります。
使われる場面
トークンという概念は、以下のような場面で登場します。
- ChatGPTやClaudeなどのチャットAI：応答の長さや料金を計算するとき
- APIの利用：OpenAI APIやAnthropic APIの料金体系
- プロンプトエンジニアリング：トークン制限を意識した指示の書き方
- テキスト分析：文章の長さや複雑さを測る指標
- 翻訳・要約ツール：処理できる最大文字数をトークンで管理
具体例
実際のトークン分割を見てみましょう。
例1：英語の場合
- 文章：「I love AI.」
- 分割イメージ：単語や句読点に近い単位へ分かれることがあります。
例2：日本語の場合
- 文章：「私はAIが好きです。」
- 分割イメージ：「私」「は」「AI」のような単位や、さらに細かい単位へ分かれることがあります。
例3：長い文章の場合
- 文章：「この商品のレビューを100文字以内で書いてください。」
- ポイント：文字数を指定しても、実際のトークン数とは一致しません。
正確な分割とトークン数はモデルごとに確認する必要があります。文字数から固定比率で換算すると、料金や入力上限の見積もりを誤る可能性があります。
似た言葉との違い
| 言葉 | 意味 | トークンとの違い |
|---|---|---|
| 文字数 | 単純な文字の数 | トークンは文字数と一致せず、対応関係はモデルや言語で変わる |
| 単語数 | 意味のある単語の数 | トークンは単語より細かい単位（「好き」が「好」「き」に分割される場合がある） |
| バイト数 | データサイズ | トークンはバイト数と直接関係しない |
| セッション | 会話や操作が続くひとまとまり | セッションは会話の範囲、トークンはその中のテキストを数える処理単位 |
できること・できないこと
できること
- 文章の長さを制御する：トークン制限を意識して、プロンプトや応答を調整できる
- 料金を予測する：API利用前にトークン数を計算してコストを見積もれる
- 処理効率を最適化する：不要なトークンを減らして、応答速度を上げられる
できないこと
- トークン数を正確に手計算できない：モデルや言語によって分割ルールが異なるため、ツールを使わないと正確な数はわからない
- トークン制限を超えて処理できない：AIは設定された最大トークン数を超える入出力ができない
- トークン数だけで品質を判断できない：トークン数が多い＝良い文章とは限らない
AIツールでの活用例
1. プロンプトの最適化
- 例：「300トークン以内で要約してください」と指定することで、応答の長さを制御
- 効果：無駄な冗長表現を削り、必要な情報だけを抽出できる
2. コスト管理
- 例：利用モデルの公式料金表で入力・出力それぞれの単価を確認し、想定トークン数を掛けて試算する
- 効果：長い会話や大量のデータ処理を始める前に予算を立てられる
3. コンテキストウィンドウの活用
- 例：使用モデルのコンテキスト上限を確認し、長い資料を分割・要約して渡す
- 効果：重要な情報がトークン制限で消えないように、会話を整理できる
代表的なAIツール例
| ツール名 | 確認する項目 | 特徴 |
|---|---|---|
| ChatGPT | 利用中のモデルとプランの上限 | 会話画面から生成AIを利用できる |
| Claude | 利用中のモデルとプランの上限 | 長文の入力や文章作成に使われる |
| Gemini | 利用中のモデルとプランの上限 | テキスト以外も扱うモデルがある |
| OpenAI API | モデル別の入力・出力上限と料金 | 用途に合わせてモデルや出力量を設定できる |
初心者が間違えやすいポイント
- 「トークン＝文字数」と思い込む
- 実際：文字とトークンの対応は言語やモデルで変わる。正確な値は対象モデルのツールで確認する。
- 「トークン制限＝回答の長さ」だけと考える
- 実際：入力（プロンプト）もトークン数に含まれる。長い指示を書くと、回答が短くなる可能性がある。
- 「トークン数が多いほど良い」と誤解する
- 実際：トークン数が多いと料金が高くなり、処理も遅くなる。必要十分な長さに抑えるのがコツ。
- 「無料版でもトークン制限を気にしなくていい」と考える
- 実際：無料版でもトークン制限は存在する。長い会話を続けると、過去の内容が忘れられることがある。
独自整理
トークンを「AIの作業スペース」として考えると理解しやすいです。
- 作業スペースの広さ＝コンテキストウィンドウ（トークン制限）
- 作業に使う材料＝入力トークン（プロンプト）
- 作業の成果物＝出力トークン（応答）
このスペースが狭いと、一度に多くの材料を置けず、成果物も小さくなります。逆に広いと、大量の情報を扱えますが、その分コストがかかります。
実務でのポイント：
- 短いプロンプトで済むタスクは、トークン消費が少ないモデルを選ぶ
- 長文の分析や翻訳には、トークン制限の大きいモデルを使う
- 料金を抑えたいなら、出力トークンを制限する設定を活用する
注意点
- 同名用語との区別：本記事のトークンは文章の処理単位です。ログインやAPI認証に使うアクセストークンとは役割が異なります。
- 料金の見落とし：API利用時は、入力と出力の両方にトークンが消費されます。特に長い会話履歴を送信すると、予想以上にコストがかかることがあります。
- モデルによる違い：同じプロンプトでも、モデルによってトークン分割の仕方が異なる場合があります。正確なトークン数を知りたい場合は、各サービスのトークン化ツール（例：OpenAIのTokenizer）を使いましょう。
- 言語による差：同じ内容でも言語や表記によってトークン数は変わります。実データに近い文章で事前計測してください。
関連用語
- コンテキストウィンドウ：AIが一度に処理できるトークンの最大数
- プロンプト：AIに与える指示や入力テキスト
- API：プログラムからAIを利用するためのインターフェース
- トークナイゼーション：テキストをトークンに分割する処理
- レート制限：APIの呼び出し回数やトークン数の制限
- ファインチューニング：特定のタスク向けにAIを追加学習させること（トークン数が学習コストに影響）
よくある質問
Q1: トークン数はどこで確認できますか？ A: ChatGPTのWeb版では、応答の下にトークン数が表示される場合があります。API利用時は、レスポンスに含まれるusageフィールドで確認できます。また、OpenAIのTokenizerツール（https://platform.openai.com/tokenizer）を使うと、任意のテキストのトークン数を事前に計算できます。
Q2: トークン制限を超えたらどうなりますか？ A: 入力がトークン制限を超えると、エラーが発生するか、古い情報から順に切り捨てられます。ChatGPTなどのチャットAIでは、会話が長くなると過去の内容を忘れる原因になります。対策として、重要な情報は新しいメッセージで再送するか、要約して送信しましょう。
Q3: トークン数を減らすコツはありますか？ A: 以下の方法が効果的です。
- 不要な修飾語や繰り返しを削除する
- 箇条書きや短い文を使う
- 専門用語は略語を使う（ただし、AIが理解できる範囲で）
- 英語の方がトークン消費が少ないため、可能なら英語でプロンプトを書く
Q4: 無料版と有料版でトークン制限は違いますか？ A: 利用できるモデルや使用量の上限は、サービスやプランによって異なります。仕様は変更されるため、利用時点の公式ヘルプやモデル仕様を確認してください。
Q5: トークンと認証トークンは同じものですか？ A: 全く別のものです。本記事で説明しているトークンは「テキストの処理単位」です。一方、認証トークン（例：IDトークン、アクセストークン）は、ユーザー認証やAPIアクセス権限を管理するためのセキュリティ情報です。混同しないように注意しましょう。
参考リンク
- What are tokens and how to count them? | OpenAI Help Center – トークンの考え方と数え方に関する公式解説
- Token counting | Anthropic Docs – APIで入力トークン数を確認する公式ドキュメント