未分類 – AIツール用語辞典

公開日: 2026年6月29日更新日: 2026年6月29日

まず一言でいうと

トークンとは、AIがテキストを処理するときの「最小の単位」です。日本語では「単語の一部」や「文字のかたまり」と考えるとイメージしやすいでしょう。ChatGPTなどの生成AIは、文章をこのトークンに分割して理解し、新しいトークンを生成することで応答を作り出します。

読み方・英語表記・略称

読み方：トークン（カタカナ）
英語表記：Token
略称：特にありませんが、文脈によって「トークン数」「トークン制限」などと使われます。

意味

トークンは、自然言語処理（NLP）において、テキストを解析・生成するための基本単位です。1トークンは1文字や1単語と一致するとは限りません。分割結果は、言語、記号、空白、使用するモデルのトークナイザーによって変わります。

トークンは以下の2つの役割を持ちます。

入力の分割：ユーザーが入力した文章をAIが理解できる形に分解する。
出力の生成：AIが新しい文章を1トークンずつ作り出す。

また、API利用時の課金単位としても使われます。多くのAIサービスは「入力トークン数＋出力トークン数」に応じて料金が決まります。

使われる場面

トークンという概念は、以下のような場面で登場します。

ChatGPTやClaudeなどのチャットAI：応答の長さや料金を計算するとき
APIの利用：OpenAI APIやAnthropic APIの料金体系
プロンプトエンジニアリング：トークン制限を意識した指示の書き方
テキスト分析：文章の長さや複雑さを測る指標
翻訳・要約ツール：処理できる最大文字数をトークンで管理

具体例

実際のトークン分割を見てみましょう。

例1：英語の場合

文章：「I love AI.」
分割イメージ：単語や句読点に近い単位へ分かれることがあります。

例2：日本語の場合

文章：「私はAIが好きです。」
分割イメージ：「私」「は」「AI」のような単位や、さらに細かい単位へ分かれることがあります。

例3：長い文章の場合

文章：「この商品のレビューを100文字以内で書いてください。」
ポイント：文字数を指定しても、実際のトークン数とは一致しません。

正確な分割とトークン数はモデルごとに確認する必要があります。文字数から固定比率で換算すると、料金や入力上限の見積もりを誤る可能性があります。

似た言葉との違い

言葉	意味	トークンとの違い
文字数	単純な文字の数	トークンは文字数と一致せず、対応関係はモデルや言語で変わる
単語数	意味のある単語の数	トークンは単語より細かい単位（「好き」が「好」「き」に分割される場合がある）
バイト数	データサイズ	トークンはバイト数と直接関係しない
セッション	会話や操作が続くひとまとまり	セッションは会話の範囲、トークンはその中のテキストを数える処理単位

できること・できないこと

できること

文章の長さを制御する：トークン制限を意識して、プロンプトや応答を調整できる
料金を予測する：API利用前にトークン数を計算してコストを見積もれる
処理効率を最適化する：不要なトークンを減らして、応答速度を上げられる

できないこと

トークン数を正確に手計算できない：モデルや言語によって分割ルールが異なるため、ツールを使わないと正確な数はわからない
トークン制限を超えて処理できない：AIは設定された最大トークン数を超える入出力ができない
トークン数だけで品質を判断できない：トークン数が多い＝良い文章とは限らない

AIツールでの活用例

1. プロンプトの最適化

例：「300トークン以内で要約してください」と指定することで、応答の長さを制御
効果：無駄な冗長表現を削り、必要な情報だけを抽出できる

2. コスト管理

例：利用モデルの公式料金表で入力・出力それぞれの単価を確認し、想定トークン数を掛けて試算する
効果：長い会話や大量のデータ処理を始める前に予算を立てられる

3. コンテキストウィンドウの活用

例：使用モデルのコンテキスト上限を確認し、長い資料を分割・要約して渡す
効果：重要な情報がトークン制限で消えないように、会話を整理できる

代表的なAIツール例

ツール名	確認する項目	特徴
ChatGPT	利用中のモデルとプランの上限	会話画面から生成AIを利用できる
Claude	利用中のモデルとプランの上限	長文の入力や文章作成に使われる
Gemini	利用中のモデルとプランの上限	テキスト以外も扱うモデルがある
OpenAI API	モデル別の入力・出力上限と料金	用途に合わせてモデルや出力量を設定できる

初心者が間違えやすいポイント

「トークン＝文字数」と思い込む

実際：文字とトークンの対応は言語やモデルで変わる。正確な値は対象モデルのツールで確認する。

「トークン制限＝回答の長さ」だけと考える

実際：入力（プロンプト）もトークン数に含まれる。長い指示を書くと、回答が短くなる可能性がある。

「トークン数が多いほど良い」と誤解する

実際：トークン数が多いと料金が高くなり、処理も遅くなる。必要十分な長さに抑えるのがコツ。

「無料版でもトークン制限を気にしなくていい」と考える

実際：無料版でもトークン制限は存在する。長い会話を続けると、過去の内容が忘れられることがある。

独自整理

トークンを「AIの作業スペース」として考えると理解しやすいです。

作業スペースの広さ＝コンテキストウィンドウ（トークン制限）
作業に使う材料＝入力トークン（プロンプト）
作業の成果物＝出力トークン（応答）

このスペースが狭いと、一度に多くの材料を置けず、成果物も小さくなります。逆に広いと、大量の情報を扱えますが、その分コストがかかります。

実務でのポイント：

短いプロンプトで済むタスクは、トークン消費が少ないモデルを選ぶ
長文の分析や翻訳には、トークン制限の大きいモデルを使う
料金を抑えたいなら、出力トークンを制限する設定を活用する

注意点

同名用語との区別：本記事のトークンは文章の処理単位です。ログインやAPI認証に使うアクセストークンとは役割が異なります。

料金の見落とし：API利用時は、入力と出力の両方にトークンが消費されます。特に長い会話履歴を送信すると、予想以上にコストがかかることがあります。

モデルによる違い：同じプロンプトでも、モデルによってトークン分割の仕方が異なる場合があります。正確なトークン数を知りたい場合は、各サービスのトークン化ツール（例：OpenAIのTokenizer）を使いましょう。

言語による差：同じ内容でも言語や表記によってトークン数は変わります。実データに近い文章で事前計測してください。

よくある質問

Q1: トークン数はどこで確認できますか？ A: ChatGPTのWeb版では、応答の下にトークン数が表示される場合があります。API利用時は、レスポンスに含まれるusageフィールドで確認できます。また、OpenAIのTokenizerツール（https://platform.openai.com/tokenizer）を使うと、任意のテキストのトークン数を事前に計算できます。

Q2: トークン制限を超えたらどうなりますか？ A: 入力がトークン制限を超えると、エラーが発生するか、古い情報から順に切り捨てられます。ChatGPTなどのチャットAIでは、会話が長くなると過去の内容を忘れる原因になります。対策として、重要な情報は新しいメッセージで再送するか、要約して送信しましょう。

Q3: トークン数を減らすコツはありますか？ A: 以下の方法が効果的です。

不要な修飾語や繰り返しを削除する
箇条書きや短い文を使う
専門用語は略語を使う（ただし、AIが理解できる範囲で）
英語の方がトークン消費が少ないため、可能なら英語でプロンプトを書く

Q4: 無料版と有料版でトークン制限は違いますか？ A: 利用できるモデルや使用量の上限は、サービスやプランによって異なります。仕様は変更されるため、利用時点の公式ヘルプやモデル仕様を確認してください。

Q5: トークンと認証トークンは同じものですか？ A: 全く別のものです。本記事で説明しているトークンは「テキストの処理単位」です。一方、認証トークン（例：IDトークン、アクセストークン）は、ユーザー認証やAPIアクセス権限を管理するためのセキュリティ情報です。混同しないように注意しましょう。

参考リンク

What are tokens and how to count them? | OpenAI Help Center – トークンの考え方と数え方に関する公式解説
Token counting | Anthropic Docs – APIで入力トークン数を確認する公式ドキュメント

カテゴリー: 未分類

トークンとは？意味・使い方・具体例をわかりやすく解説