トークン (Tokens)

一言でいうと？

AIが言葉を理解し、処理する際の最小単位、いわば「情報のパーツ」のことです。

私たちは言葉を「単語」で捉えますが、AIはもう少し細かく、文字のカタマリごとに分けます。日本語の場合、だいたい「1文字〜数文字で1トークン」になることが多いです。

AIの「作業机の広さ（コンテキストウィンドウ）」や「利用料金」は、このトークンの数で数えられます。

なぜこれがすごいの？

目に見えない「情報の重さ」を数値化できるからです。「この本は何トークン」という風に測ることで、AIがどれだけの情報を一度に扱えるかが明確になります。

🔗 関連キーワード

• [[Input Token]] ：AIに入力する情報の量。
• [[Output Token]] ：AIが返してくる答えの量。
• [[Context Window]] ：トークンを合計でどれだけ詰め込めるかの限界。