人間がAIに入力した「情報の量」を測るための最小単位、いわば「情報の重さ」のことです。
AIは言葉をそのままではなく「トークン」という断片(数文字のカタマリ)に分けて処理します。あなたがAIに送った質問や資料の文字数が多ければ多いほど、この「インプットトークン」の数は増えていきます。
大量のPDFファイルを読み込ませたり、長いチャットの履歴を保持したりするときに、このトークン数が消費されます。
AIの利用料金を計算したり、AIが一度に読み込める情報の限界(コンテキストウィンドウ)を判断したりするための「定規」になるからです。
導入としてAI、Gemini、Antigravityの難しい技術用語を慣れ親しんだ例で解説をする「概念の翻訳書」をご準備しました。Obsidian用に活用できるmdファイルを購入特典として活用いただけます。