Ein Token ist die grundlegende Verarbeitungseinheit eines Sprachmodells. Bevor ein KI-Modell Text verarbeiten kann, wird dieser in Tokens zerlegt. Ein Token kann ein ganzes Wort sein, ein Wortteil, ein Satzzeichen oder sogar nur ein einzelnes Zeichen. Auf Deutsch entsprechen durchschnittlich etwa 1,3 Tokens einem Wort, da längere zusammengesetzte Wörter (wie „Grundschulunterricht") in mehrere Tokens aufgeteilt werden.
Für Lehrkräfte ist der Token-Begriff vor allem bei kostenpflichtigen KI-Diensten relevant. Viele Tools rechnen nach verbrauchten Tokens ab — sowohl für die Eingabe (Prompt) als auch für die Ausgabe (Antwort). Ein typischer Prompt für ein Arbeitsblatt verbraucht etwa 100-200 Tokens, die Antwort kann je nach Länge 500-2.000 Tokens umfassen. Kostenlose Versionen von KI-Tools haben oft ein monatliches Token-Limit.
Außerdem haben KI-Modelle ein sogenanntes Kontextfenster — die maximale Anzahl von Tokens, die in einer Unterhaltung verarbeitet werden können. Ältere Modelle hatten nur Platz für etwa 4.000 Tokens (ca. 3.000 Wörter), neuere Modelle können über 100.000 Tokens verarbeiten. Für die Praxis bedeutet das: Bei älteren oder günstigeren Modellen können sehr lange Texte oder umfangreiche Anweisungen nicht vollständig berücksichtigt werden.