Token (LLMs)

Token (LLMs) Ein Token ist die kleinste Einheit, in die ein Sprachmodell Text zerlegt, bevor es damit rechnet. Das ist selten ein ganzes Wort, häufiger eine Silbe, ein Wortfragment oder ein Satzzeichen. Im Englischen entsprechen 1.000 Token etwa 750 Wörtern, im Deutschen wegen der vielen Komposita eher 600 bis 700. Tokens sind zugleich die Abrechnungseinheit der Anbieter und das Maß, an dem das Context Window hängt.

Was ein Token ist

Wer verstehen will, wie ein Large Language Model wie GPT-5 oder Claude arbeitet, muss sich von der eigenen Wahrnehmung von Sprache lösen. Maschinen lesen keine Wörter, sie verarbeiten Tokens. Ein Token ist die kleinste Einheit, mit der das Modell rechnet, und deckt sich nur selten mit einem Wort. Häufig ist es eine Silbe, ein Wortfragment oder ein einzelnes Satzzeichen.

Das Modell zerlegt jede Eingabe in diese Fragmente, damit sie sich mathematisch verarbeiten lassen. Für die Kalkulation gilt eine grobe Faustformel:

• Englisch: 1.000 Token entsprechen etwa 750 Wörtern.
• Deutsch: eher 600 bis 700 Wörter, weil Komposita in mehrere Tokens zerfallen.

Diese Zerlegung ist eine Notwendigkeit und keine Design-Laune. Erst durch die Zuweisung einer numerischen ID wird Sprache für den Algorithmus greifbar. Wer saubere Prompts schreiben will, sollte diese Granularität im Kopf haben: Eine klarere Zerlegung liefert bessere Antworten und läuft schneller durchs Modell. Wer es genau wissen will, schaut sich seinen eigenen Text im Tokenizer von OpenAI an. Dort siehst du direkt, an welchen Stellen ein Wort auseinanderfällt.

Wie die Tokenisierung abläuft

Die Tokenisierung übersetzt unstrukturierte Sprache in strukturierte Daten. Ein Computer kann Bedeutung nicht fühlen, er braucht Vektoren, also mathematische Repräsentationen in einem vieldimensionalen Raum. Der Weg dahin hat vier Schritte:

1. Der Nutzer gibt Text ein.
2. Der Text wird in Fragmente zerlegt.
3. Jedes Fragment bekommt eine Zahl aus dem festen Vokabular des Modells.
4. Die Zahlen werden in Vektoren umgewandelt, die abbilden, wie die Tokens semantisch zueinander stehen.

Dabei fällt ein Faktor auf, den viele übersehen: die Sprach-Effizienz. Englisch geht oft nahe an 1:1 in Tokens auf, während deutsche Texte mit ihren zusammengesetzten Begriffen wie "Donaudampfschifffahrtskapitän" eine deutlich höhere Token-Last erzeugen. Deutsche Eingaben belegen deshalb mehr Context Window und kosten bei gleichem Inhalt mehr als ihre englischen Entsprechungen.

Was Tokens mit Preis und Limits zu tun haben

Tokens sind die Größe, über die abgerechnet wird. Sie bestimmen damit die Kosten und die Leistungsgrenze deiner Anwendung gleichzeitig.

Das Context Window

Jedes Modell hat ein begrenztes Context Window, also eine maximale Menge an Tokens, die es gleichzeitig verarbeiten kann. Input und Output zählen beide hinein. Ist der Puffer voll, verliert das Modell den Anfang des Gesprächs.

• Frühe Modelle: 4.000 Token, also ungefähr 3.000 Wörter.
• Modelle von vor ein bis zwei Generationen: bis zu 128.000 Token.
• Aktuelle Modelle: 200.000 bis eine Million Token, was ganzen Büchern entspricht. Anthropics kleinstes aktuelles Modell, Claude Haiku 4.5, liegt bei 200.000 Token, die größeren Modelle der gleichen Generation bei einer Million. Vollständige Übersicht bei Anthropic.

Die Abrechnung

OpenAI und Anthropic rechnen inzwischen pro 1 Million Token ab (MTok) und unterscheiden dabei zwischen Eingabe und Ausgabe. Generierte Tokens sind in der Regel teurer als gelesene. Ein sparsamer Input wirkt sich damit direkt auf die Betriebskosten aus.

Das fällt erst bei Menge auf. Ein System-Prompt, der bei jeder einzelnen Anfrage ein paar überflüssige Sätze mitschleppt, ist bei zehn Aufrufen egal und bei zehntausend ein Budgetposten. Es lohnt sich, einen Prompt, der oft läuft, einmal ernsthaft zusammenzustreichen.

Token bewusst einsetzen

Wie viel Spielraum du wirklich hast, hängt von der Aufgabe ab. Ein einzelner Prompt sitzt selten am Limit. Ein langer Chat oder ein System-Prompt, der bei jeder Anfrage mitläuft, dagegen schon, weil sich die Tokens über die Zeit summieren.

Genau hier setzt Context Engineering an: die Entscheidung, welche Informationen im Context Window bleiben und welche du besser draußen lässt, bevor das Modell den Anfang eines langen Gesprächs verliert. Für den Alltag reicht oft ein einfacher Test. Kürze deinen System-Prompt probeweise um ein Drittel und vergleiche die Antworten. Bleibt die Qualität gleich, hast du unnötige Tokens gefunden, die bisher bei jeder Anfrage mitbezahlt wurden.

Weitere Begriffe rund um Sprachmodelle und Prompting stehen im Glossar.

Zurück zum AI und Automation Glossar.