# Tokenzähler

Zähle die Tokens eines Prompts oder Dokuments mit den exakten OpenAI Tokenizern (o200k_base für GPT-4o und neuer, cl100k_base für GPT-4 und GPT-3.5) und sieh dir die Zeichen, Wörter und eine grobe Schätzung für andere Modelle an. Praktisch, um Kontextfenster einzuhalten und API Kosten abzuschätzen.

## Häufig gestellte Fragen

### Was ist ein Token?

Sprachmodelle lesen Text als Tokens, also als Wortteile, die von einem Tokenizer erzeugt werden. Im Englischen entspricht ein Token durchschnittlich etwa vier Zeichen oder drei Vierteln eines Wortes. Bei Code, Zahlen und anderen Sprachen sind es mehr.

### Welche Tokenizer sind exakt?

o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base und r50k_base (ältere GPT-3- und Codex-Modelle), gezählt mit js-tiktoken, dem JavaScript-Port von OpenAIs tiktoken.

### Was ist mit Claude, Gemini oder Llama?

Sie verwenden ihre eigenen Tokenizer. Das Werkzeug zeigt eine heuristische Schätzung von einem Token pro vier Zeichen an, die bei englischem Fließtext recht genau ist. Für exakte Zahlen nutze die Tokenzählung-API des Anbieters.

### Zählen spezielle Tokens mit?

Ja. Text, der wie ein spezieller Token aussieht, zum Beispiel <|endoftext|>, wird als dieser Token gezählt, so wie es API auch tun würde.

### Werden Chatnachrichten mit zusätzlichem Aufwand gezählt?

Nein. Gezählt wird nur der Text. Chat-APIs fügen pro Nachricht einige Tokens für Rollen und Formatierung hinzu.

### Wird mein Text gespeichert?

Nein. Der Text wird nur für diese Anfrage tokenisiert.

Deine Anzeige hier?

[Schreib uns eine E-Mail](mailto:hi@dennn.is?subject=Werbung%20auf%20OneClick%20Pro)

[Anzeige 433 Tools für deine KI-Agenten über einen MCP-Server.](https://multitaskai.com/de/?ref=oneclickpro)
