Claude Tokenizer

Sprachmodelle wie Claude verarbeiten Text nicht Wort für Wort, sondern in sogenannten Tokens – Zeichengruppen, die oft Wörtern entsprechen, aber manchmal auch nur Wortteilen oder einzelnen Zeichen. Dieses Tool macht das sichtbar: Text eingeben, und du siehst live, wie der Text zerlegt wird – inklusive Kostenschätzung je Claude-Modell.

Basiert auf cl100k BPE-Kodierung · Werte sind Näherungen · Gehostet via GitHub Pages