LLM-Token- und Kontextschätzung

Fügen Sie Ihren Prompt ein und legen Sie das Kontextbudget fest. Die Zählung ist eine Schätzung; Tokenizer und Nachrichtenformat des Modells können andere Werte ergeben.

Läuft lokal in deinem Browser

Kategorie ansehen: KI & LLM (7)

Prompt- oder Nachrichtentext

Eingabe und Ausgabe gemeinsam planen

Kontextgrenzen umfassen meist Systemanweisungen, Verlauf, Tool-Nachrichten, Prompt und Ausgabe. Halten Sie Reserve für Provider-Framing und Tokenizer-Unterschiede.

So schätzen Sie Tokens und den restlichen Kontext

Fügen Sie den Prompt oder die Nachricht ein, die Sie senden wollen, wählen Sie die Zählweise und das Panel zeigt die geschätzte Eingabegröße, das geplante Gesamtbudget der Anfrage und den verbleibenden Platz im Kontextfenster.

Die Schätzung wird bei jedem Tastendruck in der Seite neu berechnet. Kein Prompt-Text verlässt den Browser, und der Rechner funktioniert auch ohne Verbindung.

Fügen Sie den Prompt in das Quellfeld ein oder tippen Sie ihn. Das Panel aktualisiert sich beim Tippen; die Schaltfläche Nutzung schätzen stößt nur eine weitere Berechnung an.

Wählen Sie das passende Profil: Ausgewogener Text für Fließtext, Code-lastig für überwiegend Code und Mehrsprachig bei gemischten Schriften oder vor allem CJK.

Tragen Sie das Kontextfenster des Zielmodells ein, die Tokens, die Sie für die Antwort zurückhalten, und den Overhead pro Nachricht.

Geplant gesamt ist das Budget, das die Anfrage belegt (Eingabe + Reserve + Overhead); Verbleibend zeigt den Rest.

Beachten Sie die Leiste: Sie wird oberhalb von 85 % des Fensters gelb und rot, sobald der Plan nicht mehr passt. Über die Schaltfläche lässt sich das Feld leeren; die Budgetwerte bleiben erhalten.

Was die Schätzung abdeckt – und was nicht

Wie die drei Profile zählen

Ausgewogener Text rechnet etwa vier lateinische Buchstaben oder Ziffern als ein Token und gewichtet Satzzeichen und Leerzeichen gering. Code-lastig zählt Buchstaben enger (etwa 3,35 pro Token) und gewichtet Satzzeichen stärker. Mehrsprachig geht von der UTF-8-Byte-Länge aus (etwa 3,15 Bytes pro Token) und zählt CJK-Zeichen fast eins zu eins. Emoji zählen in jedem Profil als rund zwei Tokens.

Ein Beispiel zeigt den Unterschied: „Hello world“ ergibt 3 Tokens als ausgewogener Text und 4 als code-lastiger oder mehrsprachiger Text, während „你好，世界“ trotz nur 15 Bytes auf 5 Tokens kommt. Deshalb ist das Profil wichtiger als die reine Zeichenzahl.

Der Plan und das Kontextfenster

Geplant gesamt = geschätzte Eingabe + reservierte Ausgabe + Nachrichten-Overhead. Mit den Standardwerten — Fenster 128.000, Reserve 4.096, Overhead 12 — zeigt „Hello world“ 3 Eingabe-Tokens und 4.111 geplante Tokens bei 123.889 verbleibenden; die Leiste steht bei 3,2 % des Fensters.

Die Leiste wird gelb, sobald der Plan 85 % des Fensters überschreitet – ein Hinweis, dass eine lange Antwort nicht mehr passen könnte – und rot mit dem Vermerk Überschreitung, wenn die geplanten Tokens das Fenster selbst sprengen.

Warum ein echter Tokenizer abweicht

Die Zahlen stammen aus einer Heuristik über Zeichen, Schrift und Bytes, nicht aus dem Vokabular des Modells. Tokenizer zerlegen Text unterschiedlich, und jede Modellversion hat ihr eigenes Vokabular; nehmen Sie das Ergebnis als Planungsgröße und vergleichen Sie bei knappem Budget eine echte Anfrage mit dem Zähler des Anbieters.

Lassen Sie Reserve für Systemanweisungen, Gesprächsverlauf und Tool-Nachrichten, die mit dem Prompt reisen, und planen Sie genügend Ausgabe-Tokens für die erwartete Antwort ein.