Μετρητής token
Μετρήστε τα token μιας προτροπής ή ενός εγγράφου με τους ακριβείς OpenAI tokenizers (o200k_base για GPT-4o και νεότερα μοντέλα, cl100k_base για GPT-4 και GPT-3.5) και δείτε χαρακτήρες, λέξεις και μια κατά προσέγγιση εκτίμηση για άλλα μοντέλα. Χρήσιμο για να παραμένετε εντός των ορίων περιβάλλοντος και να εκτιμάτε το κόστος API.
Συχνές ερωτήσεις
Τι είναι ένα token;
Τα γλωσσικά μοντέλα διαβάζουν το κείμενο ως token, δηλαδή τμήματα λέξεων που παράγονται από έναν tokenizer. Στα αγγλικά, ένα token αντιστοιχεί κατά μέσο όρο σε περίπου τέσσερις χαρακτήρες ή στα τρία τέταρτα μιας λέξης, αλλά ο κώδικας, οι αριθμοί και άλλες γλώσσες απαιτούν περισσότερα.
Ποιοι tokenizers είναι ακριβείς;
o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base και r50k_base (παλαιότερα μοντέλα GPT-3 και Codex), μετρώνται με το js-tiktoken, την JavaScript έκδοση του tiktoken της OpenAI.
Τι γίνεται με τα Claude, Gemini ή το Llama;
Χρησιμοποιούν τους δικούς τους tokenizers. Το εργαλείο εμφανίζει μια ευρετική εκτίμηση ενός token ανά τέσσερις χαρακτήρες, που είναι κοντά στην πραγματικότητα για αγγλικό πεζό κείμενο. Για ακριβείς αριθμούς, χρησιμοποιήστε το API μέτρησης token του παρόχου.
Μετρούνται τα ειδικά token;
Ναι. Κείμενο που μοιάζει με ειδικό token, όπως το <|endoftext|>, μετράται ως αυτό το token, όπως θα το μετρούσε το API.
Μετρώνται τα μηνύματα συνομιλίας μαζί με την πρόσθετη επιβάρυνση;
Όχι. Η μέτρηση αφορά μόνο το κείμενο. Τα API συνομιλίας προσθέτουν λίγα token ανά μήνυμα για τους ρόλους και τη μορφοποίηση.
Αποθηκεύεται το κείμενό μου;
Όχι. Το κείμενο υποβάλλεται σε tokenization μόνο για αυτό το αίτημα.