Μετάβαση στο περιεχόμενο

Μετρητής token

Μετρήστε τα token μιας προτροπής ή ενός εγγράφου με τους ακριβείς OpenAI tokenizers (o200k_base για GPT-4o και νεότερα μοντέλα, cl100k_base για GPT-4 και GPT-3.5) και δείτε χαρακτήρες, λέξεις και μια κατά προσέγγιση εκτίμηση για άλλα μοντέλα. Χρήσιμο για να παραμένετε εντός των ορίων περιβάλλοντος και να εκτιμάτε το κόστος API.

Επαναφορά

Συχνές ερωτήσεις

Τι είναι ένα token;

Τα γλωσσικά μοντέλα διαβάζουν το κείμενο ως token, δηλαδή τμήματα λέξεων που παράγονται από έναν tokenizer. Στα αγγλικά, ένα token αντιστοιχεί κατά μέσο όρο σε περίπου τέσσερις χαρακτήρες ή στα τρία τέταρτα μιας λέξης, αλλά ο κώδικας, οι αριθμοί και άλλες γλώσσες απαιτούν περισσότερα.

Ποιοι tokenizers είναι ακριβείς;

o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base και r50k_base (παλαιότερα μοντέλα GPT-3 και Codex), μετρώνται με το js-tiktoken, την JavaScript έκδοση του tiktoken της OpenAI.

Τι γίνεται με τα Claude, Gemini ή το Llama;

Χρησιμοποιούν τους δικούς τους tokenizers. Το εργαλείο εμφανίζει μια ευρετική εκτίμηση ενός token ανά τέσσερις χαρακτήρες, που είναι κοντά στην πραγματικότητα για αγγλικό πεζό κείμενο. Για ακριβείς αριθμούς, χρησιμοποιήστε το API μέτρησης token του παρόχου.

Μετρούνται τα ειδικά token;

Ναι. Κείμενο που μοιάζει με ειδικό token, όπως το <|endoftext|>, μετράται ως αυτό το token, όπως θα το μετρούσε το API.

Μετρώνται τα μηνύματα συνομιλίας μαζί με την πρόσθετη επιβάρυνση;

Όχι. Η μέτρηση αφορά μόνο το κείμενο. Τα API συνομιλίας προσθέτουν λίγα token ανά μήνυμα για τους ρόλους και τη μορφοποίηση.

Αποθηκεύεται το κείμενό μου;

Όχι. Το κείμενο υποβάλλεται σε tokenization μόνο για αυτό το αίτημα.

Σχετικά με το OneClick Pro

Το OneClick Pro είναι μια δωρεάν συλλογή με περισσότερα από 150 διαδικτυακά εργαλεία για καθημερινή εργασία: μετατροπή εικόνων και μονάδων, μορφοποίηση και επικύρωση κώδικα, έλεγχος τομέων και SEO, καθώς και εργασία με κείμενο, ημερομηνίες και αριθμούς. Κάθε εργαλείο λειτουργεί χωρίς εγγραφή ή συνδρομή, και ό,τι εισάγετε χρησιμοποιείται μόνο για τον υπολογισμό του αποτελέσματός σας και δεν αποθηκεύεται ποτέ. Χρησιμοποιήστε το ως γρήγορη εργαλειοθήκη για μεμονωμένες εργασίες ή αποθηκεύστε στα αγαπημένα τα εργαλεία που χρησιμοποιείτε καθημερινά.