Siirry sisältöön

Tokenlaskuri

Laske kehotteen tai asiakirjan tokenit tarkoilla OpenAI-tokenisointimenetelmillä (o200k_base GPT-4o:lle ja uudemmille malleille, cl100k_base GPT-4:lle ja GPT-3.5:lle) ja tarkastele merkkien ja sanojen määrää sekä karkeaa arviota muille malleille. Tästä on hyötyä konteksti-ikkunoiden rajoissa pysymiseen ja API kustannusten arviointiin.

Nollaa

Usein kysytyt kysymykset

Mikä on token?

Kielimallit lukevat tekstiä tokeneina eli tokenisoijan muodostamina sanan osina. Englannissa yksi token vastaa keskimäärin noin neljää merkkiä tai kolmea neljäsosaa sanasta, mutta koodissa, numeroissa ja muissa kielissä tokenien määrä on suurempi.

Mitkä tokenisointimenetelmät ovat tarkkoja?

o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base ja r50k_base (vanhemmat GPT-3- ja Codex-mallit), jotka lasketaan js-tiktokenilla, joka on OpenAI-palvelun tiktokenin JavaScript.

Entä Claude, Gemini tai Llama?

Niissä käytetään omia tokenisointimenetelmiä. Työkalu antaa suuntaa-antavan arvion, jossa on yksi token neljää merkkiä kohden. Arvio on melko lähellä englanninkielisen tekstin osalta; tarkat määrät saat palveluntarjoajan tokenien laskenta-APIsta.

Lasketaanko erikoistokenit mukaan?

Kyllä. Erikoistokenilta näyttävä teksti, kuten <|endoftext|>, lasketaan yhdeksi tokeniksi, kuten API sen käsittelisi.

Lasketaanko keskusteluviestit ylärajoineen?

Ei. Laskenta kattaa vain tekstin. Keskustelu-APIt lisäävät muutaman tokenin viestiä kohden rooleja ja muotoilua varten.

Tallennetaanko tekstini?

Ei. Teksti tokenisoidaan vain tätä pyyntöä varten.

Tietoja: OneClick Pro

OneClick Pro on ilmainen kokoelma, jossa on yli 150 verkkotyökalua arjen tehtäviin: kuvien ja yksiköiden muuntamiseen, koodin muotoiluun ja validointiin, verkkotunnusten ja SEO tarkistamiseen sekä tekstien, päivämäärien ja lukujen käsittelyyn. Kaikki työkalut toimivat ilman rekisteröitymistä tai tilausta. Syöttämiäsi tietoja käytetään vain tuloksen laskemiseen, eikä niitä tallenneta koskaan. Käytä palvelua nopeana apuvälineenä yksittäisiin tehtäviin tai lisää kirjanmerkkeihin työkalut, joita tarvitset päivittäin.