본문으로 건너뛰기

토큰 카운터

정확한 OpenAI 토크나이저(o200k_base는 GPT-4o 및 이후 모델용, cl100k_base는 GPT-4 및 GPT-3.5용)로 프롬프트나 문서의 토큰 수를 세고, 다른 모델을 위한 문자 수, 단어 수, 대략적인 추정치도 확인하세요. 컨텍스트 창의 한도를 지키고 API 비용을 추산하는 데 유용합니다.

초기화

자주 묻는 질문

토큰이란 무엇인가요?

언어 모델은 토크나이저가 만들어 낸 단어 조각인 토큰 단위로 텍스트를 읽습니다. 영어에서 토큰 하나는 평균적으로 문자 약 4개 또는 단어의 약 4분의 3에 해당하지만, 코드와 숫자, 다른 언어에서는 더 많은 토큰을 사용합니다.

어떤 토크나이저가 정확한가요?

o200k_base(GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base(GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base와 r50k_base(구형 GPT-3 및 Codex 모델)는 OpenAI의 tiktoken을 JavaScript한 js-tiktoken으로 계산합니다.

Claude, Gemini 또는 Llama는 어떤가요?

이 모델들은 자체 토크나이저를 사용합니다. 이 도구는 문자 4개당 토큰 1개로 휴리스틱 추정치를 보여 주며, 영어 산문에서는 실제 값에 가깝습니다. 정확한 수치를 보려면 제공업체의 토큰 계산 API을 사용하세요.

특수 토큰도 계산되나요?

네. <|endoftext|>처럼 특수 토큰처럼 보이는 텍스트는 API에서 처리하는 것처럼 해당 토큰으로 계산됩니다.

채팅 메시지를 계산할 때 추가 토큰도 포함되나요?

아니요. 텍스트만 계산합니다. 채팅 API는 역할과 형식을 위해 메시지마다 토큰을 몇 개 추가합니다.

입력한 텍스트가 저장되나요?

아니요. 이 요청에 대해서만 토큰화됩니다.

OneClick Pro 소개

OneClick Pro은 일상 업무에 활용할 수 있는 150개 이상의 웹 도구를 무료로 모아 제공합니다. 이미지와 단위를 변환하고, 코드를 포맷하고 검증하고, 도메인과 SEO를 확인하고, 텍스트와 날짜, 숫자를 다룰 수 있습니다. 모든 도구는 가입이나 구독 없이 사용할 수 있으며, 입력한 내용은 결과를 계산하는 데만 사용되고 저장되지 않습니다. 한 번 쓰는 작업을 위한 빠른 도구 모음으로 활용하거나, 매일 자주 쓰는 도구를 북마크해 두세요.