본문으로 건너뛰기

RAG용 텍스트 분할기

임베딩 및 검색 증강 생성에 사용할 긴 문서를 청크로 나누세요. 토큰 또는 문자 단위 크기를 지정하고 중복 구간을 설정할 수 있으며, 단락, 문장 또는 Markdown 제목을 기준으로 나눌 수 있습니다. 결과는 각 청크의 크기가 포함된 JSON 배열입니다.

초기화

자주 묻는 질문

어떤 분할 모드를 사용할 수 있나요?

Recursive 모드는 단락 단위로 나누고, 단락이 너무 길면 문장 단위로 나눕니다. Sentences 모드는 문장을 온전히 유지합니다. Headings 모드는 Markdown 제목마다 새 섹션을 시작합니다. Fixed 모드는 구조와 관계없이 텍스트를 같은 크기의 조각으로 나눕니다.

크기는 어떻게 측정하나요?

현재 OpenAI 모델에서 사용하는 o200k_base 토크나이저로 토큰 단위 측정하거나 문자 단위로 측정합니다. 크기보다 긴 조각은 한도에 맞춰 자릅니다.

겹침은 어떤 역할을 하나요?

각 청크는 이전 청크의 끝부분을 중복 구간 크기만큼 포함하므로, 경계를 넘는 맥락이 사라지지 않습니다. 청크 크기의 10%~20%를 중복 구간으로 설정하는 것이 일반적입니다.

어떤 청크 크기를 사용해야 하나요?

임베딩 모델과 질문에 따라 다릅니다. 200~800 토큰이 일반적인 범위입니다. 청크가 작으면 관련 구절을 정확하게 찾고, 크면 더 많은 맥락을 유지할 수 있습니다.

출력 결과는 어떤 모양인가요?

각 청크의 인덱스, 선택한 단위의 크기, 텍스트가 포함된 JSON 배열이며, 임베딩 API에 바로 보낼 수 있습니다.

텍스트는 얼마나 길게 입력할 수 있나요?

최대 200만 자까지 입력할 수 있으며, 한 번 실행할 때 청크는 최대 5,000개까지 만들 수 있습니다.

OneClick Pro 소개

OneClick Pro은 일상 업무에 활용할 수 있는 150개 이상의 웹 도구를 무료로 모아 제공합니다. 이미지와 단위를 변환하고, 코드를 포맷하고 검증하고, 도메인과 SEO를 확인하고, 텍스트와 날짜, 숫자를 다룰 수 있습니다. 모든 도구는 가입이나 구독 없이 사용할 수 있으며, 입력한 내용은 결과를 계산하는 데만 사용되고 저장되지 않습니다. 한 번 쓰는 작업을 위한 빠른 도구 모음으로 활용하거나, 매일 자주 쓰는 도구를 북마크해 두세요.