# RAG용 텍스트 분할기

임베딩 및 검색 증강 생성에 사용할 긴 문서를 청크로 나누세요. 토큰 또는 문자 단위 크기를 지정하고 중복 구간을 설정할 수 있으며, 단락, 문장 또는 Markdown 제목을 기준으로 나눌 수 있습니다. 결과는 각 청크의 크기가 포함된 JSON 배열입니다.

## 자주 묻는 질문

### 어떤 분할 모드를 사용할 수 있나요?

Recursive 모드는 단락 단위로 나누고, 단락이 너무 길면 문장 단위로 나눕니다. Sentences 모드는 문장을 온전히 유지합니다. Headings 모드는 Markdown 제목마다 새 섹션을 시작합니다. Fixed 모드는 구조와 관계없이 텍스트를 같은 크기의 조각으로 나눕니다.

### 크기는 어떻게 측정하나요?

현재 OpenAI 모델에서 사용하는 o200k_base 토크나이저로 토큰 단위 측정하거나 문자 단위로 측정합니다. 크기보다 긴 조각은 한도에 맞춰 자릅니다.

### 겹침은 어떤 역할을 하나요?

각 청크는 이전 청크의 끝부분을 중복 구간 크기만큼 포함하므로, 경계를 넘는 맥락이 사라지지 않습니다. 청크 크기의 10%~20%를 중복 구간으로 설정하는 것이 일반적입니다.

### 어떤 청크 크기를 사용해야 하나요?

임베딩 모델과 질문에 따라 다릅니다. 200~800 토큰이 일반적인 범위입니다. 청크가 작으면 관련 구절을 정확하게 찾고, 크면 더 많은 맥락을 유지할 수 있습니다.

### 출력 결과는 어떤 모양인가요?

각 청크의 인덱스, 선택한 단위의 크기, 텍스트가 포함된 JSON 배열이며, 임베딩 API에 바로 보낼 수 있습니다.

### 텍스트는 얼마나 길게 입력할 수 있나요?

최대 200만 자까지 입력할 수 있으며, 한 번 실행할 때 청크는 최대 5,000개까지 만들 수 있습니다.

여기에 광고를 게재하시겠어요?

[이메일 보내기](mailto:hi@dennn.is?subject=OneClick%20Pro%20%EA%B4%91%EA%B3%A0%20%EB%AC%B8%EC%9D%98)

[광고 433개 AI 에이전트 도구를 하나의 MCP 서버에서 제공하세요.](https://multitaskai.com/ko/?ref=oneclickpro)
