# RAG向けテキスト分割ツール

長いドキュメントを、埋め込みと検索拡張生成のためのチャンクに分割します。トークン数または文字数でサイズを指定し、重なりを設定できるほか、段落、文、Markdown見出しの境界に沿って分割できます。結果は、各チャンクのサイズを含むJSON配列です。

## よくある質問

### どのような分割モードがありますか？

再帰モードでは段落ごとに分割し、長い段落は文ごとに分割します。文モードでは文が途中で分かれないようにします。見出しモードではMarkdown見出しごとに新しいセクションを開始します。固定モードでは構造に関係なく、テキストを均等なサイズに分割します。

### サイズはどのように測定しますか？

現在のOpenAIモデルで使われているo200k_baseトークナイザーによるトークン数、または文字数で測定します。指定サイズを超える部分は上限で分割されます。

### オーバーラップの役割は何ですか？

各チャンクには、前のチャンクの末尾が重なりサイズまで繰り返し含まれるため、境界をまたぐコンテキストが失われません。チャンクサイズの10%から20%が一般的な設定です。

### チャンクサイズはどれくらいにすればよいですか？

埋め込みモデルや質問によって異なります。200〜800トークンが一般的な範囲です。小さいチャンクは関連箇所を正確に検索でき、大きいチャンクはより多くのコンテキストを保持できます。

### 出力はどのような形式ですか？

各チャンクのインデックス、選択した単位でのサイズ、テキストを含むJSON配列が出力され、埋め込みAPIにそのまま送信できます。

### テキストの長さに上限はありますか？

最大200万文字、1回の実行につき最大5,000チャンクまでです。

ここに広告を掲載しませんか？

[メールでお問い合わせ](mailto:hi@dennn.is?subject=OneClick%20Pro%E3%81%A7%E3%81%AE%E5%BA%83%E5%91%8A%E6%8E%B2%E8%BC%89)

[広告 433 個のツールを1つのMCPサーバーでAIエージェントに提供します。](https://multitaskai.com/ja/?ref=oneclickpro)
