RAG向けテキスト分割ツール
長いドキュメントを、埋め込みと検索拡張生成のためのチャンクに分割します。トークン数または文字数でサイズを指定し、重なりを設定できるほか、段落、文、Markdown見出しの境界に沿って分割できます。結果は、各チャンクのサイズを含むJSON配列です。
よくある質問
どのような分割モードがありますか?
再帰モードでは段落ごとに分割し、長い段落は文ごとに分割します。文モードでは文が途中で分かれないようにします。見出しモードではMarkdown見出しごとに新しいセクションを開始します。固定モードでは構造に関係なく、テキストを均等なサイズに分割します。
サイズはどのように測定しますか?
現在のOpenAIモデルで使われているo200k_baseトークナイザーによるトークン数、または文字数で測定します。指定サイズを超える部分は上限で分割されます。
オーバーラップの役割は何ですか?
各チャンクには、前のチャンクの末尾が重なりサイズまで繰り返し含まれるため、境界をまたぐコンテキストが失われません。チャンクサイズの10%から20%が一般的な設定です。
チャンクサイズはどれくらいにすればよいですか?
埋め込みモデルや質問によって異なります。200〜800トークンが一般的な範囲です。小さいチャンクは関連箇所を正確に検索でき、大きいチャンクはより多くのコンテキストを保持できます。
出力はどのような形式ですか?
各チャンクのインデックス、選択した単位でのサイズ、テキストを含むJSON配列が出力され、埋め込みAPIにそのまま送信できます。
テキストの長さに上限はありますか?
最大200万文字、1回の実行につき最大5,000チャンクまでです。