コンテンツへスキップ

RAG向けテキスト分割ツール

長いドキュメントを、埋め込みと検索拡張生成のためのチャンクに分割します。トークン数または文字数でサイズを指定し、重なりを設定できるほか、段落、文、Markdown見出しの境界に沿って分割できます。結果は、各チャンクのサイズを含むJSON配列です。

リセット

よくある質問

どのような分割モードがありますか?

再帰モードでは段落ごとに分割し、長い段落は文ごとに分割します。文モードでは文が途中で分かれないようにします。見出しモードではMarkdown見出しごとに新しいセクションを開始します。固定モードでは構造に関係なく、テキストを均等なサイズに分割します。

サイズはどのように測定しますか?

現在のOpenAIモデルで使われているo200k_baseトークナイザーによるトークン数、または文字数で測定します。指定サイズを超える部分は上限で分割されます。

オーバーラップの役割は何ですか?

各チャンクには、前のチャンクの末尾が重なりサイズまで繰り返し含まれるため、境界をまたぐコンテキストが失われません。チャンクサイズの10%から20%が一般的な設定です。

チャンクサイズはどれくらいにすればよいですか?

埋め込みモデルや質問によって異なります。200〜800トークンが一般的な範囲です。小さいチャンクは関連箇所を正確に検索でき、大きいチャンクはより多くのコンテキストを保持できます。

出力はどのような形式ですか?

各チャンクのインデックス、選択した単位でのサイズ、テキストを含むJSON配列が出力され、埋め込みAPIにそのまま送信できます。

テキストの長さに上限はありますか?

最大200万文字、1回の実行につき最大5,000チャンクまでです。

OneClick Proについて

OneClick Proは、日々の作業に役立つ150以上のウェブツールを集めた無料コレクションです。画像や単位の変換、コードの整形と検証、ドメインやSEOの確認、テキスト、日付、数値の処理などに利用できます。すべてのツールは登録やサブスクリプションなしで使えます。入力した内容は結果の計算にのみ使用され、保存されることはありません。単発の作業に使える便利なツールボックスとして、または毎日使うツールをブックマークしてご活用ください。