Hoppa till innehåll

Textdelare för RAG

Dela upp långa dokument i delar för inbäddningar och retrieval-augmented generation: efter antal token eller tecken, med överlappning och vid stycke-, menings- eller Markdown-rubriker. Resultatet är en JSON-array med delar och deras storlekar.

Återställ

Vanliga frågor

Vilka uppdelningslägen finns?

Rekursiv uppdelning sker vid stycken och, för långa stycken, vid meningar. Läget Meningar håller ihop hela meningar. Läget Rubriker inleder nya avsnitt vid Markdown-rubriker. Fast storlek delar upp texten i lika stora delar oavsett struktur.

Hur mäts storleken?

I token med tokeniseraren o200k_base, som används av aktuella OpenAI-modeller, eller i tecken. Delar som är längre än den angivna storleken kapas vid gränsen.

Vad gör överlappning?

Varje del upprepar slutet av den föregående, upp till överlappningsstorleken, så att sammanhang som sträcker sig över en gräns inte går förlorat. 10 % till 20 % av delens storlek är ett vanligt val.

Vilken storlek på delarna bör jag använda?

Det beror på inbäddningsmodellen och frågorna. 200 till 800 token är ett vanligt intervall: mindre delar hämtar exakta textavsnitt, medan större delar bevarar mer sammanhang.

Hur ser resultatet ut?

En JSON-array där varje del har sitt index, sin storlek i den valda enheten och sin text, redo att skickas till en inbäddnings-API.

Hur lång kan texten vara?

Upp till 2 miljoner tecken och högst 5,000 delar per körning.

Om OneClick Pro

OneClick Pro är en kostnadsfri samling med mer än 150 webbverktyg för det dagliga arbetet: konvertera bilder och enheter, formatera och validera kod, kontrollera domäner och SEO samt arbeta med text, datum och tal. Alla verktyg fungerar utan registrering eller prenumeration, och det du anger används bara för att beräkna resultatet och sparas aldrig. Använd samlingen som en snabb verktygslåda för enstaka uppgifter eller bokmärk verktygen du använder varje dag.