Διαχωρισμός κειμένου σε τμήματα για RAG
Χωρίστε μεγάλα έγγραφα σε τμήματα για ενσωματώματα και παραγωγή με ενισχυμένη ανάκτηση: με βάση το μέγεθος σε token ή χαρακτήρες, με επικάλυψη και στα όρια παραγράφων, προτάσεων ή επικεφαλίδων Markdown. Το αποτέλεσμα είναι ένας πίνακας JSON με τμήματα και τα μεγέθη τους.
Συχνές ερωτήσεις
Ποιοι τρόποι διαχωρισμού υπάρχουν;
Η αναδρομική μέθοδος διαχωρίζει το κείμενο σε παραγράφους και, αν οι παράγραφοι είναι μεγάλες, σε προτάσεις. Η μέθοδος «Προτάσεις» διατηρεί ολόκληρες τις προτάσεις μαζί. Η μέθοδος «Επικεφαλίδες» ξεκινά νέες ενότητες σε επικεφαλίδες Markdown. Η σταθερή μέθοδος χωρίζει το κείμενο σε ίσα τμήματα, ανεξάρτητα από τη δομή του.
Πώς μετριέται το μέγεθος;
Σε token με τον tokenizer o200k_base που χρησιμοποιούν τα τρέχοντα μοντέλα OpenAI ή σε χαρακτήρες. Τα τμήματα που υπερβαίνουν το μέγεθος κόβονται στο όριο.
Τι κάνει η επικάλυψη;
Κάθε τμήμα επαναλαμβάνει το τέλος του προηγούμενου, μέχρι το μέγεθος επικάλυψης, ώστε να μη χάνεται το πλαίσιο που εκτείνεται πέρα από ένα όριο. Συνήθης επιλογή είναι το 10% έως 20% του μεγέθους του τμήματος.
Τι μέγεθος τμήματος να χρησιμοποιήσω;
Εξαρτάται από το μοντέλο ενσωμάτωσης και τις ερωτήσεις. Συνήθης εύρος είναι από 200 έως 800 token: τα μικρότερα τμήματα εντοπίζουν ακριβή αποσπάσματα, ενώ τα μεγαλύτερα διατηρούν περισσότερο πλαίσιο.
Πώς είναι η έξοδος;
Ένας πίνακας JSON όπου κάθε τμήμα περιλαμβάνει τον δείκτη του, το μέγεθός του στην επιλεγμένη μονάδα και το κείμενό του, έτοιμο για αποστολή σε ένα API ενσωμάτωσης.
Πόσο μεγάλο μπορεί να είναι το κείμενο;
Έως 2 εκατομμύρια χαρακτήρες και το πολύ 5,000 τμήματα ανά εκτέλεση.