# Διαχωρισμός κειμένου σε τμήματα για RAG

Χωρίστε μεγάλα έγγραφα σε τμήματα για ενσωματώματα και παραγωγή με ενισχυμένη ανάκτηση: με βάση το μέγεθος σε token ή χαρακτήρες, με επικάλυψη και στα όρια παραγράφων, προτάσεων ή επικεφαλίδων Markdown. Το αποτέλεσμα είναι ένας πίνακας JSON με τμήματα και τα μεγέθη τους.

## Συχνές ερωτήσεις

### Ποιοι τρόποι διαχωρισμού υπάρχουν;

Η αναδρομική μέθοδος διαχωρίζει το κείμενο σε παραγράφους και, αν οι παράγραφοι είναι μεγάλες, σε προτάσεις. Η μέθοδος «Προτάσεις» διατηρεί ολόκληρες τις προτάσεις μαζί. Η μέθοδος «Επικεφαλίδες» ξεκινά νέες ενότητες σε επικεφαλίδες Markdown. Η σταθερή μέθοδος χωρίζει το κείμενο σε ίσα τμήματα, ανεξάρτητα από τη δομή του.

### Πώς μετριέται το μέγεθος;

Σε token με τον tokenizer o200k_base που χρησιμοποιούν τα τρέχοντα μοντέλα OpenAI ή σε χαρακτήρες. Τα τμήματα που υπερβαίνουν το μέγεθος κόβονται στο όριο.

### Τι κάνει η επικάλυψη;

Κάθε τμήμα επαναλαμβάνει το τέλος του προηγούμενου, μέχρι το μέγεθος επικάλυψης, ώστε να μη χάνεται το πλαίσιο που εκτείνεται πέρα από ένα όριο. Συνήθης επιλογή είναι το 10% έως 20% του μεγέθους του τμήματος.

### Τι μέγεθος τμήματος να χρησιμοποιήσω;

Εξαρτάται από το μοντέλο ενσωμάτωσης και τις ερωτήσεις. Συνήθης εύρος είναι από 200 έως 800 token: τα μικρότερα τμήματα εντοπίζουν ακριβή αποσπάσματα, ενώ τα μεγαλύτερα διατηρούν περισσότερο πλαίσιο.

### Πώς είναι η έξοδος;

Ένας πίνακας JSON όπου κάθε τμήμα περιλαμβάνει τον δείκτη του, το μέγεθός του στην επιλεγμένη μονάδα και το κείμενό του, έτοιμο για αποστολή σε ένα API ενσωμάτωσης.

### Πόσο μεγάλο μπορεί να είναι το κείμενο;

Έως 2 εκατομμύρια χαρακτήρες και το πολύ 5,000 τμήματα ανά εκτέλεση.

Η διαφήμισή σας εδώ;

[Στείλτε μας email](mailto:hi@dennn.is?subject=%CE%94%CE%B9%CE%B1%CF%86%CE%AE%CE%BC%CE%B9%CF%83%CE%B7%20%CF%83%CF%84%CE%BF%20OneClick%20Pro)

[Διαφήμιση 433 εργαλεία για τους AI agents σας μέσω ενός διακομιστή MCP.](https://multitaskai.com/el/?ref=oneclickpro)
