Quando arriva una nuova domanda, il sistema confronta il suo embedding con quelli presenti nell’archivio e recupera i contenuti che risultano maggiormente pertinenti.

Tra le tecnologie utilizzate in questo ambito troviamo soluzioni come FAISS, Chroma e Pinecone.

È importante ricordare che un sistema RAG non deve necessariamente utilizzare soltanto la ricerca vettoriale. In molti progetti vengono combinate tecniche di ricerca semantica e ricerca tradizionale per migliorare la qualità dei risultati.

Che cos’è il chunking e perché è davvero importante?

Il chunking è il processo attraverso il quale un documento viene suddiviso in porzioni di testo più piccole.

È un passaggio fondamentale perché permette di recuperare informazioni specifiche senza dover fornire al modello interi documenti molto estesi.

Immaginiamo un manuale aziendale di 200 pagine. Se un dipendente chiede informazioni sulle ferie, non è necessario recuperare tutto il manuale: è sufficiente individuare le sezioni che riguardano le politiche di gestione delle assenze.

La dimensione dei chunk deve essere scelta con attenzione. Blocchi troppo grandi possono contenere informazioni non pertinenti e rendere meno preciso il recupero.

Blocchi troppo piccoli possono perdere il contesto necessario per comprendere correttamente un’informazione.