Come l'IA sta trasformando il recupero delle informazioni e cosa ti aspetta adesso
L'anno 2024 ha segnato un momento cruciale per il recupero delle informazioni (IR), alimentato da notevoli progressi nell'IA—in particolare nel deep learning. I miglioramenti nella scala dei dati, nella potenza computazionale e nelle dimensioni dei modelli hanno catalizzato un cambiamento di paradigma, spostando l'IR dal tradizionale abbinamento basato su parole chiave ad approcci guidati dal deep learning. La crescente adozione dei large language models (LLMs) ha ulteriormente trasformato la ricerca, l'estrazione di informazioni e la sintesi della conoscenza, portando maggiore intelligenza e innovazione.
Dall'ascesa della retrieval-augmented generation (RAG) a forme più avanzate di Graph RAG, che integra tecniche di ingegneria della conoscenza con RAG, il recupero delle informazioni ha vissuto una trasformazione profonda. Questi progressi hanno democratizzato l'IA e ampliato le sue applicazioni nella ricerca aziendale, nella scoperta di contenuti, nella gestione della conoscenza e nella sintesi dei dati, favorendo un'adozione diffusa e stabilendo nuovi benchmark per il settore.
Questo blog riassumerà i cambiamenti monumentali che l'IA ha portato al recupero delle informazioni (IR) nel 2024, esplorando come deep learning, LLMs e database vettoriali abbiano ridefinito la ricerca, l'analisi dei dati e la sintesi della conoscenza. Guarderemo anche alle innovazioni attese nel 2025, inclusi i progressi in RAG, negli embedding multimodali e nell'infrastruttura IA, preparando il terreno per la prossima ondata di applicazioni guidate dall'IA.
Scaling Law: la forza trainante dietro i progressi dell'IA
La scaling law è il motore principale dei progressi dell'IA nel 2024. Dimensioni maggiori dei modelli, dataset più ampi e risorse computazionali più consistenti hanno dato origine a LLMs sempre più potenti come GPT-4o e Claude 3.5, insieme a modelli di embedding più capaci come text-embedding-3-large di OpenAI e l'open-source BGE-M3. Questi progressi hanno migliorato significativamente la generalizzazione tra domini, stabilendo nuovi benchmark per i compiti di comprensione e recupero.
I sistemi di recupero delle informazioni (IR) e gli LLMs sono diventati profondamente integrati, sfruttando fonti di dati esterne combinando ricerca semantica, recupero full-text e strumenti come i grafi di conoscenza (KGs) in sistemi unificati. Inoltre, gli LLMs avanzati con capacità di ragionamento e autoriflessione possono agire come agenti, decidendo autonomamente quando utilizzare strumenti di recupero. Questa integrazione ha consentito ragionamenti più sfumati, recuperi precisi e generazione di risposte simili a quelle umane, trasformando motori di ricerca, basi di conoscenza aziendali e piattaforme di IA conversazionale.
Figura: La comprensione dell'intenzione della query con la capacità di ragionamento degli LLM sostituisce gli algoritmi complessi nella ricerca web tradizionale
Evoluzione di RAG: dal prototipo alla produzione
Retrieval-Augmented Generation (RAG), introdotta come approccio pratico per potenziare gli LLMs con basi di conoscenza esterne, è maturata significativamente nel 2024. È passata dalle demo su Twitter a sistemi pronti per la produzione, ottenendo adozione in diversi settori—dalle basi di conoscenza aziendali ai chatbot rivolti ai consumatori. Vediamo come è maturata.
Miglioramento della qualità con ricerca ibrida e reranker
I reranker basati su cross-encoder migliorano l’accuratezza del recupero valutando direttamente la rilevanza query-documento anziché affidarsi esclusivamente alla similarità vettoriale. Tipicamente applicati dopo il recupero iniziale tramite ricerca Approximate Nearest Neighbor (ANN), questi reranker conducono un’analisi contestuale approfondita per dare priorità ai risultati più rilevanti. Questo approccio sfumato può migliorare la precisione e la qualità delle risposte generate da RAG.
Figura: In che modo un reranker migliora le tue app RAG?
Etichettatura offline e filtro dei metadati
L’estrazione di etichette offline basata su LLM ha automatizzato l’assegnazione di tag ai documenti con metadati, come numeri di versione o funzionalità trattate. Ad esempio, i filtri sui metadati garantiscono che query come “Quali tipi di indici sono supportati in Milvus 2.5?” recuperino solo informazioni pertinenti, evitando risultati irrilevanti da altre versioni.
Queste innovazioni hanno migliorato l’adattabilità di RAG in scenari complessi che richiedono una qualità delle risposte più elevata o un controllo più fine sulle risposte. Di conseguenza, le applicazioni di RAG si sono estese a diversi casi d’uso, tra cui assistenza clienti, documentazione tecnica e gestione della conoscenza aziendale.
Migliorare il parsing e la preelaborazione dei documenti con gli LLM
L’integrazione di modelli linguistici di grandi dimensioni (LLM) nella preelaborazione dei documenti ha rivoluzionato la gestione dei dati non strutturati, come file PDF e immagini scansionate. Strumenti come LlamaParse di LlamaIndex e Unstructured.io hanno reso possibile l’estrazione di dati strutturati da documenti complessi. Molti strumenti di elaborazione documentale ora includono funzionalità OCR, alcuni dei quali sfruttano persino modelli vision-language per estrarre dati tabellari e testo grezzo. Questa funzionalità è particolarmente utile per settori come quello legale, sanitario e finanziario, che spesso fanno grande affidamento sui dati tabellari.
Inoltre, tecniche di elaborazione dei dati più sofisticate sfruttano gli LLM come preprocessori, offrendo progressi significativi. Un esempio è il contextual retrieval, che migliora l’accuratezza del recupero delle informazioni affrontando la perdita di contesto durante la suddivisione dei documenti in chunk. Arricchendo ogni chunk con dettagli contestuali specifici derivati dal documento più ampio, gli LLM garantiscono che il contenuto recuperato sia più completo e quindi più facile da recuperare e direttamente utile per rispondere alla domanda dell’utente. Ad esempio, i chunk grezzi di un report finanziario possono non contenere un contesto importante, come l’azienda discussa e il periodo di riferimento. Riassumere il contesto aggiuntivo dall’intero report si rivela vantaggioso. Combinato con hybrid retrieval e re-ranking, questo approccio migliora la rilevanza della qualità del recupero, rendendo RAG più pratico. Il contextual retrieval può essere conveniente se combinato con prompt caching, poiché le funzionalità di caching riducono i costi evitando la necessità di elaborare ripetutamente lo stesso contenuto.
Figura: Un esempio di utilizzo di un LLM per migliorare il parsing e la preelaborazione dei documenti
ColBERT e ColPali: pensare fuori dagli schemi
I modelli di recupero convenzionali dipendono in genere da embedding a vettore singolo per rappresentare interi documenti, il che limita la loro capacità di catturare relazioni a grana fine tra query e documenti. ColBERT (Contextualized Late Interaction over BERT) ha introdotto un meccanismo trasformativo di interazione tardiva che sfrutta rappresentazioni multi-vettore o a livello di token, consentendo un recupero più dettagliato e consapevole del contesto. Invece di comprimere un documento in un singolo vettore, ColBERT codifica documenti e query in insiemi di embedding contestuali. L’operazione MaxSim abbina quindi ciascun token della query al token del documento più simile, producendo un punteggio di rilevanza olistico e a grana fine. Questo approccio migliora la precisione del recupero mantenendo al contempo l’efficienza computazionale, supportando la pre-computazione degli embedding dei documenti.
Figura: Come funziona ColBERT
ColPali ha esteso le innovazioni di ColBERT integrando Vision Language Models (VLMs), rappresentando contenuti multimodali come testo, immagini e diagrammi come embedding unificati. Questo approccio ha preservato l’integrità visiva e strutturale dei documenti, aggirando le sfide tradizionali di OCR e segmentazione e migliorando le prestazioni di RAG per i dati multimodali.
Basandosi su ColBERT, ColPali estende questa innovazione al recupero multimodale integrando Vision Language Models (VLMs). Ciò consente la rappresentazione unificata di diversi tipi di contenuto, inclusi testo, immagini e diagrammi. ColPali preserva il carattere strutturale e visivo dei documenti, evitando le insidie dei metodi tradizionali di optical character recognition (OCR). Questo progresso migliora significativamente le prestazioni di RAG per i dataset multimodali, rendendolo uno strumento ideale per applicazioni che richiedono la comprensione di informazioni testuali e visive.
Figura: Come funziona ColPali
Knowledge Engineering nell’era degli LLM
Nel 2024, strumenti di conoscenza strutturata come ontologie e knowledge graphs (KGs) hanno vissuto una rinascita, integrando i large language models (LLMs) ancorando le risposte a dati fattuali. Questo approccio ha ridotto le allucinazioni e ha consentito sistemi di recupero più accurati e specifici per dominio. Una notevole innovazione è stata Graph RAG, che ha esteso i sistemi RAG tradizionali integrando i KGs nel processo di recupero. A differenza dei RAG di base, che si concentrano esclusivamente sulla similarità semantica, Graph RAG supporta il ragionamento multi-hop e collega punti di dati disparati, migliorando la sua capacità di rispondere a query complesse, come tracciare relazioni storiche o navigare in dataset intricati.
Gli LLM possono ora trasformare senza soluzione di continuità testo non strutturato in knowledge graph strutturati che rappresentano entità e le loro interrelazioni. Quando combinati con i KGs, questi sistemi potenziano il ragionamento semantico e forniscono insight più profondi, superando i limiti delle pipeline RAG tradizionali. Questi progressi sottolineano l’impatto trasformativo degli LLM nel parsing e nel preprocessing dei documenti, soprattutto in settori ad alta intensità di dati e ad alto rischio.
Figura: KEPLER: Un modello unificato per l’embedding della conoscenza e la rappresentazione linguistica pre-addestrata | Fonte
Text2SQL: democratizzare l’accesso ai dati
La complessità di SQL e degli schemi di database spesso limita l’accesso ai dati agli analisti esperti. Nel 2024, le tecnologie text-to-SQL hanno consentito agli utenti non tecnici di interrogare i database usando il linguaggio naturale. Tali tecnologie utilizzano gli LLM per tradurre il linguaggio naturale in query SQL accurate, trasformando i flussi di lavoro analitici e democratizzando il processo decisionale basato sui dati nelle organizzazioni.
Quando integrate con pipeline RAG, le tecnologie Text2SQL hanno colmato il divario tra database strutturati e sistemi di recupero non strutturati, rendendo gli insight guidati dall’AI più accessibili. D’altra parte, il database vettoriale è uno strumento fondamentale per aiutare l’LLM a comporre SQL memorizzando i dati rilevanti ad alta cardinalità o esempi SQL correlati.
Figura- Come Zilliz Cloud e Waii funzionano per implementare Text2SQL
Un riepilogo dell’anno trasformativo del 2024
Il 2024 è stato un punto di svolta per l’Information Retrieval (IR). I progressi nel deep learning e nei Large Language Models (LLM) hanno ridefinito il modo in cui le informazioni vengono cercate, elaborate e analizzate.
I modelli di text embedding ora integrano — o persino sostituiscono — i tradizionali sistemi di ricerca full-text, offrendo risultati più accurati e consapevoli del contesto. Il recupero di immagini ha registrato progressi notevoli. Attività che un tempo richiedevano centinaia di modelli di classificazione specializzati sono state semplificate dai modelli di embedding multimodali, che unificano testo, immagini e altri formati di dati in un unico framework efficiente. Allo stesso modo, gli LLM hanno reso l’etichettatura delle entità di conoscenza più rapida ed economicamente più conveniente, consentendo la generazione di knowledge graph completamente automatizzati. Nel frattempo, gli agenti autonomi ora generano query SQL per recuperare insight dai database relazionali, semplificando l’analisi e migliorando l’accessibilità ai dati.
Da persona profondamente immersa nell’information retrieval da anni e creatore del database vettoriale Milvus, trovo entusiasmante assistere a questi cambiamenti trasformativi. Le innovazioni del 2024 hanno posto solide basi, e il 2025 promette di costruire su questo slancio con un aumento di applicazioni innovative che sfruttano la Retrieval-Augmented Generation (RAG), gli embedding multimodali e i workflow agentici.
Una visione per il 2025: Milvus e il futuro dell’infrastruttura AI
Man mano che l’AI continua a maturare, la necessità di un’infrastruttura dati robusta e scalabile diventa sempre più critica. I database vettoriali come Milvus e Zilliz Cloud, una pietra angolare dell’IR basata sul deep learning, stanno raccogliendo questa sfida. La nostra visione in Zilliz per il 2025 è ambiziosa: offrire velocità di ricerca più elevate, costi di archiviazione inferiori e un’integrazione fluida con gli ecosistemi di dati esistenti e varie tecnologie AI emergenti.
Il prossimo rilascio di Milvus 3.0 segnerà l’inizio di una nuova era per i database vettoriali. Introdurrà un vector lake cloud-native in grado di gestire centinaia di miliardi di punti dati con velocità ed efficienza senza pari. Con tempi di risposta alle query inferiori a 10 millisecondi ed esplorazione interattiva dei dati quasi in tempo reale, Milvus 3.0 ridefinirà ciò che è possibile per le applicazioni basate sull’AI. Man mano che i database vettoriali consolidano il loro ruolo di pietra angolare dell’infrastruttura AI moderna, sbloccheranno opportunità per la prossima ondata di applicazioni guidate dall’AI.
Se sei entusiasta di ciò che il 2025 riserva all’AI, non c’è momento migliore per iniziare a costruire. Esplora le nostre guide e i nostri tutorial completi e fai il primo passo verso la creazione delle tue applicazioni AI all’avanguardia.
Continua a leggere
Zilliz Cloud Enterprise Vector Search Powers High-Performance AI on AWS
Zilliz Cloud on AWS powers secure, scalable, ultra-fast vector search for enterprise AI apps, with BYOC, sub-10ms latency, and zero-DevOps simplicity.
Selecting the Right ETL Tools for Unstructured Data to Prepare for AI
Learn the right ETL tools for unstructured data to power AI. Explore key challenges, tool comparisons, and integrations with Milvus for vector search.
DeepSeek Always Busy? Deploy It Locally with Milvus in Just 10 Minutes—No More Waiting!
Learn how to set up DeepSeek-R1 on your local machine using Ollama, AnythingLLM, and Milvus in just 10 minutes. Bypass busy servers and enhance AI responses with custom data.