Il panorama dell'ecosistema GenAI: oltre gli LLM e i database vettoriali
Dal lancio rivoluzionario di ChatGPT 20 mesi fa, lo spazio GenAI ha vissuto sviluppi e innovazioni significativi. Inizialmente, i Large Language Models (LLM) e i database vettoriali hanno attirato la maggiore attenzione. Tuttavia, l’ecosistema GenAI è molto più ampio e complesso di questi soli due componenti. In qualità di creatore del database vettoriale, un elemento infrastrutturale cruciale che potenzia le applicazioni GenAI, sono entusiasta di osservare i rapidi progressi tecnologici e il loro impatto sul settore. In questo articolo, vorrei esaminare ciò che è accaduto e condividere alcune considerazioni sul panorama dell’ecosistema GenAI.
Le applicazioni di IA generativa possono essere ampiamente suddivise in due tipologie principali: Retrieval-Augmented Generation (RAG) e generazione multimediale. RAG combina tecniche di recupero delle informazioni con modelli linguistici generativi per produrre output pertinenti e coerenti. D’altra parte, la generazione multimediale sfrutta modelli generativi per creare contenuti visivi complessi, tra cui annunci pubblicitari creativi e gemelli digitali.
Retrieval-Augmented Generation
La Retrieval-Augmented Generation (RAG) è attualmente uno dei casi d’uso più popolari dell’IA generativa. Un semplice sistema RAG è composto da vari componenti, tra cui pulizia di base dei dati, un modello di embedding, un database vettoriale e un LLM. I sistemi RAG più avanzati, di livello production, includono in genere componenti aggiuntivi per migliorare la qualità e l’esperienza utente. Poiché i sistemi RAG assomigliano all’architettura dei sistemi di ricerca tradizionali, molti componenti dei sistemi di ricerca rimangono applicabili a RAG ancora oggi.
Un tipico sistema di ricerca può essere suddiviso in due parti principali: la parte di indicizzazione offline e la parte online di gestione delle query. Analogamente, RAG consiste in una fase di indicizzazione e una fase online di gestione delle query:
Fase di indicizzazione: La fase di indicizzazione prevede l’acquisizione di dati da varie fonti, tra cui database, API e file system. Questi dati vengono sottoposti a parsing dei file e suddivisione del testo in chunk per prepararli all’analisi. Dopo l’elaborazione, i dati vengono incorporati in un formato adatto e caricati in un database vettoriale per un recupero efficiente. Alcuni sistemi RAG incorporano persino tecniche avanzate di data mining, come l’estrazione di etichette, la costruzione di Knowledge Graph e la sintesi, per arricchire i dati e migliorare il processo di recupero.
Fase di serving: La fase online di gestione delle query si concentra sulla comprensione dell’intenzione della query dell’utente e impiega vari metodi di recupero, tra cui la ricerca per similarità vettoriale, per trovare le informazioni più pertinenti. Il risultato del recupero viene quindi inviato a un Large Language Model (LLM) per la generazione. Durante questo passaggio, l’LLM genera output coerenti e contestualmente pertinenti sulla base dei dati recuperati. Inoltre, l’LLM può agire come un agente, sfruttando strumenti esterni per potenziare le proprie capacità e fornire risposte più complete e accurate.
Di conseguenza, molti progetti di orchestrazione forniscono implementazioni di vari componenti e parametri di configurazione. La natura complessa dell’architettura rende inoltre necessario valutare il sistema sia come white box sia come black box, il che porta allo sviluppo di framework di valutazione.
Ogni componente attira anche sviluppatori che mirano a costruire funzionalità migliori e più ricche, come connettori per ciascuna fonte di dati e modelli di embedding adattati a casi d’uso specifici. I framework di inferenza LLM offrono opzioni di deployment più flessibili per gli LLM, oltre ai soli servizi API. Inoltre, i framework agentici aiutano a sfruttare meglio le capacità di ragionamento e di utilizzo degli strumenti degli LLM.
Inoltre, alcuni progetti affrontano il RAG da prospettive diverse, esplorando metodi di retrieval alternativi come i knowledge graph, sviluppando framework frontend web per esperienze UI migliorate e creando soluzioni pronte all’uso che forniscono l’intero workflow RAG, incluse le UI per chatbot.
Orchestrazione e ottimizzazione del workflow
Per gestire i workflow complessi delle applicazioni RAG, SDK come LangChain, LlamaIndex, Haystack, DSPy e Semantic Kernel sono ampiamente utilizzati. Questi framework di orchestrazione consentono agli sviluppatori di creare, personalizzare e testare pipeline RAG, assicurando che le pipeline siano composte per ottenere la migliore qualità di risposta generativa per casi d’uso specifici.
Esempio: LlamaIndex
LlamaIndex è un framework per creare applicazioni arricchite dal contesto utilizzando LLM. Consente agli sviluppatori di integrare gli LLM con dati privati fornendo strumenti per l’ingestione, il parsing, l’indicizzazione e l’interrogazione dei dati. Questo approccio rende più semplice utilizzare gli LLM per applicazioni specifiche, come question-answering, chatbot e comprensione dei documenti, incorporando il contesto da fonti di dati specifiche dell’utente come API, database SQL e documenti. LlamaIndex offre comode astrazioni programmatiche di componenti comunemente usati, come varie strategie di chunking e metodi di ricerca ibrida.
Valutazione della qualità e osservabilità
Poiché il RAG è un sistema complesso, ottenere risultati ottimali in scenari specifici può essere impegnativo. Una metodologia di valutazione scientifica è essenziale per affrontare queste sfide. Progetti come Ragas, Arize, Langfuse, Relari AI, Giskard e DeepEval forniscono le metriche e gli strumenti necessari per la valutazione e l’osservabilità. Consentono agli sviluppatori di misurare quantitativamente, monitorare e risolvere i problemi dei loro sistemi RAG.
Esempio: Ragas
Ragas è un framework completo per valutare le pipeline RAG. Ragas offre strumenti per valutare metriche della qualità delle risposte, come fedeltà, pertinenza e precisione del contesto. Supporta la generazione di dataset di test sintetici, il monitoraggio delle applicazioni RAG in produzione e l’integrazione con strumenti e piattaforme AI come LangChain e LlamaIndex. Fornendo un punteggio Ragas armonizzato che racchiude aspetti chiave delle prestazioni, questo framework semplifica e quantifica il processo di valutazione, migliorando in definitiva l’efficacia e l’affidabilità delle pipeline RAG.
Connettore dati e web scraping
La capacità di integrare e processare senza soluzione di continuità dati da più fonti è cruciale. Piattaforme come Airbyte, Fivetran sono leader nel fornire connettori dati robusti, così come Apify e Zyte per il web scraping. Consentono alle aziende di raccogliere, trasformare e integrare i dati in modo efficiente nei workflow RAG, rendendo più facile sfruttare la potenza dell’AI per missioni critiche. L’acquisizione dei dati e la connettività erano fondamentali per i sistemi di ricerca tradizionali e sono altrettanto rilevanti nel RAG di oggi, che è in una certa misura una nuova forma di ricerca.
Esempio: Airbyte
Airbyte è una piattaforma open-source per lo spostamento dei dati progettata per creare pipeline di dati di estrazione e caricamento (EL). A differenza di molte piattaforme di pipeline di dati che si concentrano principalmente sui servizi principali, Airbyte supporta anche l’integrazione di servizi più piccoli, spesso trascurati. Mantenendo una vasta gamma di connettori e promuovendo una community per la condivisione di connettori personalizzati, Airbyte consente alle aziende di creare soluzioni su misura per le loro esigenze specifiche. I suoi robusti connettori dati possono elaborare dati non strutturati in embedding e caricarli in database vettoriali come Milvus per ricerche di similarità semantica. Questa capacità è utile alle aziende per raccogliere, trasformare e integrare in modo efficiente i dati nei workflow RAG, migliorando il processo decisionale basato sull’AI e le applicazioni di ricerca.
Modelli di embedding e reranker
Le reti neurali profonde, come i modelli di embedding, stanno trasformando il modo in cui i dati non strutturati vengono elaborati e compresi. Aziende come OpenAI, Cohere, Voyage AI, Jina AI e Twelve Labs sono all’avanguardia nello sviluppo di modelli avanzati che convertono dati testuali e multimodali in vettori numerici. Questi embedding abilitano ricerche vettoriali Approximate Nearest Neighbor (ANN), consentendo alle applicazioni di fornire risultati e insight altamente pertinenti.
Oltre ai modelli di embedding general-purpose, aziende come Voyage AI creano modelli specializzati che migliorano la qualità in verticali specifici come ambito legale e finanza, mentre Twelve Labs si concentra sui modelli di embedding per il recupero video. I reranker, che sono modelli addestrati intenzionalmente per confrontare la rilevanza semantica tra una query e un piccolo insieme di documenti candidati, possono migliorare ulteriormente l’accuratezza dei risultati dalla fase iniziale di recupero basata su vettori. Aziende come Cohere, Voyage AI e Jina AI offrono reranker per migliorare l’accuratezza del recupero.
Esempio: Voyage AI
Voyage AI è un team di ricercatori AI provenienti da Stanford e MIT specializzato in modelli di recupero, inclusi modelli di embedding e reranker. Il loro modello di punta, voyage-2, addestrato tramite apprendimento contrastivo su testo, offre una maggiore accuratezza del recupero, finestre di contesto estese e inferenza efficiente rispetto agli standard del settore come il modello di embedding testuale di OpenAI. Voyage AI fornisce modelli sia general-purpose sia specifici per dominio, ottimizzati per campi come finanza, contesti multilingue, lavoro legale e recupero di codice. Voyage AI offre anche reranker che migliorano i risultati del recupero.
Inferenza e hosting di LLM
Con la crescente domanda di applicazioni LLM, soluzioni efficienti di hosting e inferenza sono essenziali. Progetti come vLLM, Lepton AI, Fireworks AI e Octo AI forniscono infrastrutture robuste per distribuire e scalare LLM. Incorporano varie ottimizzazioni dell’inferenza per garantire che i modelli operino in modo efficiente durante il serving.
Esempio: vLLM
vLLM è una libreria open-source per l’inferenza e il serving ottimizzati di LLM. Utilizza il meccanismo PagedAttention per gestire la memoria in modo efficiente e supporta il batching continuo delle richieste in arrivo. La libreria sfrutta l’esecuzione rapida dei modelli tramite grafi CUDA/HIP e include varie tecniche di quantizzazione come GPTQ, AWQ, SqueezeLLM e FP8 KV Cache. vLLM si integra perfettamente con i popolari modelli HuggingFace, fornendo serving ad alto throughput con algoritmi di decodifica come campionamento parallelo e beam search. Supporta parallelismo tensoriale e di pipeline per inferenza distribuita, output in streaming e include un server API compatibile con OpenAI. Inoltre, offre funzionalità sperimentali come caching dei prefissi e supporto multi-Lora, ed è ottimizzato sia per GPU NVIDIA sia AMD.
Gestione di agenti e memoria
L'ecosistema GenAI sta avanzando nella gestione della memoria e nei sistemi di IA basati su agenti con soluzioni come MemGPT, Mem0, Camel, AutoGPT e CrewAI. Queste innovazioni consentono alle applicazioni di IA di ricordare la cronologia delle conversazioni, sfruttare strumenti e interagire tra loro, offrendo interazioni più personalizzate e consapevoli del contesto che migliorano significativamente le esperienze degli utenti.
Esempio: MemGPT
MemGPT è un progetto open-source mirato a semplificare lo sviluppo e la distribuzione di agenti LLM stateful. Utilizzando una gerarchia di memoria e un flusso di controllo simili a quelli dei sistemi operativi tradizionali, MemGPT gestisce automaticamente e intelligentemente diversi livelli di archiviazione, fornendo così un contesto esteso all'interno della finestra di contesto limitata dell'LLM. MemGPT facilita le connessioni a fonti di dati esterne tramite RAG e supporta la definizione e la chiamata di strumenti o funzioni personalizzati, agevolando lo sviluppo di agenti LLM stateful avanzati.
Strumenti esterni e API per agenti
L'integrazione dei modelli di IA con vari strumenti e API esterni è cruciale per ampliare le capacità degli agenti. Servizi come Bing API, Google Search API, Twilio e framework come OpenAPI facilitano l'interazione di agenti e strumenti, consentendo alle applicazioni di accedere e sfruttare dati, servizi e funzionalità esterni.
Esempio: Bing API
La suite Bing Search API, che include servizi come la ricerca web e di immagini, fornisce risultati di ricerca sicuri, senza pubblicità e sensibili alla posizione. Questo consente agli agenti di accedere a informazioni provenienti da miliardi di documenti web, immagini, video e fonti di notizie tramite una singola chiamata API.
Esperienza UI frontend e di ricerca/chat
Creare interfacce intuitive per interagire con le applicazioni di IA è essenziale per l'adozione da parte degli utenti. Framework come Streamlit, Vercel e Gradio semplificano lo sviluppo di applicazioni di IA fornendo esperienze UI facili da usare. Gli sviluppatori possono sfruttare questi framework per personalizzare le interfacce in modo da soddisfare le esigenze specifiche delle interazioni con l'IA, come caselle di chat per applicazioni RAG e funzionalità come selezione delle immagini, ritaglio e navigazione per la ricerca visiva.
Esempio: Streamlit
Streamlit è un framework Python open-source progettato per data scientist e ingegneri AI/ML per creare app di dati dinamiche e interattive con uno sforzo di codifica minimo. Concentrandosi su una sintassi intuitiva ed eliminando la necessità di CSS, HTML o JavaScript, Streamlit consente agli utenti di creare e distribuire rapidamente applicazioni rifinite. Si integra con librerie di dati popolari come Pandas e NumPy e supporta componenti backend per lo sviluppo di applicazioni guidate dall'IA.
Knowledge Graph (KG)
I Knowledge Graph migliorano la Retrieval-Augmented Generation fornendo dati strutturati che migliorano l'accuratezza e la pertinenza del recupero delle informazioni, producendo risposte generate dall'IA più precise e consapevoli del contesto. Progetti leader come WhyHow, GraphRAG, and HippoRAG combinano strutture di Knowledge Graph con tecniche RAG per migliorare la qualità dei risultati di recupero e delle risposte generate.
Esempio: WhyHow
WhyHow è una piattaforma progettata per aiutare gli sviluppatori a organizzare e recuperare dati non strutturati in modo più efficace, con un focus sul miglioramento di sistemi complessi di Retrieval-Augmented Generation (RAG) utilizzando i Knowledge Graph. Offre strumenti per l'ingestione flessibile dei dati, supporta la creazione collaborativa di grafi multiplayer tra sviluppatori ed esperti di dominio non tecnici e consente una manipolazione granulare degli schemi per adattare i grafi a casi d'uso specifici. Enfatizzando grafi piccoli e modulari e chunk vettoriali, WhyHow migliora la precisione del recupero delle informazioni. La piattaforma è compatibile con database vettoriali e include funzionalità di esportazione per vari formati. Inoltre, WhyHow fornisce un pacchetto di recupero basato su regole open-source per aiutare a creare workflow di recupero più accurati tramite tecniche di filtraggio avanzate.
Servizi RAG pronti all'uso e low-code
Esiste anche una domanda significativa di soluzioni pronte all’uso e low-code per RAG. Progetti come AnythingLLM, PrivateGPT, Dify, Shakudo, Vectara, Epsilla e FlowiseAI offrono soluzioni facili da usare e un certo grado di personalizzazione che consentono alle aziende di implementare rapidamente funzionalità di IA senza la necessità di uno sviluppo esteso e di competenze di dominio nelle pipeline di dati e nelle infrastrutture di ricerca.
Esempio: AnythingLLM
AnythingLLM è un’applicazione IA all-in-one che fornisce chatbot RAG interattivi e AI Agent senza la necessità di scrivere codice. È progettata per le aziende che cercano una soluzione privata, senza configurazione, o un’applicazione IA personalizzabile senza richiedere ampie competenze di programmazione. AnythingLLM supporta sia modelli linguistici di grandi dimensioni (LLM) commerciali sia open-source e database vettoriali. L’applicazione facilita un’esperienza full-stack tramite hosting locale e remoto. Le funzionalità principali includono workspace per una gestione organizzata dei documenti, supporto multiutente con impostazioni di autorizzazione, agenti per la navigazione web e l’esecuzione di codice, un widget di chat personalizzato incorporabile e supporto per più tipi di documenti. AnythingLLM fornisce anche una API per sviluppatori per integrazioni personalizzate.
Generazione di immagini e video
L’ecosistema GenAI non si limita alle applicazioni basate su testo; comprende anche progressi significativi nella generazione di immagini e video:
Generazione creativa e digital twin
Strumenti come Midjourney, Stability AI, Runway, Pika e HeyGen stanno rivoluzionando le industrie creative fornendo soluzioni basate sull’IA per generare immagini e video di alta qualità. Queste piattaforme consentono ad artisti, marketer e sviluppatori di creare contenuti visivi coinvolgenti, spingendo oltre i confini della creatività e dell’innovazione.
Esempio: Midjourney
Midjourney è un programma e servizio di IA generativa sviluppato da Midjourney, Inc., un laboratorio di ricerca indipendente a San Francisco. Crea immagini di alta qualità a partire da descrizioni in linguaggio naturale, o prompt, in modo simile a DALL-E di OpenAI e Stable Diffusion di Stability AI. Gli utenti interagiscono con Midjourney tramite un bot Discord, dove possono generare immagini digitando prompt con il comando /imagine, ottenendo quattro immagini con opzioni di upscaling. Questo strumento evidenzia i progressi nell’ecosistema GenAI, influenzando le industrie creative ampliando le possibilità nella creazione di contenuti digitali.
Considerazione finale
L’ecosistema GenAI è un panorama dinamico e in rapida evoluzione, caratterizzato dai suoi componenti diversificati e dalla sua complessità. Dalle tecnologie fondamentali come LLM e database vettoriali alle innovazioni nell’acquisizione dei dati, nell’orchestrazione e nella generazione di immagini, GenAI sta ridefinendo i confini dell’intelligenza artificiale. Man mano che esplorazione e innovazione continuano, il potenziale di impatto trasformativo in tutti i settori è immenso. In Zilliz, in qualità di creatori del database vettoriale Milvus, abbiamo collaborato con molti partner nel panorama GenAI. Siamo desiderosi di osservare e contribuire alla continua evoluzione di GenAI e attendiamo con interesse le possibilità che porterà.
Continua a leggere
My Wife Wanted Dior. I Spent $600 on Claude Code to Vibe-Code a 2M-Line Database Instead.
Write tests, not code reviews. How a test-first workflow with 6 parallel Claude Code sessions turns a 2M-line C++ codebase into a daily shipping pipeline.
Zilliz Cloud Introduces Advanced BYOC-I Solution for Ultimate Enterprise Data Sovereignty
Explore Zilliz Cloud BYOC-I, the solution that balances AI innovation with data control, enabling secure deployments in finance, healthcare, and education sectors.
Vector Databases vs. Object-Relational Databases
Use a vector database for AI-powered similarity search; use an object-relational database for complex data modeling with both relational integrity and object-oriented features.