vLLM

vLLM è una libreria open-source per l'inferenza e il servizio di modelli linguistici di grandi dimensioni (LLM), sviluppata presso lo SkyLab della UC Berkeley. La tecnologia PagedAttention di vLLM migliora le prestazioni del servizio fino a 24 volte, riducendo l'uso della memoria della GPU della metà rispetto ai metodi tradizionali.

La combinazione di Zilliz Cloud e vLLM crea una soluzione potente per la realizzazione di sistemi Retrieval Augmented Generation (RAG) ad alte prestazioni. Zilliz Cloud, basato sul database vettoriale Milvus, fornisce funzionalità efficienti di archiviazione e recupero dei vettori, essenziali per le applicazioni RAG. vLLM completa il tutto offrendo inferenza e servizio LLM ottimizzati.

Questa integrazione consente agli sviluppatori di creare sistemi RAG in grado di recuperare in modo efficiente le informazioni rilevanti da grandi insiemi di dati archiviati in Zilliz Cloud e di generare risposte di alta qualità utilizzando il servizio LLM ottimizzato di vLLM. Questa combinazione risolve le sfide comuni delle applicazioni di IA, come le [allucinazioni dell'IA] (https://zilliz.com/glossary/ai-hallucination), fondando le risposte di LLM su informazioni accurate e recuperate.

L'integrazione di Zilliz Cloud e vLLM funziona sfruttando i punti di forza di entrambe le tecnologie in un sistema RAG. In primo luogo, i dati di testo vengono incorporati e memorizzati come embeddings vettoriali in Zilliz Cloud. Quando l'utente riceve una domanda, Zilliz Cloud esegue un'efficiente ricerca di similarità vettoriale per recuperare i pezzi di testo più rilevanti dalla sua base di conoscenza.

Questi pezzi di testo recuperati vengono poi passati a vLLM, che li utilizza per aumentare il contesto del LLM (come Llama 3.1 di Meta). La tecnologia di servizio ottimizzata di vLLM, che include PagedAttention per una gestione efficiente della memoria, consente un'inferenza LLM veloce ed efficiente in termini di risorse. L'LLM genera quindi una risposta basata sia sulla domanda dell'utente che sul contesto recuperato, ottenendo risposte più accurate e contestualmente rilevanti.

Il modo migliore per iniziare è un'esercitazione pratica. Questa esercitazione vi spiegherà come costruire un'applicazione di modelli linguistici di grandi dimensioni con vLLM e Zilliz Cloud.

Esercitazione: Costruire ed eseguire il recupero di RAG con Milvus e vLLM

Ecco altre risorse:

• Blog: Costruire RAG con Milvus, vLLM e Llama 3.1
• [Repository GitHub di vLLM ](https://github.com/vllm-project/vllm e pagina del modello)
• 2023 vLLM paper on Paged Attention
• Presentazione di vLLM del 2023 al Ray Summit
• Blog vLLM: vLLM: Easy, Fast, and Cheap LLM Serving with PagedAttention
• Blog utile sull'esecuzione del server vLLM: Deploying vLLM: a Step-by-Step Guide
• La mandria di modelli Llama 3 | Ricerca - AI at Meta