Sblocca la ricerca basata sull’IA con Fivetran e Milvus
Questo blog è stato originariamente pubblicato su Fivetran.
Fivetran ora supporta il database vettoriale Milvus come destinazione, rendendo più semplice integrare ogni origine dati per RAG e la ricerca basata sull’AI.
I dati sono la spina dorsale dell’AI, e una connettività fluida è fondamentale per sbloccarne tutto il potenziale. I dati non strutturati rappresentano ormai circa l’80% di tutti i dati e hanno un valore immenso per applicazioni di AI come la ricerca aziendale e i chatbot basati sulla generazione aumentata dal recupero (RAG). Con l’aumento dei volumi di dati, i database vettoriali scalabili come Milvus diventano essenziali per archiviare e cercare in modo efficiente nelle informazioni di un’organizzazione.
I dati per la ricerca sono archiviati in vari luoghi, come cloud storage, applicazioni aziendali e database relazionali. L’approccio tipico consiste nell’unire queste fonti in un unico repository, convertire dati non strutturati come il testo in embedding vettoriali e archiviarli in un database vettoriale con metadati. Questo approccio consente alle applicazioni di AI di accedere a un’ampia varietà di set di dati e di adattarsi ai cambiamenti nelle origini dati.
La destinazione Milvus di Fivetran semplifica questo processo ed elimina la necessità di creare, mantenere e monitorare pipeline di dati complesse. Con pochi clic, i data engineer possono creare soluzioni di ricerca AI rapide, efficienti e scalabili, liberandoli per concentrarsi sulla creazione di valore aziendale invece che sulla gestione delle complessità infrastrutturali.
Come configurare la destinazione Fivetran Milvus
Come Milvus e Fivetran costruiscono una base per l’AI
Milvus è un database vettoriale open-source ad alte prestazioni, progettato per la scalabilità. Un singolo cluster di Milvus distribuito su Kubernetes può gestire miliardi di vettori. Zilliz Cloud è una versione completamente gestita di Milvus, che aggiunge funzionalità pronte per l’enterprise come RBAC e SOC2 e prestazioni ancora migliori grazie al motore di ricerca vettoriale Cardinal proprietario. Milvus e Zilliz Cloud sono ampiamente utilizzati nelle moderne applicazioni di IA come ricerca semantica, RAG e ricerca multimodale.
Una delle sfide nella creazione di soluzioni di ricerca basate sull’IA è l’acquisizione di dati da varie fonti in Milvus per renderli ricercabili semanticamente in tempo reale. La Milvus Destination di Fivetran semplifica l’acquisizione di dati da qualsiasi fonte in Milvus, consentendo alle aziende di ottenere insight senza la complessità di gestire lo spostamento dei dati. Sfruttando le funzionalità avanzate di ricerca vettoriale di Milvus e questo flusso di dati ottimizzato, gli sviluppatori possono creare rapidamente applicazioni di IA che sfruttano appieno le diverse fonti di dati della loro organizzazione.
Con la destinazione Fivetran Milvus, puoi:
Acquisire dati da oltre 600 fonti tramite connettori Fivetran in Milvus/Zilliz.
Semplificare l’estrazione, caricamento e la vettorializzazione dei dati non strutturati con i modelli di embedding OpenAI.
Abilitare il filtraggio dei metadati nella ricerca vettoriale propagando colonne di dati strutturati.
Creare una ricerca quasi in tempo reale con sincronizzazione incrementale.
Partner SDK di Fivetran: creazione di connettori e destinazioni personalizzati
Fivetran Partner SDK consente ai fornitori tecnologici di creare connettori di origine o di destinazione per i propri servizi e di integrarsi perfettamente con la piattaforma di movimento dati automatizzata di Fivetran. I principali vantaggi dell’SDK includono:
Indipendente dal linguaggio: l’SDK basato su gRPC consente di scrivere connettori di origine e di destinazione in qualsiasi linguaggio di programmazione supportato, offrendo agli sviluppatori la flessibilità di riutilizzare o scrivere nuovo codice nel linguaggio di loro scelta.
Complessità ridotta: con modelli e un ambiente di test locale, i fornitori di terze parti possono testare e distribuire facilmente i connettori.
Nuove opportunità per le piattaforme dati: l’SDK apre nuovi canali per l’attivazione del prodotto, consentendo a data warehouse, data lake e piattaforme di storage di accedere facilmente agli oltre 600 connettori di Fivetran.
Zilliz, l’azienda dietro Milvus, ha creato un’integrazione con Fivetran mappando attentamente le operazioni del suo database vettoriale sul modello di aggiornamento relazionale di Fivetran. Ha inoltre semplificato soluzioni di terze parti, come il servizio di embedding di OpenAI, per generare vettori durante l’ingestione.
Ricerca basata sull’AI in azione
I dati non strutturati, sebbene spesso siano i più preziosi, sono anche i più difficili da gestire. Con Fivetran e Milvus, le aziende possono creare rapidamente e facilmente strumenti di ricerca basati sull’AI per estrarre insight dai loro dataset più ricchi.
I connettori completamente gestiti di Fivetran spostano i dati automaticamente, in modo affidabile e sicuro dalle principali app aziendali con supporto integrato per la migrazione dello schema. Ad esempio, immagina un’azienda che vuole creare uno strumento di ricerca interno per i messaggi Slack. Utilizzando il connettore Slack di Fivetran, i dati vengono prima replicati e archiviati in un formato normalizzato in un data warehouse o data lakehouse come Snowflake. Questi dati possono quindi essere denormalizzati, concatenati, suddivisi in chunk e trasformati, dopodiché possono essere collegati a Milvus utilizzando il connettore di origine Snowflake di Fivetran. Semplicemente archiviando i chunk di testo in una colonna denominata original_text, la destinazione Milvus chiama automaticamente il servizio di embedding di OpenAI per generare vettori dal testo. I vettori vengono archiviati in Milvus insieme a tutte le altre etichette come campi scalari e utilizzati insieme per una ricerca semantica efficiente basata sulla somiglianza vettoriale con filtraggio dei metadati.
Figura- Come creare una pipeline di ricerca per fonti di dati con l’integrazione Fivetran e Milvus
Conclusione
La destinazione Milvus di Fivetran appena introdotta estende ulteriormente il panorama dei dati nell’AI per rendere ogni fonte di dati ricercabile semanticamente. Ingerendo i dati di origine da un insieme diversificato di database/warehouse e app aziendali nel database vettoriale Milvus, questa integrazione rende più semplice lo sviluppo di workflow AI. Puoi iniziare a utilizzare la destinazione Milvus di Fivetran seguendo le istruzioni di configurazione.
Per saperne di più su questa integrazione e vedere come creare una ricerca in tempo reale in azione, partecipa al nostro webinar di lancio del prodotto il 26 settembre 2024. Illustreremo le funzionalità di questa integrazione e dimostreremo come utilizzare questo connettore per creare un chatbot RAG per le issue di GitHub!
Jiang ChenJiang is currently Director of Technical GTM at Zilliz. He has years of experience in data infrastructures and cloud security. Before joining Zilliz, he had previously served as a tech lead and product manager at Google, where he led the development of web-scale semantic understanding and search indexing that powers innovative search products such as short video search. He has extensive industry experience handling massive unstructured data and multimedia content retrieval. He has also worked on cloud authorization systems and research on data privacy technologies. Jiang holds a Master's degree in Computer Science from the University of Michigan.
Charles WangLead Product Evangelist, Fivetran
Continua a leggere
Stop Building AI Data Infra for the Wrong Stage
Learn how AI data infrastructure should evolve from prototype to enterprise scale, and when Vector Lakebase becomes the right architecture for AI apps.
Data Deduplication at Trillion Scale: How to Solve the Biggest Bottleneck of LLM Training
Explore how MinHash LSH and Milvus handle data deduplication at the trillion-scale level, solving key bottlenecks in LLM training for improved AI model performance.
What is the K-Nearest Neighbors (KNN) Algorithm in Machine Learning?
KNN is a supervised machine learning technique and algorithm for classification and regression. This post is the ultimate guide to KNN.