Novità per Zilliz Cloud: servizio di migrazione, connettore Fivetran, Multi-replica e altro
Siamo entusiasti di annunciare nuove funzionalità in Zilliz Cloud, progettate per migliorare il supporto all'esecuzione di workload AI in ambienti di produzione. Questo aggiornamento fornisce a sviluppatori e responsabili tecnici strumenti avanzati per distribuire e scalare in modo efficiente applicazioni basate sull'AI.
Le nuove funzionalità consentono ai team tecnici di:
Mantenere la piena proprietà dei propri dati non strutturati sfruttando al contempo tecnologie best-of-breed
Supportare i requisiti di velocità e scalabilità delle applicazioni GenAI di produzione su larga scala
Garantire un funzionamento robusto e sicuro dei workload GenAI negli ambienti di produzione
Poiché le organizzazioni distribuiscono sempre più applicazioni basate sull'AI, la gestione di grandi volumi di dati non strutturati, la garanzia di prestazioni elevate su larga scala e il mantenimento della robustezza operativa diventano sfide critiche. Le nostre nuove funzionalità affrontano questi problemi, consentendo ai team di sviluppo di concentrarsi sull'innovazione anziché sulla gestione dell'infrastruttura.
Ecco una panoramica delle nostre nuove funzionalità: continua a leggere per maggiori dettagli:
- Migration Service
- Connettore sorgente Fivetran
- Multi-replica
- Auto-scaling
- Altri aggiornamenti per la Production Readiness
Unisciti a noi nel nostro webinar di lancio per vedere queste innovazioni in azione.
Una panoramica del lancio di Zilliz di settembre 2024
Figura 1: Una panoramica del lancio di Zilliz di settembre 2024
Migration Service: migrazione dei dati vettoriali sicura ed efficiente
Zilliz Cloud introduce Migration Services per i dati vettoriali, una funzionalità appena rilasciata che affronta le sfide critiche che gli sviluppatori incontrano quando lavorano con database vettoriali nelle applicazioni AI. Con l'evolversi dei progetti, la necessità di trasferire dati vettoriali tra database e altri sistemi di dati diventa cruciale per diversi motivi:
Evitare il vendor lock-in
Implementare strategie robuste di backup e ripristino dei dati
Garantire l'interoperabilità tra sistemi diversi
Tuttavia, questo processo è spesso più complesso del previsto, con il rischio di perdita di informazioni o funzionalità durante il trasferimento.
Migration Services semplifica queste sfide offrendo quanto segue:
Migrazione senza perdita tra database vettoriali (ad es., Milvus, pgvector, Elastic)
Supporto sia per l'importazione bulk sia per la migrazione incrementale dei dati
Validazione dei dati integrata per garantire coerenza e preservare la funzionalità
Operazioni ad alte prestazioni progettate per gestire dataset vettoriali su larga scala
Con Migration Services, gli sviluppatori possono mantenere il controllo completo sui propri dati su piattaforme e scenari diversi. Semplificando il processo di migrazione, Migration Services ti consente di concentrarti sulla creazione e sul miglioramento dei tuoi modelli e applicazioni AI, garantendo al contempo portabilità, sicurezza e integrità dei dati.
Connettore Fivetran: integrazione semplificata dei dati non strutturati da oltre 500 fonti
Zilliz Cloud ora si integra con Fivetran, ampliando in modo significativo le capacità di ingestione dei dati. Questo nuovo connettore consente il recupero efficiente di dati non strutturati da oltre 500 sistemi diversi, ampliando l'ambito dei dati accessibili per le tue applicazioni AI.
Ecco come funziona:
I dati non strutturati provenienti da oltre 500 fonti (come Snowflake, MongoDB, Salesforce, ecc.) confluiscono in Fivetran.
I connettori e la logica di trasformazione di Fivetran elaborano i dati.
Il connettore sorgente Milvus (creato con Fivetran SDK) convoglia i dati elaborati in Zilliz/Milvus.
I dati non strutturati possono essere vettorializzati utilizzando OpenAI Embedding Services tramite il connettore Fivetran di OpenAI.
Infine, i dati vettoriali vengono ingeriti in Zilliz Cloud/ Milvus, pronti per la ricerca vettoriale e le applicazioni AI.
Come funziona il connettore sorgente Fivetran
Figura 2: Come funziona il connettore sorgente Fivetran
Questa integrazione semplifica l'intero processo di raccolta, trasformazione e vettorializzazione di dati non strutturati provenienti da varie fonti. Elimina la necessità di pipeline ETL personalizzate, facendo risparmiare tempo e fatica agli sviluppatori e garantendo al contempo un flusso di dati fluido verso Milvus/ Zilliz.
Sfruttando questo connettore Fivetran, puoi creare facilmente le tue applicazioni AI con un'ampia gamma di dati non strutturati, aprendo nuove possibilità per la ricerca semantica e gli insight basati sull'AI.
Multi-replica: migliorare prestazioni e disponibilità
Disponibile da poco in public preview, la funzionalità multi-replica rafforza le capacità di Zilliz Cloud per gli ambienti di produzione. Questa funzionalità abilita la replica a livello di cluster, migliorando significativamente le prestazioni delle query e la disponibilità del sistema.
Molte applicazioni AI consumer affrontano colli di bottiglia nelle query al secondo (QPS) in produzione a causa dell'elevato volume di utenti. Multi-replica risolve questo problema distribuendo i carichi di lavoro delle query tra le repliche, abilitando l'elaborazione parallela che può migliorare linearmente il QPS complessivo man mano che vengono aggiunte repliche. Ciò si traduce in latenza ridotta e maggiore efficienza, elementi essenziali per mantenere la reattività in ambienti di produzione ad alto traffico.
Inoltre, multi-replica migliora l'affidabilità del sistema distribuendo le repliche su più Availability Zone (AZ). Questa architettura garantisce l'accesso continuo ai dati anche durante un'interruzione di una AZ, fornendo l'alta disponibilità necessaria per applicazioni mission-critical. Sebbene multi-replica non aumenti la capacità complessiva del cluster, offre uno strumento potente per ottimizzare le prestazioni delle query e garantire la resilienza del sistema richiesta negli ambienti di produzione, consentendo ai team di scalare con sicurezza le proprie applicazioni AI.
Auto-scaling: gestione dinamica della capacità
Zilliz Cloud sta introducendo una funzionalità di auto-scaling (in private preview) che affronta una sfida comune negli ambienti di produzione: gestire la capacità del cluster in risposta a richieste variabili. Questa funzionalità si regola dinamicamente quando la capacità del cluster si riduce in base all'utilizzo in tempo reale, contribuendo a prevenire restrizioni all'accesso in scrittura dovute a risorse insufficienti e a ridurre gli oneri operativi.
L'auto-scaling viene attivato quando la capacità delle Compute Unit (CU) del cluster supera una soglia specificata (70% predefinito e regolabile) per due minuti consecutivi. Gli sviluppatori possono impostare una dimensione massima di CU per lo scaling, garantendo controllo sull'allocazione delle risorse e sui costi.
Nota: l'auto-scaling è attualmente in private preview ed è disponibile solo per cluster Dedicated (Enterprise). Le organizzazioni interessate a provare questa funzionalità devono contattare il supporto Zilliz per abilitare l'accesso.
Altri aggiornamenti per la preparazione alla produzione
Zilliz Cloud introduce alcuni ulteriori aggiornamenti critici per rafforzare la preparazione alla produzione:
Affidabilità: SLA di uptime del 99,95% per applicazioni AI mission-critical.
Monitoraggio e avvisi:
39 avvisi organizzativi e di progetto per la gestione di costi e prestazioni.
18 metriche chiave sull'utilizzo delle risorse, QPS, risultati delle richieste e operazioni sui dati.
Grafici personalizzabili per un'analisi approfondita dello stato del sistema.
- Sicurezza: SSO basato su Auth0 (Private Preview) con opzioni di accesso Google, Github, SSO ed Email.
- Una nuova regione Zilliz Cloud online: Zilliz Cloud si è appena espanso in una nuova regione—AWS Tokyo (ap-northeast-1)! Questo significa minore latenza, prestazioni migliori e maggiore sovranità dei dati per i nostri utenti in Asia-Pacifico e nelle regioni limitrofe.
Queste funzionalità forniscono agli sviluppatori strumenti per mantenere applicazioni AI ad alte prestazioni, sicure e convenienti in produzione.
Potenziare applicazioni AI pronte per la produzione con Zilliz Cloud
Le funzionalità più recenti di Zilliz Cloud sono progettate per migliorare la tua capacità di creare e mantenere applicazioni AI robuste negli ambienti di produzione. Dalla migrazione sicura dei dati allo scaling dinamico e al monitoraggio completo, questi aggiornamenti affrontano sfide critiche che sviluppatori e leader tecnici incontrano.
Vuoi saperne di più? Partecipa al nostro prossimo webinar per scoprire come queste nuove funzionalità possono trasformare la gestione dei tuoi dati non strutturati e le tue applicazioni AI. Il nostro team di prodotto discuterà gli ultimi sviluppi e le best practice per sfruttare Zilliz Cloud in produzione.
Pronto a iniziare? Inizia il tuo percorso con Zilliz Cloud gratuitamente - nessuna installazione e nessuna carta di credito richiesta. Puoi anche avviare una prova gratuita di 30 giorni della nostra offerta dedicata, che include crediti per un valore di $100 al momento della registrazione. Riceverai un credito extra di $100 se ti abboni a Zilliz Cloud tramite qualsiasi marketplace cloud!
Se hai domande o hai bisogno di assistenza mentre esplori Zilliz Cloud, il nostro team di supporto è pronto ad aiutarti. Contattaci tramite il nostro portale di supporto, e saremo lieti di aiutarti a sfruttare queste nuove funzionalità per le tue applicazioni AI.
Inizia oggi stesso a creare applicazioni AI pronte per la produzione con Zilliz Cloud!
Continua a leggere
Zilliz Cloud Delivers Better Performance and Lower Costs with Arm Neoverse-based AWS Graviton
Zilliz Cloud adopts Arm-based AWS Graviton3 CPUs to cut costs, speed up AI vector search, and power billion-scale RAG and semantic search workloads.
Creating Collections in Zilliz Cloud Just Got Way Easier
We've enhanced the entire collection creation experience to bring advanced capabilities directly into the interface, making it faster and easier to build production-ready schemas without switching tools.
Cosmos World Foundation Model Platform for Physical AI
NVIDIA's Cosmos platform enables safe, digital twin training of GenAI models for physical applications, overcoming data scarcity and safety challenges.