Novidades no Zilliz Cloud: Serviço de Migração, Conector Fivetran, Multi-réplica e Mais
Temos o prazer de anunciar novos recursos no Zilliz Cloud, projetados para aprimorar o suporte à execução de cargas de trabalho de IA em ambientes de produção. Esta atualização equipa desenvolvedores e líderes técnicos com ferramentas avançadas para implantar e escalar aplicações orientadas por IA com eficiência.
Os novos recursos permitem que equipes técnicas:
Mantenham a propriedade total de seus dados não estruturados enquanto aproveitam as melhores tecnologias da categoria
Atendam aos requisitos de velocidade e escala de aplicações GenAI de produção em larga escala
Garantam a operação robusta e segura de cargas de trabalho GenAI em ambientes de produção
À medida que as organizações implantam cada vez mais aplicações orientadas por IA, gerenciar grandes volumes de dados não estruturados, garantir alto desempenho em escala e manter a robustez operacional tornam-se desafios críticos. Nossos novos recursos abordam essas questões, permitindo que as equipes de desenvolvimento se concentrem na inovação em vez do gerenciamento de infraestrutura.
Aqui está uma visão geral dos nossos novos recursos–continue lendo para mais detalhes:
- Serviço de Migração
- Conector de origem Fivetran
- Múltiplas réplicas
- Escalonamento automático
- Outras atualizações de prontidão para produção
Junte-se a nós em nosso webinar de lançamento para ver essas inovações em ação.
Uma visão geral do lançamento da Zilliz em setembro de 2024
Figura 1: Uma visão geral do lançamento da Zilliz em setembro de 2024
Serviço de Migração: Migração Segura e Eficiente de Dados Vetoriais
O Zilliz Cloud apresenta Serviços de Migração para dados vetoriais, um recurso recém-lançado que aborda desafios críticos enfrentados por desenvolvedores ao trabalhar com bancos de dados vetoriais em aplicações de IA. À medida que os projetos evoluem, a necessidade de transferir dados vetoriais entre bancos de dados e outros sistemas de dados torna-se crucial por vários motivos:
Evitar dependência de fornecedor
Implementar estratégias robustas de backup e recuperação de dados
Garantir interoperabilidade entre diferentes sistemas
No entanto, esse processo costuma ser mais complexo do que o previsto, com risco de perda de informações ou funcionalidade durante a transferência.
Os Serviços de Migração simplificam esses desafios oferecendo o seguinte:
Migração sem perdas entre bancos de dados vetoriais (por exemplo, Milvus, pgvector, Elastic)
Suporte tanto para importação em massa quanto para migração incremental de dados
Validação de dados integrada para garantir consistência e preservar a funcionalidade
Operações de alto desempenho projetadas para lidar com conjuntos de dados vetoriais em larga escala
Com os Serviços de Migração, os desenvolvedores podem manter controle total sobre seus dados em diferentes plataformas e cenários. Ao simplificar o processo de migração, os Serviços de Migração permitem que você se concentre em criar e aprimorar seus modelos e aplicações de IA, garantindo ao mesmo tempo portabilidade, segurança e integridade dos dados.
Conector Fivetran: Integração Simplificada de Dados Não Estruturados de Mais de 500 Fontes
O Zilliz Cloud agora se integra ao Fivetran, expandindo significativamente as capacidades de ingestão de dados. Este novo conector permite a recuperação eficiente de dados não estruturados de mais de 500 sistemas diferentes, ampliando o escopo de dados acessíveis para suas aplicações de IA.
Veja como funciona:
Dados não estruturados de mais de 500 fontes (como Snowflake, MongoDB, Salesforce etc.) fluem para o Fivetran.
Os conectores e a lógica de transformação do Fivetran processam os dados.
O conector de origem Milvus (criado com o Fivetran SDK) canaliza os dados processados para o Zilliz/Milvus.
Os dados não estruturados podem ser vetorizados usando OpenAI Embedding Services por meio do conector Fivetran da OpenAI.
Por fim, os dados vetoriais são ingeridos no Zilliz Cloud/ Milvus, prontos para busca vetorial e aplicações de IA.
Como o conector de origem Fivetran funciona
Figura 2: Como o conector de origem da Fivetran funciona
Esta integração simplifica todo o processo de coleta, transformação e vetorização de dados não estruturados de várias fontes. Ela elimina a necessidade de pipelines ETL personalizados, economizando tempo e esforço dos desenvolvedores, ao mesmo tempo em que garante um fluxo de dados tranquilo para o Milvus/ Zilliz.
Ao aproveitar este conector da Fivetran, você pode criar facilmente suas aplicações de IA com uma vasta gama de dados não estruturados, abrindo novas possibilidades para busca semântica e insights orientados por IA.
Multi-replica: Melhorando o desempenho e a disponibilidade
Disponível recentemente em prévia pública, a funcionalidade multi-replica reforça os recursos do Zilliz Cloud para ambientes de produção. Este recurso permite replicação em nível de cluster, melhorando significativamente o desempenho das consultas e a disponibilidade do sistema.
Muitas aplicações de IA para consumidores enfrentam gargalos de consultas por segundo (QPS) em produção devido ao alto volume de usuários. O multi-replica resolve isso distribuindo cargas de trabalho de consulta entre réplicas, permitindo processamento paralelo que pode melhorar linearmente o QPS geral à medida que réplicas são adicionadas. Isso resulta em latência reduzida e maior eficiência, essenciais para manter a responsividade em ambientes de produção com alto tráfego.
Além disso, o multi-replica aumenta a confiabilidade do sistema ao distribuir réplicas por várias Zonas de Disponibilidade (AZs). Essa arquitetura garante acesso contínuo aos dados mesmo durante uma interrupção em uma AZ, proporcionando a alta disponibilidade necessária para aplicações de missão crítica. Embora o multi-replica não aumente a capacidade geral do cluster, ele oferece uma ferramenta poderosa para otimizar o desempenho das consultas e garantir a resiliência do sistema exigida em ambientes de produção, permitindo que as equipes escalem suas aplicações de IA com confiança.
Auto-scaling: Gerenciamento dinâmico de capacidade
O Zilliz Cloud está lançando um recurso de auto-scaling (em prévia privada) que aborda um desafio comum em ambientes de produção: gerenciar a capacidade do cluster em resposta a demandas flutuantes. Este recurso ajusta dinamicamente quando a capacidade do cluster diminui com base no uso em tempo real, ajudando a evitar restrições de acesso de gravação devido a recursos insuficientes e a reduzir encargos operacionais.
O auto-scaling é acionado quando a capacidade de Compute Unit (CU) do cluster excede um limite especificado (padrão de 70% e ajustável) por dois minutos consecutivos. Os desenvolvedores podem definir um tamanho máximo de CU para escalonamento, proporcionando controle sobre a alocação de recursos e os custos.
Observação: O auto-scaling está atualmente em prévia privada e disponível apenas para clusters Dedicated (Enterprise). Organizações interessadas em experimentar este recurso devem entrar em contato com o suporte da Zilliz para habilitar o acesso.
Outras atualizações de prontidão para produção
O Zilliz Cloud apresenta mais algumas atualizações críticas para reforçar a prontidão para produção:
Confiabilidade: SLAs de 99,95% de disponibilidade para aplicações de IA de missão crítica.
Monitoramento e alertas:
39 alertas organizacionais e de projeto para gerenciamento de custos e desempenho.
18 métricas principais sobre uso de recursos, QPS, resultados de solicitações e operações de dados.
Gráficos personalizáveis para análise aprofundada da integridade do sistema.
- Segurança: SSO baseado em Auth0 (Prévia Privada) com opções de login Google, Github, SSO e Email.
- Uma nova região do Zilliz Cloud online: O Zilliz Cloud acaba de se expandir para uma nova região—AWS Tokyo (ap-northeast-1)! Isso significa menor latência, melhor desempenho e maior soberania de dados para nossos usuários na Ásia-Pacífico e regiões vizinhas.
Esses recursos fornecem aos desenvolvedores ferramentas para manter aplicações de IA de alto desempenho, seguras e econômicas em produção.
Capacitando aplicações de IA prontas para produção com o Zilliz Cloud
Os recursos mais recentes do Zilliz Cloud foram projetados para aprimorar sua capacidade de criar e manter aplicações de IA robustas em ambientes de produção. Da migração segura de dados ao escalonamento dinâmico e monitoramento abrangente, essas atualizações abordam desafios críticos enfrentados por desenvolvedores e líderes técnicos.
Quer saber mais? Participe do nosso próximo webinar para saber como esses novos recursos podem transformar seu gerenciamento de dados não estruturados e suas aplicações de IA. Nossa equipe de produto discutirá os desenvolvimentos mais recentes e as melhores práticas para aproveitar o Zilliz Cloud em produção.
Pronto para começar? Inicie sua jornada com o Zilliz Cloud gratuitamente — sem instalação e sem necessidade de cartão de crédito. Você também pode iniciar uma avaliação gratuita de 30 dias da nossa oferta dedicada, que inclui $100 em créditos no momento do registro. Você receberá um crédito extra de $100 se assinar o Zilliz Cloud por meio de qualquer marketplace em nuvem!
Se tiver alguma dúvida ou precisar de assistência enquanto explora o Zilliz Cloud, nossa equipe de suporte está pronta para ajudar. Entre em contato pelo nosso portal de suporte, e teremos prazer em ajudar você a aproveitar esses novos recursos para suas aplicações de IA.
Comece hoje a criar aplicações de IA prontas para produção com o Zilliz Cloud!
Continue lendo
Zilliz Cloud Delivers Better Performance and Lower Costs with Arm Neoverse-based AWS Graviton
Zilliz Cloud adopts Arm-based AWS Graviton3 CPUs to cut costs, speed up AI vector search, and power billion-scale RAG and semantic search workloads.
Demystifying the Milvus Sizing Tool
Explore how to use the Sizing Tool to select the optimal configuration for your Milvus deployment.
Bringing AI to Legal Tech: The Role of Vector Databases in Enhancing LLM Guardrails
Discover how vector databases enhance AI reliability in legal tech, ensuring accurate, compliant, and trustworthy AI-powered legal solutions.