Novidades no Zilliz Cloud: Cardinal Search Engine, GCP Marketplace, Databricks Connector e mais
Nossos lançamentos mais recentes de produtos do Zilliz Cloud já estão no ar, com novos recursos para gerar impacto real nos negócios por meio de inovações em IA com nosso banco de dados vetorial e serviços de dados. O que há de novo? O Zilliz Cloud aprimora significativamente o desempenho da busca vetorial, garantindo ao mesmo tempo segurança de nível empresarial e integração de dados perfeita.
As principais novidades incluem oferecer um notável aumento de desempenho de 10x, simplificar processos de orçamento, pagamento e aquisição, eliminar a necessidade de código personalizado e possibilitar processamento e indexação de dados sem atritos para dados não estruturados.
Aqui está uma visão geral dos nossos novos recursos–continue lendo para obter mais detalhes:
Novos recursos do Zilliz Cloud:
Junte-se a nós em nosso webinar de lançamento para ver essas inovações em ação
Cardinal Search Engine: busca 10X mais rápida, 50% mais capacidade
Projetado desde o início com C++ moderno e métodos práticos de Approximate Nearest Neighbor Search (ANNS), o Cardinal é um mecanismo de busca vetorial multithread e de alta eficiência. Ele lida com tarefas que vão desde buscas por força bruta até a modificação de índices ANNS e o trabalho com vários formatos de dados, incluindo FP32, FP16 e BF16. O foco principal do Cardinal é velocidade e eficiência, permitindo que você processe mais solicitações de usuários dentro das suas restrições de recursos.
A inovação por trás do Cardinal é uma prova de nossas origens humildes, quando adotamos de todo o coração a computação heterogênea. Nossa equipe ajustou algoritmos, empregou kernels otimizados especializados de baixo nível para operações intensivas em computação e garantiu suporte a várias plataformas de hardware, incluindo x86 e ARM. O Cardinal aproveita tecnologias de ponta, como extensões AVX-512 para x86 e conjuntos de instruções NEON e SVE para ARM, entregando código otimizado para computação eficiente. Essas otimizações meticulosas garantem que o Cardinal opere com desempenho máximo, tornando-o o mecanismo de busca vetorial mais rápido do setor.
Com o Cardinal, nossos clientes podem alcançar um notável aumento de desempenho de 10x em comparação com o Milvus de código aberto e processar consultas em velocidade relâmpago, mantendo uma alta taxa de recall. Esteja você lidando com grandes conjuntos de dados ou exigindo respostas rápidas, o Cardinal garante que suas buscas vetoriais sejam executadas de forma rápida e eficiente. Resultados de consulta rápidos aprimoram as experiências dos usuários e oferecem uma vantagem competitiva para suas aplicações de IA. Você pode ler mais sobre quais casos de uso do mundo real nos inspiraram a criar o Cardinal.
"Ficamos impressionados com o desempenho do Zilliz Cloud, especialmente sob cargas de dados pesadas", disse Alex Alexander, CEO e fundador da Picdmo. "A introdução do mecanismo de busca Cardinal, com sua promessa de aumentar o desempenho do Milvus e dobrar o do Zilliz Cloud anterior, será um divisor de águas para nós. Esse salto em eficiência, aliado aos avanços mais recentes em segurança, elevará significativamente nossa capacidade de oferecer buscas avançadas por similaridade de imagens para nossos clientes."
Confira nosso blog sobre o Cardinal Search Engine para saber mais.
Milvus 2.3 geralmente disponível no Zilliz Cloud: recursos avançados de busca vetorial prontos para cargas de trabalho de produção
Após uma fase beta de quatro meses, o tão aguardado Milvus 2.3 está geralmente disponível no Zilliz Cloud. Os usuários do Zilliz Cloud agora podem utilizar com confiança esses recursos avançados de busca vetorial e gerenciamento de dados em um ambiente de produção.
Alguns destaques de recursos nesta versão incluem:
Similaridade de Cosseno: Recursos avançados em cálculos de similaridade, eliminando a necessidade de normalização prévia de vetores e simplificando os processos de consulta.
Função Upsert: Gerenciamento de dados simplificado com eficiência aprimorada na atualização e exclusão de conjuntos de dados, particularmente valioso em ambientes dinâmicos onde a consistência e a atomicidade dos dados são cruciais.
Busca por Intervalo: Este recurso fornece métodos de recuperação de dados mais precisos para alguns casos de uso, ampliando o escopo da consulta vetorial além da busca top-K. É particularmente benéfico para mecanismos de recomendação, garantindo sugestões mais relevantes para os usuários.
Suporte a Arquivos Apache Parquet: Recursos aprimorados de manipulação de dados com o formato eficiente de armazenamento colunar do Parquet, oferecendo melhor compressão e desempenho de consulta, especialmente com conjuntos de dados complexos.
Suporte ao Tipo de Dados Array: Permite filtragem precisa de metadados para buscas avançadas com base em múltiplos atributos. Por exemplo, no e-commerce, esse recurso permite buscas avançadas com base em diferentes tags de produtos, garantindo resultados de busca altamente relevantes para os usuários.
Integração com o GCP Marketplace: simplificando o planejamento de orçamento, pagamento e aquisição
A integração do Zilliz Cloud com o Google Cloud Marketplace está ativa, oferecendo aos desenvolvedores uma experiência fluida para aproveitar seus recursos. Você pode acessar os recursos e a infraestrutura do Google Cloud sem a complexidade de procedimentos separados de pagamento e aquisição. Essa integração também simplifica sua experiência ao eliminar a necessidade de planejamento orçamentário antecipado e compromissos para suas novas iniciativas de IA. À medida que seu projeto evolui, você pode escalar seus clusters e pagar conforme necessário, alinhando recursos ao crescimento do seu projeto.
Você tem flexibilidade para escolher como acessar o Zilliz Cloud por meio do Google Cloud Marketplace. Você pode configurar o GCP Marketplace como seu método de pagamento na UI do Zilliz Cloud ou assinar diretamente pela listagem do Google Marketplace. Para desenvolvedores que se cadastram pelo GCP Marketplace, há um bônus adicional: você receberá o crédito padrão de $100 disponível para novos usuários e um crédito extra de $100.
Adicionar GCP Marketplace na UI do Zilliz Cloud
Até agora, o Zilliz Cloud tem estado disponível em três grandes provedores de nuvem, AWS, Azure e GCP, em 8 regiões no mundo todo. Essa ampla disponibilidade garante que você possa acessar os poderosos recursos do Zilliz Cloud onde quer que seus projetos estejam hospedados. Ele oferece flexibilidade e acessibilidade, permitindo que você implante suas aplicações de IA facilmente.
Controle de Acesso Baseado em Funções: habilite controles de acesso granulares a recursos críticos em escala
O controle de acesso baseado em funções (RBAC) no Zilliz Cloud oferece uma abordagem estruturada e escalável para gerenciar permissões para a segurança do acesso a dados. Nos últimos meses, introduzimos vários recursos, tornando o sistema RBAC do Zilliz Cloud mais granular e abrangente do que o de qualquer fornecedor de banco de dados vetorial no mercado. O RBAC é separado em duas camadas: as camadas de controle e de dados. Na camada de controle, as funções governam as permissões operacionais para recursos como clusters, projetos, usuários e faturamento. O Zilliz Cloud oferece suporte a quatro funções na camada de controle, sendo administradores da organização, proprietários de projeto e membros do projeto as três funções comumente usadas:
Administrador da Organização: Esta função tem permissões completas de gerenciamento para a organização, incluindo configurações da organização, métodos de pagamento, faturamento, chaves de API, todos os projetos dentro da organização e recursos relacionados.
Proprietário do Projeto: Proprietários de projeto têm permissões completas de gerenciamento para projetos, incluindo configurações do projeto, todos os clusters dentro do projeto, chaves de API e outros recursos relacionados.
Membro do Projeto: Membros do projeto têm permissões de leitura e gravação para todos os clusters dentro do projeto, a capacidade de visualizar detalhes do cluster e gerenciar coleções e índices.
Em contraste, na camada de dados, as funções se concentram em controlar a capacidade de adicionar, excluir, modificar e acessar dados dentro dos clusters. O Zilliz Cloud oferece três funções integradas na camada de dados: Admin, Read-Only e Read-Write, que controlam permissões de leitura e gravação e direitos de gerenciamento para dados do cluster. Além disso, para requisitos de negócios específicos, como permitir que pessoal autorizado acesse dados confidenciais ou usar coleções como unidades de isolamento multilocatário para garantir acesso seguro aos dados, o Zilliz Cloud permite que os usuários criem funções personalizadas. Essas funções personalizadas podem definir permissões a serem mantidas para coleções, partições ou operações específicas, garantindo o princípio de minimizar permissões de dados ao usar o Zilliz Cloud.
Com RBAC granular tanto nas camadas de controle quanto de dados, as empresas podem alcançar controle refinado sobre o acesso aos seus dados, aumentando a segurança e a conformidade, ao mesmo tempo em que facilitam a colaboração entre equipes e garantem que os usuários tenham o nível apropriado de acesso para suas funções e responsabilidades.
Conector Databricks: aproveite o poderoso processamento de dados do Databricks junto com o índice vetorial e a busca do Zilliz Cloud sem necessidade de código personalizado
Recentemente, expandimos nossas capacidades de conectividade e transformação de dados ao introduzir os Conectores Confluent e Airbyte. Nosso compromisso em fornecer soluções prontas para uso para as necessidades de integração de dados dos nossos usuários impulsionou esses lançamentos. Vamos avançar para o nosso próximo marco na criação de uma plataforma de dados não estruturados–o Conector Databricks.
O Conector Databricks oferece uma solução fácil de migração e transformação de dados, simplificando o processo de desenvolvimento para muitos casos de uso de IA. Seja você uma equipe com recursos de pesquisa em ML procurando atualizar modelos de embedding ou um usuário individual querendo fazer upload de registros de data frame diretamente do Spark para o Milvus, este conector oferece a flexibilidade de que você precisa.
Com o Databricks Connector, você pode importar dados para o Zilliz Cloud de duas maneiras: streaming para atualizações em tempo real e em lote para grandes conjuntos de dados. Confira nossos notebooks de exemplo para obter um guia passo a passo sobre como usá-lo de forma eficaz.
Outras atualizações de segurança
O Zilliz Cloud obteve os certificados de conformidade SOC2 Type 2 e ISO27001 nos últimos meses. Essas certificações demonstram nosso compromisso em manter os mais altos padrões de segurança e proteção de dados, para que você possa confiar no Zilliz Cloud para gerenciar seus dados valiosos com segurança, garantindo confidencialidade, integridade e disponibilidade.
Criando aplicações de IA mais robustas com os recursos do Zilliz Cloud
Quer saber mais? Inscreva-se no webinar de lançamento do Zilliz Cloud Q1 ‘24 em 1º de fevereiro. Você aprenderá como o Zilliz Cloud possibilita a transformação de dados não estruturados e aplicações de IA por meio de desempenho e escalabilidade incomparáveis com nosso VP de engenharia.
Pronto para começar? Se você ainda não fez isso, comece gratuitamente com o Zilliz Cloud, sem complicações de instalação e sem precisar de cartão de crédito. Você também pode iniciar seu teste gratuito de 30 dias do plano Standard com US$ 100 em créditos no momento do cadastro. Você pode entrar em contato conosco pelo nosso portal de suporte se encontrar problemas ou tiver dúvidas ao usar o Zilliz Cloud.
Continue lendo
Notion's Vector Search Is Excellent. Their Next Problem Is Harder.
Notion solved vector search scaling in two years. The next bottleneck — offline context engineering, unified data, and the real-time/offline gap — is harder.
Zilliz Cloud Delivers Better Performance and Lower Costs with Arm Neoverse-based AWS Graviton
Zilliz Cloud adopts Arm-based AWS Graviton3 CPUs to cut costs, speed up AI vector search, and power billion-scale RAG and semantic search workloads.
AI Integration in Video Surveillance Tools: Transforming the Industry with Vector Databases
Discover how AI and vector databases are revolutionizing video surveillance with real-time analysis, faster threat detection, and intelligent search capabilities for enhanced security.