A Zilliz participou do VLDB Workshop 2021
Quais são os principais avanços no setor de bancos de dados em 2021?
Em agosto, a Zilliz foi convidada para o VLDB Workshop 2021 para compartilhar seus mais recentes progressos e conquistas de pesquisa na aplicação de métodos de machine learning a sistemas de bancos de dados, juntamente com a Harvard University, Carnegie Mellon University, Tsinghua University, Microsoft e muitas outras organizações. O pesquisador sênior da Zilliz, Dr. Xiaomeng Yi, apresentou o contexto de desenvolvimento, as ideias de design, os desafios e as inovações tecnológicas durante o desenvolvimento do Milvus, um banco de dados vetorial de código aberto.
VLDB, SIGMOD e ICDE são conhecidas como as três conferências mais prestigiadas na área de bancos de dados. Recentemente, o resultado de pesquisa da equipe de pesquisa da Zilliz, Milvus: A Purpose Built Vector Data Management System, foi selecionado pela SIGMOD e incluído como um dos 21 artigos deste ano devido à excelente funcionalidade subjacente e à aplicação perfeita em cenários de negócios do Milvus.
Todos os dias, o mundo produz uma enorme quantidade de dados, dos quais mais de 80% são dados não estruturados difíceis de processar. Enquanto os bancos de dados tradicionais só conseguem armazenar dados estruturados, a equipe de engenharia do Milvus propôs uma hipótese: todos os dados podem ser representados uniformemente por vetores no nível semântico, independentemente dos tipos de dados. O Dr. Yi observou que, se o modelo de rede neural de IA for usado para extrair a semântica dos dados e apresentá-los uniformemente como vetores, a lógica de processamento de muitos dados poderá ser executada diretamente no nível dos vetores.
O Milvus foi projetado especificamente para análise e recuperação de enormes quantidades de vetores de características. Ele fornece uma estrutura completa para atualização, indexação e busca por similaridade de dados vetoriais, que não apenas pode ser realizada em tempo real em dados em streaming, mas também atende aos diversos requisitos de busca em cenários de negócios reais. Até agora, o Milvus lançou duas versões: 1.0 e 2.0. O código-fonte do Milvus é completamente open source no GitHub e tem sido amplamente usado nos campos de fronteira da inteligência artificial. Testado por 1.000 usuários ao redor do mundo, seu desempenho supera amplamente os produtos concorrentes.
VLDB
No compartilhamento, o Dr. Yi apresentou o conceito de design do Milvus 2.0: cloud-native, log-as-data e processamento unificado em lote e streaming. Com base em seu antecessor, o Milvus 2.0 oferece aos usuários uma experiência de busca inteligente, estável e fluida.
Diante dos dois principais desafios de seleção de índices e ajuste de dados no desenvolvimento de bancos de dados, o Dr. Yi acredita que a IA pode abrir portas para as melhores soluções. Por exemplo, uma nova configuração pode primeiro ser testada e avaliada em um pequeno conjunto de dados e, depois, transferida para um grande conjunto de dados. Use machine learning para analisar o conjunto de dados existente e orientar a configuração do novo conjunto de dados, a fim de alcançar um desempenho melhor do que o do algoritmo BOHB atual.
Dr. Xiaomeng Yi (Ph.D. em Arquitetura de Computadores, Huazhong University of Science and Technology), Pesquisador Sênior e líder da equipe de Pesquisa da Zilliz. Sua pesquisa concentra-se em gerenciamento de dados de alta dimensão, recuperação de informações em larga escala e alocação de recursos em sistemas distribuídos. Os trabalhos de pesquisa do Dr. Yi foram publicados em periódicos de destaque e conferências internacionais, incluindo IEEE Network Magazine, IEEE/ACM TON, ACM SIGMOD, IEEE ICDCS e ACM TOMPECS.
Continue lendo
Build Multimodal Search for 3D Assets with Tripo and Zilliz Cloud
Generate 3D assets with Tripo, then search them by text, image, and metadata with multimodal embeddings and Zilliz Cloud.
Zilliz Cloud Just Landed in Claude Code
The Zilliz Cloud Plugin brings the full power of Zilliz Cloud directly into your Claude Code terminal as natural-language conversations.
Will Amazon S3 Vectors Kill Vector Databases—or Save Them?
AWS S3 Vectors aims for 90% cost savings for vector storage. But will it kill vectordbs like Milvus? A deep dive into costs, limits, and the future of tiered storage.