Frank Liu: Por que me juntei a uma empresa de banco de dados vetorial
"Modelos de machine learning são como uma linguagem para computadores, e embeddings são as palavras." Costumo usar essa analogia para descrever modelos de machine learning (ML) e seus embeddings correspondentes, seja em uma conversa individual ou durante uma apresentação keynote. Trabalho em e ao redor de machine learning (principalmente no subcampo de computer vision) há quase uma década desde que me formei. Essa analogia é uma forma sucinta de explicar a importância dos embeddings para um público mais amplo.
Assim como o cérebro humano tem uma região dedicada às memórias e emoções (o hipocampo), as máquinas também precisam de uma solução permanente para armazenar e indexar as palavras e pensamentos de uma máquina. Essa área é onde entra o banco de dados vetorial - é um hipocampo para máquinas. É exatamente isso que estamos construindo na Zilliz.
A missão da Zilliz não teria ressoado comigo se eu não entendesse o poder dos embeddings. Neste post do blog, vou conduzir você pela minha jornada nesse espaço e mostrar como acabei na Zilliz.
Uma introdução rápida aos embeddings
Durante décadas, tentamos "ensinar" os computadores a entender o mundo como nós entendemos. As primeiras tentativas de criar chatbots, por exemplo, eram centradas em reconhecer palavras-chave e frases, criando a ilusão de compreensão geral. Até recentemente, fizemos um progresso incrível em direção a um chatbot de uso geral com LLMs como Claude, Bard e ChatGPT, dando origem à possibilidade de "agentes" inteligentes que podem planejar e executar tarefas complexas. Em sua essência, esses chatbots são redes neurais especializadas - modelos de ML treinados com uma das muitas variações de descida de gradiente estocástica. Se você não conhece redes neurais, pode pensar nelas como grandes modelos computacionais que usam "camadas" sucessivas para construir representações poderosas que são impossíveis com algoritmos feitos manualmente.
No núcleo de todos os modelos de ML estão conceitos conhecidos como embeddings, que são vetores de alta dimensão. Eles oferecem uma maneira abstrata, mas convincente, de representar dados de entrada no modelo. Esses embeddings têm propriedades únicas, mas não vou abordá-las neste post. Se você estiver interessado em aprender mais, pode ler meu post sobre busca vetorial, que cobre a maior parte dos fundamentos.
Meus (muitos) encontros com a busca vetorial
Meu primeiro contato com o potencial dos embeddings foi em 2014, quando comecei a trabalhar com redes neurais no Yahoo. Na época, machine learning ainda era o "velho oeste", e não havia ferramentas disponíveis para redes neurais. Plataformas de orquestração baseadas em contêineres estavam apenas começando a ganhar popularidade (a primeira versão do Docker foi lançada em 2013). Foi uma época incrivelmente empolgante para estar envolvido com computer vision e machine learning.
Como parte dos nossos esforços para aprimorar as plataformas e serviços do Yahoo com recursos de machine learning, nos tornamos um dos primeiros adotantes da busca vetorial. Essa decisão resultou em um projeto de meses para levar busca semântica em larga escala ao Flickr, um produto que o Yahoo possuía naquela época. Embora eu não estivesse diretamente envolvido nesse projeto, acompanhei-o de perto. Uma iteração inicial dessa busca vetorial foi incorporada ao Vespa, outro participante no espaço de bancos de dados vetoriais.
Por volta da mesma época, muitas grandes corporações começaram a perceber o potencial da busca vetorial, especialmente para aplicações em computer vision, como reconhecimento de imagens. Embora eu apreciasse o poder das redes neurais e das representações por embeddings, eu tinha vontade de trabalhar mais com hardware, já que estudei Engenharia Elétrica na faculdade. Como resultado, deixei esse campo e fundei uma empresa de localização indoor com sede em Xangai. Ao longo dos 2-3 anos seguintes, aprendi uma grande lição - começar uma empresa de hardware é desafiador.
Em 2019, fizemos a transição para o uso de machine learning e dados em streaming de unidades de medição inercial (IMUs). Os embeddings desempenharam um papel crucial em nosso sucesso, e conquistamos contratos para implantar nossa solução para diversos clientes, incluindo muitas empresas da Fortune 500. Continuei trabalhando na startup por mais dois anos, até finalmente atingirmos o ponto de equilíbrio. Nesse momento, decidi que era hora de uma nova aventura.
Avançando para 2021, tive a oportunidade de me reunir com Charles (nosso CEO) e Robert (Head of Product). Ao longo dos anos, embeddings e busca vetorial se tornaram centrais para minha identidade e meu sucesso dentro do espaço mais amplo de ML. Portanto, a missão da Zilliz imediatamente ressoou comigo. Depois de analisar o espaço mais amplo de bancos de dados vetoriais, fiquei surpreso ao ver que o mercado carece de uma solução de busca vetorial acessível e escalável, apesar de ela ser uma ferramenta bem conhecida e poderosa. A capacidade dos bancos de dados vetoriais de servir como a solução de armazenamento de fato na era da AI/ML ficou clara para mim. Então, dei esse salto para cá.
Democratizando a infraestrutura de AI empresarial
Na Zilliz, encontramos alguns desafios ao adotar bancos de dados vetoriais escaláveis e nativos da nuvem. Por mais poderosos que os embeddings possam ser, engenheiros de ML (eu incluído) muitas vezes subestimam a importância da infraestrutura e das ferramentas. Somos builders por natureza e quase sempre preferimos passar o tempo preparando os dados de treinamento ou aperfeiçoando a arquitetura do modelo, em vez de nos preocuparmos com como implantar uma aplicação em produção. No campo dos embeddings, a Zilliz está firmemente situada no centro de um esforço mais amplo para democratizar a infraestrutura de AI empresarial.
Venha se juntar a nós!
Se esta mensagem ressoa com você, por favor, avise-nos! Temos uma variedade de vagas em GTM, produto e engenharia. Se você também é apaixonado por sistemas de recomendação, busca semântica e por tornar os computadores mais "humanos" em geral, fique à vontade para conferir nossa página de carreiras.
Continue lendo
Zilliz Cloud BYOC Now Available Across AWS, GCP, and Azure
Zilliz Cloud BYOC is now generally available on all three major clouds. Deploy fully managed vector search in your own AWS, GCP, or Azure account — your data never leaves your VPC.
Will Amazon S3 Vectors Kill Vector Databases—or Save Them?
AWS S3 Vectors aims for 90% cost savings for vector storage. But will it kill vectordbs like Milvus? A deep dive into costs, limits, and the future of tiered storage.
Vector Databases vs. Document Databases
Use a vector database for similarity search and AI-powered applications; use a document database for flexible schema and JSON-like data storage.