Democratizando Bancos de Dados Vetoriais: Capacitando Acesso e Igualdade
Este post foi originalmente publicado em TheSequence e é republicado aqui com permissão.
O século XXI é todo sobre a democratização da tecnologia. O boom da internet possibilitou a colaboração em larga escala, levando o código aberto a se tornar um padrão típico de adoção de software. À medida que o ritmo e a escala da inovação tecnológica crescem, devemos trabalhar para torná-la mais acessível.
Como engenheiro de software, democratização da tecnologia significa torná-la o mais amplamente disponível possível. Significa usar o que sei para tornar a criação, a adoção e a compreensão dos avanços tecnológicos mais fáceis para os outros. Aqui na Zilliz, sempre estivemos focados em acelerar a adoção de bancos de dados vetoriais, não apenas em aumentar a adoção do projeto de código aberto Milvus.
Neste artigo, vou abordar:
O que democratizar bancos de dados vetoriais significa para devs
Pilares da democratização da tecnologia
Educação sobre bancos de dados vetoriais e ferramentas relacionadas
Aumentar a acessibilidade aos bancos de dados vetoriais
Evangelismo tecnológico
Um resumo da democratização dos bancos de dados vetoriais
O que democratizar bancos de dados vetoriais significa para devs?
Sempre que ouço “democratizar” no contexto de “democratizar a tecnologia XYZ”, penso em expandir o acesso a essa tecnologia. Então, quando se trata de bancos de dados vetoriais, penso em expandir o acesso aos bancos de dados vetoriais. Tradicionalmente, bancos de dados vetoriais só estavam disponíveis para desenvolvedores de software em empresas.
Milvus iniciou o processo de democratização dos bancos de dados vetoriais quando se tornou um projeto open-source da Linux Foundation. Foi um dos primeiros bancos de dados vetoriais disponíveis para desenvolvedores por ser um projeto de código aberto. À medida que o projeto cresceu, cada vez mais desenvolvedores puderam usar, aprender sobre e contribuir para bancos de dados vetoriais.
Pilares da democratização da tecnologia
A democratização da tecnologia vem com desafios específicos — especialmente a democratização de ferramentas complexas como bancos de dados vetoriais. Existem três pilares a considerar quando se trata de democratizar a tecnologia. Eles são educação, aumento da acessibilidade e evangelismo.
Educação sobre bancos de dados vetoriais e ferramentas relacionadas
Educação é o tópico mais crucial que muitas empresas frequentemente entendem errado. Educação é sobre educar sobre seu produto específico, a tecnologia em geral e ferramentas relacionadas. É por isso que aqui na Zilliz criamos conteúdo sobre muitas coisas, não apenas Milvus.
O conteúdo que escrevemos reflete nosso desejo de acelerar a adoção de bancos de dados vetoriais por meio da educação. Portanto, temos conteúdo sobre conceitos essenciais como Hierarchical Navigable Small Worlds (HNSW), quantização escalar e de produto e índices de arquivo invertido.
Além de fornecer recursos para entender os conceitos por trás dos bancos de dados vetoriais, devemos fornecer recursos para ferramentas relacionadas. Por exemplo, a popularidade dos grandes modelos de linguagem (LLMs) introduziu uma gama de novas ferramentas.
Algumas novas ferramentas que ganharam destaque incluem LlamaIndex, Auto-GPT e LangChain. Além disso, alinhados ao nosso objetivo de fornecer recursos educacionais para a comunidade, muitas das nossas peças de conteúdo são enviadas a terceiros, como The Sequence, The New Stack e algumas publicações do Medium.
Aumentar a acessibilidade aos bancos de dados vetoriais
Embora fornecer educação sobre tecnologia seja excelente, isso não é útil a menos que você ofereça maneiras de acessá-la. No nosso caso, tornar o Milvus open source foi o primeiro passo para aumentar o acesso a bancos de dados vetoriais. Indo além de simplesmente ser open source, o projeto Milvus também buscou outros caminhos para aumentar a acessibilidade.
O Milvus também está disponível por meio de imagens Docker com templates para Docker Compose e Helm. Além disso, recentemente o disponibilizamos por meio de pip install como Milvus Lite. O Milvus acumulou mais de 3,5 milhões de downloads no Docker, 18,8 mil estrelas no GitHub e 212 colaboradores.
Além do Milvus, a Zilliz também trabalhou para aumentar a acessibilidade. Inicialmente, a Zilliz fornecia US$ 400 em créditos gratuitos e agora oferece um plano gratuito que permite até meio milhão de vetores! Isso é suficiente para praticamente qualquer desenvolvedor. Com o plano gratuito do Zilliz Cloud, quase qualquer desenvolvedor pode começar a usar bancos de dados vetoriais — gratuitamente.
Evangelização tecnológica
O último pilar a abordar na democratização da tecnologia é evangelizá-la. De que adianta tornar a tecnologia disponível e fornecer educação sobre ela se você não diz às pessoas por que ela é útil? Em termos de acelerar a adoção, a educação explica o como, e o aumento da acessibilidade responde pelo o quê — a evangelização fornece o porquê.
Fazemos evangelização principalmente por meio de conteúdo que mostra o poder dos bancos de dados vetoriais. Você pode ver isso em alguns dos materiais educacionais que forneci acima. Também damos palestras sobre bancos de dados vetoriais. Algumas palestras virtuais e algumas presenciais. Recentemente, dei uma palestra em Seattle sobre o uso de bancos de dados vetoriais como solução para resolver problemas de dados com LLMs.
Resumindo: democratizando bancos de dados vetoriais
Democratizar bancos de dados vetoriais é fundamental porque bancos de dados vetoriais resolvem muitos problemas em dados não estruturados. Anteriormente, eles estavam disponíveis apenas para desenvolvedores em grandes empresas devido à enorme complexidade e escala de um projeto desse tipo. No entanto, a popularidade dos LLMs levou a ideia de bancos de dados vetoriais para o mainstream e deu origem a inúmeros casos de uso que eles não tinham antes. Isso torna a democratização ainda mais essencial.
Na Zilliz, abordamos a democratização com três pilares — educação, acessibilidade e evangelização. A educação é a parte mais crucial desses pilares para nós. Para desenvolvedores, o material educacional fornece o “como” usar bancos de dados vetoriais e ferramentas complementares.
Além disso, sempre trabalhamos para aumentar a acessibilidade e continuamos a fazê-lo. Tornar o software open source foi o primeiro passo. Outros passos para aumentar a acessibilidade incluem fornecer templates e imagens para conteinerização. Recentemente, lançamos o Milvus Lite, um banco de dados vetorial que pode ser executado diretamente no seu Jupyter Notebook.
Por fim, nos engajamos em evangelização técnica para divulgar o uso e o poder dos bancos de dados vetoriais. Fazemos isso por meio de webinars, palestras em eventos da comunidade e presença nas redes sociais.
A Zilliz continua se esforçando para democratizar bancos de dados vetoriais, e isso é empolgante por causa da importância deles. Bancos de dados vetoriais são essenciais para resolver problemas de dados em LLMs e são a melhor solução existente para coisas como busca reversa de imagens, busca semântica de texto e recomendações de produtos. Pessoalmente, estou empolgado por fazer parte de uma equipe que está ajudando a expandir o espaço de bancos de dados vetoriais e ansioso por todas as coisas incríveis que estão sendo construídas para e pela comunidade!
Continue lendo
Stop Building AI Data Infra for the Wrong Stage
Learn how AI data infrastructure should evolve from prototype to enterprise scale, and when Vector Lakebase becomes the right architecture for AI apps.
Vector Lakebase: End the AI Data Silo
Learn how Vector Lakebase unifies vector search, data lakes, and AI data operations so teams can serve RAG and agents without copy-and-sync pipelines.
Balancing Precision and Performance: How Zilliz Cloud's New Parameters Help You Optimize Vector Search
Optimize vector search with Zilliz Cloud’s level and recall features to tune accuracy, balance performance, and power AI applications.