Jiang Chen: Por que entrei para a Zilliz
Novos desafios
Ao longo da última década, especializei-me em vários aspectos da infraestrutura de dados, incluindo controle de acesso, privacidade de dados, bancos de dados NoSQL e, mais recentemente, indexação de dados em escala web. Durante a era da web e dos dispositivos móveis, big data surgiu como uma inovação significativa em infraestrutura, com tecnologias como MapReduce, computação distribuída e armazenamento de dados estruturados liderando o caminho. A era da IA exige stacks de tecnologia diferentes, especialmente com a crescente popularidade dos Large Language Models. Embeddings e armazenamentos vetoriais estão no centro das atenções, e também são o foco da Zilliz.
Pouco antes de entrar para a Zilliz, meu foco era indexação de busca no Google. Trabalhei na construção de infraestruturas ultraflexíveis para compreender bilhões de imagens e vídeos na web pública, gerar rótulos estruturados para páginas da web que abrangessem diferentes dados multimídia e transformá-los em índices pesquisáveis. Essas tecnologias estabeleceram a base para inovações de produtos voltadas ao usuário, como a busca de vídeos curtos. No entanto, métodos tradicionais de compreensão de dados não estruturados, como texto, imagens e vídeos, exigiam a geração de muitos rótulos usando vários modelos de machine learning. Esse processo dependia de uma infraestrutura complexa envolvendo inferência de modelos de ML, orquestração de lógica de negócios e algoritmos de recuperação, o que apresentava desafios significativos.
Além disso, a recuperação de conteúdo em busca também enfrentava limitações com sistemas tradicionais baseados em regras (correspondência de palavras-chave com índices invertidos). Tornou-se evidente que a recuperação baseada em embeddings oferecia melhorias poderosas na relevância dos resultados de busca. Embora embedding não seja algo novo para busca e tenha sido usado na busca tradicional na web por anos, adotar a recuperação baseada em embeddings, ou uma abordagem híbrida, para inúmeros novos produtos de busca mostrou-se um desafio significativo, até mesmo para o Google.
Quando me encontrei pela primeira vez com Robert, o líder de produto da Zilliz, fiquei impressionado com a ambição de democratizar as tecnologias de embedding e busca vetorial. Também estou motivado a participar desta fantástica onda de IA.
Capacitando desenvolvedores a liberar o potencial dos dados não estruturados
Apesar de reconhecerem o potencial dos embeddings, muitos desenvolvedores e empresas precisam de mais infraestrutura para organizar dados não estruturados como embeddings vetoriais de forma eficaz. No entanto, na era moderna da IA, acredito firmemente que a infraestrutura nativa de IA é a chave para o futuro dos negócios. Essas infraestruturas utilizam grandes modelos de redes neurais, armazenamento vetorial e sistemas de computação especializados projetados especificamente para eles. Tendo observado a operação de tal infraestrutura em escala global, estou entusiasmado em democratizar essa infraestrutura altamente complexa, permitindo que startups com recursos limitados aproveitem a tecnologia de IA e criem aplicações inovadoras que impulsionem a humanidade adiante.
Pessoas incríveis
Já estive no mundo das startups antes. Tendo vivenciado a montanha-russa de fundar um novo projeto, o esgotamento causado por encontrar um mau ajuste produto-mercado e a busca pela próxima rodada de financiamento, sei firmemente que, ao enfrentar problemas complexos em um contexto incerto, o mais importante é trabalhar com uma equipe de pessoas excelentes em quem você possa confiar.
Ao conhecer a equipe excepcional de Charles, Robert e James, pude perceber imediatamente que eles são empreendedores experientes, plenamente conscientes da incerteza do empreendedorismo e ainda dispostos a se dedicar a ele. Eu sabia que eles eram o grupo perfeito para trabalhar, então decidi me juntar à notável equipe sem hesitar.
Em última análise, foi por isso que me juntei à Zilliz – para navegar pela incerteza; você precisa tanto de uma missão vital quanto de um grupo de pessoas inteligentes e resilientes com quem trabalhar, o que a Zilliz tem, e muito mais, pelo que nos esforçaríamos juntos.
O que mais me empolga aqui na Zilliz
O que mais me empolga agora é o desafio de criar produtos altamente usáveis e práticos que simplifiquem dados não estruturados para desenvolvedores. É um problema complexo, sem uma solução única para todos, exigindo que encontremos um roadmap para o futuro. Na Zilliz, somos livres para fazer o que for certo, um bônus de trabalhar para uma startup. Resolver esse problema exige uma sólida formação em engenharia, profundo insight de produto e empatia pelos desenvolvedores. Minha rotina diária envolve:
Participar de discussões com equipes de vendas e arquitetos de soluções.
Definir detalhes do produto.
Orientar o design técnico.
Fazer revisões de código.
Esse estilo de trabalho é algo de que gosto, e aprendo coisas novas todos os dias.
Junte-se a nós na fronteira das infraestruturas de IA
Aqui na Zilliz, criamos um conjunto de ferramentas e serviços que facilitam o processo de recuperação de informações em dados não estruturados. Temos Towhee, a solução completa de ETL e embeddings para dados não estruturados; Akcio, a implementação open-source de Geração Aumentada por Recuperação; e o banco de dados vetorial que armazena e pesquisa com eficiência embeddings vetoriais.
Se o que descrevi aqui desperta seu interesse, por favor, fale conosco! Temos uma variedade de vagas em funções de engenharia. Se criar infraestruturas para gerenciar e utilizar dados não estruturados de forma eficaz é o que empolga você, não perca a chance de trabalhar conosco. Também temos vagas para funções de marketing e produto; fique à vontade para conferir nossa página de carreiras para saber mais.
Continue lendo
Will Amazon S3 Vectors Kill Vector Databases—or Save Them?
AWS S3 Vectors aims for 90% cost savings for vector storage. But will it kill vectordbs like Milvus? A deep dive into costs, limits, and the future of tiered storage.
Announcing the General Availability of Single Sign-On (SSO) on Zilliz Cloud
SSO is GA on Zilliz Cloud, delivering the enterprise-grade identity management capabilities your teams need to deploy vectorDB with confidence.
Zilliz Cloud Update: Smarter Autoscaling for Cost Savings, Stronger Compliance with Audit Logs, and More
What's new in Zilliz Cloud? Smarter autoscaling with scale-down, audit logs GA, enhanced SSO, and Milvus 2.6 in Private Preview.