Jiang Chen: Por que entrei para a Zilliz
Novos desafios
Ao longo da última década, especializei-me em vários aspectos da infraestrutura de dados, incluindo controle de acesso, privacidade de dados, bancos de dados NoSQL e, mais recentemente, indexação de dados em escala web. Durante a era da web e dos dispositivos móveis, big data surgiu como uma inovação significativa em infraestrutura, com tecnologias como MapReduce, computação distribuída e armazenamento de dados estruturados liderando o caminho. A era da IA exige stacks de tecnologia diferentes, especialmente com a crescente popularidade dos Large Language Models. Embeddings e armazenamentos vetoriais estão no centro das atenções, e também são o foco da Zilliz.
Pouco antes de entrar para a Zilliz, meu foco era indexação de busca no Google. Trabalhei na construção de infraestruturas ultraflexíveis para compreender bilhões de imagens e vídeos na web pública, gerar rótulos estruturados para páginas da web que abrangessem diferentes dados multimídia e transformá-los em índices pesquisáveis. Essas tecnologias estabeleceram a base para inovações de produtos voltadas ao usuário, como a busca de vídeos curtos. No entanto, métodos tradicionais de compreensão de dados não estruturados, como texto, imagens e vídeos, exigiam a geração de muitos rótulos usando vários modelos de machine learning. Esse processo dependia de uma infraestrutura complexa envolvendo inferência de modelos de ML, orquestração de lógica de negócios e algoritmos de recuperação, o que apresentava desafios significativos.
Além disso, a recuperação de conteúdo em busca também enfrentava limitações com sistemas tradicionais baseados em regras (correspondência de palavras-chave com índices invertidos). Tornou-se evidente que a recuperação baseada em embeddings oferecia melhorias poderosas na relevância dos resultados de busca. Embora embedding não seja algo novo para busca e tenha sido usado na busca tradicional na web por anos, adotar a recuperação baseada em embeddings, ou uma abordagem híbrida, para inúmeros novos produtos de busca mostrou-se um desafio significativo, até mesmo para o Google.
Quando me encontrei pela primeira vez com Robert, o líder de produto da Zilliz, fiquei impressionado com a ambição de democratizar as tecnologias de embedding e busca vetorial. Também estou motivado a participar desta fantástica onda de IA.
Capacitando desenvolvedores a liberar o potencial dos dados não estruturados
Apesar de reconhecerem o potencial dos embeddings, muitos desenvolvedores e empresas precisam de mais infraestrutura para organizar dados não estruturados como embeddings vetoriais de forma eficaz. No entanto, na era moderna da IA, acredito firmemente que a infraestrutura nativa de IA é a chave para o futuro dos negócios. Essas infraestruturas utilizam grandes modelos de redes neurais, armazenamento vetorial e sistemas de computação especializados projetados especificamente para eles. Tendo observado a operação de tal infraestrutura em escala global, estou entusiasmado em democratizar essa infraestrutura altamente complexa, permitindo que startups com recursos limitados aproveitem a tecnologia de IA e criem aplicações inovadoras que impulsionem a humanidade adiante.
Pessoas incríveis
Já estive no mundo das startups antes. Tendo vivenciado a montanha-russa de fundar um novo projeto, o esgotamento causado por encontrar um mau ajuste produto-mercado e a busca pela próxima rodada de financiamento, sei firmemente que, ao enfrentar problemas complexos em um contexto incerto, o mais importante é trabalhar com uma equipe de pessoas excelentes em quem você possa confiar.
Ao conhecer a equipe excepcional de Charles, Robert e James, pude perceber imediatamente que eles são empreendedores experientes, plenamente conscientes da incerteza do empreendedorismo e ainda dispostos a se dedicar a ele. Eu sabia que eles eram o grupo perfeito para trabalhar, então decidi me juntar à notável equipe sem hesitar.
Em última análise, foi por isso que me juntei à Zilliz – para navegar pela incerteza; você precisa tanto de uma missão vital quanto de um grupo de pessoas inteligentes e resilientes com quem trabalhar, o que a Zilliz tem, e muito mais, pelo que nos esforçaríamos juntos.
O que mais me empolga aqui na Zilliz
O que mais me empolga agora é o desafio de criar produtos altamente usáveis e práticos que simplifiquem dados não estruturados para desenvolvedores. É um problema complexo, sem uma solução única para todos, exigindo que encontremos um roadmap para o futuro. Na Zilliz, somos livres para fazer o que for certo, um bônus de trabalhar para uma startup. Resolver esse problema exige uma sólida formação em engenharia, profundo insight de produto e empatia pelos desenvolvedores. Minha rotina diária envolve:
Participar de discussões com equipes de vendas e arquitetos de soluções.
Definir detalhes do produto.
Orientar o design técnico.
Fazer revisões de código.
Esse estilo de trabalho é algo de que gosto, e aprendo coisas novas todos os dias.
Junte-se a nós na fronteira das infraestruturas de IA
Aqui na Zilliz, criamos um conjunto de ferramentas e serviços que facilitam o processo de recuperação de informações em dados não estruturados. Temos Towhee, a solução completa de ETL e embeddings para dados não estruturados; Akcio, a implementação open-source de Geração Aumentada por Recuperação; e o banco de dados vetorial que armazena e pesquisa com eficiência embeddings vetoriais.
Se o que descrevi aqui desperta seu interesse, por favor, fale conosco! Temos uma variedade de vagas em funções de engenharia. Se criar infraestruturas para gerenciar e utilizar dados não estruturados de forma eficaz é o que empolga você, não perca a chance de trabalhar conosco. Também temos vagas para funções de marketing e produto; fique à vontade para conferir nossa página de carreiras para saber mais.
Continue lendo
Introducing Business Critical Plan: Enterprise-Grade Security and Compliance for Mission-Critical AI Applications
Discover Zilliz Cloud’s Business Critical Plan—offering advanced security, compliance, and uptime for mission-critical AI and vector database workloads.
Zilliz Cloud Launches in AWS Australia, Expanding Global Reach to Australia and Neighboring Markets
We're thrilled to announce that Zilliz Cloud is now available in the AWS Sydney, Australia region (ap-southeast-2).
Why Not All VectorDBs Are Agent-Ready
Explore why choosing the right vector database is critical for scaling AI agents, and why traditional solutions fall short in production.