Read AI escala a inteligência conversacional com Milvus para milhões de usuários ativos
Abaixo de 20-50 ms
latência de recuperação para milhões de usuários mensais
Aceleração de 5×
na busca agêntica
Escala de milhões
suporte a locatários ativos
Experiência do usuário aprimorada
ao impulsionar uma mudança da busca reativa para a busca proativa
We've got millions of monthly active users and all of the underlying data when we're trying to go find related conversations, find updates to an action item, find referenced documents...Milvus serves as the central repository and powers our information retrieval among billions of records.
Rob Williams
Resumo Executivo
Read AI precisava de um banco de dados vetorial de alto desempenho para oferecer suporte à recuperação em escala empresarial a partir de fontes de comunicação não estruturadas, incluindo reuniões, chats, e-mails e bases de conhecimento internas. Ao adotar o Milvus como a espinha dorsal de sua infraestrutura de busca semântica, a Read AI conseguiu indexar e consultar embeddings ricos em narrativas em escala, possibilitando recuperação rápida e precisa em bilhões de registros.
Latência de recuperação abaixo de 20-50 ms para milhões de usuários mensais
Altamente escalável para lidar com milhões de tenants ativos
Grandes ganhos de produtividade para desenvolvedores
“Temos milhões de usuários ativos mensais e todos os dados subjacentes quando tentamos encontrar conversas relacionadas, encontrar atualizações de um item de ação, encontrar documentos referenciados... O Milvus serve como o repositório central e impulsiona nossa recuperação de informações entre bilhões de registros.”--Rob Williams, Cofundador e CTO da Read AI
Sobre a Read AI
Read AI é uma empresa líder de IA para produtividade que ajuda milhões de pessoas a passar mais tempo no trabalho que mais importa. Inicialmente focada em reduzir a fadiga de reuniões, a empresa evoluiu para uma plataforma de inteligência full-stack que também oferece próximos passos preditivos, busca empresarial e coaching em tempo real que se integra perfeitamente a ferramentas em calendários (Google Calendar, Outlook 365, Zoom Calendar), CRMs (Salesforce, HubSpot), plataformas de colaboração (Jira, Confluence, Notion), apps de mensagens (Slack, Microsoft Teams), ferramentas de anotações (Google Docs, OneNote), e-mail (Gmail, Outlook) e videoconferência (Zoom, Google Meet, Microsoft Teams). Ela ingere e contextualiza dados dessas fontes, transformando interações passivas em narrativas estruturadas, consultáveis e acionáveis.
Construída com uma mentalidade voltada primeiro para o consumidor, a Read AI dá suporte a milhões de usuários por meio de um modelo de autoatendimento, operando em verdadeira escala de internet, com bilhões de eventos de conversas processados em inúmeras empresas.
O Desafio Técnico
Devido ao seu crescimento vertiginoso, a Read AI enfrentou um desafio fundamental para organizar e recuperar dados de comunicação não estruturados em uma ampla variedade de fontes — de reuniões e chats a atualizações de CRM, calendários, conversas por e-mail e tickets de suporte. Cada fonte carrega sinais valiosos, mas vive em silos, carece de estrutura consistente e é difícil de pesquisar com eficácia. A expectativa: entregar resultados inteligentes e contextuais dentro de 20 minutos após qualquer interação.
Isso exigia ingestão, transformação e indexação de dados quase em tempo real em diversos formatos. Desde reuniões internas bem estruturadas até plataformas esparsas de terceiros como Slack, Gmail e HubSpot. À medida que o uso cresceu, a Read AI precisou oferecer suporte a bilhões de registros em milhões de tenants, milhares de consultas por segundo e latência abaixo de 20 - 50 ms. Soluções anteriores, incluindo armazenamentos criados internamente e outros bancos de dados vetoriais como Pinecone e Faiss, não conseguiram atender a essas demandas devido ao suporte insuficiente a multi-tenancy, capacidades limitadas de filtragem ou falta de responsividade da comunidade.
A Arquitetura da Solução com Milvus
A nova arquitetura da Read AI foi projetada para lidar com recuperação de alta vazão e baixa latência em diversas fontes de comunicação, como Slack, Zoom, e-mail e Salesforce. Essas entradas passam por uma camada de embedding e narração que transforma dados brutos em narrativas estruturadas e representações sensíveis a sentimento. Tudo é armazenado no banco de dados vetorial Milvus, servindo efetivamente como o repositório central das informações.
A Arquitetura da Solução com Milvus
Figura: Como o Mivus dá suporte ao sistema da Read AI
A Read AI usa uma busca vetorial filtrada que combina similaridade vetorial com filtragem baseada em metadados estruturados, por exemplo, restringindo consultas a reuniões individuais, funcionários específicos ou janelas de tempo, permitindo assim uma recuperação refinada como “chamadas de vendas com maior desengajamento” ou “feedback positivo em reuniões individuais.” A filtragem otimizada de metadados do Milvus é crucial para alcançar latência inferior a 20-50 ms nessa escala.
"Milvus nos oferece uma camada de armazenamento ciente da narrativa — não apenas embeddings de texto, mas busca totalmente ciente do contexto." — Rob Williams, Co-Founder and CTO at Read AI
Graças ao suporte nativo a multilocação no Milvus, a Read AI implanta um único cluster Milvus para atender milhões de locatários com eficiência. As consultas são orquestradas por meio de frameworks internos de agentes que analisam a intenção de busca e encaminham solicitações para o Milvus, depois pós-processam os resultados para entrega via interfaces de chat, resumos ou alertas. Essa arquitetura oferece à Read AI a escalabilidade e a flexibilidade para unificar tipos de conteúdo distintos, mantendo velocidade e precisão, que são essenciais para recuperação em tempo real e análise retrospectiva.
Avaliação Técnica & Processo de Decisão
Antes de adotar o Milvus, a equipe da Read AI avaliou várias alternativas. O FAISS foi descartado devido à falta de multilocação integrada e às capacidades limitadas de filtragem. O Pinecone não oferecia a flexibilidade necessária para dar suporte ao padrão de busca e à escala da Read AI. Uma solução totalmente auto-hospedada e interna também foi considerada, mas não conseguia atender aos requisitos de escalabilidade e maturidade do seu caso de uso. O Milvus se destacou com base em vários fatores-chave:
A capacidade de escalar para milhões de usuários e bilhões de registros
Latência consistente inferior a 20-50 ms em grandes coleções vetoriais
Suporte a fluxos de trabalho de busca híbrida
Isolamento no nível do locatário
A experiência do desenvolvedor foi outro fator decisivo, com documentação clara, mantenedores responsivos e suporte prático de engenharia, especialmente durante a prova de conceito. A fase de PoC demonstrou um retorno rápido em cargas de trabalho de teste e forneceu assistência de depuração em tempo real da equipe do Milvus, o que deu à Read AI a confiança para fazer a transição para produção.
Resultados e Benefícios de Escolher o Milvus
Desde a implantação do Milvus e junto ao lançamento pela empresa de sua ferramenta de busca empresarial Search Copilot, a Read AI alcançou uma aceleração de 5× na busca agentiva em diversas fontes de dados, mantendo latência de recuperação consistente em torno de 20- 50 ms, mesmo ao lidar com consultas com filtros complexos. A plataforma integrou suavemente milhões de contas de usuários individuais em um cluster gigante sem interrupção, demonstrando a robustez da arquitetura distribuída e da capacidade de multilocação do Milvus.
O Milvus alimenta uma camada de busca unificada em todos os canais de comunicação—reuniões, chat, e-mail e CRM. O escalonamento elástico simplifica a operação para lidar com coortes empresariais ou picos de tráfego. Recursos como importação em massa proporcionam uma experiência fluida ao integrar grandes quantidades de dados históricos quando novas empresas assinam o serviço.
Mais importante, o Milvus impulsiona uma mudança de busca reativa para proativa: trazendo à tona insights relevantes, itens de ação e riscos antes mesmo de os usuários perguntarem, graças à busca vetorial de baixa latência em contextos dinâmicos e multimodais. Essa capacidade não apenas melhora a experiência do usuário, mas também desbloqueia novas oportunidades de negócio à medida que a Read AI continua focada em expandir a plataforma com avanços contínuos em recomendações preditivas e próximos passos.
"O que queríamos era levar inteligência ao usuário antes mesmo que ele perguntasse. O Milvus foi o que tornou isso viável." —Rob Williams, Co-Founder and CTO at Read AI
Essas conquistas técnicas se traduzem diretamente em valor de negócio: usuários do plano gratuito recebem insights significativos em minutos, impulsionando a retenção, enquanto clientes empresariais se beneficiam de uma recuperação de conhecimento mais profunda e de contexto de longo prazo, aumentando a confiança do usuário e apoiando oportunidades de upsell premium.
Insights para Desenvolvedores e Engenharia
Lições da implementação:
A anotação estruturada pode potencializar resultados downstream mais ricos de LLMs
A busca vetorial precisa manter sua velocidade, mesmo com filtragem por metadados estruturados, para acompanhar a experiência do usuário na busca
O isolamento multi-tenant e o escalonamento dinâmico são inegociáveis em escala de consumidor
A equipe realiza experimentos contínuos, acompanhando o desempenho das consultas, a satisfação dos usuários e métricas comportamentais para refinar continuamente como os agentes pesquisam, filtram e classificam os resultados.
A Read AI processa dados conversacionais não apenas com modelos de embeddings, mas também com uma camada única de narração. Essa abstração semântica vai além das transcrições para capturar tom, intenção e eventos-chave, como progressão de negócios ou queda de engajamento. Como resultado, os usuários podem pesquisar narrativas em linguagem natural, como "quem estava desengajado durante a demo", em vez de apenas corresponder palavras-chave.
Roadmap
Olhando para o futuro, a Read AI está focada em melhorar como equilibra cargas de trabalho em tempo real e offline, com planos para construir uma orquestração mais dinâmica entre dados de streaming ao vivo e armazenamento de longo prazo. Eles estão explorando o uso do próximo Vector Lake da Milvus para reduzir os custos de busca, deslocando consultas offline com expectativas de latência mais flexíveis para uma camada em estilo warehouse apoiada por armazenamento de objetos.
Outra área-chave de desenvolvimento é a detecção automatizada de lacunas de conhecimento — identificando quando informações críticas estão ausentes ou desconectadas — e trazendo insights proativamente aos usuários antes que eles perguntem. Todas essas melhorias apoiam a visão de longo prazo da Read AI: construir um “action engine” para a empresa — uma plataforma baseada em IA, sempre ativa e consciente de contexto, que capacita de forma inteligente os trabalhadores do conhecimento em todos os canais de comunicação.
Ao armazenar o contexto conversacional e insights históricos na Milvus, a Read AI amplia a disponibilidade do conhecimento institucional, trazendo à tona informações críticas mesmo quando o participante original está offline ou não está mais na empresa.
Conclusão
A jornada da Read AI de uma ferramenta de análise de reuniões para uma plataforma de inteligência em larga escala para as massas exigiu uma infraestrutura capaz de lidar com escala massiva, dados heterogêneos e demandas complexas de consultas em tempo real. A Milvus provou ser a escolha certa — não apenas por seu desempenho bruto e escalabilidade, mas por sua flexibilidade em dar suporte a embeddings anotados, filtragem de metadados e isolamento multi-tenant.
Com a Milvus como base de sua infraestrutura de busca vetorial, a Read AI entrega resultados e recomendações rápidos, confiáveis e profundamente contextuais a milhões de usuários. À medida que expandem rumo à construção de um action engine inteligente e sempre ativo para a empresa, a Milvus continua a apoiar sua necessidade de eficiência de custos, flexibilidade arquitetônica e escala à prova de futuro, provando que um banco de dados vetorial bem projetado é mais do que apenas armazenamento; é a espinha dorsal da compreensão moderna da informação.
What we wanted was to push intelligence to the user before they even asked. Milvus is what made that viable.
Rob Williams