Ivy.ai amplia a comunicação impulsionada por GenAI com Zilliz Cloud
Confiabilidade aprimorada
Desde que adotou o Zilliz Cloud, a Ivy.ai não sofreu interrupções nem problemas significativos, garantindo um serviço consistente para seus clientes.
Escalabilidade aprimorada
A capacidade de escalar recursos facilmente apoiou o crescimento da Ivy.ai e sua abordagem de teste gratuito para aquisição de clientes.
Desempenho otimizado
O banco de dados vetorial de alto desempenho da Zilliz Cloud permitiu que a Ivy.ai mantivesse tempos de resposta rápidos, mesmo com seus dados crescendo mais de 200% desde que começaram a usar a Zilliz Cloud.
I was benchmarking different vector databases, and Milvus was at the top among all the popular options on the market.
Saumil Patel
Sobre a Ivy.ai
A Ivy.ai é fruto da criação de uma equipe dedicada a aprimorar a comunicação no ensino superior, na área da saúde e em outros setores públicos. Seu principal produto, IvyQuantum™, lançado em 2023, é um chatbot avançado de IA que vai além de simples perguntas e respostas. Ele oferece:
Recursos omnichannel (web, SMS, voz, WhatsApp, redes sociais)
Suporte de agente ao vivo
Respostas de e-mail geradas por IA
Integrações contínuas para acessar informações específicas de contas e coleta de leads
Além de seus recursos avançados, o que também diferencia a Ivy.ai é seu compromisso com a segurança e a privacidade dos dados, um fator crucial para instituições que lidam com informações sensíveis. Ao aproveitar fontes de dados específicas de cada instituição, a Ivy.ai garante que cada implementação seja adaptada às necessidades exclusivas de seus clientes.
O Desafio: Escalar a GenAI para a Educação
A equipe da Ivy.ai encontrou vários obstáculos ao fazer a transição de sua Ivy 1.0 baseada em recuperação para a IvyQuantum™ mais avançada, impulsionada por IA generativa. A equipe precisava de uma solução que pudesse:
Lidar com bilhões de vetores para seu novo produto
Entregar consultas de alta velocidade para respostas geradas por IA em tempo real
Fornecer desempenho confiável à medida que o volume de dados e os requisitos cresciam
Permitir que a equipe se concentrasse na inovação em vez do gerenciamento de infraestrutura
Em sua busca pela tecnologia certa, a dedicação da Ivy.ai foi inabalável. Eles inicialmente escolheram o Milvus como seu banco de dados vetorial. Saumil Patel, Cientista de Dados Sênior da Ivy.ai, explica: "Eu estava fazendo benchmarking de diferentes bancos de dados vetoriais, e o Milvus estava no topo entre todas as opções populares do mercado." A equipe ficou impressionada com o desempenho do Milvus em consultas por segundo, inserções e recalls — métricas cruciais para sua plataforma de comunicação impulsionada por GenAI. Eles precisavam de uma solução para encontrar os principais resultados do banco de dados vetorial em subsegundos quando os usuários faziam perguntas.
Com o Milvus selecionado, a Ivy.ai tentou auto-hospedá-lo usando Kubernetes no Google Cloud Platform. No entanto, essa abordagem se mostrou desafiadora. Michal Oglodek, CTO da Ivy.ai, relata: "Encontramos problemas significativos com falhas do sistema em produção devido à crescente carga de dados e ao aumento dos requisitos. Reconhecendo a necessidade de uma solução mais sustentável, tomamos a decisão estratégica de negócios de evitar dedicar tempo e recursos extensivos ao gerenciamento do sistema por conta própria. Em vez disso, optamos por uma abordagem mais confiável e escalável."Esses problemas de estabilidade, juntamente com as demandas crescentes de seu negócio em expansão, levaram a Ivy.ai a buscar uma solução gerenciada mais escalável, que pudesse oferecer o desempenho do Milvus sem as dores de cabeça operacionais.
Apresentando o Zilliz Cloud: Uma Solução de Banco de Dados Vetorial Totalmente Gerenciada em Escala
Após uma avaliação minuciosa, a Ivy.ai escolheu o Zilliz Cloud, uma versão totalmente gerenciada do banco de dados vetorial Milvus que eles haviam selecionado inicialmente. Essa decisão foi baseada em vários fatores-chave que se alinhavam perfeitamente às necessidades da Ivy.ai. O Zilliz Cloud forneceu uma solução escalável e de alto desempenho, capaz de lidar com bilhões de vetores, o que era essencial para as aplicações de Retrieval Augmented Generation (RAG) da IvyQuantum™. Ao optar pelo serviço totalmente gerenciado do Zilliz Cloud, a Ivy.ai eliminou a necessidade de lidar com a administração complexa de bancos de dados, permitindo que se concentrassem em seu negócio principal.
Como a lvy.ai usa o Zilliz Cloud para impulsionar seu chatbot
A escalabilidade da solução da Zilliz Cloud foi particularmente atraente. Oglodek explica: "O que queríamos fazer era escalar facilmente e, com o software e o serviço de vocês, poderíamos continuar aumentando nossas capacidades para atender às nossas necessidades." Essa flexibilidade foi crucial para as crescentes demandas de negócios da Ivy.ai. Além disso, o serviço gerenciado fornecido pela Zilliz Cloud resolveu os problemas de estabilidade que a Ivy.ai havia enfrentado com soluções auto-hospedadas, garantindo desempenho confiável.
Patel apreciou particularmente os recursos de monitoramento e análise, afirmando: "Consigo ver exatamente as consultas por segundo e a capacidade total do banco de dados que temos." Esse nível de insight sobre o desempenho do banco de dados provou ser inestimável para otimizar suas operações e planejar o crescimento futuro.
Os Resultados: Uma Base para a Inovação
A implementação da Zilliz Cloud como sua solução de banco de dados vetorial gerou benefícios significativos para a Ivy.ai:
Maior Confiabilidade: Desde a adoção da Zilliz Cloud, a Ivy.ai não teve interrupções ou problemas significativos, garantindo um serviço consistente para seus clientes.
Escalabilidade Aprimorada: A capacidade de escalar recursos facilmente apoiou o crescimento da Ivy.ai e sua abordagem de teste gratuito para aquisição de clientes.
Desempenho Otimizado: O banco de dados vetorial de alto desempenho da Zilliz Cloud libertou a Ivy.ai da preocupação de manter tempos de resposta rápidos, mesmo com seus dados tendo crescido mais de 200% desde que começaram a usar a Zilliz Cloud.
Oglodek resumiu sucintamente sua experiência: "Confiabilidade, escalabilidade e desempenho são excelentes. E o fato de podermos terceirizar toda essa gestão administrativa e não precisarmos nos preocupar com servidores quebrando nos ajuda a alocar recursos no desenvolvimento de produtos e na inovação, o que realmente diferencia nosso negócio".
Olhando para o Futuro
Com uma base estável, escalável e de alto desempenho fornecida pela Zilliz Cloud, a Ivy.ai está bem posicionada para o crescimento futuro possibilitado pela GenAI. Sharon Harrison, SVP de Marketing da Ivy.ai, enfatiza que "a inovação está no centro da nossa empresa", sugerindo vários projetos no horizonte que exigirão suporte contínuo da Zilliz Cloud.
À medida que a GenAI continua transformando o cenário educacional, a Ivy.ai, impulsionada pela solução de banco de dados vetorial da Zilliz Cloud, está na vanguarda, pronta para atender às necessidades em evolução de instituições e estudantes.
Reliability, scalability, and performance are great. The fact that we can outsource all this kind of administration management and don't have to worry about servers breaking helps us put resources into product development and innovation, which truly differentiates our business.
Michal Oglodek