Ivy.ai escala la comunicación impulsada por GenAI con Zilliz Cloud
Fiabilidad mejorada
Desde que adoptó Zilliz Cloud, Ivy.ai no ha experimentado interrupciones ni problemas significativos, lo que garantiza un servicio constante para sus clientes.
Escalabilidad mejorada
La capacidad de escalar recursos fácilmente ha respaldado el crecimiento de Ivy.ai y su enfoque de prueba gratuita para la adquisición de clientes.
Rendimiento optimizado
La base de datos vectorial de alto rendimiento de Zilliz Cloud ha permitido a Ivy.ai mantener tiempos de respuesta rápidos, incluso cuando sus datos han crecido más de un 200% desde que empezaron a usar Zilliz Cloud.
I was benchmarking different vector databases, and Milvus was at the top among all the popular options on the market.
Saumil Patel
Acerca de Ivy.ai
Ivy.ai es la creación de un equipo dedicado a mejorar la comunicación en la educación superior, la atención médica y otros sectores públicos. Su producto insignia, IvyQuantum™, lanzado en 2023, es un chatbot de IA avanzado que va más allá de simples preguntas y respuestas. Ofrece:
Capacidades omnicanal (web, SMS, voz, WhatsApp, redes sociales)
Soporte de agentes en vivo
Respuestas de correo electrónico generadas por IA
Integraciones fluidas para acceder a información específica de cuentas y recopilación de clientes potenciales
Más allá de sus amplias capacidades, lo que también distingue a Ivy.ai es su compromiso con la seguridad y la privacidad de los datos, un factor crucial para las instituciones que manejan información confidencial. Al aprovechar fuentes de datos específicas de cada institución, Ivy.ai garantiza que cada implementación se adapte a las necesidades únicas de sus clientes.
El desafío: Escalar GenAI para la educación
El equipo de Ivy.ai encontró varios obstáculos al pasar de su Ivy 1.0 basado en recuperación al IvyQuantum™ más avanzado, impulsado por IA generativa. El equipo necesitaba una solución que pudiera:
Manejar miles de millones de vectores para su nuevo producto
Ofrecer consultas de alta velocidad para respuestas generadas por IA en tiempo real
Proporcionar un rendimiento fiable a medida que crecieran el volumen de datos y los requisitos
Permitir que el equipo se centrara en la innovación en lugar de la gestión de la infraestructura
En su búsqueda de la tecnología adecuada, la dedicación de Ivy.ai fue inquebrantable. Inicialmente eligieron Milvus como su base de datos vectorial. Saumil Patel, el Senior Data Scientist de Ivy.ai, explica: "Estaba evaluando comparativamente diferentes bases de datos vectoriales, y Milvus estaba a la cabeza entre todas las opciones populares del mercado." El equipo quedó impresionado por el rendimiento de Milvus en consultas por segundo, inserciones y recalls, métricas cruciales para su plataforma de comunicación impulsada por GenAI. Necesitaban una solución para encontrar los principales resultados de la base de datos vectorial en menos de un segundo cuando los usuarios hacían preguntas.
Con Milvus seleccionado, Ivy.ai intentó autoalojarlo usando Kubernetes en Google Cloud Platform. Sin embargo, este enfoque resultó desafiante. Michal Oglodek, el CTO de Ivy.ai, relata: "Encontramos problemas significativos con fallos del sistema en producción debido a la creciente carga de datos y al aumento de los requisitos. Al reconocer la necesidad de una solución más sostenible, tomamos la decisión empresarial estratégica de evitar dedicar una gran cantidad de tiempo y recursos a gestionar el sistema nosotros mismos. En su lugar, optamos por un enfoque más fiable y escalable."Estos problemas de estabilidad, junto con las crecientes exigencias de su negocio en expansión, llevaron a Ivy.ai a buscar una solución gestionada y más escalable que pudiera ofrecer el rendimiento de Milvus sin los dolores de cabeza operativos.
Entra Zilliz Cloud: Una solución de base de datos vectorial totalmente gestionada a escala
Después de una evaluación exhaustiva, Ivy.ai eligió Zilliz Cloud, una versión totalmente gestionada de la base de datos vectorial Milvus que seleccionaron inicialmente. Esta decisión se basó en varios factores clave que se alineaban perfectamente con las necesidades de Ivy.ai. Zilliz Cloud proporcionó una solución escalable y de alto rendimiento capaz de manejar miles de millones de vectores, lo cual era esencial para las aplicaciones de Retrieval Augmented Generation (RAG) de IvyQuantum™. Al optar por el servicio totalmente gestionado de Zilliz Cloud, Ivy.ai eliminó la necesidad de encargarse de la compleja administración de bases de datos, lo que les permitió centrarse en su negocio principal.
Cómo lvy.ai usa Zilliz Cloud para impulsar su chatbot
La escalabilidad de la solución de Zilliz Cloud resultó especialmente atractiva. Oglodek explica: "Lo que queríamos hacer era escalar fácilmente, y con su software y servicio, podíamos seguir aumentando nuestras capacidades para adaptarlas a nuestras necesidades." Esta flexibilidad fue crucial para las crecientes demandas comerciales de Ivy.ai. Además, el servicio gestionado proporcionado por Zilliz Cloud resolvió los problemas de estabilidad que Ivy.ai había experimentado con soluciones autogestionadas, garantizando un rendimiento fiable.
Patel valoró especialmente las capacidades de monitoreo y analítica, afirmando: "Puedo ver exactamente las consultas por segundo y la capacidad total de la base de datos que tenemos." Este nivel de visibilidad sobre el rendimiento de su base de datos resultó invaluable para optimizar sus operaciones y planificar el crecimiento futuro.
Los resultados: una base para la innovación
Implementar Zilliz Cloud como su solución de base de datos vectorial ha generado beneficios significativos para Ivy.ai:
Fiabilidad mejorada: Desde que adoptó Zilliz Cloud, Ivy.ai no ha experimentado interrupciones ni problemas significativos, garantizando un servicio constante para sus clientes.
Escalabilidad mejorada: La capacidad de escalar recursos fácilmente ha respaldado el crecimiento de Ivy.ai y su enfoque de prueba gratuita para la adquisición de clientes.
Rendimiento optimizado: La base de datos vectorial de alto rendimiento de Zilliz Cloud ha liberado a Ivy.ai de la preocupación de mantener tiempos de respuesta rápidos, incluso cuando sus datos han crecido más de un 200% desde que empezaron a usar Zilliz Cloud.
Oglodek resumió sucintamente su experiencia: "La fiabilidad, la escalabilidad y el rendimiento son excelentes. Y el hecho de que podamos externalizar toda esta gestión administrativa y no tengamos que preocuparnos por que los servidores fallen nos ayuda a destinar recursos al desarrollo de productos y la innovación, lo que realmente diferencia a nuestro negocio".
Mirando hacia el futuro
Con una base estable, escalable y de alto rendimiento proporcionada por Zilliz Cloud, Ivy.ai está bien posicionada para el crecimiento futuro impulsado por GenAI. Sharon Harrison, la SVP de Marketing de Ivy.ai, enfatiza que "la innovación está en el núcleo de nuestra empresa", insinuando varios proyectos en el horizonte que requerirán el apoyo continuo de Zilliz Cloud.
A medida que GenAI continúa transformando el panorama educativo, Ivy.ai, impulsada por la solución de base de datos vectorial de Zilliz Cloud, está a la vanguardia, lista para satisfacer las necesidades cambiantes de instituciones y estudiantes por igual.
Reliability, scalability, and performance are great. The fact that we can outsource all this kind of administration management and don't have to worry about servers breaking helps us put resources into product development and innovation, which truly differentiates our business.
Michal Oglodek