Ivy.ai fait évoluer la communication propulsée par la GenAI avec Zilliz Cloud
Fiabilité améliorée
Depuis l’adoption de Zilliz Cloud, Ivy.ai n’a connu aucune panne ni aucun problème majeur, garantissant un service constant à ses clients.
Évolutivité améliorée
La capacité à faire évoluer facilement les ressources a soutenu la croissance d’Ivy.ai et son approche d’essai gratuit pour l’acquisition de clients.
Performances optimisées
La base de données vectorielle haute performance de Zilliz Cloud a permis à Ivy.ai de maintenir des temps de réponse rapides, même alors que leurs données ont augmenté de plus de 200 % depuis qu’ils ont commencé à utiliser Zilliz Cloud.
I was benchmarking different vector databases, and Milvus was at the top among all the popular options on the market.
Saumil Patel
À propos d’Ivy.ai
Ivy.ai est le fruit du travail d’une équipe déterminée à améliorer la communication dans l’enseignement supérieur, la santé et d’autres secteurs publics. Leur produit phare, IvyQuantum™, lancé en 2023, est un chatbot d’IA avancé qui va au-delà de simples questions-réponses. Il offre :
Des capacités omnicanales (web, SMS, voix, WhatsApp, réseaux sociaux)
Une assistance par agent en direct
Des réponses aux e-mails générées par l’IA
Des intégrations fluides pour accéder à des informations propres aux comptes et collecter des prospects
Au-delà de ses riches fonctionnalités, ce qui distingue également Ivy.ai, c’est son engagement en matière de sécurité et de confidentialité des données, un facteur crucial pour les institutions qui traitent des informations sensibles. En exploitant des sources de données propres à chaque institution, Ivy.ai garantit que chaque implémentation est adaptée aux besoins uniques de ses clients.
Le défi : déployer la GenAI à grande échelle pour l’éducation
L’équipe d’Ivy.ai a rencontré plusieurs obstacles lors de sa transition de son système Ivy 1.0 basé sur la récupération vers IvyQuantum™, plus avancé et alimenté par l’IA générative. L’équipe avait besoin d’une solution capable de :
Gérer des milliards de vecteurs pour leur nouveau produit
Fournir des requêtes à grande vitesse pour des réponses générées par l’IA en temps réel
Offrir des performances fiables à mesure que le volume de données et les exigences augmentaient
Permettre à l’équipe de se concentrer sur l’innovation plutôt que sur la gestion de l’infrastructure
Dans sa quête de la bonne technologie, l’engagement d’Ivy.ai était inébranlable. Ils ont d’abord choisi Milvus comme base de données vectorielle. Saumil Patel, Senior Data Scientist chez Ivy.ai, explique : « Je comparais différentes bases de données vectorielles, et Milvus arrivait en tête parmi toutes les options populaires du marché. » L’équipe a été impressionnée par les performances de Milvus en termes de requêtes par seconde, d’insertions et de rappels — des métriques cruciales pour leur plateforme de communication alimentée par la GenAI. Ils avaient besoin d’une solution pour trouver les meilleurs résultats dans la base de données vectorielle en moins d’une seconde lorsque les utilisateurs posaient des questions.
Une fois Milvus sélectionné, Ivy.ai a tenté de l’auto-héberger avec Kubernetes sur Google Cloud Platform. Cependant, cette approche s’est révélée difficile. Michal Oglodek, CTO d’Ivy.ai, raconte : « Nous avons rencontré des problèmes importants, le système échouant en production en raison de la charge de données croissante et de l’augmentation des exigences. Conscients de la nécessité d’une solution plus durable, nous avons pris la décision commerciale stratégique d’éviter de consacrer énormément de temps et de ressources à gérer le système nous-mêmes. À la place, nous avons opté pour une approche plus fiable et plus évolutive. »Ces problèmes de stabilité, combinés aux exigences croissantes de leur entreprise en pleine expansion, ont conduit Ivy.ai à rechercher une solution gérée plus évolutive, capable d’offrir les performances de Milvus sans les difficultés opérationnelles.
Découvrez Zilliz Cloud : une solution de base de données vectorielle entièrement gérée à grande échelle
Après une évaluation approfondie, Ivy.ai a choisi Zilliz Cloud, une version entièrement gérée de la base de données vectorielle Milvus qu’ils avaient initialement sélectionnée. Cette décision reposait sur plusieurs facteurs clés qui correspondaient parfaitement aux besoins d’Ivy.ai. Zilliz Cloud a fourni une solution hautes performances et évolutive, capable de gérer des milliards de vecteurs, ce qui était essentiel pour les applications de Retrieval Augmented Generation (RAG) d’IvyQuantum™. En optant pour le service entièrement géré de Zilliz Cloud, Ivy.ai a éliminé la nécessité de gérer une administration de base de données complexe, leur permettant de se concentrer sur leur cœur de métier.
Comment lvy.ai utilise Zilliz Cloud pour alimenter son chatbot
L’évolutivité de la solution de Zilliz Cloud était particulièrement séduisante. Oglodek explique : « Ce que nous voulions faire, c’était évoluer facilement, et avec votre logiciel et votre service, nous pouvions continuer à accroître nos capacités pour répondre à nos besoins. » Cette flexibilité était cruciale pour répondre aux demandes croissantes de l’activité d’Ivy.ai. De plus, le service géré fourni par Zilliz Cloud a résolu les problèmes de stabilité qu’Ivy.ai avait rencontrés avec des solutions auto-hébergées, garantissant des performances fiables.
Patel a particulièrement apprécié les capacités de surveillance et d’analyse, déclarant : « Je peux voir exactement les requêtes par seconde et la capacité totale de la base de données dont nous disposons. » Ce niveau de visibilité sur les performances de leur base de données s’est révélé inestimable pour optimiser leurs opérations et planifier leur croissance future.
Les résultats : une base pour l’innovation
La mise en œuvre de Zilliz Cloud comme solution de base de données vectorielle a apporté des avantages significatifs à Ivy.ai :
Fiabilité améliorée : Depuis l’adoption de Zilliz Cloud, Ivy.ai n’a connu aucune panne ni aucun problème majeur, garantissant un service constant à ses clients.
Évolutivité renforcée : La capacité à faire évoluer facilement les ressources a soutenu la croissance d’Ivy.ai et son approche d’essai gratuit pour l’acquisition de clients.
Performances optimisées : La base de données vectorielle haute performance de Zilliz Cloud a libéré Ivy.ai de la préoccupation de maintenir des temps de réponse rapides, même si ses données ont augmenté de plus de 200 % depuis qu’elle a commencé à utiliser Zilliz Cloud.
Oglodek a résumé succinctement leur expérience : « La fiabilité, l’évolutivité et les performances sont excellentes. Et le fait que nous puissions externaliser toute cette gestion administrative et ne pas avoir à nous soucier des serveurs qui tombent en panne nous aide à consacrer des ressources au développement de produits et à l’innovation, ce qui différencie véritablement notre entreprise ».
Perspectives d’avenir
Grâce à une base stable, évolutive et haute performance fournie par Zilliz Cloud, Ivy.ai est bien positionnée pour une croissance future rendue possible par GenAI. Sharon Harrison, la SVP of Marketing d’Ivy.ai, souligne que « l’innovation est au cœur de notre entreprise », évoquant plusieurs projets à l’horizon qui nécessiteront le soutien continu de Zilliz Cloud.
Alors que GenAI continue de transformer le paysage de l’éducation, Ivy.ai, propulsée par la solution de base de données vectorielle de Zilliz Cloud, est à l’avant-garde, prête à répondre aux besoins évolutifs des établissements et des étudiants.
Reliability, scalability, and performance are great. The fact that we can outsource all this kind of administration management and don't have to worry about servers breaking helps us put resources into product development and innovation, which truly differentiates our business.
Michal Oglodek