Ivy.ai skaliert GenAI-gestützte Kommunikation mit Zilliz Cloud
Verbesserte Zuverlässigkeit
Seit der Einführung von Zilliz Cloud hat Ivy.ai keine Ausfälle oder nennenswerten Probleme erlebt und gewährleistet so einen konstanten Service für seine Kunden.
Verbesserte Skalierbarkeit
Die Möglichkeit, Ressourcen einfach zu skalieren, hat das Wachstum von Ivy.ai und seinen kostenlosen Testansatz zur Kundengewinnung unterstützt.
Optimierte Leistung
Die hochleistungsfähige Vektordatenbank von Zilliz Cloud hat es Ivy.ai ermöglicht, schnelle Antwortzeiten beizubehalten, selbst als ihre Daten seit Beginn der Nutzung von Zilliz Cloud um über 200 % gewachsen sind.
I was benchmarking different vector databases, and Milvus was at the top among all the popular options on the market.
Saumil Patel
Über Ivy.ai
Ivy.ai ist das geistige Produkt eines Teams, das sich der Verbesserung der Kommunikation im Hochschulwesen, Gesundheitswesen und anderen öffentlichen Sektoren verschrieben hat. Ihr Vorzeigeprodukt, IvyQuantum™, das 2023 veröffentlicht wurde, ist ein fortschrittlicher KI-Chatbot, der über einfache Fragen und Antworten hinausgeht. Es bietet:
Omnichannel-Funktionen (Web, SMS, Sprache, WhatsApp, soziale Medien)
Unterstützung durch Live-Agenten
KI-generierte E-Mail-Antworten
Nahtlose Integrationen für den Zugriff auf kontospezifische Informationen und die Lead-Erfassung
Über seine umfangreichen Funktionen hinaus zeichnet sich Ivy.ai auch durch sein Engagement für Datensicherheit und Datenschutz aus, ein entscheidender Faktor für Institutionen, die mit sensiblen Informationen umgehen. Durch die Nutzung institutionsspezifischer Datenquellen stellt Ivy.ai sicher, dass jede Implementierung auf die einzigartigen Bedürfnisse seiner Kunden zugeschnitten ist.
Die Herausforderung: GenAI für Bildung skalieren
Das Team von Ivy.ai stieß auf mehrere Hürden, als es von seinem retrieval-basierten Ivy 1.0 zum fortschrittlicheren, generativen KI-gestützten IvyQuantum™ überging. Das Team benötigte eine Lösung, die:
Milliarden von Vektoren für ihr neues Produkt verarbeiten konnte
Hochgeschwindigkeitsabfragen für in Echtzeit KI-generierte Antworten liefern konnte
Zuverlässige Leistung bot, während Datenvolumen und Anforderungen wuchsen
Dem Team ermöglichte, sich auf Innovation statt auf Infrastrukturmanagement zu konzentrieren
Auf der Suche nach der richtigen Technologie war Ivy.ai in seinem Engagement unerschütterlich. Sie entschieden sich zunächst für Milvus als ihre Vektordatenbank. Saumil Patel, Senior Data Scientist bei Ivy.ai, erklärt: „Ich habe verschiedene Vektordatenbanken gebenchmarkt, und Milvus lag unter allen beliebten Optionen auf dem Markt an der Spitze.“ Das Team war beeindruckt von der Leistung von Milvus bei Abfragen pro Sekunde, Einfügungen und Recalls—entscheidende Kennzahlen für ihre GenAI-gestützte Kommunikationsplattform. Sie benötigten eine Lösung, um die besten Treffer aus der Vektordatenbank innerhalb von Sekundenbruchteilen zu finden, wenn Nutzer Fragen stellten.
Nachdem Milvus ausgewählt war, versuchte Ivy.ai, es mit Kubernetes auf der Google Cloud Platform selbst zu hosten. Dieser Ansatz erwies sich jedoch als herausfordernd. Michal Oglodek, der CTO von Ivy.ai, berichtet: „Wir stießen auf erhebliche Probleme, bei denen das System in der Produktion aufgrund der wachsenden Datenlast und steigender Anforderungen ausfiel. Da wir den Bedarf an einer nachhaltigeren Lösung erkannten, trafen wir die strategische Geschäftsentscheidung, keine umfangreiche Zeit und Ressourcen dafür aufzuwenden, das System selbst zu verwalten. Stattdessen entschieden wir uns für einen zuverlässigeren und skalierbareren Ansatz.“Diese Stabilitätsprobleme, verbunden mit den zunehmenden Anforderungen ihres wachsenden Geschäfts, veranlassten Ivy.ai dazu, nach einer skalierbareren, verwalteten Lösung zu suchen, die die Leistung von Milvus ohne die betrieblichen Kopfschmerzen bieten konnte.
Zilliz Cloud kommt ins Spiel: Eine vollständig verwaltete Vektordatenbanklösung im großen Maßstab
Nach einer gründlichen Evaluierung entschied sich Ivy.ai für Zilliz Cloud, eine vollständig verwaltete Version der Milvus-Vektordatenbank, die sie ursprünglich ausgewählt hatten. Diese Entscheidung basierte auf mehreren Schlüsselfaktoren, die perfekt zu den Anforderungen von Ivy.ai passten. Zilliz Cloud bot eine hochleistungsfähige, skalierbare Lösung, die in der Lage war, Milliarden von Vektoren zu verarbeiten, was für die Retrieval Augmented Generation-Anwendungen (RAG) von IvyQuantum™ unerlässlich war. Durch die Entscheidung für den vollständig verwalteten Service von Zilliz Cloud beseitigte Ivy.ai die Notwendigkeit, komplexe Datenbankadministration zu übernehmen, sodass sie sich auf ihr Kerngeschäft konzentrieren konnten.
Wie lvy.ai Zilliz Cloud nutzt, um seinen Chatbot zu betreiben
Die Skalierbarkeit der Lösung von Zilliz Cloud war besonders attraktiv. Oglodek erklärt: „Was wir tun wollten, war, einfach zu skalieren, und mit Ihrer Software und Ihrem Service konnten wir unsere Kapazitäten kontinuierlich erweitern, um unseren Anforderungen gerecht zu werden.“ Diese Flexibilität war entscheidend für die wachsenden Geschäftsanforderungen von Ivy.ai. Darüber hinaus löste der von Zilliz Cloud bereitgestellte Managed Service die Stabilitätsprobleme, die Ivy.ai mit selbst gehosteten Lösungen erlebt hatte, und gewährleistete eine zuverlässige Leistung.
Patel schätzte besonders die Monitoring- und Analysefunktionen und sagte: „Ich kann genau die Abfragen pro Sekunde und die Gesamtkapazität der Datenbank sehen, die wir haben.“ Dieses Maß an Einblick in die Leistung ihrer Datenbank erwies sich als unschätzbar wertvoll für die Optimierung ihrer Abläufe und die Planung zukünftigen Wachstums.
Die Ergebnisse: Eine Grundlage für Innovation
Die Implementierung von Zilliz Cloud als Vektordatenbanklösung hat Ivy.ai erhebliche Vorteile gebracht:
Verbesserte Zuverlässigkeit: Seit der Einführung von Zilliz Cloud hat Ivy.ai keine Ausfälle oder erheblichen Probleme erlebt und gewährleistet so einen konsistenten Service für seine Kunden.
Erweiterte Skalierbarkeit: Die Möglichkeit, Ressourcen einfach zu skalieren, hat das Wachstum von Ivy.ai und seinen kostenlosen Testansatz zur Kundengewinnung unterstützt.
Optimierte Leistung: Die leistungsstarke Vektordatenbank von Zilliz Cloud hat Ivy.ai von der Sorge befreit, schnelle Antwortzeiten aufrechterhalten zu müssen, selbst da ihre Daten seit Beginn der Nutzung von Zilliz Cloud um über 200 % gewachsen sind.
Oglodek fasste ihre Erfahrung prägnant zusammen: „Zuverlässigkeit, Skalierbarkeit und Leistung sind großartig. Und die Tatsache, dass wir dieses gesamte Administrationsmanagement auslagern können und uns keine Sorgen über ausfallende Server machen müssen, hilft uns, Ressourcen auf Produktentwicklung und Innovation zu konzentrieren, was unser Unternehmen wirklich differenziert.“
Blick in die Zukunft
Mit einer stabilen, skalierbaren und leistungsstarken Grundlage, die von Zilliz Cloud bereitgestellt wird, ist Ivy.ai gut für zukünftiges Wachstum positioniert, das durch GenAI ermöglicht wird. Sharon Harrison, die SVP of Marketing von Ivy.ai, betont, dass „Innovation im Kern unseres Unternehmens steht“, und deutet damit auf mehrere Projekte am Horizont hin, die weiterhin Unterstützung von Zilliz Cloud erfordern werden.
Während GenAI die Bildungslandschaft weiter transformiert, steht Ivy.ai, unterstützt durch die Vektordatenbanklösung von Zilliz Cloud, an vorderster Front und ist bereit, die sich wandelnden Bedürfnisse von Institutionen und Studierenden gleichermaßen zu erfüllen.
Reliability, scalability, and performance are great. The fact that we can outsource all this kind of administration management and don't have to worry about servers breaking helps us put resources into product development and innovation, which truly differentiates our business.
Michal Oglodek