Kunden
Credal AI

Credal AI ermöglicht mit Milvus eine sichere, regelbare GenAI

Flexibel skaliert
mit getrennter Rechen- und Speicherleistung
Erweitert
Abfragepräzision mit hybrider Suche
Beschleunigte Bereitstellung von Funktionen
mit der führenden Open-Source-Gemeinschaft

“

When you're engineering a solution as complex as ours, you're not just ticking boxes—you're looking for that sweet spot where all your must-haves intersect. Think of it as an eight-circle Venn diagram; while many databases met one or two of our criteria, Milvus was the only one sitting right at the intersection of all eight. It checked every single box for us—something no other solution managed to do.

Jack Fischer

Co-founder & CTO at Credal AI

Über Credal AI

[Credal AI] (https://www.credal.ai/) hat sich zum Ziel gesetzt, GenAI für Unternehmen sicher und zugänglich zu machen. Sie bieten robuste Datenintegrations- und Governance-Funktionen, die Daten von verschiedenen Plattformen wie Microsoft Office, Google Workspace und Slack abrufen. Sie bieten ein "Okta für KI", bei dem Zugriff und Berechtigungen streng kontrolliert werden, um Entwicklern und Endnutzern eine optimierte und sichere Schnittstelle zu bieten. Credal AI dient somit als End-to-End-Lösung für eine sichere, unternehmenstaugliche GenAI-Bereitstellung.

Skalierung und Komplexität bewältigen: Die Herausforderungen

Credal AI sah sich zu Beginn seiner Produktentwicklung mit mehreren Herausforderungen konfrontiert. Eine wichtige Funktion war die semantische Suche, die sich mit den notwendigen Vektorsuch-Plugins nur schwer in großem Umfang implementieren ließ. Diese Herausforderungen wurden noch verschärft, als die semantische Suche in benutzerdefinierte Workflows eingebettet wurde, die eine hohe Datenbankleistung erforderten. Herkömmliche Suchmechanismen mussten für die Konstruktion dieser GenAI-gesteuerten Workflows verbessert werden, die große Datenmengen in Echtzeit auf der Grundlage komplizierter, benutzerdefinierter Kriterien verarbeiten mussten.

Darüber hinaus erforderten die verschiedenen Hosting-Umgebungen, darunter Cloud-basierte und On-Premise-Konfigurationen, eine Vektordatenbank, die selbst gehostet und von einer aktiven Open-Source-Community unterstützt werden kann. Das Unternehmen benötigte eine schnelle, skalierbare und vielseitige Datenbank, um komplexe Datenpipelines und unterschiedliche Hosting-Bedingungen zu bewältigen.

Die Entscheidung für Milvus: Eine entwicklerorientierte Vektordatenbank, die alle Anforderungen erfüllt

Nach einer umfassenden Evaluierung kam Credal AI zu dem Schluss, dass Milvus, das auf Amazon EKS läuft, die beste Lösung für die Anforderungen des Unternehmens an eine Vektordatenbank ist. Was sofort auffiel, war die aktive Open-Source-Community rund um das Projekt. Dies war kein "Nice-to-have", sondern ein entscheidender Faktor für die schnelle Lösung von Problemen und die laufende Entwicklung von Funktionen. Darüber hinaus war die hohe Anzahl an GitHub-Sternen mehr als nur eine eitle Kennzahl, sondern ein greifbares Zeichen für eine engagierte und lebendige Entwicklergemeinschaft, die das Vertrauen in die Langlebigkeit der Lösung stärkte.

Ein weiterer wichtiger Aspekt war das offizielle Helm Chart von Milvus für Kubernetes. Die Erstellung eines benutzerdefinierten Helm-Charts war zwar kein ausschlaggebender Punkt, aber ein offiziell unterstütztes Chart war ein Beweis für das Engagement von Milvus für den Erfolg der Entwickler. Es deutete darauf hin, dass das Milvus-Team nicht nur auf kurzfristige Einnahmen aus war, sondern wirklich in die Lösung von realen Benutzerherausforderungen investierte. Diese Unterstützung war für ein Startup wie Credal AI von unschätzbarem Wert, zumal sie es ermöglichte, den Bereitstellungsprozess zu rationalisieren und so Zeit und technische Ressourcen zu sparen.

Auch die Funktionen von Milvus erregten ihre Aufmerksamkeit, insbesondere die Verfügbarkeit der hybriden Suche. Die Möglichkeit, eine Vektorsuche durchzuführen und gleichzeitig andere Metadaten zu filtern, war eine wichtige Anforderung. Viele Lösungen boten zwar eine schnelle Vektorsuche, konnten diese aber nur bedingt mit strukturierten Daten erweitern. Die hybride Suchfunktion von Milvus war das fehlende Puzzlestück, das die technischen Anforderungen erfüllte und die tatsächlichen Geschäftsprobleme löste.

Nicht zuletzt bot die Architektur von Milvus, die Speicherung und Berechnung trennt, die Skalierbarkeit und Flexibilität, die Credal AI suchte. Diese Designentscheidung war nicht nur eine architektonische Idee, sondern sie war grundlegend für das Vertrauen in die zukünftige Skalierung des Produkts. Sie ermöglichte es ihnen, ihre Zugriffsmuster im Zuge der Feinabstimmung ihrer Anwendung weiterzuentwickeln. Wenn es um die "Must-haves" für ihre Vektordatenbank ging - die Leistung, die Funktionen, die Community und die Architektur - erfüllte Milvus alle Kriterien.

Ergebnis: Skalierbarkeit und Flexibilität in der Praxis mit Milvus

Die Implementierung von Milvus auf Amazon EKS war für Credal AI ein entscheidender Schritt, da es ein robustes Rückgrat für die komplexen Anforderungen der Vektorsuche bietet. Die technischen Möglichkeiten von Milvus haben die anfänglichen Unsicherheiten bezüglich der Leistung der Datenbank schnell beseitigt. In einem Umfeld, in dem Startups oft mit sich verändernden Anforderungen konfrontiert sind, erwies sich Milvus als sofortige Lösung und als langfristiger Gewinn.

Die Entscheidung für Milvus wurde durch die nahtlose Integration in die bestehenden Systeme von Credal AI bestätigt, die sowohl die technischen Voraussetzungen als auch die allgemeinen Geschäftsziele erfüllte. Die hohe Skalierbarkeit der Plattform - dank der entkoppelten Speicher- und Rechenarchitektur - gab Credal AI die Sicherheit, neue Kundenanforderungen zu antizipieren und zu erfüllen. Das Unternehmen kann sich nun auf das konzentrieren, was es am besten kann: die Weiterentwicklung seines Kernprodukts und die Förderung der Benutzerinteraktion. Es kann sich darauf verlassen, dass sein Backend alles bewältigen kann, was es zu tun hat.

Vorwärts schreiten: Zukunftspläne mit Milvus

Credal AI erwägt eine zukünftige Zusammenarbeit mit Zilliz, dem Betreiber von Milvus, um Zilliz Cloud für seine Cloud-basierten Clients zu nutzen. Dies passt gut zu der laufenden Mission des Teams, GenAI-Funktionalität in reale Unternehmensanwendungen einzubringen, eine komplexe Aufgabe, die robuste Sicherheitsmaßnahmen und umfassende Data Governance erfordert. Die Nutzung von Zilliz Cloud auf AWS, einer vollständig verwalteten Version von Milvus, fügt sich nahtlos in diese umfassendere Strategie ein und verspricht, den Betrieb zu rationalisieren und das Serviceangebot für die Cloud-Kunden zu verbessern.

In der Zwischenzeit bleibt Milvus ein zentrales Element in der Strategie von Credal AI. Während sie an allen Fronten Vollgas geben, um GenAI für Unternehmen einsatzfähig zu machen, sind die Skalierbarkeit und Flexibilität von Milvus wertvoller denn je. Die Beziehung zu Milvus wird nicht als einmalige Lösung betrachtet, sondern als langfristige Partnerschaft, die darauf ausgerichtet ist, sich entwickelnden Herausforderungen zu begegnen und neue Höhen zu erklimmen.