Unsere Reise zu über 35.000 GitHub-Stars: Die wahre Geschichte des Aufbaus von Milvus von Grund auf
In den letzten Jahren haben wir uns auf eine Sache konzentriert: den Aufbau einer enterprise-ready Vektordatenbank für das KI-Zeitalter. Der schwierige Teil ist nicht, eine Datenbank zu bauen—sondern eine zu bauen, die skalierbar, einfach zu nutzen ist und in der Produktion tatsächlich echte Probleme löst.
Diesen Juni haben wir einen neuen Meilenstein erreicht: Milvus hat 35.000 Sterne auf GitHub erreicht (zum Zeitpunkt des Schreibens sind es bereits über 35,5K Sterne). Wir werden nicht so tun, als wäre das nur eine weitere Zahl—sie bedeutet uns sehr viel.
Jeder Stern steht für einen Entwickler, der sich die Zeit genommen hat, sich anzusehen, was wir gebaut haben, es nützlich genug fand, um es zu bookmarken, und sich in vielen Fällen entschieden hat, es zu verwenden. Einige von euch sind noch weiter gegangen: Ihr habt Issues eingereicht, Code beigetragen, Fragen in unseren Foren beantwortet und anderen Entwicklern geholfen, wenn sie nicht weiterkamen.
Wir wollten uns einen Moment nehmen, um unsere Geschichte zu teilen—die echte, einschließlich all der chaotischen Teile.
Wir haben mit dem Aufbau von Milvus begonnen, weil nichts anderes funktionierte
Im Jahr 2017 begannen wir mit einer einfachen Frage: Als KI-Anwendungen zu entstehen begannen und unstrukturierte Daten explosionsartig zunahmen, wie speichert und durchsucht man effizient die Vektor-Embeddings, die semantisches Verständnis ermöglichen?
Traditionelle Datenbanken wurden dafür nicht entwickelt. Sie sind für Zeilen und Spalten optimiert, nicht für hochdimensionale Vektoren. Die vorhandenen Technologien und Tools waren für das, was wir brauchten, entweder unmöglich zu nutzen oder schmerzhaft langsam.
Wir haben alles ausprobiert, was verfügbar war. Zusammengehackte Lösungen mit Elasticsearch. Eigene Indexe auf Basis von MySQL. Wir experimentierten sogar mit FAISS, aber es war als Forschungsbibliothek konzipiert, nicht als Produktionsdatenbank-Infrastruktur. Nichts bot die vollständige Lösung, die wir uns für Enterprise-KI-Workloads vorgestellt hatten.
Also begannen wir, unsere eigene zu bauen. Nicht, weil wir dachten, es wäre einfach—Datenbanken sind bekanntermaßen schwer richtig hinzubekommen—sondern weil wir sehen konnten, wohin sich KI entwickelte, und wussten, dass sie dafür speziell entwickelte Infrastruktur brauchte.
Bis 2018 waren wir tief in der Entwicklung dessen, was später Milvus werden sollte. Den Begriff "Vektordatenbank" gab es damals noch nicht einmal. Wir schufen im Grunde eine neue Kategorie von Infrastruktursoftware, was gleichermaßen aufregend und beängstigend war.
Milvus als Open Source: Aufbau in der Öffentlichkeit
Im November 2019 entschieden wir uns, Milvus Version 0.10 als Open Source zu veröffentlichen.
Open Source bedeutet, all seine Schwächen der Welt offenzulegen. Jeden Hack, jeden TODO-Kommentar, jede Designentscheidung, bei der man sich nicht ganz sicher ist. Aber wir waren überzeugt: Wenn Vektordatenbanken zu kritischer Infrastruktur für KI werden sollten, mussten sie offen und für alle zugänglich sein.
Die Reaktion war überwältigend. Entwickler nutzten Milvus nicht einfach nur—sie verbesserten es. Sie fanden Bugs, die wir übersehen hatten, schlugen Features vor, an die wir nicht gedacht hatten, und stellten Fragen, die uns dazu brachten, unsere Designentscheidungen gründlicher zu überdenken.
Im Jahr 2020 traten wir der LF AI & Data Foundation bei. Das diente nicht nur der Glaubwürdigkeit—es lehrte uns, wie man ein nachhaltiges Open-Source-Projekt betreibt. Wie man Governance handhabt, Abwärtskompatibilität sicherstellt und Software entwickelt, die Jahre Bestand hat, nicht nur Monate.
Bis 2021 veröffentlichten wir Milvus 1.0 und graduierten aus der LF AI & Data Foundation. Im selben Jahr gewannen wir die BigANN Global Challenge für Vektorsuche im Milliardenmaßstab. Dieser Sieg fühlte sich gut an, aber noch wichtiger war: Er bestätigte, dass wir echte Probleme auf die richtige Weise lösten.
Die schwierigste Entscheidung: Von vorn anfangen
Hier wird es kompliziert. Bis 2021 funktionierte Milvus 1.0 für viele Anwendungsfälle gut, aber Enterprise-Kunden fragten immer wieder nach denselben Dingen: bessere cloud-native Architektur, einfachere horizontale Skalierung, mehr betriebliche Einfachheit.
Wir hatten die Wahl: uns mit Patches weiter vorarbeiten oder von Grund auf neu bauen. Wir entschieden uns für den Neubau.
Milvus 2.0 war im Wesentlichen eine vollständige Neuentwicklung. Wir führten eine vollständig entkoppelte Storage-Compute-Architektur mit dynamischer Skalierbarkeit ein. Das dauerte zwei Jahre und war ehrlich gesagt eine der stressigsten Phasen in der Geschichte unseres Unternehmens. Wir warfen ein funktionierendes System weg, das Tausende von Menschen nutzten, um etwas Unbewiesenes zu entwickeln.
Aber als wir Milvus 2.0 im Jahr 2022 veröffentlichten, verwandelte es Milvus von einer leistungsstarken Vektordatenbank in eine produktionsreife Infrastruktur, die auf Enterprise-Workloads skalieren konnte. Im selben Jahr schlossen wir auch eine Series B+ Finanzierungsrunde ab — nicht, um Geld zu verbrennen, sondern um die Produktqualität und den Support für globale Kunden weiter auszubauen. Wir wussten, dass dieser Weg Zeit brauchen würde, aber jeder Schritt musste auf einem soliden Fundament aufgebaut sein.
Als mit KI alles beschleunigt wurde
2023 war das Jahr von RAG (Retrieval-Augmented Generation). Plötzlich entwickelte sich semantische Suche von einer interessanten KI-Technik zu essenzieller Infrastruktur für Chatbots, Dokumenten-Q&A-Systeme und KI-Agenten.
Die GitHub-Sterne von Milvus schossen in die Höhe. Supportanfragen vervielfachten sich. Entwickler, die noch nie von Vektordatenbanken gehört hatten, stellten plötzlich anspruchsvolle Fragen zu Indexierungsstrategien und Abfrageoptimierung.
Dieses Wachstum war aufregend, aber auch überwältigend. Uns wurde klar, dass wir nicht nur unsere Technologie skalieren mussten, sondern unseren gesamten Ansatz für Community-Support. Wir stellten mehr Developer Advocates ein, schrieben unsere Dokumentation komplett neu und begannen, Bildungsinhalte für Entwickler zu erstellen, die neu im Bereich Vektordatenbanken waren.
Wir brachten außerdem Zilliz Cloud auf den Markt — unsere vollständig verwaltete Version von Milvus. Einige Leute fragten, warum wir unser Open-Source-Projekt „kommerzialisieren“. Die ehrliche Antwort ist, dass die Wartung von Enterprise-tauglicher Infrastruktur teuer und komplex ist. Zilliz Cloud ermöglicht es uns, die Entwicklung von Milvus aufrechtzuerhalten und zu beschleunigen, während das Kernprojekt vollständig Open Source bleibt.
Dann kam 2024. Forrester ernannte uns zum Leader in der Kategorie Vektordatenbanken. Milvus überschritt 30.000 GitHub-Sterne. Und uns wurde klar: Die Straße, die wir sieben Jahre lang gebaut hatten, war endlich zur Autobahn geworden. Da immer mehr Unternehmen Vektordatenbanken als kritische Infrastruktur einführten, beschleunigte sich unser Geschäftswachstum rapide — ein Beleg dafür, dass das von uns geschaffene Fundament sowohl technisch als auch kommerziell skalieren konnte.
Das Team hinter Milvus: Zilliz
Hier ist etwas Interessantes: Viele Menschen kennen Milvus, aber nicht Zilliz. Damit sind wir eigentlich einverstanden. Zilliz ist das Team hinter Milvus — wir entwickeln, warten und unterstützen es.
Am wichtigsten sind uns die wenig glamourösen Dinge, die den Unterschied zwischen einer coolen Demo und produktionsreifer Infrastruktur ausmachen: Performance-Optimierungen, Sicherheits-Patches, Dokumentation, die Anfängern tatsächlich hilft, und durchdachte Antworten auf GitHub-Issues.
Wir haben ein globales 24/7-Supportteam in den USA, Europa und Asien aufgebaut, weil Entwickler in ihren Zeitzonen Hilfe brauchen, nicht in unseren. Wir haben Community-Mitwirkende, die wir "Milvus Ambassadors" nennen und die Events organisieren, Fragen in Foren beantworten und Konzepte oft besser erklären als wir.
Wir haben auch Integrationen mit AWS, GCP und anderen Cloud-Anbietern begrüßt — selbst wenn sie ihre eigenen verwalteten Versionen von Milvus anbieten. Mehr Bereitstellungsoptionen sind gut für die Nutzer. Allerdings haben wir festgestellt, dass Teams, wenn sie auf komplexe technische Herausforderungen stoßen, sich oft direkt an uns wenden, weil wir das System auf der tiefsten Ebene verstehen.
Viele Menschen denken, Open Source sei nur ein „Werkzeugkasten“, tatsächlich ist es jedoch ein „evolutionärer Prozess“—eine gemeinsame Anstrengung unzähliger Menschen, die es lieben und daran glauben. Nur diejenigen, die die Architektur wirklich verstehen, können das „Warum“ hinter Bugfixes, der Analyse von Performance-Engpässen, der Integration von Datensystemen und architektonischen Anpassungen liefern.
Wenn Sie also Open-Source-Milvus verwenden oder Vektordatenbanken als Kernkomponente Ihres KI-Systems in Betracht ziehen, ermutigen wir Sie, sich direkt an uns zu wenden, um die professionellste und zeitnaheste Unterstützung zu erhalten.
Echte Wirkung in der Produktion: Das Vertrauen der Nutzer
Die Anwendungsfälle für Milvus sind über das hinausgewachsen, was wir uns ursprünglich vorgestellt hatten. Wir betreiben KI-Infrastruktur für einige der anspruchsvollsten Unternehmen der Welt in jeder Branche.
Bosch, der weltweit führende Anbieter von Automobiltechnologie und Pionier im autonomen Fahren, hat seine Datenanalyse mit Milvus revolutioniert und eine Senkung der Datenerfassungskosten um 80% sowie jährliche Einsparungen von 1,4 Mio. US-Dollar erzielt, während Milliarden von Fahrszenarien in Millisekunden nach kritischen Edge Cases durchsucht werden.
Read AI, eines der am schnellsten wachsenden Produktivitäts-KI-Unternehmen mit Millionen monatlich aktiver Nutzer, nutzt Milvus, um eine Abruflatenz von unter 20–50 ms über Milliarden von Datensätzen hinweg und eine 5-fache Beschleunigung bei agentischer Suche zu erreichen. Ihr CTO sagt: „Milvus dient als zentrales Repository und ermöglicht unseren Informationsabruf unter Milliarden von Datensätzen.“
Ein globaler Fintech-Leader, eine der weltweit größten digitalen Zahlungsplattformen, die Zehnmilliarden von Transaktionen in über 200 Ländern und mehr als 25 Währungen verarbeitet, entschied sich für Milvus wegen einer 5- bis 10-fach schnelleren Batch-Ingestion als bei Wettbewerbern und schließt Jobs in unter 1 Stunde ab, für die andere mehr als 8 Stunden benötigten.
Filevine, die führende Legal-Work-Plattform, der Tausende von Kanzleien in den Vereinigten Staaten vertrauen, verwaltet 3 Milliarden Vektoren über Millionen von Rechtsdokumenten hinweg, spart Anwälten 60–80% der Zeit bei der Dokumentenanalyse und erreicht ein „wahres Bewusstsein für Daten“ im Legal Case Management.
Wir unterstützen außerdem NVIDIA, OpenAI, Microsoft, Salesforce, Walmart, und viele andere in nahezu jeder Branche. Über 10.000 Organisationen haben Milvus oder Zilliz Cloud zu ihrer bevorzugten Vektordatenbank gemacht.
Das sind nicht nur technische Erfolgsgeschichten—sie sind Beispiele dafür, wie Vektordatenbanken still und leise zu kritischer Infrastruktur werden, die die KI-Anwendungen antreibt, die Menschen täglich nutzen.
Warum wir Zilliz Cloud entwickelt haben: Vektordatenbank-as-a-Service auf Enterprise-Niveau
Milvus ist Open Source und kostenlos nutzbar. Doch Milvus im Enterprise-Maßstab gut zu betreiben, erfordert tiefes Fachwissen und erhebliche Ressourcen. Indexauswahl, Speicherverwaltung, Skalierungsstrategien, Sicherheitskonfigurationen—das sind keine trivialen Entscheidungen. Viele Teams möchten die Leistungsfähigkeit von Milvus ohne die operative Komplexität und mit Enterprise-Support, SLA-Garantien usw.
Deshalb haben wir Zilliz Cloud entwickelt—eine vollständig verwaltete Version von Milvus, die in 25 globalen Regionen und 5 großen Clouds bereitgestellt wird, darunter AWS, GCP und Azure, und speziell für KI-Workloads im Enterprise-Maßstab konzipiert ist, die Performance, Sicherheit und Zuverlässigkeit erfordern.
Das macht Zilliz Cloud anders:
Massive Skalierung mit hoher Performance: Unsere proprietäre KI-gestützte AutoIndex-Engine liefert 3- bis 5-fach schnellere Abfragegeschwindigkeiten als Open-Source-Milvus, ohne dass Index-Tuning erforderlich ist. Die Cloud-native Architektur unterstützt Milliarden von Vektoren und Zehntausende gleichzeitiger Abfragen bei gleichzeitiger Aufrechterhaltung von Antwortzeiten im Subsekundenbereich.
Integrierte Sicherheit & Compliance: Verschlüsselung im Ruhezustand und während der Übertragung, fein abgestuftes RBAC, umfassende Audit-Protokollierung, SAML/OAuth2.0-Integration und BYOC (bring your own cloud)-Bereitstellungen. Wir erfüllen GDPR, HIPAA und andere globale Standards, die Unternehmen tatsächlich benötigen.
Optimiert für Kosteneffizienz: Gestaffelte Hot-/Cold-Datenspeicherung, elastische Skalierung, die auf reale Workloads reagiert, und Pay-as-you-go-Preise können die Gesamtbetriebskosten im Vergleich zu selbstverwalteten Bereitstellungen um 50 % oder mehr senken.
Wirklich cloud-agnostisch ohne Vendor Lock-in: Bereitstellung auf AWS, Azure, GCP, Alibaba Cloud oder Tencent Cloud ohne Vendor Lock-in. Wir gewährleisten globale Konsistenz und Skalierbarkeit, unabhängig davon, wo Sie Ihre Workloads ausführen.
Diese Funktionen klingen vielleicht nicht spektakulär, aber sie lösen reale, tägliche Probleme, mit denen Enterprise-Teams beim Aufbau von KI-Anwendungen in großem Maßstab konfrontiert sind. Und am wichtigsten: Unter der Haube ist es weiterhin Milvus, sodass es keinen proprietären Lock-in oder Kompatibilitätsprobleme gibt.
Was kommt als Nächstes: Vector Data Lake
Wir haben den Begriff „vector database“ geprägt und waren die Ersten, die eine solche Datenbank entwickelt haben, aber wir hören hier nicht auf. Wir bauen jetzt die nächste Evolutionsstufe: Vector Data Lake.
Das ist das Problem, das wir lösen: Nicht jede Vektorsuche benötigt Millisekunden-Latenz. Viele Unternehmen haben riesige Datensätze, die nur gelegentlich abgefragt werden, darunter historische Dokumentenanalysen, Batch-Ähnlichkeitsberechnungen und langfristige Trendanalysen. Für diese Anwendungsfälle ist eine traditionelle Echtzeit-Vektordatenbank sowohl überdimensioniert als auch teuer.
Vector Data Lake verwendet eine Storage-Compute-getrennte Architektur, die speziell für Vektoren in massivem Maßstab optimiert ist, auf die nur selten zugegriffen wird, und hält die Kosten gleichzeitig drastisch niedriger als bei Echtzeitsystemen.
Zu den Kernfunktionen gehören:
Einheitlicher Data Stack: Verbindet nahtlos Online- und Offline-Datenschichten mit konsistenten Formaten und effizienter Speicherung, sodass Sie Daten zwischen Hot- und Cold-Tiers verschieben können, ohne sie neu zu formatieren oder komplexe Migrationen durchzuführen.
Kompatibles Compute-Ökosystem: Funktioniert nativ mit Frameworks wie Spark und Ray und unterstützt alles von der Vektorsuche bis hin zu traditionellem ETL und Analytics. Das bedeutet, dass Ihre bestehenden Datenteams mit Vektordaten arbeiten können, indem sie Tools verwenden, die sie bereits kennen.
Kostenoptimierte Architektur: Hot Data verbleiben für schnellen Zugriff auf SSD oder NVMe; Cold Data werden automatisch in Object Storage wie S3 verschoben. Intelligente Indexierungs- und Speicherstrategien halten I/O schnell, wenn Sie ihn benötigen, und machen Speicherkosten gleichzeitig vorhersehbar und erschwinglich.
Es geht hier nicht darum, Vektordatenbanken zu ersetzen – es geht darum, Unternehmen das richtige Tool für jeden Workload zu geben. Echtzeitsuche für benutzerorientierte Anwendungen, kosteneffiziente Vector Data Lakes für Analytics und historische Verarbeitung.
Wir glauben weiterhin an die Logik hinter Moore's Law und dem Jevons Paradox: Wenn die Stückkosten für Computing sinken, skaliert die Nutzung. Dasselbe gilt für Vektorinfrastruktur.
Indem wir Indizes, Speicherstrukturen, Caching und Bereitstellungsmodelle Tag für Tag verbessern, hoffen wir, KI-Infrastruktur für alle zugänglicher und erschwinglicher zu machen und dabei zu helfen, unstrukturierte Daten in die KI-native Zukunft zu führen.
Ein großes Dankeschön an euch alle!
Diese über 35.000 Sterne stehen für etwas, auf das wir wirklich stolz sind: eine Community von Entwicklerinnen und Entwicklern, die Milvus nützlich genug finden, um es zu empfehlen und dazu beizutragen.
Aber wir sind noch nicht fertig. Milvus hat Fehler, die behoben werden müssen, Performance-Verbesserungen, die umgesetzt werden müssen, und Funktionen, nach denen unsere Community gefragt hat. Unsere Roadmap ist öffentlich, und wir möchten wirklich Ihre Meinung dazu hören, was wir priorisieren sollten.
Die Zahl selbst ist nicht das, was zählt – es ist das Vertrauen, für das diese Sterne stehen. Das Vertrauen, dass wir weiterhin offen entwickeln, weiterhin auf Feedback hören und Milvus weiter verbessern.
An unsere Mitwirkenden: Eure PRs, Bug Reports und Verbesserungen an der Dokumentation machen Milvus jeden Tag besser. Vielen herzlichen Dank.
An unsere Nutzer: Danke, dass ihr uns eure Produktionsworkloads anvertraut und für das Feedback, das uns ehrlich hält.
An unsere Community: Danke, dass ihr Fragen beantwortet, Veranstaltungen organisiert und Neueinsteigern beim Start helft.
Wenn du neu bei Vektordatenbanken bist, helfen wir dir gerne beim Einstieg. Wenn du Milvus oder Zilliz Cloud bereits nutzt, würden wir gerne von deinen Erfahrungen hören. Und wenn du einfach nur neugierig bist, woran wir arbeiten, sind unsere Community-Kanäle immer offen.
Lasst uns die Infrastruktur, die KI-Anwendungen möglich macht, weiter gemeinsam aufbauen.
Du findest uns hier: Milvus auf GitHub | Zilliz Cloud | Discord | LinkedIn | X | YouTube
Weiterlesen
Zilliz Cloud On-Demand Compute: Pay Only for What You Use
The customer case behind Zilliz Cloud On-Demand: how a $10K vector search bill came down to under $500, and the engineering changes that made it possible.
Creating Collections in Zilliz Cloud Just Got Way Easier
We've enhanced the entire collection creation experience to bring advanced capabilities directly into the interface, making it faster and easier to build production-ready schemas without switching tools.
AI Agents Are Quietly Transforming E-Commerce — Here’s How
Discover how AI agents transform e-commerce with autonomous decision-making, enhanced product discovery, and vector search capabilities for today's retailers.