Wie ein großer indischer Online-Händler Produktabgleich mit Milvus skalierte
75 % geringerer Speicherverbrauch
Embeddings aus dem RAM in den Objektspeicher verlagert, wodurch Arbeitsspeicher als Skalierungsengpass beseitigt wurde.
6x schnellere Verarbeitungszeiten
Reduzierte den Katalogabgleich bei groß angelegten Suchen von Tagen auf Stunden.
~200 ms Latenz
Lieferte höhere Präzision in großem Maßstab und erfüllte dabei strenge Latenzvorgaben.
Höhere betriebliche Flexibilität
Unabhängige Knotenskalierung eliminiert vollständige Indexneuaufbauten bei Aktualisierungen.
Über das Unternehmen
Der Kunde ist eine der größten Online-Einzelhandelsplattformen Indiens, oft als „Amazon Indiens“ bezeichnet, und bedient ein landesweites Publikum in Kategorien wie Elektronik, Mode, Lebensmittel und Haushaltswaren des täglichen Bedarfs. Neben seinem verbraucherorientierten Marktplatz betreibt das Unternehmen auch eine SaaS-Sparte, die End-to-End-Commerce-Lösungen für Unternehmen und Online-Verkäufer bereitstellt. Ein zentraler Bestandteil dieses Angebots ist ein Pricing-Intelligence-System, das Einzelhändlern hilft, in einem Markt wettbewerbsfähig zu bleiben, in dem der Preis weiterhin einer der stärksten Einflussfaktoren auf die Kaufentscheidungen der Kunden ist.
Die Unterstützung präziser Echtzeit-Preisgestaltung im nationalen Maßstab brachte jedoch erhebliche technische Herausforderungen mit sich. Das Team musste Produkte in einem ständig wachsenden digitalen Katalog abgleichen—der von einigen Millionen SKUs auf Dutzende Millionen anwuchs — und sie täglich über mehrere große Wettbewerber hinweg aktualisieren, die jeweils über umfangreiche eigene Bestände verfügen. Dieses explosionsartige Wachstum überforderte die bestehende keyword- und FAISS-basierte Architektur, trieb die Infrastrukturkosten in die Höhe und verlangsamte die Aktualisierungszyklen.
Um diese Engpässe zu beheben, migrierte das Team seine Produkt-Matching-Pipeline zur Milvus Vector Database. Mit Milvus’ festplattenbasierter Indexierung und verteilter Architektur reduzierten sie die Verarbeitungszeiten erheblich und senkten die Betriebskosten, wodurch ein skalierbareres, nachhaltigeres und leistungsstarkes System für Preismanagement auf Enterprise-Niveau ermöglicht wurde.
Die Herausforderung: Skalierung des Produkt-Matchings auf Enterprise-Ebene
Die Pricing-Intelligence-Plattform des Unternehmens wird von drei Kernmodulen angetrieben: Competitive Intelligence (Verfolgung von Wettbewerberpreisen mithilfe von Scraping und Produkt-Matching), Dynamic Pricing (regelbasierte Anpassungen auf Grundlage von Marktsignalen) und Sortimentsintelligenz (Identifizierung von Lücken im Katalog eines Einzelhändlers). Als die Plattform mehr Enterprise-Kunden aufnahm, begann die Product-Matching-Engine, die diesen Funktionen zugrunde liegt, Anzeichen von Überlastung zu zeigen.
Einzelhändler verwalteten mehr als 20 Millionen SKUs, die täglich oder sogar stündlich aktualisiert wurden, während sie 10 oder mehr Wettbewerber verfolgten. Jeder Wettbewerberkatalog fügte weitere 5 Millionen SKUs hinzu, die gecrawlt und verglichen werden mussten, wodurch eine Arbeitslast entstand, die nahezu exponentiell wuchs.
Zusätzlich zur Größenordnung waren die unstrukturierten Daten selbst unübersichtlich: Produktbilder in uneinheitlichen Auflösungen, Beschreibungen in unterschiedlichen Stilen und die Notwendigkeit, sowohl exakte Übereinstimmungen als auch „nah genug“-Varianten zu unterstützen.
Präzision war ebenfalls entscheidend. Selbst eine geringe Fehlerrate könnte sich nachteilig auf Preisempfehlungen auswirken und dazu führen, dass Einzelhändler Umsatz verlieren, wenn Artikel zu hoch bepreist sind, Geld verlieren, wenn sie zu niedrig bepreist sind, oder auf Lagerbeständen sitzen bleiben, die sich nicht bewegen, was den Umsatz direkt reduziert und das Vertrauen der Einzelhändler in das System untergräbt.
Die Ressourcenoptimierung stellte eine weitere große Hürde dar. Das System musste Rechenressourcen, einschließlich CPU, Arbeitsspeicher und Speicher, für kontinuierliche Datenverarbeitung und Abfragen im massiven Enterprise-Maßstab effizient verwalten.
Die Legacy-Architektur, die auf einem FAISS-basierten In-Memory-Index auf einem einzelnen Server beruhte, war schlichtweg nicht für dieses Maß an Datenwachstum ausgelegt. Wettbewerber-Embeddings wurden auf lokaler Festplatte gespeichert und dann periodisch für die Ähnlichkeitssuche in den Speicher geladen. Während dies bei kleineren Datenmengen funktional war, brach das Design im großen Maßstab zusammen. Die Speichernutzung schoss in die Höhe—die Speicherung von rund 20 Millionen 1.024-dimensionalen Embeddings erforderte nahezu 400 GB RAM—, wodurch die Infrastrukturkosten stark anstiegen. Auch die Performance verschlechterte sich, wobei bestimmte End-to-End-Verarbeitungsjobs bis zu 12 Tage bis zur Fertigstellung benötigten. Für Kunden, die zeitnahe Wettbewerbsinformationen erwarteten, hatte das System eindeutig seine Grenzen erreicht.
Bewertung von Skalierungspfaden und Entscheidung für Milvus
Angesichts dieser kritischen Einschränkungen zog das Engineering-Team drei mögliche Wege in Betracht, um seine Skalierungsherausforderungen zu bewältigen.
Vertikale Skalierung — Umstieg auf größere, speicherintensive VMs. Während diese Option die Leistungsanforderungen vorübergehend erfüllen konnte, würden die physischen Grenzen der Lösung schnell wieder zutage treten und zu deutlich höheren Kosten führen. Offensichtlich war dies lediglich eine Übergangslösung.
Erweiterung ihrer SQL-Datenbank um Vektorsuchfunktionen. Aus Integrationsperspektive war dieser Ansatz attraktiv, doch das Team erkannte schnell die Risiken: Eine Überlastung ihrer primären SQL-Datenbank könnte sowohl transaktionale Vorgänge als auch Vektorabfragen verlangsamen und damit die Zuverlässigkeit des gesamten Systems untergraben.
Einführung einer dedizierten Vektordatenbank , die für Ähnlichkeitssuche im großen Maßstab entwickelt wurde. Dies erwies sich als die vielversprechendste Option. Das Team führte umfangreiche Benchmarks mit Milvus, Pinecone, Qdrant und Weaviate durch und testete Einfügegeschwindigkeit, Abfragelatenz, Filterpräzision und Bereitstellungsflexibilität. In diesen Auswertungen ging Milvus als klarer Spitzenreiter hervor.
Warum Milvus: Wichtige Entscheidungsfaktoren
Während der Evaluierung erwies sich Milvus als die einzige Lösung, die alle Anforderungen erfüllte, da sie die Skalierungs- und Kostenherausforderungen der Plattform direkt adressierte. Nachfolgend die wichtigsten Faktoren:
Die verteilte Architektur von Milvus ermöglichte horizontale Skalierung und effiziente Ressourcennutzung, wodurch das Team die Flexibilität erhielt, Milliarden von Embeddings zu verarbeiten, ohne die Infrastruktur überzudimensionieren. Darüber hinaus ermöglichte das anpassbare Design von Milvus dem Engineering-Team, das System so zu optimieren, dass es die exakten Workload-Anforderungen ihrer Anwendungen erfüllt.
Ein zweites Unterscheidungsmerkmal war DiskANN, Milvus’ festplattenbasierter Indexierungsalgorithmus. Durch die Reduzierung der Speicheranforderungen um bis zu 75 % im Vergleich zu In-Memory-Methoden wie HNSW machte DiskANN die Suche im großen Maßstab nicht nur machbar, sondern auch kosteneffizient. In Kombination mit Unterstützung für Objektspeicher wie S3 bot dies der Plattform eine skalierbare und erschwingliche Grundlage.
Schließlich passten Milvus’ Pre-Filtering-Funktionen perfekt zur Suchoptimierungsstrategie des Teams, da sie es ermöglichten, Kandidatenmengen nach Kategorie, Marke oder Preis einzugrenzen, bevor eine Vektorsuche durchgeführt wurde. Dies reduzierte den Suchraum erheblich und verbesserte sowohl Leistung als auch Genauigkeit.
Die Lösung: Aufbau von Produktabgleich im großen Maßstab mit Milvus
Nach der Auswahl von Milvus entwarf das Engineering-Team des Kunden eine neue Architektur, die sowohl für Skalierbarkeit als auch für Präzision optimiert ist.
Die Pipeline beginnt mit der Datenerfassung, bei der Kundenkataloge und Wettbewerberdaten gecrawlt und gespeichert werden. Anschließend verarbeitet eine Normalisierungsschicht unübersichtliche, unstrukturierte Daten, wie inkonsistente Produktbilder und Beschreibungen, in standardisierte Formate. Dann erzeugen die proprietären Machine-Learning-Modelle des Teams, die ausdrücklich auf E-Commerce-Daten trainiert wurden, 1024-dimensionale Vektoren mit 4-Byte-Floats, die die wichtigsten Attribute jedes Produkts erfassen. Diese Embeddings werden in Milvus indexiert und gespeichert, wo die Ähnlichkeitssuche Kundenprodukt-Embeddings anhand der Kosinus-Ähnlichkeit in einem hochdimensionalen Raum mit Wettbewerberkatalogen vergleicht.
Die Suchpipeline folgt einem mehrstufigen Prozess. Sie beginnt mit Pre-Filtering auf Basis strukturierter Attribute wie Kategorie, Marke und Preisspanne, wodurch die Kandidatenmenge eingegrenzt wird. Milvus führt anschließend innerhalb dieser gefilterten Teilmenge eine Vektor-Ähnlichkeitssuche durch, gefolgt von Nachbearbeitung und Bewertung der Ergebnisse. Schließlich erzeugt ein schwellenwertbasierter Filter Empfehlungen, wobei manuelle Prüfung auf Treffer mit hoher Zuverlässigkeit angewendet wird. Dieser mehrschichtige Ansatz schafft ein Gleichgewicht zwischen Automatisierung und Kontrolle und gewährleistet sowohl Geschwindigkeit als auch Genauigkeit im Unternehmensmaßstab.
Durch die Einführung von Milvus beschleunigte das Team die Produktabgleichszyklen und senkte gleichzeitig die Infrastrukturkosten erheblich. Noch wichtiger ist, dass es eine zukunftssichere Grundlage geschaffen hat, die Unternehmenskunden mit riesigen Katalogen und hochdynamischen Wettbewerbslandschaften unterstützen kann.
Die Ergebnisse: Skalierbares, kosteneffizientes und präzises Produkt-Matching
Die Migration zu Milvus hat verändert, wie die Pricing-Intelligence-Plattform Produkt-Matching im Enterprise-Maßstab handhabt. Was zuvor durch Speichergrenzen, lange Verarbeitungszyklen und starre Abläufe eingeschränkt war, ist nun effizient, präzise und bereit, mit dem Unternehmenswachstum zu skalieren.
Niedrigere Infrastrukturkosten: Das vorherige FAISS-Setup erforderte, alle Embeddings in den Arbeitsspeicher zu laden, wodurch Skalierung sowohl teuer als auch unpraktisch wurde. Durch den Wechsel zu Milvus senkte das Engineering-Team des Kunden die Speicheranforderungen um bis zu 75% und verlagerte die Speicherung in S3- und GCP-Buckets. Was früher eine Kostenbarriere war, ist heute eine nachhaltige Grundlage für Expansion.
6-mal schnellere Verarbeitungszeiten: Große Catalog-to-Catalog-Matching-Jobs, die sich früher über 12 Tage hinzogen, werden jetzt bei 20M Suchanfragen in etwa 2 Tagen abgeschlossen. Obwohl sie weiterhin batchbasiert sind, stellt diese sechsfache Verbesserung sicher, dass Competitive Intelligence aktuell genug bleibt, um Preisentscheidungen in Echtzeit zu unterstützen.
Höhere Genauigkeit bei Skalierung: Bei der Preisgestaltung ist Präzision unverhandelbar. Milvus lieferte eine höhere Genauigkeit als Alternativen wie HNSW und erfüllte gleichzeitig das Latenzziel des Teams von ~200ms für Batch-Abfragen. Durch die Kombination strukturierter Filter (Kategorie, Marke, Preis) mit Vektorähnlichkeitssuche minimierte das Team kostspielige Fehlzuordnungen und stärkte das Vertrauen in seine Empfehlungen.
Mehr operative Flexibilität: Mit Milvus muss das Team keine vollständigen Index-Neuerstellungen mehr durchführen, um Updates zu verarbeiten. Die verteilte Architektur ermöglicht es, Query-, Index- und Data-Nodes unabhängig voneinander zu skalieren. Eine hybride Integration mit MySQL optimierte den Workflow zusätzlich, indem sie strukturierte Filterung mit Vektorsuche für maximale Effizienz kombiniert.
Fazit
Für das Team hinter dieser Plattform bedeutete besseres Produkt-Matching mehr als nur schnellere Verarbeitung — es schuf eine stärkere Grundlage für ihre gesamte Pricing-Engine. Durch die Einführung von Milvus erhielten sie die Fähigkeit, riesige, unübersichtliche Kataloge präzise und zu nachhaltigen Kosten zu verarbeiten. Mit DiskANN für die Indexierung, einer selbst gehosteten verteilten Architektur für Skalierung und einem hybriden Ansatz, der in ihre bestehenden Datenbanken integriert ist, baute das Team ein System auf, das sowohl praktisch als auch widerstandsfähig ist.
Dieser Wandel hat es ihnen ermöglicht, zuverlässige Wettbewerbsinformationen und Preisempfehlungen bereitzustellen, auf die Enterprise-Kunden vertrauensvoll reagieren können. Da E-Commerce-Kataloge wachsen und der Wettbewerb intensiver wird, zeigt diese Erfahrung, dass Vektordatenbanken einen praktischen Ansatz bieten, um sowohl Skalierbarkeit als auch Präzision zu erreichen — Eigenschaften, die heute unerlässlich sind, um in sich schnell entwickelnden Märkten wettbewerbsfähig zu bleiben.
- Über das Unternehmen
- Die Herausforderung: Skalierung des Produkt-Matchings auf Enterprise-Ebene
- Bewertung von Skalierungspfaden und Entscheidung für Milvus
- Die Lösung: Aufbau von Produktabgleich im großen Maßstab mit Milvus
- Die Ergebnisse: Skalierbares, kosteneffizientes und präzises Produkt-Matching
- Fazit
Inhalte
Branche
Elektronischer Geschäftsverkehr